要點:

1、開源了Persimmon-8B，這是目前參數量少于10億的最強大的完全免許可語言模型

2、該模型具有16K的上下文長度，超過了LLaMA2的4倍和GPT-3的8倍

3、提供了靈活快速的推理代碼，在一塊A100GPU上可以每秒生成56個token

微新創想（idea2003.com）9月13日 消息:Anthropic公司最近開源了Persimmon-8B，這是目前參數量少于10億的完全免許可使用的最強大語言模型。該模型采用Apache許可證發布，代碼和權重已在GitHub上開源。

Anthropic的目標是開發一個可以協助用戶完成各種計算機操作的AI助手。他們并不專注于開發獨立的語言模型，但Persimmon-8B是他們模型擴展計劃的早期產出，可以給社區提供一個更強大的8億參數語言模型以進行各種創新應用的開發。8億參數量的模型可以在單個GPU上進行微調，在現代筆記本電腦上以合適的速度運行，甚至可以容納在移動設備上。

Persimmon-8B具有幾個突出特點:

1、這是目前開源的、完全免許可使用的參數量少于10億的最強大語言模型

2、使用16K的上下文長度進行從頭訓練，遠超過LLaMA2的4K和GPT-3等模型的2K

3、基礎模型的性能甚至超過了LLaMA2，盡管訓練數據量只有后者的37%

4、模型保留了70K個詞向量以進行多模態擴展，并采用了稀疏激活

5、提供了靈活快速的推理代碼實現，可以在一塊A100GPU上達到每秒生成56個token的速度

通過直接長序列訓練，Persimmon-8B能夠捕捉更長的上下文關系，這為各種應用帶來了獨特優勢。Anthropic希望社區可以在該模型的基礎上進行更多創新，同時也樂于聽到用戶的反饋。這只是一個早期小規模的開源，他們未來還計劃開源更多內容。