文章概要:

1. 加利福尼亞初創公司Nucleus AI發布了22B參數的大規模語言模型，計劃用于農業領域的AI轉型。

2. 該模型可在開源和商業許可下使用，性能優越，可用于不同生成任務。

3. 公司的遠景是構建智能農業操作系統，以優化供需關系，解決農業領域的挑戰。

微新創想(idea2003.com) 10月7日 消息:加利福尼亞的初創公司Nucleus AI，匯聚了來自亞馬遜和三星研究的人才，近日以一款強大的22億參數大規模語言模型（LLM）正式亮相。這個模型可在開源MIT許可和商業許可下使用，它具有通用性，位于13B和34B模型之間，可以進行不同生成任務和產品的微調。Nucleus表示，這一模型在性能上勝過了相似規模的其他模型，最終將有助于實現公司將AI用于改變農業的目標。

Nucleus AI的首席執行官Gnandeep Moturi表示:“我們首先推出了我們的220億模型，這是一個變換器模型。然后，大約在兩周內，我們將發布我們的最新RetNet模型，這將在成本和推斷速度方面帶來顯著的好處。”

圖源備注：圖片由AI生成，圖片授權服務商Midjourney

Nucleus開始在大約三個半月前對22B模型進行訓練，之后收到了一位早期投資者提供的計算資源。公司利用現有研究和開源社區的資源，對這個LLM模型進行了預訓練，上下文長度為2048個標記，最終對它進行了萬億級的數據訓練，包括從網絡、維基百科、Stack Exchange、arXiv和代碼中獲取的大規模去重和清理信息。這為模型提供了豐富的知識庫，涵蓋了從一般信息到學術研究和編程見解的內容。

接下來，Nucleus計劃發布更多版本的22B模型，它們分別在3500億和7000億標記的數據上進行了訓練，還有兩個RetNet模型，參數分別為30億和110億，它們在更大的上下文長度（4096個標記）上進行了預訓練。這些較小規模的模型將融合了循環神經網絡(RNN)和變換器神經網絡架構的優點，將在速度和成本方面實現巨大的提升。在內部實驗中，這些模型被發現要快15倍，僅需相似變換器模型通常要求的四分之一GPU內存。

然而，與其他LLM公司OpenAI、Anthropic和Cohere不同，Nucleus AI并沒有將其模型僅限于企業應用。公司的遠景是利用AI構建一個智能農業操作系統，旨在優化供需關系并減少農民面臨的不確定性。Moturi解釋道:“我們有一個類似市場的想法，需求和供應將被高度優化，就像Uber為出租車司機所做的那樣。”這一舉措將有助于解決農民面臨的多個挑戰，從氣候變化和知識不足到供應的優化和分銷的維護。

總的來說，Nucleus AI計劃在農業領域推出創新性的解決方案，而不僅僅是構建對話機器人。盡管有挑戰，但他們有信心通過在開源社區的貢獻，將語言模型作為市場的核心，實現他們的愿景。有關面向農業的智能操作系統和RetNet模型的更多細節將在本月晚些時候公布。VentureBeat的使命是成為技術決策者獲取有關變革性企業技術的知識和進行交易的數字城鎮廣場。