Abacus AI 推出開放式上下文大語言模型Long Context
微新創想（idea2003.com）8月4日 消息:Abacus.AI LLM Context Expansion 是一款能夠擴展語境長度的工具，可以幫助用戶擴展模型的語境長度，提高模型對長文本的處理能力。該工具基于 Abacus.AI 的 LLM（Language Model for Long-form Content）架構，提供了一系列代碼和工具，用于增加模型對長文本的理解能力。通過預訓練和微調，該工具可以使模型在處理超過2048個單詞的文本時仍然能夠保持高效和準確。
項目地址:https://github.com/abacusai/Long-Context
要點:
1、Abacus AI 的研究人員通過多次實驗，發現將 LLMs 的上下文長度能力擴展到更長的上下文是可行的。
2、研究人員使用不同的方法對 RedPajama 數據集進行了 fine-tune，并發現線性縮放方法在模型上下文長度上效果良好，而截斷和隨機化方法在檢索任務上效果較差。
3、通過評估模型在不同數據集上的表現，研究人員發現將上下文長度進行縮放可以顯著提高模型的性能，進而改進模型的困惑度，并更好地捕捉文檔的主題。
4、Abacus.AI LLM Context Expansion 提供了評估腳本和基準任務，用于評估模型在信息檢索方面的能力，并提供了重要的實驗結果和復現指南，以幫助用戶進一步改進和構建自己的模型。
5、Abacus.AI提供預訓練模型權重，對于表現最好的模型（線性插值 + 指令微調，在縮放因子為4和16時），該工具提供了預訓練模型的權重，方便用戶直接使用或進行自己的測試。
