文章概要:

1. DSPy是一個用于語言模型和檢索模型的AI框架，可以解決各種高級任務。

2. DSPy使用“簽名”和“提示器”的模塊化方法編譯任何程序。

3. DSPy需要很少的標記數據，可以自動生成中間提示支持管道。

微新創(chuàng)想(idea2003.com) 8月29日 消息:最近，斯坦福大學的研究人員推出了一個名為DSPy的AI框架，用于利用語言模型和檢索模型來解決各種高級任務。DSPy包含多種技術，可以提示和微調語言模型，改進其推理和檢索增強。

DSPy使用兩個簡單的概念“簽名（Signatures）”和“提示器(Teleprompters)”來編譯任何程序。其中，簽名是DSPy模塊輸入輸出行為的聲明性規(guī)范。提示器是功能強大的優(yōu)化器，可以學習如何提示任何程序模塊的最佳提示。

與其他產品相比，DSPy需要非常少的標記數據。它有一個自動編譯器，可以訓練語言模型運行聲明性步驟，并可以從最小數據進行微調，無需人工標記中間步驟。

DSPy的模塊化和可訓練組件系統(tǒng)不同于其他庫，對于那些探索新管道或任務以解決高級問題的人非常有用。研究人員發(fā)布了安裝指南和演示，以讓更多人可以訪問該框架。

DSPy框架的核心特色功能總結:

• 提供了模塊化和聲明式的Python接口，可以直觀地指示語言模型執(zhí)行流程，避免了繁瑣的提示工程。

• 自動編譯器可以跟蹤程序流程，為語言模型生成高質量的 few-shot 提示或微調，教會模型實現聲明式步驟，無需人工標注中間步驟。

• 引入了Signatures概念，聲明語言模型的輸入輸出行為。Teleprompters概念則實現了自動優(yōu)化提示。

• 可以重復編譯改進性能，適應代碼、數據、驗證約束的變化。

• 支持零試用和編譯后使用，編譯可以顯著提高任務完成質量。

• 需要的訓練數據很少，通常只需要標注最終輸出，編譯器可以自動生成中間步驟的標注。

• 可以統(tǒng)一提示和微調技術，為不同的語言模型生成定制化的提示或微調方案。

• 針對復雜任務可以可靠地教會強大的模型，如GPT-3.5等，顯著提高任務可靠性。

• 提供模塊化和可組合的通用模塊，避免專為特定應用預構建函數。

• 適合研究人員探索新的流程和任務，也方便實踐者開發(fā)知識密集型NLP應用。

項目網址:https://github.com/stanfordnlp/dspy