微新創想(idea2003.com) 10月9日消息:大型語言模型（LLMs）因其模仿人類特性而引起了廣泛關注。這些模型能夠回答問題、生成內容、總結長文本段落等等。提示語對于提高 LLMs（如 GPT-3.5 和 GPT-4）的性能至關重要。

提示語的創建方式可以對 LLMs 在各種領域的能力產生重大影響，包括推理、多模態處理、工具使用等等。研究人員設計的這些技術在模型蒸餾和代理行為模擬等任務中顯示出了潛力。

提示方法的手動工程引發了一個問題，即是否可以自動化這個過程。通過根據來自數據集的輸入-輸出實例生成一組提示語，自動提示工程師（APE）試圖解決這個問題，但從提示語質量的角度來看，APE 存在著遞減的回報。研究人員提出了一種基于維持多樣性的進化算法的方法，用于自我參考的提示語的自我改進，以克服提示語創建中的遞減回報問題。

LLMs 可以改變其提示語以提高其能力，就像神經網絡可以改變其權重矩陣以提高性能一樣。根據這種比較，LLMs 可以被創建來增強它們自己的能力以及它們增強自己能力的過程，從而使人工智能能夠不斷改進。作為對這些想法的回應，Google DeepMind 的研究團隊最近引入了 PromptBreeder（PB），這是一種 LLMs 以自我參考的方式更好地提升自己的技術。

PB 需要一個特定領域的問題描述、一組初始突變提示語（用于修改任務提示語的指令）以及思維風格，即以文本形式表示的通用認知啟發式。通過利用 LLM 作為突變操作符的能力，它生成不同的任務提示語和突變提示語。這些進化的任務提示語在訓練集上進行評估，選擇包含任務提示語及其相關突變提示語的進化單元的子集，用于未來的世代。

該團隊表示，PromptBreeder 觀察到提示會在幾代中適應特定領域。例如，PB 開發了一個任務提示，其中明確說明了如何解決數學領域的數學問題。在各種基準任務中，包括常識推理、算術和倫理學，PB 都優于最先進的提示技術。PB 不需要更新參數來進行自我參照的自我改進，這表明未來更廣泛、更有能力的 LLMs 可能會從這一策略中受益。

PromptBreeder 的工作流程可以總結如下：

1. 任務提示語突變：任務提示語是為特定任務或領域創建的提示語。PromptBreeder 從這些提示語開始。然后對任務提示語進行突變，生成變體。

2. 適應性評估：使用訓練數據集，評估這些修改后的任務提示語的適應性。這個評估衡量了 LLM 在被問及時如何應對這些變化。

3. 持續進化：與生物進化類似，突變和評估的過程會重復幾代。

總而言之，PromptBreeder 被認為是一種獨特且成功的技術，用于自主演化 LLMs 的提示語。它試圖提高 LLMs 在各種任務和領域中的性能，最終通過不斷改進任務提示語和突變提示語，優于手動示方法。

查看 PromptBreeder（PB）論文：

https://arxiv.org/abs/2309.16797