微新創(chuàng)想(idea2003.com) 10月9日消息:大型語言模型（LLMs）因其模仿人類特性而引起了廣泛關(guān)注。這些模型能夠回答問題、生成內(nèi)容、總結(jié)長文本段落等等。提示語對于提高 LLMs（如 GPT-3.5 和 GPT-4）的性能至關(guān)重要。

提示語的創(chuàng)建方式可以對 LLMs 在各種領(lǐng)域的能力產(chǎn)生重大影響，包括推理、多模態(tài)處理、工具使用等等。研究人員設計的這些技術(shù)在模型蒸餾和代理行為模擬等任務中顯示出了潛力。

提示方法的手動工程引發(fā)了一個問題，即是否可以自動化這個過程。通過根據(jù)來自數(shù)據(jù)集的輸入-輸出實例生成一組提示語，自動提示工程師（APE）試圖解決這個問題，但從提示語質(zhì)量的角度來看，APE 存在著遞減的回報。研究人員提出了一種基于維持多樣性的進化算法的方法，用于自我參考的提示語的自我改進，以克服提示語創(chuàng)建中的遞減回報問題。

LLMs 可以改變其提示語以提高其能力，就像神經(jīng)網(wǎng)絡可以改變其權(quán)重矩陣以提高性能一樣。根據(jù)這種比較，LLMs 可以被創(chuàng)建來增強它們自己的能力以及它們增強自己能力的過程，從而使人工智能能夠不斷改進。作為對這些想法的回應，Google DeepMind 的研究團隊最近引入了 PromptBreeder（PB），這是一種 LLMs 以自我參考的方式更好地提升自己的技術(shù)。

PB 需要一個特定領(lǐng)域的問題描述、一組初始突變提示語（用于修改任務提示語的指令）以及思維風格，即以文本形式表示的通用認知啟發(fā)式。通過利用 LLM 作為突變操作符的能力，它生成不同的任務提示語和突變提示語。這些進化的任務提示語在訓練集上進行評估，選擇包含任務提示語及其相關(guān)突變提示語的進化單元的子集，用于未來的世代。

該團隊表示，PromptBreeder 觀察到提示會在幾代中適應特定領(lǐng)域。例如，PB 開發(fā)了一個任務提示，其中明確說明了如何解決數(shù)學領(lǐng)域的數(shù)學問題。在各種基準任務中，包括常識推理、算術(shù)和倫理學，PB 都優(yōu)于最先進的提示技術(shù)。PB 不需要更新參數(shù)來進行自我參照的自我改進，這表明未來更廣泛、更有能力的 LLMs 可能會從這一策略中受益。

PromptBreeder 的工作流程可以總結(jié)如下：

1. 任務提示語突變：任務提示語是為特定任務或領(lǐng)域創(chuàng)建的提示語。PromptBreeder 從這些提示語開始。然后對任務提示語進行突變，生成變體。

2. 適應性評估：使用訓練數(shù)據(jù)集，評估這些修改后的任務提示語的適應性。這個評估衡量了 LLM 在被問及時如何應對這些變化。

3. 持續(xù)進化：與生物進化類似，突變和評估的過程會重復幾代。

總而言之，PromptBreeder 被認為是一種獨特且成功的技術(shù)，用于自主演化 LLMs 的提示語。它試圖提高 LLMs 在各種任務和領(lǐng)域中的性能，最終通過不斷改進任務提示語和突變提示語，優(yōu)于手動示方法。

查看 PromptBreeder（PB）論文：

https://arxiv.org/abs/2309.16797