要點:

1、大模型幻覺主要分為與輸入、上下文及事實沖突的三類，研究熱點在第三類。

2、相比傳統模型，大模型幻覺評估面臨數據規模大、通用性強、不易察覺等新難題。

3、緩解幻覺可從預訓練、微調、強化學習、推理等方面入手，但仍有可靠評估等挑戰。

微新創想（idea2003.com）9月14日 消息:近年來，大規模語言模型在許多下游任務上表現強勁，但也面臨著一定的挑戰。其中，大模型生成的與事實沖突的“幻覺”內容已成為研究熱點。近期，騰訊 AI Lab 聯合國內外多家學術機構發布了面向大模型幻覺工作的綜述，對幻覺的評估、溯源、緩解等進行了全面的探討。

• 論文鏈接:https://arxiv.org/abs/2309.01219

• Github 鏈接:https://github.com/HillZhang1999/llm-hallucination-survey

研究者根據大模型幻覺與用戶輸入、模型生成內容及事實知識的沖突，將其分為三大類。目前研究主要集中在與事實知識沖突的幻覺上，因為這最易對用戶產生誤導。與傳統語言生成任務中幻覺問題不同，大模型幻覺面臨數據規模巨大、模型通用性強以及幻覺不易被察覺等新難題。

針對大模型幻覺的評估，已提出多種生成式和判別式的基準，以問答、對話等不同任務形式檢驗模型的幻覺傾向。這些基準各自設計了判定幻覺的指標，但可靠的自動評估仍有待探索。分析認為，海量低質訓練數據以及模型對自身能力的高估是導致幻覺的重要原因。

為減少幻覺，可從預訓練、微調、強化學習等多個階段進行干預。預訓練可關注語料質量;微調可人工檢查數據;強化學習可懲罰過度自信的回復。此外推理階段，也可通過解碼策略優化、知識檢索、不確定度測量等方式緩解幻覺。盡管取得一定進展，可靠評估、多語言場景、模型安全性等方面仍存在諸多挑戰。總體來說，大模型幻覺的評估與緩解仍有待深入研究，以促進大模型的實際應用。