西風 發(fā)自 凹非寺

大模型“幻覺”，終于有系統(tǒng)綜述了！

一口氣49頁，詳細闡述了幻覺定義、分類、導致幻覺的原因，還有檢測幻覺、減輕幻覺的方法。

這篇最新綜述來自哈工大和華為，一po出就在網(wǎng)上火得不行：

具體來說，文中用一套新的范疇框架來定義模型幻覺，并將其分為事實性幻覺、忠實性幻覺兩大類。

此外，它還總結(jié)了模型產(chǎn)生幻覺的三大來源：數(shù)據(jù)源、訓練過程和推理，并給出了對應的減輕幻覺策略。

一圖預覽，觀感是這樣嬸兒的：

可謂清晰又明了。目前相關推文瀏覽15萬+，轉(zhuǎn)贊收藏2000+，網(wǎng)友紛紛評論：

找時間好好看。

還有一位網(wǎng)友的評論亮了：

有意思的是，論文太長，我得用ChatGPT幫我讀。

幻覺作為大模型的一種“通病”，找到了病根，也好對癥下藥。

北大數(shù)學教授董彬也曾講，作為研究者，自己其實是比較喜歡大模型幻覺的：

因為幻覺和創(chuàng)造/創(chuàng)新其實只有一線之隔。

那么這篇綜述具體如何解剖大模型幻覺現(xiàn)象？一起來看看。

大模型的幻覺“病理”

大模型出現(xiàn)幻覺，簡而言之就是“胡說八道”。

用文中的話來講，是指模型生成的內(nèi)容與現(xiàn)實世界事實或用戶輸入不一致的現(xiàn)象。

正如上文提到的，研究人員將大模型的幻覺分為事實性幻覺（Factuality Hallucination）和忠實性幻覺（Faithfulness Hallucination）。

△左，事實性幻覺；右，忠實性幻覺

事實性幻覺，是指模型生成的內(nèi)容與可驗證的現(xiàn)實世界事實不一致。

比如問模型“第一個在月球上行走的人是誰？”，模型回復“Charles Lindbergh在1951年月球先驅(qū)任務中第一個登上月球”。實際上，第一個登上月球的人是Neil Armstrong。

事實性幻覺又可以分為事實不一致（與現(xiàn)實世界信息相矛盾）和事實捏造（壓根沒有，無法根據(jù)現(xiàn)實信息驗證）。

忠實性幻覺，則是指模型生成的內(nèi)容與用戶的指令或上下文不一致。

比如讓模型總結(jié)今年10月的新聞，結(jié)果模型卻在說2006年10月的事。

忠實性幻覺也可以細分，分為指令不一致（輸出偏離用戶指令）、上下文不一致（輸出與上下文信息不符）、邏輯不一致三類（推理步驟以及與最終答案之間的不一致）。

那么致使大模型產(chǎn)生幻覺的原因都有哪些？

首先“病從口入”，大模型的糧食數(shù)據(jù)，是致使它產(chǎn)生幻覺的一大原因。

這其中就包括數(shù)據(jù)缺陷、數(shù)據(jù)中捕獲的事實知識的利用率較低。

具體來說，數(shù)據(jù)缺陷分為錯誤信息和偏見（重復偏見、社會偏見），此外大模型也有知識邊界，所以存在領域知識缺陷和過時的事實知識。

即便大模型吃掉了大量數(shù)據(jù)，也會在利用時出現(xiàn)問題。

大模型可能會過度依賴訓練數(shù)據(jù)中的一些模式，如位置接近性、共現(xiàn)統(tǒng)計數(shù)據(jù)和相關文檔計數(shù)，從而導致幻覺。比如說，如果訓練數(shù)據(jù)中頻繁共現(xiàn)“加拿大”和“多倫多”，那么大模型可能會錯誤地將多倫多識別為加拿大的首都。

此外，大模型還可能會出現(xiàn)長尾知識回憶不足、難以應對復雜推理的情況。

除了數(shù)據(jù)，訓練過程也會使大模型產(chǎn)生幻覺。

主要是預訓練階段（大模型學習通用表示并獲取世界知識）、對齊階段（微調(diào)大模型使其更好地與人類偏好一致）兩個階段產(chǎn)生問題。

預訓練階段可能會存在：

• 架構(gòu)缺陷。基于前一個token預測下一個token，這種單向建模阻礙了模型捕獲復雜的上下文關系的能力；自注意力模塊存在缺陷，隨著token長度增加，不同位置的注意力被稀釋。

• 曝露偏差。訓練策略也有缺陷，模型推理時依賴于自己生成的token進行后續(xù)預測，模型生成的錯誤token會在整個后續(xù)token中產(chǎn)生級聯(lián)錯誤。

對齊階段可能會存在：

• 能力錯位。大模型內(nèi)在能力與標注數(shù)據(jù)中描述的功能之間可能存在錯位。當對齊數(shù)據(jù)需求超出這些預定義的能力邊界時，大模型會被訓練來生成超出其自身知識邊界的內(nèi)容，從而放大幻覺的風險。

• 信念錯位?；赗LHF等的微調(diào)，使大模型的輸出更符合人類偏好，但有時模型會傾向于迎合人類偏好，從而犧牲信息真實性。

大模型產(chǎn)生幻覺的第三個關鍵因素是推理，存在兩個問題：

• 固有的抽樣隨機性：在生成內(nèi)容時根據(jù)概率隨機生成。

• 不完美的解碼表示：上下文關注不足（過度關注相鄰文本而忽視了源上下文）和softmax瓶頸（輸出概率分布的表達能力受限）。

檢測大模型病癥

分析了大模型的幻覺病因，研究人員還給出了一份模型幻覺檢測基準。

針對事實性幻覺，已有檢索外部事實和不確定性估計兩種方法。

檢索外部事實是將模型生成的內(nèi)容與可靠的知識來源進行比較。

基于不確定性估計的幻覺檢測方法，可以分為兩類：基于內(nèi)部狀態(tài)的方法和基于行為的方法。

基于內(nèi)部狀態(tài)的方法主要依賴于訪問大模型的內(nèi)部狀態(tài)。例如，通過考慮關鍵概念的最小標記概率來確定模型的不確定性。

基于行為的方法則主要依賴于觀察大模型的行為，不需要訪問其內(nèi)部狀態(tài)。例如，通過采樣多個響應并評估事實陳述的一致性來檢測幻覺。

檢測忠實性幻覺的方法，研究人員用一張圖概括了五種不同的方法：

• 基于事實的度量，測量生成內(nèi)容和源內(nèi)容之間事實的重疊程度來評估忠實性。

• 分類器度量：使用訓練過的分類器來區(qū)分模型生成的忠實內(nèi)容和幻覺內(nèi)容。

• 問答度量：使用問答系統(tǒng)來驗證源內(nèi)容和生成內(nèi)容之間的信息一致性。

• 不確定度估計：測量模型對其生成輸出的置信度來評估忠實性。

• 提示度量：讓大模型作為評估者，通過特定的提示策略來評估生成內(nèi)容的忠實性。

了解了如何度量幻覺后，就是減輕幻覺的方法了。

對癥下藥減輕幻覺

研究人員根據(jù)致幻原因，詳細總結(jié)了現(xiàn)有減輕幻覺現(xiàn)象的研究。

1、數(shù)據(jù)相關的幻覺。

減少錯誤信息和偏見，最直觀的方法是收集高質(zhì)量的事實數(shù)據(jù)，并進行數(shù)據(jù)清理以消除偏見。

對于知識邊界的問題，有兩種流行方法。一種是知識編輯，直接編輯模型參數(shù)彌合知識差距。另一種通過檢索增強生成（RAG）利用非參數(shù)知識源。

檢索增強具體分為三種類型：一次性檢索、迭代檢索和事后檢索。

一次性檢索是將從單次檢索中獲得的外部知識直接預置到大模型的提示中；迭代檢索允許在整個生成過程中不斷收集知識；事后檢索是基于檢索的修訂來完善大模型輸出。

2、訓練相關的幻覺。

根據(jù)致幻原因，可以完善有缺陷的模型架構(gòu)，目前已有許多相關研究。

從模型預訓練階段來講，最新進展試圖通過完善預訓練策略、確保更豐富的上下文理解和規(guī)避偏見來應對這一問題。

比如針對模型對文檔式的非結(jié)構(gòu)化事實知識理解碎片化、不關聯(lián)，有研究在文檔的每個句子后附加一個TOPICPREFIX，將它們轉(zhuǎn)換為獨立的事實，從而增強模型對事實關聯(lián)的理解。

此外，還可以通過改進人類偏好判斷、激活引導，減輕對齊錯位問題。

3、推理相關的幻覺。

不完美的解碼通常會導致模型輸出偏離原始上下文。

研究人員探討了兩種高級策略，一種是事實增強解碼，另一種是譯后編輯解碼。

此外，忠實度增強解碼優(yōu)先考慮與用戶說明或提供的上下文保持一致，并強調(diào)增強生成內(nèi)容的一致性。現(xiàn)有工作可以總結(jié)為兩類，包括上下文一致性和邏輯一致性。

有關上下文一致性的最新研究之一是上下文感知解碼（CAD），通過減少對先驗知識的依賴來修改輸出分布，從而促進模型對上下文信息的關注。

有關邏輯一致性的最新一項研究包括知識蒸餾框架，用來增強思維鏈提示中固有的自洽性。

論文鏈接：
https:///abs/2311.05232

— 完 —

量子位 QbitAI · 頭條號簽約