OpenAI 有解決幻覺的方法，但你真的不會喜歡它

OpenAI 最新研究論文確切地診斷為什么 ChatGPT 和其他大型語言模型可以編造東西——在世界上眾所周知人工智能作為“幻覺”。它還揭示了為什么這個問題可能無法解決，至少就消費者而言是這樣。

該論文提供了迄今為止最嚴格的數(shù)學(xué)解釋，解釋了為什么這些模型自信地陳述了錯誤。它表明，這些不僅僅是人工智能目前訓(xùn)練方式的不幸副作用，而且在數(shù)學(xué)上是不可避免的。

這個問題的部分原因是用于訓(xùn)練人工智能的基礎(chǔ)數(shù)據(jù)中的錯誤。但通過對人工智能系統(tǒng)如何學(xué)習(xí)的數(shù)學(xué)分析，研究人員證明，即使有完美的訓(xùn)練數(shù)據(jù)，問題仍然存在。

相關(guān)：如果人工智能只是一個“文字計算器”，為什么它會讓人感覺如此人性化？

語言模型響應(yīng)查詢的方式——根據(jù)概率一次預(yù)測句子中的一個單詞——自然會產(chǎn)生錯誤。事實上，研究人員表明，生成句子的總錯誤率至少是同一人工智能在一個簡單的是/否問題上的錯誤率的兩倍，因為錯誤會在多次預(yù)測中累積。

換句話說，幻覺率從根本上取決于人工智能系統(tǒng)區(qū)分有效和無效反應(yīng)的能力。由于這種分類問題對于許多知識領(lǐng)域來說本質(zhì)上是困難的，因此幻覺變得不可避免。

事實證明，模型在訓(xùn)練過程中看到的事實越少，當(dāng)被問及該事實時，它就越有可能產(chǎn)生幻覺。例如，對于著名人物的生日，研究發(fā)現(xiàn)，如果 20% 的人的生日在訓(xùn)練數(shù)據(jù)中只出現(xiàn)一次，那么基本模型應(yīng)該至少會出錯 20% 的生日查詢。

果不其然，當(dāng)研究人員向最先進的模型詢問該論文作者之一亞當(dāng)·卡萊 （Adam Kalai） 的生日時，DeepSeek-V3 自信地在不同的嘗試中提供了三個不同的錯誤日期：“03-07”、“15-06”和“01-01”。

正確的日期是在秋天，所以這些都不接近。

評估陷阱

更令人不安的是，該論文分析了為什么盡管進行了訓(xùn)練后努力，但幻覺仍然存在（例如在人工智能向公眾發(fā)布之前對人工智能的反應(yīng)提供廣泛的人類反饋）。

作者研究了十個主要的人工智能基準測試，包括谷歌、OpenAI 使用的基準測試以及對人工智能模型進行排名的頂級排行榜。這表明，九個基準測試使用二進制評分系統(tǒng)，對表達不確定性的人工智能給予零分。

這創(chuàng)造了作者所說的”流行“懲罰誠實的回應(yīng)。當(dāng)人工智能系統(tǒng)說“我不知道”時，它會收到與提供完全錯誤信息相同的分數(shù)。

這種評估下的最佳策略變得很清楚：總是猜測。

研究人員用數(shù)學(xué)證明了這一點。無論特定答案正確的幾率如何，當(dāng)評估使用二元評分時，猜測的預(yù)期分數(shù)總是超過棄權(quán)分數(shù)。

打破一切的解決方案

OpenAI 提出的解決方法是讓人工智能在發(fā)布答案之前考慮自己對答案的信心，并讓基準測試在此基礎(chǔ)上對其進行評分。

然后可以提示人工智能，例如：“只有當(dāng)你的信心超過 75% 時才回答，因為錯誤會被罰 3 分，而正確答案會被罰 1 分。

OpenAI 研究人員的數(shù)學(xué)框架表明，在適當(dāng)?shù)闹眯砰撝迪?，人工智能系統(tǒng)會自然地表達不確定性而不是猜測。所以這將導(dǎo)致更少的幻覺。問題是它會對用戶體驗產(chǎn)生什么影響。

考慮一下如果 ChatGPT 開始對 30% 的查詢說“我不知道”，這會產(chǎn)生什么影響——這是基于該論文對訓(xùn)練數(shù)據(jù)中事實不確定性的分析的保守估計。習(xí)慣于對幾乎任何問題獲得自信答案的用戶可能會很快放棄此類系統(tǒng)。

我在生活的另一個領(lǐng)域也看到了這種問題。我參與了猶他州鹽湖城的一個空氣質(zhì)量監(jiān)測項目。

當(dāng)系統(tǒng)在惡劣天氣條件下或設(shè)備校準時標記測量的不確定性時，與顯示可靠讀數(shù)的顯示器相比，用戶參與度較低，即使這些可靠讀數(shù)在驗證過程中被證明不準確。

計算經(jīng)濟學(xué)問題

利用該論文的見解減少幻覺并不難。量化不確定性的既定方法有存在為幾十 年.

這些可用于提供可靠的不確定性估計，并指導(dǎo)人工智能做出更明智的選擇。

但即使可以克服用戶不喜歡這種不確定性的問題，還有一個更大的障礙：計算經(jīng)濟學(xué)。

與當(dāng)今的方法相比，不確定性感知語言模型需要更多的計算，因為它們必須評估多種可能的響應(yīng)并估計置信度。對于每天處理數(shù)百萬個查詢的系統(tǒng)來說，這意味著運營成本會大幅增加。

更復(fù)雜的方法就像主動學(xué)習(xí)一樣，人工智能系統(tǒng)提出澄清問題以減少不確定性，可以提高準確性，但會進一步增加計算需求。

這些方法在芯片設(shè)計等專業(yè)領(lǐng)域效果很好，在這些領(lǐng)域，錯誤的答案會花費數(shù)百萬美元，并且需要進行大量計算。對于用戶期望即時響應(yīng)的消費者應(yīng)用程序，經(jīng)濟性變得令人望而卻步。

對于管理關(guān)鍵業(yè)務(wù)運營或經(jīng)濟基礎(chǔ)設(shè)施的人工智能系統(tǒng)來說，計算發(fā)生了巨大變化。當(dāng)人工智能代理處理供應(yīng)鏈物流、金融交易或醫(yī)療診斷時，幻覺的成本遠遠超過讓模型確定它們是否過于不確定的費用。

在這些領(lǐng)域，該論文提出的解決方案在經(jīng)濟上變得可行——甚至是必要的。不確定的人工智能代理只需要花費更多。

然而，消費者應(yīng)用仍然主導(dǎo)著人工智能開發(fā)的優(yōu)先事項。用戶希望系統(tǒng)能夠為任何問題提供自信的答案。評估基準獎勵猜測而不是表達不確定性的系統(tǒng)。計算成本有利于快速、過度自信的響應(yīng)，而不是緩慢、不確定的響應(yīng)。

每個代幣的能源成本下降和芯片架構(gòu)的進步最終可能會讓人工智能決定他們是否有足夠的把握回答問題變得更加實惠。但是，與今天的猜測相比，所需的計算量相對較高，無論絕對硬件成本如何，都會保留下來。

簡而言之，OpenAI 的論文無意中強調(diào)了一個令人不安的事實：推動消費者人工智能發(fā)展的商業(yè)激勵措施仍然與減少幻覺從根本上不一致。

在這些激勵措施改變之前，幻覺將持續(xù)存在。

魏興， 數(shù)學(xué)與物理科學(xué)學(xué)院助理教授，謝菲爾德大學(xué)

本文轉(zhuǎn)載自對話根據(jù)知識共享許可。閱讀原文.

寶寶起名 起名