AI里最大的Bug，卻也是人類文明最偉大的起點(diǎn)。

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自數(shù)字生命卡茲克

作者：卡茲克

周末在家扒拉上周更新的論文的時(shí)候，看到一篇我自己一直非常關(guān)心的領(lǐng)域的論文，而且還是來(lái)自發(fā)論文發(fā)的越來(lái)越少的OpenAI。

它討論的是一個(gè)我們所有人都無(wú)比熟悉，但又無(wú)比困惑的東西。

幻覺(jué)。

這個(gè)詞，自從AI進(jìn)入大眾視野以來(lái)，就一直像個(gè)幽靈一樣，盤旋在所有對(duì)話的上空。

我們一邊享受著AI帶給我們的便利，一邊又對(duì)它那些一本正經(jīng)胡說(shuō)八道的時(shí)刻，感到恐懼和不解。

AI為什么會(huì)產(chǎn)生幻覺(jué)？這個(gè)看似惱人的bug，到底能不能被徹底修復(fù)？

這是我們一直想知道的問(wèn)題。

這篇論文還是蠻有意思的，給了我自己很多新的輸入，我覺(jué)得也可以分享出來(lái)，來(lái)聊聊這些關(guān)于幻覺(jué)的問(wèn)題，以及，我自己一直是怎么認(rèn)為這個(gè)東西的。

整個(gè)故事，要從一個(gè)最簡(jiǎn)單的問(wèn)題說(shuō)起。

如果你問(wèn)AI：亞當(dāng)·卡萊（這篇論文作者之一）的生日是幾月幾號(hào)？

一個(gè)頂尖的開(kāi)源大模型，連續(xù)三次，給出了三個(gè)完全不同的錯(cuò)誤答案：03-07，15-06，01-01。

而正確答案，其實(shí)是秋天。

這就是最典型的幻覺(jué)。

面對(duì)一個(gè)它不知道答案的問(wèn)題，AI沒(méi)有選擇沉默，或者說(shuō)我不知道，而是像一個(gè)考場(chǎng)上想不出答案又不想交白卷的學(xué)生，開(kāi)始瞎蒙，而且蒙得有鼻子有眼。

OpenAI的這篇論文，提出了一個(gè)非常有意思而且又極其符合直覺(jué)的觀點(diǎn)：

AI之所以會(huì)產(chǎn)生幻覺(jué)，是因?yàn)槲覀冇?xùn)練它的方式，從一開(kāi)始，就在系統(tǒng)性地獎(jiǎng)勵(lì)這種瞎蒙的行為。

我們可以，把AI的學(xué)習(xí)過(guò)程，想象成一個(gè)學(xué)生參加一場(chǎng)漫長(zhǎng)的且永不結(jié)束的考試。

這場(chǎng)考試的評(píng)分標(biāo)準(zhǔn)超級(jí)簡(jiǎn)單粗暴，答對(duì)了，加1分，答錯(cuò)了，或者不答，都是0分。

現(xiàn)在，你就是那個(gè)學(xué)生，面對(duì)一道你完全沒(méi)把握的題，你會(huì)怎么選？

你大概率會(huì)選擇猜一個(gè)。

因?yàn)榫退悴洛e(cuò)了，你也不虧對(duì)吧，但是萬(wàn)一猜對(duì)了呢？你就直接怒賺1分。

從期望得分的角度看，只要你猜對(duì)的概率大于零，猜測(cè)就是最優(yōu)策略。

就像上面那個(gè)論文里面的case，你問(wèn)AI一個(gè)人的生日，它肯定不知道。

但是如果它猜一個(gè)，比如9月10號(hào)，那它有365分之一的概率蒙對(duì)，拿到1分。但如果它老老實(shí)實(shí)地說(shuō)我不知道，那得分就永遠(yuǎn)是0。

在成千上萬(wàn)次這樣的測(cè)試?yán)铮莻€(gè)愛(ài)瞎蒙的模型，最終在排行榜上的分?jǐn)?shù)，一定會(huì)比那個(gè)誠(chéng)實(shí)但謙虛的模型，看起來(lái)更牛逼。

OpenAI自己就直接拿了自家的兩個(gè)模型給大家看了一下效果。

一個(gè)叫o4-mini，一個(gè)叫g(shù)pt-5-thinking-mini，他們一起參加了同一場(chǎng)叫SimpleQA的考試。

如果你只看最終成績(jī)，也就是準(zhǔn)確率，你會(huì)發(fā)現(xiàn)一個(gè)很奇怪的現(xiàn)象。

o4-mini的分?jǐn)?shù)，居然比gpt-5-thinking-mini還高了那么一點(diǎn)點(diǎn)，24%對(duì)22%。

但如果我們?cè)賮?lái)看另一項(xiàng)數(shù)據(jù)：錯(cuò)誤率，也就是到底答錯(cuò)了多少題。

這一看，emmm，老o4-mini的錯(cuò)誤率，高達(dá)75%，gpt-5-thinking-mini只有26%。

再看最有趣的指標(biāo)，棄權(quán)率。

o4-mini幾乎把卷子寫滿了，只有1%的題沒(méi)答。

而gpt-5，有一大半的題，52%，都直接選擇了交白卷，老老實(shí)實(shí)地承認(rèn)，我不會(huì)。

o4-mini那看似稍高的分?jǐn)?shù)，是用海量的、不負(fù)責(zé)任的瞎蒙換來(lái)的。而gpt-5，則選擇了一種更誠(chéng)實(shí)，也更可靠的策略，就是寧愿不得分，也絕不胡說(shuō)。

這個(gè)數(shù)據(jù)，再清楚不過(guò)地證明了論文的觀點(diǎn)。

于是，幻覺(jué)，就成了AI在這種訓(xùn)練體系下，演化出的一種最高效的應(yīng)試策略，它其實(shí)不是bug，它是AI為了在我們?cè)O(shè)計(jì)的這場(chǎng)游戲里拿高分，進(jìn)化出的本能。

然后這篇論文， 從統(tǒng)計(jì)學(xué)的角度，又解釋了幻覺(jué)的根源，這塊我大概說(shuō)的淺顯易懂一些。

OpenAI定義了一個(gè) 叫Is-It-Valid (IIV)的分類問(wèn)題，也就是這句話對(duì)不對(duì)的二元分類。

因?yàn)?AI生成一句話，本質(zhì)上是一個(gè)極其復(fù)雜的過(guò)程。

但我們可以把這個(gè)問(wèn)題簡(jiǎn)化一下，在AI生成任何一句話之前，它必須先學(xué)會(huì)判斷，一句話是有效的還是無(wú)效的。

比如，你好是有效的，泥嚎就是無(wú)效的拼寫錯(cuò)誤；天空是藍(lán)色的是有效的，天空是綠色的就是無(wú)效的事實(shí)錯(cuò)誤。

AI的學(xué)習(xí)過(guò)程，就像是在看海量的、已經(jīng)貼好對(duì)或錯(cuò)標(biāo)簽的卡片。它看得越多，判斷力就越強(qiáng)。

但問(wèn)題是，總有一些卡片，是它沒(méi)見(jiàn)過(guò)的，或者見(jiàn)得很少的。

OpenAI有一個(gè)特別通俗的比喻，就是你給AI看幾百萬(wàn)張貓和狗的照片，并且都打上標(biāo)簽，它很快就能學(xué)會(huì)區(qū)分貓和狗，因?yàn)檫@背后有規(guī)律可循，畢竟貓臉和狗臉，它長(zhǎng)得就是不一樣。

但如果你給它看幾百萬(wàn)張寵物的照片，然后讓它去記每一只寵物的生日呢？

這就完蛋了，因?yàn)樯者@玩意，是完全隨機(jī)的，沒(méi)有任何規(guī)律可言。AI沒(méi)法通過(guò)分析一只貓的毛色，去推理出它的生日，它唯一能做的，就是死記硬背。

這就引出了論文里一個(gè)關(guān)鍵的概念：Singleton rate，孤例率。

意思就是，就是如果一個(gè)信息，在AI學(xué)習(xí)的海量數(shù)據(jù)里，只出現(xiàn)過(guò)一次，那么AI在判斷這個(gè)信息的真假時(shí)，就極有可能出錯(cuò)。

幻覺(jué)，很多時(shí)候，是一種必然。

OpenAI還給了一些反常識(shí)的結(jié)論：

第一，我們總覺(jué)得，只要AI的準(zhǔn)確率做到100%，幻覺(jué)不就自然消失了嗎？OpenAI說(shuō)，不可能。因?yàn)檫@個(gè)世界上，有太多問(wèn)題，本身就是無(wú)解的。信息是缺失的，邏輯是矛盾的，AI就算再?gòu)?qiáng)大，也不可能憑空變出答案。所以，準(zhǔn)確率永遠(yuǎn)不可能達(dá)到100%，幻覺(jué)也就總有存在的空間。

第二，我們又覺(jué)得，既然幻覺(jué)沒(méi)法根治，那它是不是就是AI的原罪，一個(gè)不可避免的詛咒？OpenAI說(shuō)，也不是。幻覺(jué)不是不可避免的，前提是，AI得學(xué)會(huì)認(rèn)慫。只要它在不確定的時(shí)候，選擇說(shuō)我不知道，而不是硬著頭皮瞎蒙，幻覺(jué)就可以被控制。

第三，我們還覺(jué)得，AI越大越聰明，就越不容易犯錯(cuò)。OpenAI說(shuō)，恰恰相反，有時(shí)候，小模型反而更誠(chéng)實(shí)。他們舉了個(gè)例子，你問(wèn)一個(gè)只會(huì)說(shuō)英語(yǔ)的小模型，一個(gè)毛利語(yǔ)的問(wèn)題，它會(huì)很干脆地告訴你，我不會(huì)。但你問(wèn)一個(gè)學(xué)了點(diǎn)毛利語(yǔ)但學(xué)得半生不熟的大模型，它反而要開(kāi)始糾結(jié)，要不要猜一下？知道自己的無(wú)知，有時(shí)候比擁有知識(shí)更重要。

最后，也是最關(guān)鍵的一點(diǎn)。我們以為，解決幻覺(jué)問(wèn)題，只需要一個(gè)更牛逼的、專門測(cè)試幻覺(jué)的工具就行了。OpenAI說(shuō)，這完全是沒(méi)吊用。真正的問(wèn)題，不是缺少一個(gè)好的幻覺(jué)測(cè)試，而是我們現(xiàn)在用的那幾百個(gè)主流評(píng)估的指標(biāo)，全都在獎(jiǎng)勵(lì)瞎蒙，懲罰誠(chéng)實(shí)。只要這個(gè)大環(huán)境不變，幻覺(jué)就永遠(yuǎn)是AI的最優(yōu)解。

現(xiàn)在，我們從OpenAI這里，知道了，幻覺(jué)，不是一個(gè)簡(jiǎn)單的技術(shù)問(wèn)題，它是一個(gè)系統(tǒng)性的、由我們自己親手造成的激勵(lì)問(wèn)題。

但它也引出了一個(gè)更讓我著迷的，沒(méi)有答案的，問(wèn)題。

如果說(shuō)，AI的幻覺(jué)，源于它在信息不足時(shí)的一種創(chuàng)造性猜測(cè)。那我們?nèi)祟惖南胂罅Γ覀兡切┨祚R行空的故事、藝術(shù)、神話，它們的起源，又是什么呢？

幻覺(jué)，真的需要解決嗎？

我想了很久，我覺(jué)得，也想跟大家，分享一下我自己的想法。

這事兒，我覺(jué)得得從更古老的尺度說(shuō)起。

幾十萬(wàn)年前，我們的祖先，智人，也生活在一個(gè)信息極度匱乏的世界里。

一陣突如其來(lái)的狂風(fēng)，吹倒了部落里的大樹，這是為什么？他們不知道。

一道閃電，劈開(kāi)夜空，點(diǎn)燃了草原，這又是什么？他們也不知道。

面對(duì)這些無(wú)法解釋的自然現(xiàn)象，他們的大腦，和今天的AI一樣，也面臨著一道道知識(shí)儲(chǔ)備不足的判斷題。

而我們的祖先，沒(méi)有選擇沉默。

他們也開(kāi)始了瞎蒙。

他們猜，狂風(fēng)的背后，是不是有一個(gè)憤怒的神明？他們猜，閃電的背后，是不是有一條飛舞在云端的巨龍？

你看，這就是神話的起源。

神話，就是我們?nèi)祟愡@個(gè)物種，在面對(duì)一個(gè)充滿未知和不確定性的世界時(shí)，為了給那些無(wú)法解釋的現(xiàn)象，尋找一個(gè)合理的解釋，而集體編造出來(lái)的、最古老、也最壯麗的。

幻覺(jué)。

這種幻覺(jué)能力，在當(dāng)時(shí)，可能并沒(méi)有什么實(shí)際的用處，它不能幫你打到更多的獵物，也不能幫你躲避更兇猛的野獸。

但它帶來(lái)了一樣?xùn)|西，一樣其他所有動(dòng)物，都不具備的東西：

一個(gè)共同的想象，一個(gè)共同的故事。

一只貓，一條魚，它們也會(huì)有幻覺(jué)嗎？

從生物學(xué)的角度，我覺(jué)得可能會(huì)。

一只貓，可能會(huì)把地上的影子，當(dāng)成一只老鼠，然后撲上去。一條魚，可能會(huì)把閃亮的魚鉤，當(dāng)成一條小蝦。這是一種基于感官信息的誤判，一種低級(jí)的、個(gè)體的幻覺(jué)。

但它們，永遠(yuǎn)也想象不出一個(gè)貓神或者魚神的故事。

因?yàn)樗鼈兊拇竽X，被牢牢地鎖死在了真實(shí)的世界里，它們只能處理那些看得見(jiàn)、摸得著的、和生存直接相關(guān)的信息。

而人類，可能是地球上唯一一個(gè)，能為了一個(gè)看不見(jiàn)摸不著的故事，去生，去死，去戰(zhàn)斗的物種。

我們能組織起幾千人，去建造一座金字塔，不是因?yàn)槲覀兠總€(gè)人都親眼見(jiàn)到了法老死后會(huì)變成神，而是因?yàn)槲覀兌枷嘈磐粋€(gè)法老會(huì)變成神的故事。

我們能建立起國(guó)家、法律、公司，這些看似堅(jiān)不可摧的龐然大物，它們的底層，全都是我們共同相信的一個(gè)個(gè)，幻覺(jué)。

從這個(gè)角度看，幻覺(jué)，或者說(shuō)，這種在信息不足時(shí)，進(jìn)行創(chuàng)造性猜測(cè)并將其故事化的能力，根本不是bug。

它是把我們從普通動(dòng)物，變成人類的那段詩(shī)句。

它是我們所有文明、所有藝術(shù)、所有科學(xué)的起點(diǎn)。

哥白尼提出日心說(shuō)，在當(dāng)時(shí)那個(gè)時(shí)代，不也是一種離經(jīng)叛道的幻覺(jué)嗎？愛(ài)因斯坦提出相對(duì)論，那個(gè)能讓時(shí)間變慢、空間彎曲的理論，不也是源于一個(gè)少年躺在草地上，幻想自己追著光跑的幻覺(jué)嗎？

我們之所以比其他所有生物都更強(qiáng)大，不是因?yàn)槲覀兏鹬厥聦?shí)。

恰恰相反，是因?yàn)槲覀兏瞄L(zhǎng)，創(chuàng)造那些超越事實(shí)的故事。

現(xiàn)在，我們?cè)倩仡^看AI的幻覺(jué)。

我們一直在努力修復(fù)的那個(gè)東西，可能恰恰是AI身上，最像人的東西。

我當(dāng)然不希望AI在一個(gè)嚴(yán)肅的醫(yī)療診斷里產(chǎn)生幻覺(jué)，我們也不希望它在一個(gè)關(guān)鍵的財(cái)務(wù)分析里胡說(shuō)八道，在這些需要絕對(duì)真實(shí)的領(lǐng)域，我們需要的是一個(gè)沒(méi)有感情、絕對(duì)可靠的工具。

但是，在一個(gè)需要?jiǎng)?chuàng)造力、需要想象力的領(lǐng)域呢？

當(dāng)我們要求AI去寫一首詩(shī)，去畫一幅畫，去構(gòu)思一個(gè)科幻故事時(shí)，我們真正想要的，難道不就是它那種，能掙脫事實(shí)的枷鎖，在信息的縫隙里，進(jìn)行自由聯(lián)想和創(chuàng)造性猜測(cè)的能力嗎？

在大量的討論中，幻覺(jué)一詞，好像一直是一個(gè)矛盾。

我們一邊渴望AI成為一個(gè)絕對(duì)忠誠(chéng)、絕對(duì)正確的工具，一個(gè)不會(huì)犯錯(cuò)的仆人，幫我們處理現(xiàn)實(shí)世界里所有需要精確計(jì)算的難題。

但我們又渴望它能成為一個(gè)能理解我們、甚至超越我們的同類。

我們希望它能和我們一起，去仰望星空，去聊那些沒(méi)有標(biāo)準(zhǔn)答案的話題，去共同編織那些屬于未來(lái)的、新的神話。

我們似乎在試圖創(chuàng)造一個(gè)不可能的物種：

一個(gè)既擁有機(jī)器的嚴(yán)謹(jǐn)，又擁有人類的浪漫，一個(gè)既能堅(jiān)守事實(shí)，又能創(chuàng)造幻覺(jué)的矛盾體。

我們生活在一個(gè)由數(shù)據(jù)和算法定義的前所未有的真實(shí)世界里，我們，也比歷史上任何一個(gè)時(shí)代的人，都更崇拜事實(shí)，更依賴邏輯。

但同時(shí)，我一直覺(jué)得，我們又可能，是歷史上最孤獨(dú)的一個(gè)時(shí)代。

我們的神話已經(jīng)遠(yuǎn)去，我們的史詩(shī)已經(jīng)譜完。

在這樣一個(gè)一切都被解釋得清清楚楚的世界里，我自己內(nèi)心那種最古老的、對(duì)故事的渴望，對(duì)意義的追尋，反而一直，變得空前強(qiáng)烈。

我到底想要一個(gè)什么樣的未來(lái)？一個(gè)所有問(wèn)題都有標(biāo)準(zhǔn)答案的、絕對(duì)真實(shí)、但可能也絕對(duì)無(wú)趣的未來(lái)？還是一個(gè)依然充滿了未知、充滿了誤讀、但因此也充滿了故事和想象力的未來(lái)？

這個(gè)問(wèn)題過(guò)于宏大了，我沒(méi)有答案。

但是我始終喜歡、并相信。

那個(gè)最美麗的，又創(chuàng)造了整個(gè)文明的。

幻覺(jué)。

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計(jì)費(fèi)，平均節(jié)省開(kāi)支30%以上！

掃碼了解詳情?

點(diǎn)「贊」的人都變好看了哦！