為什么大模型要騙你？

本文開(kāi)始前，「象先志」先問(wèn)大家三個(gè)問(wèn)題，大家可以一起思考下

1. 1. AI為什么要騙你？

2. 2. 幻覺(jué)是大語(yǔ)言模型的bug還是feature？

3. 3. 為什么AI總是一本正經(jīng)地胡說(shuō)八道？

OpenAI前段時(shí)間發(fā)了篇論文，題目叫 《Why language models hallucinate》，解釋為什么大語(yǔ)言模型會(huì)產(chǎn)生幻覺(jué)?！赶笙戎尽箷?huì)先介紹下論文內(nèi)容，然后「象先志」再聊聊對(duì)這個(gè)問(wèn)題一些不一樣的看法。

稍微有點(diǎn)硬核，希望大家耐心看到最后。這篇論文的基本結(jié)論，是大模型產(chǎn)生幻覺(jué)，原因是開(kāi)發(fā)人員在訓(xùn)練它的時(shí)候鼓勵(lì)它這么做。就是說(shuō)大模型天性是好的，是跟錯(cuò)了人，后面路才走歪的。

為什么這么說(shuō)呢？在訓(xùn)練大模型的時(shí)候，廠商內(nèi)部會(huì)跑很多的測(cè)試，來(lái)評(píng)價(jià)和校準(zhǔn)大模型的好壞。這些測(cè)試只看準(zhǔn)確率，不看錯(cuò)誤率，所以哪怕模型不知道答案是什么，它還是會(huì)傾向猜一個(gè)答案。就跟我們考試的時(shí)候，哪怕不會(huì)做，答題卡上也要涂滿(mǎn)是一個(gè)道理。

要解決這個(gè)問(wèn)題，那就對(duì)癥下藥嘛，論文作者呼吁大家要改變?cè)u(píng)測(cè)基準(zhǔn)，不要再搞那套基于準(zhǔn)確率的評(píng)估方法了，要鼓勵(lì)大模型承認(rèn)自己的無(wú)知，而不是一本正經(jīng)的瞎咧咧。

論文主要說(shuō)的就是這事，「象先志」想邏輯大家應(yīng)該很容易理解。坦白講，雖然說(shuō)論文是OpenAI發(fā)的，但「象先志」覺(jué)得沒(méi)有什么新東西。當(dāng)然OpenAI出來(lái)發(fā)有個(gè)好處，人家行業(yè)地位擺著這，出來(lái)吼兩嗓子，有助于從業(yè)者更快地認(rèn)識(shí)到問(wèn)題，然后去針對(duì)性地解決。

聊完論文，「象先志」再聊下對(duì)模型幻覺(jué)問(wèn)題的理解。「象先志」認(rèn)為語(yǔ)言模型本質(zhì)上沒(méi)有幻覺(jué)不幻覺(jué)的概念，它們只是基于已有的信息，去預(yù)測(cè)下一個(gè)token。你訓(xùn)練數(shù)據(jù)里是什么樣的概率分布，它就會(huì)盡量去擬合這個(gè)分布，僅此而已。不管你怎樣去調(diào)整模型評(píng)估的方式方法，它其實(shí)仍然是在迎合新的評(píng)價(jià)指標(biāo)。

比如說(shuō)，原來(lái)答錯(cuò)不扣分，現(xiàn)在答錯(cuò)要扣分，那模型肯定更謹(jǐn)慎，不確定的事實(shí)，不知道的答案，它就更多承認(rèn)自己不確定或者不知道。

但這樣還是存在兩個(gè)問(wèn)題。

第一，模型仍然是沒(méi)有事實(shí)和非事實(shí)的概念區(qū)分，它不是因?yàn)檫@個(gè)東西是幻覺(jué)，它才不輸出；它是因?yàn)檫@個(gè)輸出會(huì)扣分，它才不輸出。

這就引出了第二個(gè)問(wèn)題。按照這個(gè)理解角度，要減少模型的幻覺(jué)，就是要合理設(shè)置模型的評(píng)估模式，去盡可能引導(dǎo)模型的輸出跟人類(lèi)認(rèn)知上的事實(shí)陳述重合。

這顯然是一種治標(biāo)不治本的方式，因?yàn)槟Ｐ偷妮敵鼋Y(jié)果跟人類(lèi)認(rèn)為的事實(shí)是兩個(gè)語(yǔ)言集合，我們現(xiàn)在等于沒(méi)辦法，直接瞄準(zhǔn)后面這個(gè)集合做優(yōu)化，所以只能退而求其次，對(duì)前一個(gè)集合做間接的限制。

但這樣搞有多大效果？上限在哪里？都是不知道的。

打個(gè)比方吧。人發(fā)燒是因?yàn)樯眢w內(nèi)的免疫系統(tǒng)在劇烈反應(yīng)，這個(gè)反應(yīng)是有一個(gè)根本的誘發(fā)因素的，比如說(shuō)病毒感染。那現(xiàn)在要解決發(fā)燒的問(wèn)題，一種辦法是直接對(duì)病毒做處理，上一些抗病毒的藥物，病毒解決了，身體自然就不發(fā)燒了。

還有一種辦法是什么呢？就是把體溫當(dāng)做優(yōu)化指標(biāo)，用藥物把免疫反應(yīng)按下去，或者在頭上敷冰塊，反正要達(dá)到降體溫的目的。

現(xiàn)在OpenAI提的解決方案就類(lèi)似于后者。這個(gè)方法有沒(méi)有用？當(dāng)然有用，就像人如果一直發(fā)燒發(fā)高燒，腦子就燒壞掉了，先把體溫降下來(lái)、緩解癥狀，是治療步驟中必要的環(huán)節(jié)。

OpenAI新的GPT-5的確也比之前模型要好很多，幻覺(jué)癥狀有明顯的緩解。但這能不能解決根本問(wèn)題呢？我覺(jué)得很難，你最后還是需要找到發(fā)燒的原因才行。

只不過(guò)跟生病不一樣，人發(fā)燒是有客觀原因的，可能受限于醫(yī)學(xué)發(fā)展程度醫(yī)生找不到，但我們知道這個(gè)原因是客觀存在的。而語(yǔ)言模型的幻覺(jué)問(wèn)題有可能是與生俱來(lái)的，發(fā)燒就是它身體正常新陳代謝的一部分，你解決不了。沒(méi)那個(gè)能力，知道吧？

順便說(shuō)一句 ，剛才「象先志」又被AI給騙了?！赶笙戎尽乖?xún)問(wèn)柯潔獲得過(guò)幾個(gè)世界冠軍時(shí)，ChatGPT非常篤定地回答，“截止2025年9月，柯潔共獲得9個(gè)世界冠軍，還列出了是哪幾次以及哪一年?！?/strong>

本來(lái)以為是GPT語(yǔ)料被污染了，因?yàn)槟瓿鮈G杯決賽時(shí)柯潔因不服裁判棄賽，隨后把微博簽名改為“九冠王”。但「象先志」定睛一看，發(fā)現(xiàn)情況并沒(méi)有那么復(fù)雜，因?yàn)镃hatGPT回答里并沒(méi)有列出2025年的LG杯。

九冠的柯潔，只是它單純的幻覺(jué)。