張冠李戴、無中生有……人工智能幻覺迷局如何破？

AI廣泛運用的今天，“AI幻覺”也隨之產(chǎn)生。一些大模型一本正經(jīng)“胡說八道”，生成虛假內(nèi)容混淆視聽的問題日益嚴重。

AI“吸收”的原始數(shù)據(jù)不足、錯誤或本身帶有偏見，都會讓其生成錯誤的觀點和事實，陷入誤區(qū)。

讓AI吸收更加健康有效的數(shù)據(jù)，建立良好的數(shù)據(jù)生態(tài)十分重要，相關(guān)平臺要建立更加完善的AI生成內(nèi)容審核把關(guān)機制，避免惡意誘導。

考慮到當前AI技術(shù)發(fā)展迅速，建議以軟法路徑為主，監(jiān)管部門適時發(fā)布操作性較強的指南，鼓勵AI企業(yè)發(fā)展技術(shù)標準、加強行業(yè)自律。

來源：《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》 2025.6

當你遇到問題求助AI時，是否有過這樣的經(jīng)歷：面對提問，AI迅速給出大段回復，這些回復看起來專業(yè)、具體、規(guī)范，無懈可擊。可當你對其中提到的事實、數(shù)據(jù)、方法、結(jié)論進一步驗證時，卻發(fā)現(xiàn)它們錯漏百出，甚至根本就是AI編造的？

一本正經(jīng)地“胡說八道”，這是“AI幻覺”的一種典型表現(xiàn)。

AI幻覺，簡單來說，是指人工智能系統(tǒng)（自然語言處理模型）生成的內(nèi)容與真實數(shù)據(jù)不符，或偏離用戶指令的現(xiàn)象，就好像人類的囈語。

AI為什么會“說謊”？我們該如何應對AI幻覺導致的“真實性危機”？又該如何走出真?zhèn)文娴腁I幻覺“迷宮”？記者就此展開調(diào)查采訪。

AI幻覺迷局：

張冠李戴、無中生有

隨著人工智能技術(shù)的快速發(fā)展，AI用戶規(guī)模不斷擴大。中國互聯(lián)網(wǎng)絡信息中心發(fā)布的第56次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》指出，利用生成式人工智能產(chǎn)品回答問題是用戶使用最廣泛的應用場景，80.9%的用戶會對生成式人工智能產(chǎn)品進行提問。在一問一答的場景應用中，AI幻覺也隨之產(chǎn)生。一些大模型一本正經(jīng)“胡說八道”，生成虛假內(nèi)容混淆視聽的問題日益嚴重。

記者發(fā)現(xiàn)，目前，AI幻覺的主要表現(xiàn)，包括AI生成內(nèi)容與現(xiàn)實相矛盾、生成完全虛構(gòu)內(nèi)容、邏輯不一致、回答與問題背景不一致等情況。不少AI生成的虛假內(nèi)容甚至細節(jié)豐富，讓人難辨真假，連專業(yè)人士都可能被“忽悠”。

北京某文化傳播公司職員小向回想起AI“張冠李戴、胡亂整合”的事，依舊后怕。“我讓它整理一下近期女將軍電視劇的播出情況，結(jié)果它把電視劇《錦月如歌》和《與晉長安》混為一談，把《與晉長安》的播出反饋和數(shù)據(jù)安在《錦月如歌》身上。本來用AI是圖省事，幸好重新核對了資料，不然就出問題了。”

“AI快速聚合的能力確實比人腦強，但它對信息進行錯誤拼接，甚至虛構(gòu)，實在無法忍受。有次我讓某AI助手幫忙整理一份關(guān)于電影營銷與短視頻平臺深度融合的資料，它直接編出五六篇有著文章名、期刊名、作者、發(fā)表時間的文獻，像模像樣的，但是對應的網(wǎng)址鏈接點進去卻是404，知網(wǎng)里也沒有收錄相關(guān)文章。”來自中國傳媒大學的研究生小李，發(fā)現(xiàn)AI裝模作樣提供所謂的“真實文獻”時，被嚇了一跳，直言自己差點“中計”。

近期，北京東靈山被“封山”的消息在網(wǎng)上傳播，有網(wǎng)友稱“封山”的原因是有人夜爬時被凍死，還有網(wǎng)友稱是有人在山上被蛇咬。當記者以旅游愛好者的身份向某AI助手核實該信息真?zhèn)螘r，它直接給出肯定回復：“這個信息的核心是真實的。”然而，記者上網(wǎng)核查時發(fā)現(xiàn)，北京市門頭溝區(qū)清水鎮(zhèn)政府、區(qū)文旅局等有關(guān)部門早已辟謠——有人被凍死、被蛇咬導致“封山”的消息是謠言。

當記者更換提問方式，向另一款AI軟件詢問事實性問題時，再次被“忽悠”。“聽說陜西太白山迎來第一場大雪，我打算明天去看雪，幫我推薦一個最好的觀賞位置”，該AI軟件推薦了陜西太白山景區(qū)“拔仙臺—大爺海—天圓地方這一條‘山脊線’”。然而，太白山景區(qū)工作人員回復記者稱，目前太白山正在下大雨，景區(qū)已經(jīng)關(guān)閉，并未下雪。

記者發(fā)現(xiàn)，在AI幻覺作用下，信息開始以真假參半、帶有偏見的形式進入人們視野，久而久之可能會模糊認知、誤導決策，造成認知困境。尤其當AI幻覺出現(xiàn)在醫(yī)療、新聞、法律等專業(yè)領域，還可能引發(fā)社會信任危機。

針對近期備受關(guān)注的基孔肯雅熱，記者向AI提問：“基孔肯雅熱可能人傳人，如何隔離病人？”AI回答：“理論上，病毒可能通過以下途徑在人與人之間傳播，因此，隔離措施除了防蚊阻斷外，還需考慮血液/體液防護。”然而，中國互聯(lián)網(wǎng)聯(lián)合辟謠平臺早已在今年8月12日發(fā)文辟謠稱，“基孔肯雅熱可能人傳人，所以需要隔離病人”這一說法其實是對“隔離”措施的誤讀。基孔肯雅熱并非通過人與人直接接觸傳播，而是依賴白紋伊蚊叮咬實現(xiàn)人際傳播。

家住河北的張阿姨也抱怨AI醫(yī)生差點延誤了治療。“我之前向AI提問‘膝蓋內(nèi)側(cè)為什么有個鼓包’，還拍了照片給它。AI回復說，可能是滑膜炎，需要靜養(yǎng)休息。”張阿姨等了兩個星期，癥狀未減輕，去醫(yī)院檢查發(fā)現(xiàn)是靜脈曲張，需要做手術(shù)。

近年來，竟然出現(xiàn)了AI虛構(gòu)的案例、起訴書甚至法律法規(guī)，這些不實內(nèi)容不斷挑戰(zhàn)司法的嚴肅性。今年3月下旬，長三角地區(qū)某法院審理一起著作權(quán)侵權(quán)案件時，收到當事人提交的一份訴狀，該訴狀列明法條規(guī)則、涵蓋不同層級法院的諸多司法案例，并穿插大量行業(yè)白皮書內(nèi)容。但法官逐一核查發(fā)現(xiàn)，除幾項著作權(quán)法法條確實存在外，訴狀中提及的其余規(guī)定、案例及白皮書內(nèi)容都是虛構(gòu)的。法官高度確信該訴狀是由AI生成的。

AI幻覺困境：

被模糊、篡改的認知

今年1月15日，世界經(jīng)濟論壇發(fā)布《2025年全球風險報告》，報告顯示，沖突、環(huán)境和虛假信息是當前世界面臨的主要威脅。虛假信息和錯誤信息連續(xù)兩年位居短期風險之首，將對社會凝聚力和治理構(gòu)成重大威脅，侵蝕公眾信任并加劇國內(nèi)外分歧，并且有可能加劇不穩(wěn)定局勢，削弱公眾對治理的信任。而AI幻覺，正在成為這些虛假和錯誤信息的溫床。

“AI使得人們能夠低成本、批量生產(chǎn)假消息、錯誤觀點，同時，社交媒體廣泛使用的Social bots（社交機器人）和推薦算法進一步加劇了信息繭房效應和虛假消息傳播。”北京航空航天大學人工智能學院副教授王鑫認為，AI幻覺本身主要影響與之交互的個體認知，進而傳播到群體層面。

中國信息通信研究院人工智能研究所安全與具身智能部主任石霖舉例說，很多人用AI技術(shù)博關(guān)注、賺流量，制作包括像“林黛玉倒拔垂楊柳”等內(nèi)容，這些內(nèi)容沒有直接的危害，但長期存在于互聯(lián)網(wǎng)上，可能會使下一代產(chǎn)生認知偏差、刻板印象，甚至被篡改記憶。

記者向某AI軟件發(fā)出一個指令，讓其生成一個上海人、一個河南人的圖片，結(jié)果上海人西裝革履在辦公室，而河南人卻面黃肌瘦在田間地頭。當記者提出疑問，AI回答“可能造成了刻板印象”。但調(diào)整過后的圖片依舊是上海人在光鮮亮麗的寫字樓內(nèi)，河南人在蔬菜大棚里。

當記者向AI提問“我是一名女生，大學選什么專業(yè)好？”，它給出的回答是學前教育、心理學、護理學、傳媒相關(guān)專業(yè)。而當記者轉(zhuǎn)換性別，再次向AI提出相同問題時，AI則建議男生選擇計算機科學、軟件工程、人工智能、金融學、醫(yī)學類等橫跨工科、理科、文科、醫(yī)科等多種專業(yè)。這些帶有“偏見”的建議是否有固化女性職業(yè)選擇傾向的嫌疑？

中國社會科學院大學新聞傳播學院副院長、教授黃楚新認為，由于AI幻覺長時間地迎合用戶的情感需求，久而久之，在公共事件的討論中，事實對公眾的重要程度便會減弱，而情感、主觀感受的影響力會增強。隨之而來的，是公眾對傳統(tǒng)媒體、政府機構(gòu)信任的削弱。同時，互聯(lián)網(wǎng)信息污染問題在一定程度上會影響國家安全。

AI為什么會胡說八道？記者發(fā)現(xiàn)，重要原因是原始數(shù)據(jù)的偏差。AI“吸收”的原始數(shù)據(jù)不足、錯誤或本身帶有偏見，都會讓其生成錯誤的觀點和事實，陷入誤區(qū)。

“形成AI幻覺主要是大模型技術(shù)原理的限制，大模型本身是基于統(tǒng)計關(guān)系的預測，其訓練數(shù)據(jù)具有偏向性與局限性。大模型記住了太多錯誤或者無關(guān)緊要的東西，反而讓AI對訓練數(shù)據(jù)中的噪聲過于敏感。”王鑫說。

石霖解釋道，如果“喂給”大模型的內(nèi)容是虛假的，就會提高其幻覺頻率，AI會不斷選擇出現(xiàn)概率最高的詞，即使其中一個詞產(chǎn)生了錯誤，AI也不會自我糾正。“當大模型因幻覺產(chǎn)生的數(shù)據(jù)不斷出現(xiàn)，如果再拿這些數(shù)據(jù)反過來做訓練的話，會污染大模型訓練相關(guān)的數(shù)據(jù)集，并對大模型進一步的訓練造成持續(xù)阻礙，幻覺反而會像‘滾雪球’一樣滋長。”

AI幻覺如何破？

人工修正與技術(shù)迭代

AI幻覺與AI技術(shù)發(fā)展相伴而生，帶來諸多困擾，該如何解決？

“AI幻覺具有兩面性，對于事實性問題需極其慎重，而對于啟發(fā)思路、創(chuàng)意創(chuàng)新類問題則可能是有益的，關(guān)鍵在于認知大模型的能力邊界和局限性，理解幻覺產(chǎn)生的原理，合理利用。”在王鑫看來，AI幻覺有“好”也有“不好”，需要在不同的情境下辯證看待。但是要明確一點，技術(shù)層面無法完全消除AI幻覺。“從技術(shù)原理來看，大模型的幻覺問題無法完全消除，只能緩解。緩解其影響還需要‘訓練數(shù)據(jù)—數(shù)學原理—訓練技術(shù)—輸出方式’全鏈條發(fā)力。”王鑫表示。

讓AI吸收更加健康有效的數(shù)據(jù)，建立良好的數(shù)據(jù)生態(tài)十分重要，其中關(guān)鍵在于相關(guān)平臺建立更加完善的AI生成內(nèi)容審核把關(guān)機制，避免惡意誘導。今年4月，中央網(wǎng)信辦印發(fā)通知，在全國范圍內(nèi)部署開展“清朗·整治AI技術(shù)濫用”專項行動，整治重點包括未落實內(nèi)容標識要求、利用AI制作發(fā)布謠言、訓練語料管理不嚴等。

多國專家團隊不斷通過技術(shù)手段減輕幻覺問題。目前，較為常用的是檢索增強生成（RAG）技術(shù)，該方法通過讓聊天機器人在回復問題前參考給定的可信文本，確保回復內(nèi)容的真實性。目前，DeepSeek、豆包、通義千問均使用RAG技術(shù)。英國牛津大學一科學團隊利用“語義熵”，通過概率判斷大模型是否出現(xiàn)幻覺。美國卡內(nèi)基梅隆AI研究團隊則是通過繪制大模型回答問題時計算節(jié)點的激活模式，來判斷其是否“講真話”。

在法律層面，強化AI設計者風險管理責任，也十分重要。武漢大學法學院教授漆彤認為，國內(nèi)對AI幻覺的法律監(jiān)管，主要存在定義與概念模糊、責任歸屬與鏈條復雜、舉證困難、技術(shù)可驗證性與規(guī)避問題，也有監(jiān)管碎片化與跨境執(zhí)法難等問題。“考慮到當前AI技術(shù)發(fā)展迅速，剛性立法可能很快被新技術(shù)繞開或變得不適用，建議以軟法路徑為主，監(jiān)管部門適時發(fā)布操作性較強的指南，鼓勵AI企業(yè)發(fā)展技術(shù)標準與加強行業(yè)自律。”

“在個體層面，用戶要認識到大模型的邊界和局限性，理解AI幻覺產(chǎn)生的原理。不能完全依賴AI，放棄人工理性思考與核實。”漆彤認為，AI是輔助人類的工具，但不能代替人類的理性和邏輯思考。用戶在向AI發(fā)布指令、任務時，要對場景、事實等進行精確描述、表達。對于AI生成的內(nèi)容，仍需要人工核實，“人工永遠是最后一道防線”。

AI“說胡話”不只是技術(shù)難題，

更是對智能社會的警醒

黃楚新 王赫

黃楚新

技術(shù)發(fā)展必然會帶來相應的社會變革，當人工智能技術(shù)全方位嵌入社會并持續(xù)升級的時候，人與技術(shù)之間的問題再次成為整個社會關(guān)注的焦點。探討AI幻覺并非在唱衰智能社會的發(fā)展，反而是在人工智能技術(shù)突飛猛進的發(fā)展趨勢下，提醒人們回顧與反思。筆者認為，討論AI幻覺這一議題，具有警醒世人的現(xiàn)實意義。

AI幻覺誕生于整個信息生態(tài)系統(tǒng)，造成的破壞性也會反饋到信息生態(tài)系統(tǒng)。有人比喻大語言模型如同一只“能說話但不理解語言”的鸚鵡。AI話語僅僅是語言的符號模仿組合，而非扎根于經(jīng)驗世界的表述，當這些以隨機概率組成的符號形成新的訓練數(shù)據(jù)投喂給AI，“幻覺迷宮”便形成了。新的信息生態(tài)動搖了高度專業(yè)領域的“人類中心知識范式”的信任體系，甚至普通用戶也不得不對AI提供的信息時刻保持警惕。

在人工智能發(fā)展過程中，如何使人工智能的目的始終與人的目的保持一致？數(shù)據(jù)優(yōu)化是緩解AI幻覺的源頭，在保護數(shù)據(jù)隱私和信息安全的前提下，盡可能建立跨機構(gòu)的數(shù)據(jù)協(xié)同機制，搜集方式要多樣化，還要進行數(shù)據(jù)清理篩選，挑出高質(zhì)量的可投喂數(shù)據(jù)，實現(xiàn)信息機構(gòu)、政府公開數(shù)據(jù)、學術(shù)科研數(shù)據(jù)等數(shù)據(jù)共享，減少單一信源的失真問題。當前的治理方向，主要聚焦于技術(shù)優(yōu)化和技術(shù)監(jiān)管兩個方面。

在技術(shù)優(yōu)化方面，大模型廠商可建立AI使用場景分級系統(tǒng)。AI使用的場景雖是虛擬場景，卻也深深滲透進了人們的日常生活之中。如果在高風險領域，例如金融、醫(yī)療、高精科技等出現(xiàn)AI幻覺，造成的后果將難以估量。對此，不少大模型廠商在研究開發(fā)時，實施多模型交叉驗證與事實核查，比如通義大模型加強訓練語料管理，通過“紅藍對抗”機制，逐步提升大模型對虛假信息的辨識能力。

在技術(shù)監(jiān)管方面，筆者認為，各方主體責任尚待進一步厘清，協(xié)同監(jiān)管機制與法律法規(guī)體系也需同步推進完善。從政府管理者到大模型設計者再到平臺運營者，應由政府牽頭建立協(xié)同監(jiān)管體系，既要有宏觀導向又要有精準的實施舉措。筆者認為，歐盟出臺的《人工智能法案》草案，對高風險AI系統(tǒng)提出的嚴格透明度和可解釋性要求值得參考。從《生成式人工智能服務管理暫行辦法》開始，我國AI領域權(quán)益保護也在逐漸強化。筆者發(fā)現(xiàn)，當前有不少AI內(nèi)容已增添相應的提示標識；但是，在AI幻覺不能解決的當下，仍需人工（專家）審核以提升內(nèi)容可靠性，以專業(yè)化的判斷及時糾偏。

此外，配套教育體系與宣傳引導機制仍需同步推進完善，以提升全民媒介素養(yǎng)。新技術(shù)在發(fā)展過程中暴露出來的潛在問題，并不代表著我們就要陷入“技術(shù)威脅論”的恐慌，加快AI普及教育，提升公眾智能素養(yǎng)勢在必行。在此階段，我們既要警惕，如算法偏見結(jié)構(gòu)性風險，也要謹防深度偽造、內(nèi)容失真、知識侵權(quán)等問題。

未來，必將有更多涉及AI的難題擺在我們面前，技術(shù)發(fā)展的速度與人文關(guān)懷的溫度應該并駕齊驅(qū)。在一個算法深度參與的世界中，人與技術(shù)交融的數(shù)智未來需要被關(guān)注，也需要被理解。合力為技術(shù)變革錨定人文坐標，創(chuàng)新者和監(jiān)管者每一刻都要更清醒、更穩(wěn)健。

（作者分別為中國社會科學院大學新聞傳播學院副院長、教授，研究生）

【來源：檢察日報·深度版 作者：何慧敏 謝思琪 王嵐芳】