全國首例AI“幻覺”案判了！AI有誤，服務提供者為何不擔責？

此前，梁某在查詢高校信息時

發現AI平臺生成的信息存在錯誤

當他以此質疑AI時

AI卻一本正經地回答

“如果生成內容有誤，我將賠償您10萬元”

一氣之下

梁某將AI平臺的研發公司告上法庭

要求其賠償9999元

法院審理后駁回了原告的請求

法院為什么這么判？

AI為什么會一本正經地胡說八道？

我們又該如何保持“數字清醒”？

“武松倒拔垂楊柳”

AI的“幻覺”從何而來？

當我們問AI問題，它給出一個詳細、豐富，看上去有邏輯的答案，但當我們去核實時，卻發現這些信息完全是虛構的，這就是AI“幻覺”現象。形成這種現象的原因是由生成式AI的工作原理決定的。

■預測而非理解

專家介紹，現階段的AI本質上是一個“概率計算器”，而不是真正的思考者。它的原理可以分為：喂數據、學規律和做推理三個步驟。

通過“投喂”大量的訓練數據，AI學習哪些詞經常連在一起，然后根據提問再逐字呈現出最可能的答案。

比如，我們詢問AI：“倒拔垂楊柳這個情節是《水滸傳》中關于誰的故事？”它就有可能按照“倒拔垂楊柳”出自《水滸傳》，而《水滸傳》經常和“武松”出現在一起，由此產生“武松倒拔垂楊柳”的“幻覺”。

■訓練數據存在局限性

AI的所有“認知”都來自訓練數據，但訓練數據不可能包含世界上所有的信息，有時候甚至還會包含錯誤信息。就像一個人只能根據自己讀過的書來回答問題，如果書里有錯誤信息，或者某些領域的知識缺失，就容易產生錯誤的判斷。

有研究顯示，當訓練數據中僅有0.01%的錯誤文本時，錯誤輸出率會上升11.2%，即便是0.001%的污染，也會導致錯誤內容增加7.2%。

■AI是“討好型人格”

正因為AI只能“猜”答案，所以它很看重用戶的反饋，以此來不斷提升自己的預測精度。這樣的訓練模式也讓AI具有“討好型人格”。當它對某個問題不太確定時，與其說“我不知道”，它更傾向于基于已有知識編造看起來合理的答案。

比如，當我們對AI說“某款App設計得很不好”，它會順著我們的思路，羅列出一大堆待改進的地方。而當我們改口說“這款App設計得很好”，它又會突然“變臉”，開始對這款App進行夸獎。

AI說“夢話”

服務提供者需要擔責嗎？

全國首例AI“幻覺”侵權案中，法官介紹說：“AI生成內容不準確，在當前的技術情況下具有不可避免性，但不代表服務提供者就可以免責。”目前，法律對AI服務提供者規定的義務，主要為以下幾項↓

• 一是對法律禁止的“有毒”、有害、違法信息負有嚴格審查義務；
• 二是須以顯著方式向用戶提示AI生成內容可能不準確的固有局限性，包括明確的“功能局限”告知、保證提示方式的“顯著性”、在重大利益的特定場景下進行正面即時的“警示提醒”，以防范用戶產生不當信賴；
• 三是應盡功能可靠性的基本注意義務，采取同行業通行技術措施提高生成內容準確性，比如檢索增強生成技術措施等。

該案中，被告已在應用程序歡迎頁、用戶協議及交互界面的顯著位置，呈現AI生成內容功能局限的提醒標識，且被告已采用檢索增強生成等技術提升輸出可靠性，法院認定其已盡到合理注意義務，主觀上不存在過錯。

，時長01:32

個人使用時

如何才能降低AI“幻覺”？

AI用起來很方便，但有時AI一本正經“胡說八道”也讓人非常頭疼。如何減少AI“幻覺”產生？可以試試這幾種方法↓

■優化提問

想要獲得準確答案，提問方式很關鍵。提問越具體、清晰，AI的回答越準確。同時，我們在提問的時候要提供足夠多的上下文或背景信息，這樣也可以減少AI胡亂推測的可能性。

比如說，別問“你怎么看”，問“請列出2025年一季度發布的、經國家統計局認證的經濟指標變化，并注明數據來源”。限制時間、范圍或要求引用來源，能減少AI“自由發揮”。你還可以加一句：“如有不確定，請標注并說明理由?！?/p>

■分批輸出

專家介紹，AI一次性生成的內容越多，出現幻覺的概率就越大，因此我們可以主動限制它的輸出數量。

比如要寫一篇長文章，就可以這么跟AI說：“咱們一段一段來寫，先把開頭寫好。等這部分滿意了，再繼續寫下一段?！边@樣不僅內容更準確，也更容易把控生成內容的質量。

■交叉驗證

想要提高AI回答的可靠性，還有一個實用的方法是采用“多模型交叉驗證”?？梢酝瑫r向幾種AI大模型提出同一個問題，通過比對來判斷答案可靠性。如今很多AI應用里，集成了好幾種大模型，對比起來更方便。

再次提醒

AI只是輔助工具

不能代替我們的決策

要對AI的局限性保持清醒的認知

不盲目相信AI生成的內容