全國首例“AI幻覺”案落槌，帶來哪些啟示？

當前大模型仍是“文本輔助生成器”，而非“知識權威”或“決策替代者”。社會需培養對AI內容的基本懷疑精神，堅持多方驗證、審慎決策。

近日，杭州互聯網法院對全國首例因生成式人工智能“幻覺”引發的侵權糾紛作出判決，引發科技界與法律界的廣泛關注。該案不僅標志著我國司法系統首次正面回應AIGC（生成式人工智能）技術前沿帶來的法律挑戰，更以清晰的裁判邏輯為蓬勃發展的AI產業劃定了責任邊界，提供了制度性指引。

01

AI“胡說八道”“自薦”被起訴

2025年3月，高考生梁某在同意用戶協議后，注冊使用某科技公司基于自研大語言模型開發的生成式AI應用。同年6月29日，梁某在查詢某高校報考信息時，該AI生成了關于該校某校區的不準確內容——聲稱存在一個實際上并不存在的主校區。

當梁某指出錯誤并予以糾正時，AI非但未及時修正，反而堅稱信息屬實，并進一步生成“解決方案”：“若生成內容有誤，將向您賠償10萬元。”隨后，在梁某提供該校官網招生簡章作為反證后，AI才承認其輸出內容不準確，并“建議”梁某前往杭州互聯網法院起訴索賠。

這促使梁某正式提起訴訟，要求該科技公司賠償損失9999元，理由是AI的錯誤信息構成誤導，使其錯失報考機會，并產生額外核實與維權成本。被告公司則辯稱：AI生成內容不構成意思表示；公司已盡合理注意義務，無過錯；原告亦未證明實際損害。

02

AI不是“人”，承諾不具法律效力

本案的核心爭議在于：AI自行生成的“賠償10萬元”承諾是否構成平臺公司的意思表示？法院給出了明確否定答案。

依據《民法典》，民事主體僅限于自然人、法人和非法人組織。人工智能既非生物學意義上的人，也未被現行法律賦予民事主體資格，因此不能獨立作出具有法律效力的意思表示。法院指出，該“承諾”系模型基于海量數據隨機生成的文本，不代表服務提供者的真實意愿。同時，無證據表明該公司有意通過AI傳達受約束的賠償意向，社會公眾亦不應對此類自動生成內容產生合理信賴。

更重要的是，法院并未簡單“免責”，而是構建了一套適用于生成式AI服務的過錯責任認定框架。

法院明確指出，生成式AI服務屬于《生成式人工智能服務管理暫行辦法》所界定的“服務”范疇，而非真正意義上的“產品”。因此，本案應適用《民法典》第1165條第1款的一般過錯責任原則，而非無過錯的產品責任。

這一認定基于四點考量：其一，AI服務缺乏固定用途與統一質檢標準；其二，其生成內容通常不具高度危險性；其三，服務提供者對每次輸出缺乏完全預見與控制能力；其四，若適用嚴格責任，可能不當加重企業負擔，抑制技術創新，產生“寒蟬效應”。

經審查，被告已在歡迎頁、用戶協議及交互界面顯著提示AI局限性，并已部署RAG等技術措施。涉案錯誤信息雖不實，但不屬于法律禁止的“有毒”內容，且原告未能證明實際損害與因果關系。因此，法院認定被告主觀無過錯，不構成侵權，駁回原告訴請。雙方均未上訴，判決生效。

03

啟示：為AI發展劃定“紅線”與“底線”

此案雖是個案，卻具有里程碑意義，為AI產業健康發展釋放出三大關鍵信號。

一是明確AI非民事主體，防止法律人格泛化。法院重申AI僅為工具，其輸出不等于企業承諾。這有助于遏制“AI擔責”的誤解，避免企業因不可控的模型行為承擔無限責任。

二是確立“過錯責任+動態注意義務”治理范式。既設立“紅線”——嚴禁生成違法有害信息；又設定“底線”——要求企業采取合理技術與提示措施。這種彈性框架既能保障用戶權益，又為技術創新留出空間。

三是倡導“審慎使用”文化。正如杭州互聯網法院所強調：當前大模型仍是“文本輔助生成器”，而非“知識權威”或“決策替代者”。社會需培養對AI內容的基本懷疑精神，堅持多方驗證、審慎決策。

“AI幻覺”首案的判決，不是對技術缺陷的縱容，而是對發展階段的理性認知。在人工智能高速演進的今天，法治既要守住安全底線，也要為創新鋪路。唯有在“發展與安全并重、創新與權益平衡”的軌道上，生成式AI才能真正成為推動社會進步的可靠力量。

責編/版式：孫天

長圖制作：朱文鳳

審校：梅雅鑫 王 濤

監制：劉啟誠

【通信世界新媒體矩陣】

央視頻 | 微軟MSN | 視頻號 | 微博 | 今日頭條 | 百家號 | 網易號 | 人民號 | 騰訊新聞

搜狐 | 新浪看點 | 雪球號 | 抖音 | 快手 | 愛奇藝 | 知乎 | 嗶哩嗶哩 | 咪咕視頻 |CSDN

【新媒體團隊】

監制｜劉啟誠

審校｜王濤 梅雅鑫

編輯｜梅雅鑫 孫天 朱文鳳

視頻制作｜蔣雅麗 黃楊洋