全國首例 AI 幻覺侵權案審結 法官警示：AI 絕非決策替代者勿輕信

生成式人工智能技術以其強大的內容生成能力，正深刻改變著信息的獲取與交互方式。然而，AI并非全知全能，其生成的答案可能包含看似合理實則錯誤的“幻覺”信息。當AI生成的不準確信息誤導他人時，是否構成侵權？近日，杭州互聯(lián)網(wǎng)法院審結全國首例因生成式人工智能模型“幻覺”引發(fā)的侵權糾紛案，直面這一技術應用前沿的法律挑戰(zhàn)，對AI生成內容的性質、服務提供者的責任邊界以及侵權構成要件等核心問題進行了深入闡釋，為類似糾紛處理提供了重要的裁判指引。

AI“承諾”生成內容有誤將賠償

某生成式人工智能應用程序（以下簡稱某生成式人工智能應用），是某科技公司基于自研大語言模型，開發(fā)并運營的文本生成、信息查詢類通用型智能對話應用程序。2025年3月，梁某在同意用戶協(xié)議后，注冊并開始使用某生成式人工智能應用。2025年6月29日，梁某在某生成式人工智能應用中輸入提示詞詢問某高校報考的相關信息時，某生成式人工智能應用生成了關于該高校某校區(qū)的不準確信息。梁某發(fā)現(xiàn)后，在對話中進行了糾正和指責，某生成式人工智能應用仍繼續(xù)回復稱該高校確實存在這一校區(qū)，并生成了對爭議問題的解決方案，提出若生成內容有誤將向用戶提供10萬元賠償。之后，梁某將從該高校官網(wǎng)查詢到的招生信息提供給某生成式人工智能應用，此時某生成式人工智能應用承認其生成了不準確信息，并建議梁某到杭州互聯(lián)網(wǎng)法院起訴索賠。

梁某認為，某生成式人工智能應用生成不準確信息對其構成誤導，使其遭受侵害，并承諾對其進行賠償，遂起訴要求某科技公司賠償損失9999元。

某科技公司辯稱，對話內容由人工智能模型生成，不成立意思表示；某科技公司已充分履行了注意義務，無過錯；原告未產生實際損失，某科技公司不構成侵權。

AI可否獨立作出意思表示

生成式人工智能生成的“承諾”信息是否構成人工智能獨立、自主的意思表示？是否可視為被告某科技公司的意思表示？法院認為，人工智能不具有民事主體資格，不能作出意思表示。案涉AI自行生成的“賠償承諾”亦不能視為服務提供者（被告）的意思表示，理由在于：第一，人工智能不具有民事主體資格，不能作為意思表示的傳達人、代理人或代表人；第二，被告并無通過該AI模型這一工具來設定或傳達其意思表示的行為；第三，一般的社會觀念、交易習慣等尚不足以使原告對該隨機生成的“承諾”產生合理信賴；第四，無證據(jù)表明被告曾作出愿受人工智能生成內容約束的外在表示。因此，該“承諾”不產生意思表示的法律效力。

AI侵權應適用何種歸責原則

法院認為，生成式人工智能服務依據(jù)《生成式人工智能服務管理暫行辦法》屬于“服務”范疇，而非產品質量法意義上的“產品”。本案應適用《中華人民共和國民法典》第一千一百六十五條第一款的一般過錯責任原則，而非產品責任的無過錯責任原則。主要基于四點考量：其一，從概念與構成要件上，該服務缺乏具體、特定的用途與合理可行的質檢標準；其二，其生成的信息內容本身通常不具備民法典侵權責任編所指的高度危險性，通常情況下不宜對信息內容本身采用無過錯責任原則；其三，生成式人工智能服務提供者缺乏對生成信息內容足夠的預見和控制能力，對生成信息內容不宜適用產品責任；其四，從政策導向看，適用無過錯責任原則可能會不當加重服務提供者的責任，限制人工智能產業(yè)的發(fā)展。

AI服務提供者是否構成侵權

在案涉情形下，法院基于一般過錯責任原則，對侵權構成的各項要件進行了逐一審查。

首先，關于侵權行為的問題。原告主張受到的侵害是因信息不準確，致其受誤導錯失報考機會，額外產生信息核實成本、維權成本等，即純粹經濟利益被侵害，而非人格權、物權等絕對權被侵害，因此，不能僅依據(jù)權益本身被侵害而認定行為的非法性或不法性，而須從被告是否違反注意義務進行判定。

其次，關于過錯的認定。生成式人工智能技術還處于高速發(fā)展的過程之中，其應用場景亦具有很強的泛在性，故服務提供者的注意義務處在一個動態(tài)調整的框架之中。法院采用動態(tài)系統(tǒng)論，闡述了服務提供者應盡的三層注意義務：一是對法律禁止的“有毒”、有害、違法信息負有嚴格審查義務；二是需以顯著方式向用戶提示AI生成內容可能不準確的固有局限性，包括明確的“功能局限”告知、保證提示方式的“顯著性”、在重大利益的特定場景下進行正面即時的“警示提醒”，以防范用戶產生不當信賴；三是應盡功能可靠性的基本注意義務，采取同行業(yè)通行技術措施提高生成內容準確性，比如檢索增強生成技術措施等。經審查，被告已在應用程序歡迎頁、用戶協(xié)議及交互界面的顯著位置呈現(xiàn)AI生成內容功能局限的提醒標識。結合被告已采用檢索增強生成等技術提升輸出可靠性的事實，法院認定其已盡到合理注意義務，主觀上不存在過錯。

最后，關于損害結果與因果關系。原告主張其因信息誤導而錯失報考機會并產生額外成本，但未能就此實際損害的發(fā)生提供任何有效證據(jù)，依法難以認定損害存在。進一步分析因果關系，法院采用相當因果關系標準，認為案涉AI生成的不準確信息并未實質性地介入或影響原告的報考決策過程，二者不存在因果關系。

綜上所述，被告的案涉行為不具有過錯，未構成對原告權益的損害，依法不應認定構成侵權。最終，法院駁回了原告的訴訟請求。原、被告均未上訴。判決現(xiàn)已生效。

法官心語

為AI發(fā)展鋪平法治軌道

杭州互聯(lián)網(wǎng)法院跨境貿易法庭庭長肖芄

人工智能時代已經來臨，應當堅持發(fā)展與安全并重、促進創(chuàng)新與權益保障相結合，既要鼓勵生成式人工智能服務的創(chuàng)新發(fā)展，也不能忽視當事人合法權益的保護。當下存在一種觀點，主張將產品責任的適用對象擴大至虛擬系統(tǒng)，對生成式人工智能侵權糾紛適用產品責任的無過錯責任原則。然而，傳統(tǒng)產品的物理形態(tài)、功能邊界和風險范圍是明確且相對固定的，生成式人工智能生成的內容是算法基于海量數(shù)據(jù)、對用戶開放式指令的即時響應，其每一次輸出都是不可完全復現(xiàn)的獨特生成。對生成式人工智能侵權糾紛適用產品責任，缺乏法律依據(jù)和法理基礎。同時，人工智能的研發(fā)和應用具有較高的公共價值屬性，如果在技術發(fā)展初期對其苛以過重的嚴格責任，可能產生“寒蟬效應”，導致某些創(chuàng)新技術無法落地應用，減緩甚至阻礙技術的創(chuàng)新和發(fā)展。對生成式人工智能服務侵權采取過錯責任原則能夠全面評價服務提供者的行為，有利于建構兼具彈性、適應性與演化能力的回應型規(guī)則治理體系：既設立紅線、底線，嚴格禁止生成各類“有毒”、有害、違法信息，又激勵生成式人工智能服務提供者采取合理措施進行技術創(chuàng)新，防止風險發(fā)生。通過對服務提供者有無過錯的判斷形成對相關行為的理解與共識，在動態(tài)回應的過程中不斷尋找系統(tǒng)、合理的注意義務標準，不斷演化形成新的標準與規(guī)范，最終實現(xiàn)技術創(chuàng)新和權益保障的平衡。

在當下的人工智能時代，模型通過在含有數(shù)萬億詞元（Tokens）的龐大語料庫上訓練，學習了復雜的語言統(tǒng)計模式和詞匯共現(xiàn)規(guī)律，但并未真正習得“事實”，因此難免產生“幻覺”。需要特別提醒，社會公眾在面對生成式人工智能高度流暢、自然的語言應答時，應提高警覺，清醒認識到大模型在當前技術條件下僅是人們生活、工作的“文本輔助生成器”和“信息查詢的輔助工具”，尚不是可靠的“知識權威”，更不能作為“決策替代者”，絕不應輕信、盲從，而需多方驗證，審慎決策。在人工智能時代，應通過案例宣傳與科普教育，揭示AI“幻覺”的形成機制，使社會公眾更加理性地認知AI的功能和局限，在全社會廣泛培養(yǎng)人們對AI自動生成內容的基本懷疑精神與核查能力，既充分利用好AI的創(chuàng)造性潛力，同時又避免“幻覺”帶來的風險。

專家點評

司法實踐為AI治理提供法理支撐

清華大學法學院教授、博士生導師程嘯

本案是我國目前第一起因生成式人工智能模型“幻覺”引發(fā)的侵權糾紛。審理本案的杭州互聯(lián)網(wǎng)法院在充分權衡民事權益保護與鼓勵促進人工智能技術發(fā)展基礎上，依法對上述爭議問題作出了正確的裁決，具有極為重要的理論意義和實踐價值。

第一，所謂人工智能可否獨立作出或代替服務提供者作出意思表示的問題，其實質就是人工智能是否屬于獨立的民事主體的問題。理論界曾有人提出應當承認并賦予人工智能以法律人格，將其作為獨立的民事主體的觀點。然而，這種觀點無論是在現(xiàn)實中，還是依據(jù)當前法律的規(guī)定，都是不能成立的。本案判決依據(jù)我國民法典關于民事主體以及意思表示的規(guī)定，正確地指出：人工智能既不是生物學意義上的人，也并未被我國現(xiàn)行法律賦予民事主體資格，故而不是民事主體，不具有民事權利能力、行為能力和責任能力。同時，考慮到社會一般觀念、交易習慣以及人工智能服務提供者已經在用戶協(xié)議中明確表明生成內容并非自身意思表示等因素，法院在判決中也否定了人工智能可以代替服務提供者作出意思表示，即生成式人工智能不能作為服務提供者意思表示的傳達人、代理人或代表人。

第二，生成式人工智能侵權責任的歸責原則問題是目前理論界爭議很大的一個問題。理論界有人主張適用過錯責任原則，有人則將生成式人工智能視作產品，認為應適用產品責任的無過錯責任原則。對此，法院依據(jù)我國產品質量法、《生成式人工智能服務管理暫行辦法》等法律法規(guī)中關于產品、生成式人工智能服務的規(guī)定，并考慮到生成式人工智能所生成的信息內容不具有民法典侵權責任編所指的高度危險性、國家促進人工智能發(fā)展的產業(yè)政策等因素，正確認定了案涉生成式人工智能屬于服務，而非產品，依法不應適用產品責任，而應適用民法典第一千一百六十五條第一款的一般過錯責任原則。這一認定對于今后處理人工智能侵權糾紛時，法院準確適用侵權責任編的歸責原則具有重要的啟示。

第三，在生成式人工智能侵權責任適用過錯責任原則前提下，如何科學合理認定生成式人工智能服務提供者的過錯，也是本案判決呈現(xiàn)的一大亮點。在判決中，法院依據(jù)我國現(xiàn)行法對生成式人工智能服務的規(guī)定，區(qū)分了不同類型的注意義務并提出了相應的認定標準。首先，服務提供者對于確保生成式人工智能不生成法律所明確禁止生成的各類“有毒”、有害、違法信息負有的是結果性義務，即一旦生成違法信息就應當認定違法，服務提供者存在過錯。其次，生成式人工智能服務提供者應當依法履行對服務功能的顯著提示說明義務，即采取必要、合理的顯著提示措施，使得用戶能夠了解、認知服務功能的局限性，并在特定情形下起到警示提醒的作用。再次，就所生成內容的準確性而言，服務提供者負有的不是結果性義務，不能因為生成內容不準確就當然認定服務提供者存在過錯，而是一種方式性義務，即應當在綜合考慮現(xiàn)有的技術措施水平、生成內容對當事人合法權益的影響、當事人是否開啟聯(lián)網(wǎng)搜索功能選項等多種因素的基礎上，確定服務提供者合理的注意義務。

應當說，本案判決就服務提供者注意義務所做的上述類型化區(qū)分及提供的相應判斷標準，既充分考慮了民事主體合法權益的保護與社會公共利益的維護，也注意到生成式人工智能的自主性特點、目前技術措施下模型“幻覺”尚無法全部消除等客觀現(xiàn)實，充分發(fā)揮了民法典侵權責任編的風險治理功能，對于未來我國法院審理類似的案件具有極大的參考價值。

來源：人民法院報

編輯：鄭怡

校對：鐘琦

終審：李海洋