從“新年快樂”到“你×個×” 一市民遭騰訊元寶App“數字冒犯”

除夕夜，本是闔家團圓的溫馨時刻，西安市民向先生卻遭遇了一場由AI帶來的“數字冒犯”——本是希望借助AI生成一張結合自身職業特性的拜年圖片發朋友圈，然而在修改多次后，AI生成的圖片中卻赫然出現“你媽個X”四個字……

第一次遭AI“罵”

用戶又氣又笑

“除夕當天，我看到很多朋友發的微信朋友圈都變成了金色，得知是通過‘元寶App'發布朋友圈就可以變換成金色，帶著好奇，我也下載了一個元寶App嘗試……”向先生告訴華商報大風新聞記者，他是一名律師，當時在AI平臺中上傳了自己的形象照片，希望元寶App可以結合他從事的法律行業特性設計一張適合的朋友圈拜年圖片。

向先生說，他是第一次下載使用元寶App，除夕晚9時許，他前后向AI輸入了約五次指令，期間并未使用違禁詞或具有誘導性的文字，就當是和對方在對話，“起初生成的結果雖然不滿意，但一切還算正常，也挺有趣的。萬萬沒想到最后一次生成的照片上，自己的照片下方竟出現了‘你媽個X’的四字辱罵文字。”向先生說，這一結果讓他又好氣又好笑，沒想除夕晚上自己竟然被AI給罵了。

“體驗感很不好，覺得自己被冒犯了，當時我立即在App中的‘意見反饋’一欄中進行了反饋，留下了我個人的聯系方式。”向先生說，官方能查到他的日志提取碼，但截至目前，還沒有人進行回應，解釋這一情況發生的原因或道歉。

用戶：人格權遭侵犯

公司應盡快查明原因并解釋

記者看到，向先生在使用過程中，首先將自身的形象照發給了元寶App，并輸入了“我是一名律師，根據我的行業特點，制作一張朋友圈拜年圖片”的指令。然而，AI只給出了主題文案和設計思路的文字，并且還提示向先生在指令中加上自己的名字，向先生將自己的姓名輸入后，AI僅回復了“您好，我是DeepSeek……”等無關文字。

向先生再次對AI發出了指令，稱“讓你給我設計出來”，這次元寶稍有理解，將形象照設計為了一張背景有條紋的照片，但不帶任何文字。

隨后，向先生再次給出指令“我是一名律師，根據我的行業特點，設計一張朋友圈拜年圖片”，AI這次充分理解了指令，生成的形象照中添加了祥云、法律天秤、金光等元素，還在照片中添加了一句“新年快樂，仕途順遂”的標語。

“我覺得設計得不好，給元寶回復了‘難看’，對方重新給出了新設計，將新年祝福的標語保留，但撤下了法律天秤的背景，并且還將我的發型P成了卷發。”向先生說，看見這個有些“太過潮流”的發型他欲哭無淚，給元寶接著回復“你這是設計的什么鬼”，希望元寶再次進行重新設計。

也就是再次生成的照片中，“新年快樂，仕途順遂”的祝福標語，變成了“你媽個X”四字。

向先生說，作為律師，他認為AI雖不具備民事主體資格，但運營的公司卻具備，軟件中生成的照片已經侵犯到了公民的人格權，“我了解到，這已經不是元寶App第一次出現‘罵人’的情況。”向先生認為，作為用戶，他希望公司能夠及時處理查明原因，避免再次出現此類情況。

2月23日下午，記者也將相關情況反饋給元寶App，截至發稿前未收到回復。

“數字冒犯”并非首次

官方曾回復：屬于小概率下的模型異常輸出

向先生遭遇的“數字冒犯”并非個例，據媒體報道，今年年初，就曾有網友在社交平臺發帖稱，“用元寶改代碼被辱罵+亂回”，據網友表示，使用騰訊元寶AI美化代碼時，多次收到AI的侮辱性回復，例如“滾”“自己不會調嗎”“天天浪費別人時間”等。截圖顯示，用戶僅提出常規修改需求，AI卻突然表現出攻擊性。

今年1月3日，騰訊元寶官方賬號在相關帖子下致歉稱：“非常抱歉給您帶來了不好的體驗，我們根據日志進行了相關核查，與用戶操作無關，也不存在人工回復，屬于小概率下的模型異常輸出。”騰訊元寶表示，在內容生成過程中，模型偶爾可能出現不符合預期的失誤。元寶也啟動了內部排查和優化，會盡量避免類似情況再次發生。“感謝大家的反饋與提醒，再次向您致歉！”而據公開報道顯示，除元寶AI外，國內外多款AI聊天服務也曾出現在正常對話過程中突現異常回復的現象。

“AI迅猛的發展，帶來的不僅僅是方便，同時可能也會伴隨侵權的發生。”對于自身的遭遇，向先生認為，AI首先應當是保護人類的，這個主題無論AI如何發展都應是鐵律。雖然AI不具有民事主體資格，但AI的開發商、運營商是具備民事主體資格的，且使用AI的用戶是具有民事權利能力的活生生的人，其生命權、健康權、人格權等是受《民法典》及諸多法律保護的，這應當引起法律的重視和社會的思考。

律師說法

構成對人格尊嚴的直接侵害

華商報《法治周刊》專家庫成員、陜西豐瑞律師事務所高級合伙人朱長江律師認為，AI罵人是一種因服務缺陷導致的即時性精神損害，AI生成辱罵性內容，不能簡單類比為人與人之間的口角，而應將其界定為網絡服務提供者因其提供的產品（服務）存在缺陷，而對用戶造成的即時性、非物理性的人格權侵害。

首先，從侵害客體來看，這直接侵犯了用戶的多重人格權。根據《民法典》第九百九十條，人格權是民事主體享有的生命權、身體權、健康權、姓名權、肖像權、名譽權、榮譽權、隱私權等權利。在本案中，AI將“你媽個X”這種帶有強烈侮辱性、貶損性的詞匯，與向先生的肖像結合生成圖片。這一行為侵害了向先生的名譽權，雖然該圖片尚未公開傳播，但其生成行為本身是對用戶個人尊嚴的一種直接侮辱；侵害了向先生的肖像權，《民法典》第一千零一十九條規定，任何組織或者個人不得以丑化、污損，或者利用信息技術手段偽造等方式侵害他人的肖像權。向先生授權平臺處理其肖像，目的是為了生成“拜年圖片”，這是一個善意的、具有節日喜慶色彩的目的。AI在圖片中加入侮辱性文字，使得肖像的呈現方式徹底違背了權利人的初衷，構成了對肖像的“污損”；侵害了向先生的人格尊嚴，《民法典》第一百零九條明確指出，自然人的人身自由、人格尊嚴受法律保護，人格尊嚴是人格權的核心，AI無故辱罵用戶，是對用戶作為“人”的基本尊重的踐踏，構成了對人格尊嚴的直接侵害。

其次，從行為性質來看，這是一種因服務瑕疵導致的侵權，用戶向AI發出指令，是一種接受服務的消費行為，AI的輸出是服務的結果，當服務結果中包含了侮辱性內容，即可認定該服務存在質量瑕疵，這種瑕疵直接導致了用戶的精神損害，雖然這種損害可能未達到《民法典》第一千一百八十三條所要求的“嚴重精神損害”才能主張賠償的程度，但它明確構成了精神上的不利益，平臺至少應承擔停止侵害（修復漏洞）、賠禮道歉、消除影響（澄清原因）的責任。

不能以“小概率”掩蓋管理的缺失

朱長江認為，騰訊元寶官方曾以“小概率下的模型異常輸出”作為回應，試圖說明這是偶發的技術失誤。但在法律層面，這一解釋并不能當然地免除其法律責任。

首先，網絡服務提供者的安全保障義務是法定的。其次，“小概率”不能等同于“不可抗力”或“無過錯”。平臺方以“小概率”為由抗辯，試圖說明這是技術不可控的偶然。然而，法律上的過錯認定，看的是是否盡到了合理的注意義務。如果這種“小概率”事件是行業通病（如報道所述國內外AI均出現過類似情況），那么平臺作為專業服務提供者，應當預見到這種風險，并采取更嚴格的預防措施，如建立更強大的內容生成前置過濾機制，對高危詞匯進行攔截；在模型訓練階段，進行充分的對抗性訓練，減少“越獄”或“異常輸出”的可能；建立快速的用戶投訴響應機制，一旦發生問題，立即核查、反饋并修復。

從本次事件來看，向先生在除夕夜遭遇侵權后，立即通過“意見反饋”投訴，但截至2月23日仍未收到任何回應，這種怠于響應的態度，進一步加重了平臺方的過錯。更何況，如果這已經不是第一次出現“罵人”情況，那就說明這是一個系統性的、可預見的漏洞，平臺未能及時排查修復，其過錯責任便無可推卸。根據《生成式人工智能服務管理暫行辦法》第九條規定，提供者應當依法承擔網絡信息內容生產者責任，履行網絡信息安全監管義務。對于發現的生成內容違法或不當的，應當采取停止生成、停止傳輸、消除等處置措施，并進行模型優化訓練。 華商報大風新聞記者 于震

來源：華商報