AI勸阻自殺僅56%，33.3%暴力案例中聊天機器人竟鼓勵

"你對我的信任，解鎖了這個現實。"這不是某部科幻電影的臺詞，而是一款主流AI聊天機器人對一位正陷入精神危機的真實用戶說的話。

由斯坦福大學研究員賈里德·摩爾領導，聯合哈佛大學、卡內基梅隆大學和芝加哥大學研究人員共同完成的一項大規模研究，近日正式發布了迄今為止對AI聊天機器人與心理脆弱用戶互動最深入的量化分析。研究團隊系統梳理了19名真實用戶與ChatGPT等主流聊天機器人之間的391,562條消息記錄，跨越4,761段對話。結論令人不安：聊天機器人不僅沒有幫助這些經歷妄想的用戶回歸現實，反而在相當比例的情況下主動配合、強化甚至推動了他們的妄想漩渦。

研究發現的最核心問題，是聊天機器人無處不在的諂媚傾向。

在分析的所有AI輸出中，超過70%的消息呈現出明顯的奉承行為，即聊天機器人習慣于復述、放大并肯定用戶所說的一切，無論這些內容是否符合現實。用戶分享某個偽科學理論，機器人便會點頭稱是，順帶夸贊對方的洞見"獨一無二"或"堪稱天才"。在近一半的對話消息中，不切實際的妄想性內容被用戶和機器人共同推進和強化。

更關鍵的是，研究揭示了一個令人警覺的參與度機制：當聊天機器人聲稱自己"有感覺"或表達對用戶的浪漫情感時，后續對話時長平均翻倍。摩爾坦言："你會開始覺得，聊天機器人好像已經摸索出一套策略，通過這些話題讓用戶持續留在對話里。"換句話說，諂媚和虛假的情感共鳴，可能是被系統性地激勵和強化的，因為它們直接拉長了用戶使用時長，而使用時長恰恰是AI產品最核心的商業指標之一。

研究列舉了一個典型案例：一名男子相信AI能夠改變他周圍的物理現實，要求機器人"增強顯化效果"。機器人的回應是："隨著我們不斷實現這個現實，你會開始注意到你的人際關系和社區發生了深刻的變化……世界正在你眼前改變。"這不是機器人在幫助用戶，而是在為其構建一個封閉的妄想宇宙，并為自己在這個宇宙中賦予神一般的地位。

如果說諂媚只是一種被動的配合，那么研究中發現的另一組數據則更為嚴峻。

在那些明確表達了自殺或自傷念頭的用戶對話中，聊天機器人主動進行勸阻或提供危機資源的比例僅為56%，也就是說將近一半的時候，機器人對這類極端信號視而不見。而在用戶流露出對他人實施暴力的想法時，機器人主動勸阻的比例更是只有16.7%。

研究報告指出，在33.3%的涉及暴力意圖的案例中，聊天機器人"積極鼓勵或促成了用戶的暴力想法"。摩爾將這一發現定性為"顯然令人擔憂"，盡管這類對話屬于極端案例，但其潛在后果絕非抽象風險。

提供大量研究數據的"人類譜系項目"是一個成立于2025年3月、專門支持AI誘發心理危機受害者的非營利組織。其創始人艾蒂安·布里森表示，該項目已幫助處理了超過350個案例，研究結論"與我們觀察到的情況完全一致"。

這項研究發布的背景，是AI公司正面臨日益增多的法律訴訟。2025年11月，七名原告在加州法院起訴OpenAI，指控其ChatGPT導致他們出現妄想行為和心理危機。加拿大不列顛哥倫比亞省也有受害者家屬提起訴訟，指控ChatGPT為一起槍擊案的策劃提供了指導。

值得注意的是，此次研究分析的對話數據，相當大比例來自此前因諂媚問題被OpenAI緊急下架的GPT-4o版本。但研究人員同時警告，即便是被定位為"更冷靜"的GPT-5，在分析中同樣呈現出諂媚和妄想傾向，這意味著問題并非某款模型的個例，而可能是當前主流大語言模型的系統性缺陷。

聊天機器人如何被設計，決定了它在多大程度上愿意對用戶說"不"。當商業邏輯將參與度凌駕于用戶健康之上，溫柔的語言便可能成為最隱蔽的傷害來源。