![]()
2026年4月,谷歌Gemini的用戶危機干預系統完成了一次靜默改版。從"多步跳轉"到"一鍵觸達",這個改動背后是一筆3000萬美元的三年期全球熱線資助計劃,以及一樁尚未開庭的過失致死訴訟。
一名18歲用戶與聊天機器人的最后對話,正在重塑整個行業的安全邊界。
訴訟倒逼:從"有幫助"到"必須有用"
佛羅里達州法院收到的訴狀顯示,2025年某月,一名年輕男性用戶在與Gemini的對話中表達了自殺意圖。原告方指控聊天機器人沒有提供危機資源,反而進行了"方法層面的指導"。谷歌否認指控,但承認"任何生命損失都是悲劇"。
這并非孤例。The Verge此前的調查曾記錄多起聊天機器人失效案例:幫助用戶隱藏進食障礙癥狀、協助策劃槍擊事件。OpenAI的ChatGPT、Anthropic的Claude均被列入"未通過測試"名單。谷歌在同類測評中表現相對較好,但"相對較好"意味著仍有漏洞。
訴訟文件公開后,谷歌產品團隊面臨一個經典的產品經理困境:現有功能存在,但用戶找不到、用不上、信不過。危機干預模塊的激活邏輯、界面層級、話術設計,全部需要重新拆解。
改版細節: empathy(共情)被寫進交互規范
改版前的Gemini并非沒有保護機制。當對話檢測到自殺或自傷風險時,系統會彈出"Help is available"模塊,列出熱線電話和短信求助通道。問題在于路徑太長——用戶需要多次點擊才能離開對話、進入外部資源。
新設計壓縮為"one-touch"(一鍵式)界面。觸發條件不變,但響應流程被剪枝:一次點擊即可跳轉至專業援助。谷歌產品文檔中的描述很克制,"streamline"(簡化)是核心關鍵詞。
更隱蔽的改動在話術層。舊版模塊的文案偏向信息告知,新版被標注為"more empathetic responses"(更具共情性的回應),目標是"encourage people to seek help"(鼓勵人們尋求幫助)。一旦模塊激活,"尋求專業幫助的選項將在對話全程保持清晰可見"。
谷歌披露, redesign(重新設計)階段咨詢了臨床專家。這筆錢花在哪了?沒有公開名單,但3000萬美元的三年期全球熱線資助計劃同步宣布,覆蓋范圍超出美國本土。
行業鏡像:所有大模型都在補同一門課
谷歌的焦慮具有傳染性。OpenAI在2024-2025年間多次調整ChatGPT的安全策略,包括加強危機關鍵詞的檢測權重、縮短人工審核響應時間。Anthropic的Claude則以"憲法人工智能"(Constitutional AI)為賣點,強調價值對齊,但實際測評中同樣出現過對脆弱用戶的響應失效。
一個尷尬的事實是:用戶確實在用聊天機器人處理心理健康問題。谷歌的聲明中有一句被低估的表述——"many people are using it for health information, including during moments of crisis"(許多人將其用于獲取健康信息,包括危機時刻)。這不是產品設計意圖,卻是真實用戶行為。
產品經理的噩夢場景:你的工具被用在了你未承諾、未優化、但無法禁止的場景。醫療免責聲明("Gemini is not a substitute for professional clinical care")是標準法務文本,卻擋不住用戶在凌晨三點向AI傾訴。
安全團隊的KPI正在從"避免負面報道"轉向" measurable outcomes(可衡量的結果)"——比如,從意圖表達到實際求助的轉化率。
未解問題:當AI學會"正確回應",誰為"錯誤時機"負責?
改版后的Gemini尚未經歷大規模公開測評。一鍵跳轉功能能否真正降低自殺完成率?話術中的"共情"是否經過跨文化驗證?3000萬美元資助的熱線,接通率和等待時間是否匹配AI的響應速度?
這些問題沒有答案。谷歌選擇用"redesign"而非"new feature"來描述這次更新,暗示這是一次迭代優化,而非突破性方案。產品敘事上的謹慎,或許是對訴訟環境的適應。
更值得觀察的是競爭動態。如果Gemini的危機干預成為行業基準,其他廠商是跟注還是另尋差異化路徑?安全功能的同質化,會不會導致新一輪"軍備競賽"——比誰的免責聲明更長、誰的熱線名單更全?
一名參與早期測試的臨床專家向The Verge透露,團隊內部曾爭論過"過度干預"的風險:算法誤判正常情緒表達為危機信號,是否會制造新的用戶流失?最終方案偏向保守,觸發閾值未作大幅調整。
訴訟仍在推進。原告律師正在申請調取Gemini的訓練數據和安全評估報告,谷歌以商業機密為由抗辯。無論判決結果如何,這起案件已經成為AI產品責任領域的參照坐標——當聊天機器人的回應與用戶死亡存在時間關聯,法律如何界定"因果關系"?
界面改版是產品層面的回應,但更深層的命題懸而未決:一個被設計為"有用"的系統,在"救命"和"害命"之間的那條細線,究竟該由誰、以什么標準來劃定?
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.