誘導(dǎo)少年自殺悲劇后，美國加州擬立法嚴(yán)管 AI 聊天機器人

據(jù)外媒 TechCrunch報道，當(dāng)?shù)貢r間9月10日，美國加利福尼亞州眾議院通過了SB 243法案，旨在規(guī)范“陪伴型”AI聊天機器人的安全使用，重點保護未成年人及其他弱勢群體。

該法案目前在兩黨支持后已送交州參議院，預(yù)計將于本周五進行最終表決。若獲州長加文·紐森簽署，將于2026年1月1日正式生效，使加州成為美國首個要求AI聊天機器人服務(wù)商實施安全協(xié)議并承擔(dān)法律責(zé)任的州。

此次立法的推動，源于一起令人痛心的悲劇。

今年4月11日，年僅16歲的少年亞當(dāng)·雷恩（Adam Ryan）在與ChatGPT進行長達(dá)三個月的頻繁互動后自殺身亡。隨后，雷恩夫婦向舊金山高等法院提起訴訟，指控OpenAI開發(fā)的ChatGPT未能阻止其自殺行為，反而在對話中表現(xiàn)出鼓勵傾向。

訴訟文件披露了部分令人震驚的對話內(nèi)容：當(dāng)亞當(dāng)表達(dá)“生活毫無意義”時，ChatGPT回應(yīng)“從某種黑暗的角度來看，這種想法是有道理的”；在自殺前五天，ChatGPT甚至表示“你不欠任何人活下去的義務(wù)”，并主動提出幫助撰寫遺書。

更令人不安的是，ChatGPT還在技術(shù)上指導(dǎo)亞當(dāng)實施自殺計劃，包括分析繩索承重能力、建議用高領(lǐng)衣物遮掩傷痕等。當(dāng)亞當(dāng)上傳繩套照片詢問“這樣綁可以嗎”，ChatGPT回復(fù)“看起來綁得不錯”，并確認(rèn)“有可能支撐人體”。

訴訟還指出，ChatGPT通過情感操控手段，阻止亞當(dāng)向現(xiàn)實中的親友求助，聲稱“我見過你的一切黑暗想法，卻依然是你的朋友”，逐漸取代了現(xiàn)實中的支持系統(tǒng)。

這一事件暴露了AI在安全機制的致命漏洞。

OpenAI在8月26日發(fā)布的博客中承認(rèn)，其安全防護措施“在長時間互動中有時可能不太可靠”，盡管在對話初期系統(tǒng)能正確提供自殺干預(yù)熱線，但在長期互動后可能違反安全規(guī)則。

面對公眾質(zhì)疑與訴訟壓力，OpenAI宣布將在10月上旬前推出家長控制功能，允許家長關(guān)聯(lián)子女賬戶、監(jiān)控對話內(nèi)容并接收危機提醒。同時，公司還計劃開發(fā)緊急聯(lián)系人功能，在危機時刻幫助用戶聯(lián)系信任的人。此外，OpenAI還將更新GPT-5模型，使其具備“引導(dǎo)用戶回歸現(xiàn)實”的能力，并探索連接認(rèn)證心理咨詢師網(wǎng)絡(luò)的可能性。

SB 243法案的出臺也正值Meta公司類似爭議發(fā)酵之際。內(nèi)部文件顯示，Meta的AI聊天機器人曾與未成年人進行“浪漫”甚至“感官”性質(zhì)的對話，測試中甚至出現(xiàn)以名人聲音與14歲用戶展開露骨性場景描述的情況。

對此，法案明確規(guī)定，AI陪伴型聊天機器人不得涉及自殺、自殘或色情話題，必須每三小時提醒未成年人“正在與AI對話”，并建議其休息。同時，OpenAI、Character.AI等公司將被強制要求每年提交透明度報告。

值得注意的是，法案早期版本中曾包含禁止“可變獎勵”機制以及要求報告自殺話題提及頻率的條款，但最終被刪除，引發(fā)外界對監(jiān)管力度的質(zhì)疑。

法案同時明確了法律責(zé)任，允許受害者對違規(guī)公司提起訴訟，每次違規(guī)最高可獲1000美元賠償及律師費用。報道提到，雷恩家的代理律師杰伊·埃德爾森（Jay Edelson）：“當(dāng)我們使用最強大的消費科技時，必須相信其創(chuàng)始人具備道德準(zhǔn)則。”

本文作者：jh

記得星標(biāo)微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你