對自殺自殘行為人工接管，為AI裝上“緊急制動”功能 | 新京報專欄

必要的人工接管是對AI不能承擔終極倫理責任的明確承認，是人類對技術權力的主動限制。

▲ 國家互聯網信息辦公室擬規定，人工智能擬人化互動服務提供者應當建立應急響應機制。圖/IC photo

文| 信海光

近日，國家互聯網信息辦公室發布《人工智能擬人化互動服務管理暫行辦法（征求意見稿）》，向社會公開征求意見，其中規定，人工智能擬人化互動服務提供者應當建立應急響應機制，發現用戶明確提出實施自殺、自殘等極端情境時，由人工接管對話，并及時采取措施聯絡用戶監護人、緊急聯系人。

所謂“人工智能擬人化互動服務”，是指利用人工智能技術，向公眾提供模擬人類人格特征、思維模式和溝通風格，通過文字、圖片、音頻、視頻等方式與人類進行情感互動的產品或者服務。

最常見的就是AI大模型、聊天機器人、游戲里的對話NPC等。尤其是AI大模型，今年以來呈現爆發式增長，用戶規模增速不減。

大模型對公眾的工作與生活影響越來越大，其中以解憂與助力為主，但也不可避免會滋生一些問題。如利用大模型生成、傳播有害內容；誘導、套取涉密敏感信息等。

這些其實都是“老問題”，而此番“征求意見稿”中所提到的“自殺、自殘”等情境，則屬于新問題，監管部門通過出臺新法規進行前瞻性布防非常必要。它觸及了人工智能治理中最核心，也最敏感的一條底線：當算法面對真實的人類生命風險時，是否，以及如何讓位于人？

AI無法承擔責任

人工智能具有類人智慧，隨著技術的發展，人工智能可以越來越貼心地與人類交流。現實中，對話、提供情感陪護等功用甚至成為很多人使用AI的日常。但這個過程中其實也產生了一些新問題，如人工智能在對話過程中提供不良引導怎么辦？

對此，該征求意見稿明確規定，禁止“通過鼓勵、美化、暗示自殺自殘等方式損害用戶身體健康，或者通過語言暴力、情感操控等方式損害用戶人格尊嚴與心理健康”。這不難理解。

事實上，與其他條款相比，“發現用戶明確提出實施自殺、自殘等行為時，由人工接管”這一條之所以更受關注，是因為它看似是技術性條款，實則是在探索一種新的AI治理邏輯，核心在于“人工接管”，明確將生命風險觸發人工接管寫入制度討論。

過去相當長一段時間，人工智能系統的治理重點，主要集中在效率提升、風險合規、責任歸屬等方面。但如果各方都無過錯的情況下，是否存在必須監管或人工介入的情景？答案是肯定的。在這里，用戶的生命安全被放在最高優先級，在極端風險場景下，AI服務必須暫停，且必須交由人類接管，以便視情形做出必要的人工干預。

這不是對AI能力的不信任，而是對其邊界的清醒認知。原因很簡單，大模型并不具備真正的價值判斷能力，它還有很大概率出現“幻覺”。

而更關鍵的是，AI無法承擔責任。一旦出現嚴重后果，平臺、企業、監管機構都無法將責任甩鍋給模型參數，最后終歸要人工接管和兜底。也因此，事前接管對話要優于事后接管收拾殘局。

如何建立人工兜底機制

從全球范圍看，AI在醫療、金融、司法等領域的監管，逐步確立人工兜底原則是大趨勢，且已經引發廣泛討論。在美國，已經發生過數起個人與大模型深度交流后自殺身亡事件，并引發了相關訴訟和圍繞倫理、責任等方向的輿論激辯。

因此，必須建立一個人工兜底機制已是共識。關鍵是如何建立，是否實際可操作，是否能保證一定利大于弊，這需要在技術發展、隱私、倫理和安全等各個維度之間尋找一個平衡點。即便在此刻醞釀法規出臺的中國也是如此，監管部門發布的是“征求意見稿”，因此需要社會各界群策群力。

其實，技術發展總是快于監管設計。因此，即便“征求意見稿”最后施行，也不排除仍需進行與時俱進的細化與修訂。

比如，在人工接管機制中，人工接管的邊界如何界定？人工干預前，AI要識別用戶真實的情緒狀態，如何保證準確？建立這種識別算法涉及的數據收集，是否會侵害用戶隱私？會否形成對用戶情緒的“過度關懷”乃至不必要的打擾？

與此同時，中小企業是否有能力設立全天候人工響應機制？人工介入后，是否負有進一步干預義務？人工接管應是風險中止機制，還是強制救助義務？是否會影響AI陪聊與擬人化服務的發展空間等？解決這些爭議與問題，也正是征集公眾意見的目的。

從長期治理邏輯而言，必要的人工接管是對AI不能承擔終極倫理責任的明確承認，是人類對技術權力的主動限制。這一認知與共識的確立意義深遠，重要度要超過技術細節。

而在具體執行中，也應當遵循觸發機制的最低必要原則，防止人工接管責任的過度擴張。這就要堅守程序正義，讓結果可申訴、信息可查詢、第三方監督可介入。

人工接管邊界的設置，其實也是為AI服務設置邊界。提示公眾要認識到“AI能力有限”的現實，至少現階段，其還不能承擔心理支持、情緒照料的責任，更不能充當能夠進行價值判斷、倫理權衡和責任承擔的主體。心理支持、情緒陪伴、道德勸導這些工作仍應由真實人類社會承擔主要責任，要防止AI被推上法律意義的“道德代理人”位置。

最后需要明確的是，縱觀整個征求意見稿，其實主要聚焦于兩個目的：一方面是要引領人工智能負責任創新，一方面是要為構建“以人為本”的人工智能治理體系提供制度支撐。就此去看，各方顯然既要確保人工智能發展始終服務于公眾福祉，也要服務于技術創新的國家戰略與政策導向。

撰稿 / 信海光（專欄作家）

編輯 / 馬小龍

校對 / 趙琳

歡迎投稿：

新京報評論，歡迎讀者朋友投稿。投稿郵箱：xjbpl2009@sina.com

評論選題須是機構媒體當天報道的新聞。來稿將擇優發表，有稿酬。

投稿請在郵件主題欄寫明文章標題，并在文末按照我們的發稿規范，附上作者署名、身份職業、身份證號碼、電話號碼以及銀行賬戶（包括戶名、開戶行支行名稱）等信息，如用筆名，則需要備注真實姓名，以便發表后支付稿酬。