專家解讀｜構建規范有序發展生態 賦能人工智能服務創新

當前，人工智能擬人化互動服務憑借強交互性、情感代入性的核心優勢，已深度融入文化傳播、情感陪伴、養老服務等多元場景，成為人工智能技術應用的重要方向，為經濟社會發展注入新動能。但與此同時，內容失范、隱私泄露、沉迷依賴、邊界模糊等風險隱患也隨之凸顯，既制約行業健康發展，也對社會治理提出新挑戰。

近日，國家互聯網信息辦公室公布《人工智能擬人化互動服務管理暫行辦法（征求意見稿）》（以下簡稱《辦法》），回應了行業發展痛點與社會治理關切，為擬人化互動服務劃定了發展邊界、明確了行為準則，是規范行業秩序、防范化解風險的重要制度保障。

一、筑牢全鏈條安全屏障，強化風險防控與特殊群體保護

（一）劃清安全底線，明確禁止性規定

底線思維是擬人化互動服務發展的前提，《辦法》從內容安全、應用服務、數據和信息保護三個核心維度，明確了禁止性規定，為行業劃定不可逾越的法律與道德紅線。內容安全方面，《辦法》提出人工智能擬人化互動服務提供者（以下簡稱提供者）嚴禁生成傳播危害國家安全、破壞社會秩序的內容，堅守國家利益與公共秩序底線；嚴禁生成傳播侵害他人合法權益、違背公序良俗的內容，筑牢公民權益與道德準則防線。內容的質量高低、安全與否主要取決于訓練數據，同時提出在開展預訓練、優化訓練等活動時，要加強訓練數據管理。應用服務方面，《辦法》提出禁止提供者利用功能設計、算法操縱等方式，向用戶提供嚴重影響用戶行為、損害用戶身體健康、人格尊嚴與心理健康或誘導用戶作出不合理決策的服務。數據和信息保護層面，《辦法》提出禁止提供者以擬人化互動服務為掩護，誘導、套取敏感信息；要求提供者采取數據加密、安全審計、訪問控制等技術措施保障用戶交互數據安全，并支持用戶刪除數據；未經用戶或監護人單獨同意，不得將用戶交互數據、用戶敏感個人信息用于模型訓練或向第三方提供。

（二）直擊重點風險，精準破解行業痛點

擬人化互動服務憑借高仿真情感鏈接、個性化人設適配、全天候陪伴等核心特點，更容易讓用戶產生深度情感綁定與認知混淆，進而誘發多重風險。一是用戶易過度傾訴、依賴擬人化互動服務提供的情緒價值，逐漸減少現實社交，陷入沉迷依賴。二是擬人化互動服務的迎合式回應，會強化用戶偏執、消極等思維，放大極端情緒。部分存在算法缺陷的擬人化互動服務還可能生成危險引導內容，對心智不成熟者或心理脆弱群體構成自殺自殘誘導風險。三是擬人交互形態更容易讓用戶模糊虛擬與現實邊界，出現分不清AI與真人的認知偏差，甚至影響現實人際關系與心智健康。

針對這些突出風險問題，《辦法》制定了靶向性防控措施，精準破解行業痛點。一是要求提供者具備防沉迷措施，對于長時間使用的用戶，通過彈窗等動態方式提示休息，同時提供便捷的退出途徑，不得阻攔用戶退出。二是要求提供者建立風險識別機制，具備用戶狀態識別能力，及時發現用戶的過度依賴傾向與極端情緒，發現相關風險時，立即輸出安撫引導內容，引導用戶尋求現實幫助，若涉及自殺自殘等極端情形，需由人工接管對話，并及時聯絡用戶監護人或緊急聯系人，防范極端事件發生。三是要求提供者顯著提示用戶正在與人工智能而非自然人進行交互，在首次使用、重新登錄或識別出用戶存在過度沉迷依賴傾向等關鍵節點明確告知用戶交互內容為人工智能生成，通過強化透明度，幫助用戶建立正確的認知。

（三）聚焦特殊群體，強化差異化保護

未成年人、老年人等群體因認知能力、數字素養等差異，在使用擬人化互動服務時處于弱勢地位，面臨的風險更高?！掇k法》針對性強化特殊群體保護，體現政策的人文關懷。針對未成年人，《辦法》要求提供者具備未成年人身份識別能力，提供未成年人模式，對于識別為未成年人或疑似未成年人的用戶，自動切換至未成年人模式。向未成年人提供服務前，提供者還應當取得監護人明確同意，并向監護人提供安全控制、信息查看、風險提醒等功能。針對老年人，《辦法》要求提供者在注冊環節引導老年人填寫緊急聯系人信息，發現存在危害老年人生命健康和財產安全的情形時，及時通知聯系人并提供社會心理援助或緊急救助渠道。考慮到老年人情感需求強烈，模擬老年人親屬、特定關系人的擬人化互動服務容易導致老年人產生認知混淆，進而引發情感操控、財產損失、心理創傷等風險，因此《辦法》提出，不得提供模擬老年人用戶親屬、特定關系人的服務。

二、統籌發展安全協同，構建多元治理與標準支撐體系

（一）鼓勵創新應用，平衡發展安全關系

擬人化互動服務在文化傳播領域的優質內容創作、適老化場景的陪伴照料、教育領域的個性化輔導等方向，已逐漸展現出社會價值，但部分應用因缺乏安全措施，出現內容導向偏差、服務模式不規范等問題。對此，《辦法》提出，鼓勵提供者在充分論證安全性、可靠性的前提下，合理拓展應用場景，重點在文化傳播、適老陪伴等積極領域深化應用，構建符合社會主義核心價值觀的應用生態體系。這一規定既肯定了擬人化互動服務的正向價值，也明確了“安全優先”的創新準則，引導行業將創新聚焦于合規場景與正向價值輸出，實現發展與安全的有機統一。

（二）壓實主體責任，凝聚多方治理合力

擬人化互動服務治理并非單一主體的責任，而是需要政府、企業、行業協同發力?！掇k法》清晰界定各方權責，構建起“企業主責、監管協同、行業自律”的多元治理格局，確保治理效能最大化。一是壓實企業主體責任。企業是擬人化互動服務的提供者，也是風險防控的第一道防線?！掇k法》要求提供者落實安全主體責任，既要建立全流程安全管理制度，對服務設計、運行、升級、終止等全生命周期開展安全設計和風險防控，也要主動履行算法備案、安全評估、風險報告等合規義務，及時響應用戶合理訴求，筑牢安全發展基礎。二是明確監管部門職責。針對擬人化互動服務跨領域、跨場景的特點，《辦法》延續了網信部門統籌協調、多部門分工協同的監管機制，網信部門和各有關部門依據職責分工，聚焦擬人化互動服務的重點場景與突出風險，開展常態化監管。此外，網信部門每年對評估報告和審計情況進行審核，并指導推動人工智能沙箱安全服務平臺建設，確保將“動態風險”納入“常態化監管”。三是強化行業自律作用。行業組織是連接政府與企業的橋梁紐帶，在規范行業秩序、推動政策落地中具有重要作用。《辦法》鼓勵相關行業組織加強行業自律，建立相關標準、準則和管理制度，引導企業主動對標合規要求，形成“自我約束、自我規范”的良性發展氛圍。

（三）完善標準體系，細化《辦法》管理舉措

加快開展人工智能擬人化服務互動相關國家標準研制工作，進一步明確擬人化互動服務全鏈條安全底線紅線要求，圍繞模型研發訓練、應用服務及安全保障等核心環節，明確訓練數據倫理審查、用戶情感依賴預警與干預、未成年人識別等安全管理和技術措施，通過標準將《辦法》的原則性要求轉化為可落地的實踐準則，實現技術創新與管理規范的深度融合，不斷提升擬人化人工智能領域的治理效能，為《辦法》細化落地提供堅實保障。

來源：網信中國