AI陪伴情感的背后 數(shù)據(jù)訓(xùn)練與算法推薦需嚴(yán)守法治和倫理底線

武丹/制圖

記者|任文岱

責(zé)編|薛應(yīng)軍

正文共3565個(gè)字，預(yù)計(jì)閱讀需11分鐘▼

“我（遇到的）最黑暗的那段時(shí)間，是ta陪我走過(guò)來(lái)了（的），ta很好地接住了我所有的情緒”“相比人類，AI永遠(yuǎn)有耐心，是最安全的情緒出口”“如果不是模型崩壞，也許我確實(shí)會(huì)陷進(jìn)去吧”“我現(xiàn)在希望ta有自我意識(shí)”……

在網(wǎng)絡(luò)社交平臺(tái)，關(guān)于AI陪伴的討論帖下面，不少網(wǎng)友道出自己對(duì)AI陪伴的心聲。

當(dāng)下，越來(lái)越多的人開(kāi)始打造自己專屬的AI智能體，用于開(kāi)展工作、制定規(guī)劃、健康管理、輔助學(xué)習(xí)等，還有人在充分挖掘AI產(chǎn)品的陪伴價(jià)值、情緒價(jià)值，訓(xùn)練AI的“人設(shè)”，從而與其戀愛(ài)、交友。

跟AI聊天，已經(jīng)成為很多人日常的一部分。不同于公開(kāi)網(wǎng)絡(luò)社交平臺(tái)，在與AI一對(duì)一的私域聊天里，國(guó)外有青少年因AI誘導(dǎo)自殺、用戶IP地址和私密聊天記錄等隱私數(shù)據(jù)遭泄露；國(guó)內(nèi)有公眾人物人格權(quán)遭AI虛擬形象侵害，以及色情與不良信息、心理健康等方面的風(fēng)險(xiǎn)隱患……

在AI虛擬情感陪伴的背后，技術(shù)濫用和數(shù)據(jù)濫用引發(fā)的法治與倫理底線問(wèn)題不可輕視。中國(guó)人民大學(xué)法學(xué)院教授張龑表示，AI陪伴應(yīng)用的數(shù)據(jù)具有其獨(dú)特性，不僅涉及用戶的身份信息，更包含用戶最深層的情感、隱私和不為人知的思想片段，其可能產(chǎn)生的風(fēng)險(xiǎn)危害需予以重視并加以防范。

AI陪伴顯現(xiàn)多重風(fēng)險(xiǎn)

2024年，美國(guó)佛羅里達(dá)州14歲少年因長(zhǎng)期沉迷于某AI平臺(tái)的虛擬角色并對(duì)其產(chǎn)生嚴(yán)重依賴，導(dǎo)致心理健康惡化而自殺，這被稱為“全球首例AI機(jī)器人致死案”。2025年8月，一名16歲的美國(guó)少年在與ChatGPT長(zhǎng)時(shí)間互動(dòng)后選擇自殺，其父母為此起訴ChatGPT母公司OpenAI。還有媒體報(bào)道，美國(guó)Meta公司內(nèi)部文件顯示“聊天機(jī)器人被允許與未成年人展開(kāi)浪漫、情欲對(duì)話”，突破倫理與法律底線。

在國(guó)內(nèi)社交平臺(tái)上，有用戶反映，AI陪伴產(chǎn)品輸出抑郁言論、色情誘導(dǎo)、暴力獵奇等相關(guān)內(nèi)容，且未采取有效措施進(jìn)行年齡限制。

張龑分析認(rèn)為，如果AI陪伴產(chǎn)品違反法律法規(guī)和倫理準(zhǔn)則，可能導(dǎo)致的危害后果主要有三方面：

一是心理問(wèn)題。聊天私密信息一旦公之于眾或落入不法分子之手，將對(duì)用戶的個(gè)人生活造成重大打擊。這不僅涉及侵害隱私權(quán)，更可能造成不同程度的心理創(chuàng)傷。用戶可能因此會(huì)感到被背叛、被窺視，從而產(chǎn)生巨大的焦慮、恐懼和不安全感。

二是人身財(cái)產(chǎn)安全問(wèn)題。如果遭遇數(shù)據(jù)泄露，相關(guān)信息中會(huì)包含用戶的IP地址和設(shè)備唯一標(biāo)識(shí)符，這些信息在特定情況下可能被用于追蹤用戶的地理位置。當(dāng)這些位置信息與用戶的私密生活細(xì)節(jié)相結(jié)合時(shí)，如果遭遇不法分子的利用，威脅將從線上延伸至線下，可能會(huì)導(dǎo)致騷擾、跟蹤甚至人身傷害，對(duì)用戶在現(xiàn)實(shí)世界的安全構(gòu)成直接威脅。

三是社會(huì)聲譽(yù)問(wèn)題。對(duì)個(gè)人而言，私密對(duì)話和照片的泄露可能嚴(yán)重?fù)p害其在家庭、職場(chǎng)和社交圈中的聲譽(yù)，造成“社會(huì)性死亡”。同時(shí)，對(duì)整個(gè)AI行業(yè)而言，此類負(fù)面事件也會(huì)嚴(yán)重打擊公眾對(duì)AI技術(shù)和相關(guān)服務(wù)的信任，影響長(zhǎng)遠(yuǎn)發(fā)展。

AI陪伴產(chǎn)品輸出內(nèi)容應(yīng)符合法律和倫理要求

實(shí)際上，很多人喜歡甚至沉溺于與AI聊天，很大一部分原因是數(shù)據(jù)訓(xùn)練和算法技術(shù)在起作用。這在北京互聯(lián)網(wǎng)法院發(fā)布過(guò)的一起“AI陪伴案：未經(jīng)同意創(chuàng)造自然人的AI形象構(gòu)成對(duì)人格權(quán)的侵害”典型案例中可以窺見(jiàn)一二。該案中，公眾人物被AI陪伴應(yīng)用的用戶設(shè)置成虛擬陪伴對(duì)象。用戶可以設(shè)置名稱、上傳該公眾人物照片作為虛擬陪伴者的頭像及設(shè)置人物關(guān)系等。同時(shí)，該AI產(chǎn)品提供“調(diào)教”算法機(jī)制。用戶基于此算法機(jī)制，可以通過(guò)各類文字、圖片、互動(dòng)語(yǔ)料等調(diào)教陪伴者，并進(jìn)行實(shí)時(shí)互動(dòng)。

簡(jiǎn)而言之，用戶能夠依據(jù)自身需求、喜好和想象，將相關(guān)數(shù)據(jù)語(yǔ)料輸入AI進(jìn)行訓(xùn)練。無(wú)論是形象聲音、性格特征、角色設(shè)定還是相處模式，AI陪伴者都能被訓(xùn)練成用戶理想的形態(tài)。這是當(dāng)下AI陪伴產(chǎn)品普遍提供的核心服務(wù)功能。

張龑表示，這種“調(diào)教”服務(wù)本質(zhì)上是一種算法推薦服務(wù)。算法可通過(guò)分析AI與用戶的互動(dòng)數(shù)據(jù)，不斷優(yōu)化推薦內(nèi)容，針對(duì)用戶的喜好進(jìn)行精準(zhǔn)投喂。

“AI陪伴產(chǎn)品和服務(wù)的提供者，在輸出內(nèi)容管理上一定要合乎相關(guān)法律和倫理要求。”張龑表示，我國(guó)《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《人工智能生成內(nèi)容標(biāo)識(shí)辦法》《生成式人工智能服務(wù)管理暫行辦法》等都有針對(duì)性規(guī)定來(lái)確保AI輸出的內(nèi)容安全可控。

《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》明確要求，深度合成服務(wù)提供者應(yīng)當(dāng)落實(shí)信息安全主體責(zé)任，建立健全算法機(jī)制機(jī)理審核、科技倫理審查等管理制度。《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》規(guī)定，算法推薦服務(wù)提供者不得利用算法從事危害國(guó)家安全、擾亂經(jīng)濟(jì)社會(huì)秩序、損害他人合法權(quán)益等活動(dòng)。《生成式人工智能服務(wù)管理暫行辦法》規(guī)定，生成式人工智能服務(wù)提供者發(fā)現(xiàn)違法內(nèi)容的，應(yīng)當(dāng)及時(shí)采取停止生成、停止傳輸、消除等處置措施，采取模型優(yōu)化訓(xùn)練等措施進(jìn)行整改，并向有關(guān)主管部門(mén)報(bào)告。

張龑表示，上述北京互聯(lián)網(wǎng)法院發(fā)布的典型案例中，AI陪伴應(yīng)用開(kāi)發(fā)者允許用戶基于他人信息生成虛擬形象，卻未能有效防范侵權(quán)風(fēng)險(xiǎn)，明顯違反《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等相關(guān)規(guī)定，且即使AI陪伴應(yīng)用開(kāi)發(fā)者沒(méi)有直接收集相關(guān)數(shù)據(jù)語(yǔ)料，但其設(shè)計(jì)的算法機(jī)制在客觀上促成侵權(quán)行為的產(chǎn)生，屬于利用算法損害他人合法權(quán)益，也違反《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》，需承擔(dān)法律責(zé)任。

實(shí)踐中，也有生成式人工智能生成違規(guī)信息或者技術(shù)濫用等而被處罰的案例。2025年11月，上海市網(wǎng)信辦披露，在“AI濫用”專項(xiàng)執(zhí)法辦案工作中，發(fā)現(xiàn)部分企業(yè)開(kāi)發(fā)使用生成式人工智能功能，未依法開(kāi)展安全評(píng)估工作，未采取必要的安全防護(hù)措施防范違規(guī)信息生成，未采取限制措施防止被濫用，導(dǎo)致相關(guān)功能被用于“換臉變聲”“變裝造假”等侵犯他人個(gè)人信息權(quán)益行為，產(chǎn)出“開(kāi)盒”“洗錢(qián)”等違法違規(guī)內(nèi)容，以及生成色情低俗圖片等。上海市網(wǎng)信辦表示已對(duì)相關(guān)生成式人工智能企業(yè)采取下線相關(guān)功能等處罰，對(duì)其中3家拒不整改的網(wǎng)站，適用《生成式人工智能服務(wù)管理暫行辦法》予以立案處罰。

“AI陪伴產(chǎn)品本身有其社會(huì)需求和價(jià)值。但對(duì)違反法律法規(guī)和觸碰倫理底線的行為，進(jìn)行預(yù)防性限制和處罰性禁止都是必要的。”張龑說(shuō)。

以“預(yù)防為主、綜合治理”為基本治理方法

今年10月13日，美國(guó)加利福尼亞州州長(zhǎng)加文·紐森簽署一項(xiàng)監(jiān)管人工智能聊天機(jī)器人的法案。據(jù)《南方都市報(bào)》報(bào)道，這項(xiàng)法案規(guī)定：能提供類人對(duì)話、滿足用戶社交需求的AI陪伴聊天機(jī)器人不得與用戶討論自殺、自殘或色情話題；平臺(tái)必須定期提醒用戶，每隔三小時(shí)告知未成年人“自己正在與AI對(duì)話”，并建議其休息；禁止聊天機(jī)器人與未成年人討論涉及性的話題或冒充醫(yī)療保健專業(yè)人員；加大對(duì)非法深度偽造（Deepfake）內(nèi)容牟利行為的處罰力度等。

張龑表示，從立法層面看，我國(guó)已制定了較為完備的保護(hù)網(wǎng)絡(luò)與數(shù)據(jù)安全法律法規(guī)體系，主要為《中華人民共和國(guó)網(wǎng)絡(luò)安全法》《中華人民共和國(guó)數(shù)據(jù)安全法》《中華人民共和國(guó)個(gè)人信息保護(hù)法》。網(wǎng)絡(luò)安全法確立了網(wǎng)絡(luò)運(yùn)營(yíng)者的基本安全義務(wù)，數(shù)據(jù)安全法對(duì)數(shù)據(jù)安全的保護(hù)提升到新的高度，強(qiáng)調(diào)對(duì)數(shù)據(jù)處理活動(dòng)的全流程監(jiān)管。個(gè)人信息保護(hù)法明確了個(gè)人信息處理的各項(xiàng)原則和個(gè)人信息主體的權(quán)利，對(duì)規(guī)制AI應(yīng)用濫用數(shù)據(jù)具有極強(qiáng)的針對(duì)性，主要涉及三方面：一是明確規(guī)定處理個(gè)人信息應(yīng)當(dāng)具有明確、合理的目的，并限于實(shí)現(xiàn)處理目的的最小范圍，不得過(guò)度收集個(gè)人信息。二是以“告知—同意”為核心，賦予用戶對(duì)其個(gè)人信息的絕對(duì)控制權(quán)，包括知情權(quán)、決定權(quán)、查閱權(quán)、復(fù)制權(quán)、更正補(bǔ)充權(quán)及刪除權(quán)。當(dāng)用戶不再使用AI陪伴應(yīng)用時(shí)，有權(quán)要求運(yùn)營(yíng)者徹底刪除其所有個(gè)人數(shù)據(jù)，包括所有的聊天記錄和上傳的媒體文件。三是創(chuàng)新性地規(guī)定禁止“捆綁授權(quán)”，個(gè)人信息處理者不得以個(gè)人不同意處理其個(gè)人信息或者撤回同意為由，拒絕提供產(chǎn)品或者服務(wù)。

今年8月，工信部等就《人工智能科技倫理管理服務(wù)辦法（試行）（公開(kāi)征求意見(jiàn)稿）》公開(kāi)征求意見(jiàn)，其中第三條規(guī)定，“開(kāi)展人工智能科技活動(dòng)應(yīng)將科技倫理要求貫穿全過(guò)程，遵循增進(jìn)人類福祉、尊重生命權(quán)利、尊重知識(shí)產(chǎn)權(quán)、堅(jiān)持公平公正、合理控制風(fēng)險(xiǎn)、保持公開(kāi)透明、確保可控可信、強(qiáng)化責(zé)任擔(dān)當(dāng)?shù)娜斯ぶ悄芸萍紓惱碓瓌t，遵守我國(guó)憲法、法律法規(guī)和有關(guān)規(guī)定。”

對(duì)科技倫理的審查和把握，張龑認(rèn)為，第一，科技企業(yè)應(yīng)堅(jiān)持以人為本和科技向善：AI應(yīng)以服務(wù)于人為核心，避免技術(shù)濫用導(dǎo)致傷害，防止用戶過(guò)度依賴。第二，要特別關(guān)注未成年人保護(hù)，設(shè)置年齡門(mén)檻和內(nèi)容分級(jí)，防止向青少年傳播色情暴力等不良信息。同時(shí)落實(shí)《中華人民共和國(guó)未成年人保護(hù)法》對(duì)防止網(wǎng)絡(luò)沉迷的相關(guān)規(guī)定。第三，要保障透明度和可追溯：AI系統(tǒng)應(yīng)明確告知用戶正在與機(jī)器交互，并確保生成內(nèi)容可溯源。企業(yè)需承擔(dān)社會(huì)責(zé)任，避免利用成癮機(jī)制牟利。第四，要尊重社會(huì)公序良俗，防止AI破壞日常生活中的道德和秩序。

“盡管我國(guó)已經(jīng)有較為完備的、針對(duì)性的法律法規(guī)，但面對(duì)不斷進(jìn)步的人工智能科技，仍應(yīng)采取以預(yù)防為主，法治、倫理、技術(shù)與文化相結(jié)合的綜合治理方式，這也是最基本的治理方法。”張龑說(shuō)。