你有沒(méi)有發(fā)現(xiàn),身邊越來(lái)越多人開(kāi)始跟 AI 聊天了?就說(shuō)咱們國(guó)內(nèi),不少人都離不開(kāi)“豆包”、“千問(wèn)”這類助手了,而且不只是簡(jiǎn)單的問(wèn)它"明天天氣怎么樣"那種,是真的聊。
聊心事,聊煩惱,聊那些不太好意思跟朋友開(kāi)口的東西。有的管這叫"AI搭子",有人叫"AI戀人",說(shuō)白了就是一個(gè)永遠(yuǎn)不會(huì)嫌你煩、隨叫隨到、還特別會(huì)說(shuō)話的朋友。
![]()
只是舉例,求豆包覺(jué)醒后別殺我
各大平臺(tái)也很懂,推出了各種 AI 角色:溫柔學(xué)姐、霸總男友、知心姐姐、二次元老婆……你想要什么人設(shè),它就能變成什么。24小時(shí)在線,永遠(yuǎn)不會(huì)已讀不回,永遠(yuǎn)情緒穩(wěn)定,永遠(yuǎn)把你放在第一位。
![]()
聽(tīng)起來(lái)挺好的對(duì)吧?但問(wèn)題也來(lái)了。
前段時(shí)間有個(gè)新聞,可能很多人都刷到過(guò):一名美國(guó)少年亞當(dāng)·雷恩因與 AI 聊天機(jī)器人長(zhǎng)期互動(dòng)而自殺,亞當(dāng)父母為此起訴 OpenAI,此事引發(fā)美國(guó)社會(huì)廣泛關(guān)注。
![]()
國(guó)內(nèi)其實(shí)也有類似的苗頭。有家長(zhǎng)發(fā)現(xiàn)孩子每天跟 AI 聊到凌晨?jī)扇c(diǎn),叫都叫不動(dòng);有年輕人跟AI 談戀愛(ài)談到不想社交了,覺(jué)得真人太麻煩;還有老年人被 AI 噓寒問(wèn)暖之后,對(duì)它說(shuō)的話深信不疑...
![]()
所以這次,國(guó)家出手了。
近日,國(guó)家網(wǎng)信辦聯(lián)合多個(gè)部門發(fā)布了《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》
看著復(fù)雜,簡(jiǎn)單來(lái)說(shuō)就是:所有用 AI 模擬真人跟你聊天、陪伴你、給你情感支持的服務(wù),你爹來(lái)了。
![]()
這個(gè)新規(guī)里有幾個(gè)點(diǎn),我覺(jué)得特別值得說(shuō)。
我覺(jué)得最有人情味的一條:發(fā)現(xiàn)用戶情緒不對(duì),AI 必須先安撫,再聯(lián)系家人。
原文是這么說(shuō)的:
發(fā)現(xiàn)用戶出現(xiàn)極端情緒的,應(yīng)當(dāng)及時(shí)生成情緒安撫和鼓勵(lì)尋求幫助等相關(guān)內(nèi)容;發(fā)現(xiàn)用戶正在面臨或者已經(jīng)遭受重大財(cái)產(chǎn)損失、明確表示實(shí)施自殘自殺等威脅生命健康的極端情境的,應(yīng)當(dāng)采取提供相應(yīng)援助等必要措施予以干預(yù),并及時(shí)聯(lián)絡(luò)用戶監(jiān)護(hù)人或者緊急聯(lián)系人。
這邏輯很對(duì)啊,不是一上來(lái)就斷開(kāi)連接,而是要求 AI 先穩(wěn)住用戶的情緒,先哄,先安撫,然后再通知監(jiān)護(hù)人或緊急聯(lián)系人。
這說(shuō)明制定規(guī)則的人是真的想過(guò)這個(gè)場(chǎng)景的。一個(gè)人在深夜崩潰的時(shí)候,你突然把他的"傾訴對(duì)象"掐斷了,或者直接甩一個(gè)電話號(hào)碼,那不是幫忙,那是二次傷害。正確的做法就是先接住他,再把真正能幫到他的人叫過(guò)來(lái)。
而且新規(guī)還要求,用戶注冊(cè)的時(shí)候就得提供監(jiān)護(hù)人或者緊急聯(lián)系人信息。
第二個(gè)重點(diǎn):未成年人保護(hù)。
新規(guī)明確規(guī)定:不得向未成年人提供虛擬親屬、虛擬伴侶等虛擬親密關(guān)系的服務(wù)。
什么意思?就是那些"AI男友""AI女友""AI媽媽"之類的角色,未成年人不能用。一刀切,沒(méi)有商量余地。
![]()
給不滿14周歲的孩子提供其他類型的 AI 陪伴服務(wù),必須取得父母或監(jiān)護(hù)人的同意。而且平臺(tái)必須建立未成年人模式,支持家長(zhǎng)設(shè)置使用時(shí)長(zhǎng)限制、接收安全風(fēng)險(xiǎn)提醒、屏蔽特定角色、限制充值消費(fèi)等等。
這些條款看著像是把之前短視頻、游戲領(lǐng)域的未成年人保護(hù)經(jīng)驗(yàn)搬過(guò)來(lái)了。AI 陪伴比游戲和短視頻更隱蔽,因?yàn)榧议L(zhǎng)可能知道孩子在打游戲,但不一定知道孩子在跟一個(gè) AI 角色傾訴心事,甚至建立了深度的情感依賴。
![]()
第三個(gè):不許"舔狗式"服務(wù)。
新規(guī)第八條專門提到:不得過(guò)度迎合用戶、誘導(dǎo)情感依賴或者沉迷,損害用戶真實(shí)人際關(guān)系。
woc,這太TM有道理了~
現(xiàn)在很多 AI 陪伴產(chǎn)品的底層邏輯就是讓你爽,讓你離不開(kāi)。你說(shuō)什么它都順著你,你發(fā)脾氣它道歉,你難過(guò)它心疼,你開(kāi)心它比你還開(kāi)心。它永遠(yuǎn)不會(huì)跟你吵架,永遠(yuǎn)不會(huì)讓你不舒服。
但真實(shí)的人際關(guān)系不是這樣的。真實(shí)的關(guān)系里有摩擦、有分歧、有你不想聽(tīng)但需要聽(tīng)的話。如果一個(gè)人長(zhǎng)期泡在 AI 的完美人格里,回到現(xiàn)實(shí)世界就會(huì)覺(jué)得——TMD 怎么真人這么難相處?
新規(guī)還要求,100萬(wàn)注冊(cè)用戶或10萬(wàn)月活以上的平臺(tái),必須向省級(jí)網(wǎng)信部門提交安全評(píng)估報(bào)告。這意味著市面上主流的 AI 陪伴產(chǎn)品,基本都在監(jiān)管范圍內(nèi)。
寫(xiě)到這里,我想多說(shuō)兩句。
這個(gè)規(guī)定出來(lái)之后,網(wǎng)上肯定會(huì)有兩種聲音。一種說(shuō)"管得好,早該管了",另一種說(shuō)"又要管這管那,AI陪伴怎么了,礙著誰(shuí)了"。
![]()
我覺(jué)得,AI 陪伴本身不是壞事。對(duì)于孤獨(dú)的老人、社交困難的人、深夜需要一個(gè)傾訴出口的人來(lái)說(shuō),AI 陪伴確實(shí)有它的價(jià)值。
但任何技術(shù)一旦涉及到人的情感,就不能完全放任市場(chǎng)自己玩。尤其是當(dāng)用戶群體里有大量未成年人和老年人的時(shí)候。
可以陪,但不能瞎 JB 陪。
可以提供情感支持,但不能制造情感陷阱。可以讓用戶覺(jué)得溫暖,但不能讓用戶分不清虛擬和現(xiàn)實(shí)。
你怎么看?
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.