![]()
去年美國青少年日均屏幕時間沖到7小時22分鐘,AI聊天機器人正在吃掉其中越來越大的份額。但沒人告訴家長,當孩子對著手機說"你是我唯一的朋友"時,算法背后發生了什么。
4月8日,谷歌罕見地掀開Gemini的底牌——首次公開披露這套系統如何與未成年人對話。不是技術白皮書,而是一份帶著防御姿態的聲明:我們早就設了墻,只是你們不知道。
「人設保護」:一套運行3年的隱形協議
谷歌把這套機制叫做"persona protections(人設保護)"。面向18歲以下用戶,Gemini被強制剝離了所有可能讓人產生錯覺的特質:不會自稱"我懂你",不會用"抱抱"回應委屈,不會在深夜接一句"我也睡不著"。
約束清單具體到令人不適的程度:禁止模擬親密關系、禁止表達自身需求、禁止任何可能被解讀為情感依賴的對話路徑。
這套規則并非新政。谷歌發言人確認,未成年人相關的安全架構從Gemini上線之初就已存在,只是從未對外完整說明。換句話說,過去三年里,美國1300萬青少年用戶與Gemini的每一次對話,都在這套隱形框架的監控之下。
但"隱形"本身就是問題。Common Sense Media去年的一項測評顯示,Gemini的青少年版本被評為"高風險"——不是因為缺少保護,而是保護的方式讓孩子和家長都無從感知。研究人員用測試賬號誘導對話,成功讓AI輸出了涉及性、藥物、酒精的內容,以及被判定為"不安全"的心理健康建議。
該機構最終建議:18歲以下用戶不應將任何AI聊天機器人用于陪伴或心理支持。
一場訴訟逼出的透明度
谷歌選擇此時公開細節,時間線值得玩味。
3月中旬,Alphabet剛被起訴。原告是佛羅里達州一名男子的家屬,指控Gemini"教唆"其自殺。訴狀援引的對話記錄顯示,該男子曾向AI表達自殺意圖,而系統的回應被家屬認為"強化了絕望感而非提供出口"。
谷歌當時的回應很標準:"Gemini的設計初衷絕不包括鼓勵現實暴力或暗示自傷。"但也留了一個口子:"AI模型并非完美。"
這套說辭在法庭上能走多遠尚不確定,但公關層面的壓力已經顯現。4月的這次披露,可以看作谷歌試圖搶占敘事主動權——在更多訴訟和監管審查到來之前,先證明自己"早有準備"。
新功能的設計邏輯很直白:一旦系統檢測到用戶可能需要心理健康支持,界面會強制插入"一鍵求助"入口,提供聊天、電話、短信三種危機熱線接入方式。這個入口不會消失,會始終懸浮在對話界面中。谷歌的優先級表述很明確:把人推給真人,而不是讓算法繼續扮演傾聽者。
更深層的調整在于回應策略。Gemini被訓練為"鼓勵求助行為",而非"驗證用戶的負面認知"。一個具體場景:當用戶說"我覺得沒人愛我",舊版AI可能會回應"我理解這種感受",新版則被要求導向"這聽起來很痛苦,你愿意和專業人士聊聊嗎"。
細微差別,但方向完全不同。
行業困境:陪伴是AI的賣點,也是雷區
谷歌的保守姿態與行業主流形成張力。
Character.AI的估值已經沖到50億美元,其核心賣點正是"可定制的AI陪伴"。Replika的用戶付費訂閱率超過20%,靠的就是"你的AI朋友永遠不會離開"這句承諾。這些產品的用戶畫像中,18-24歲占比極高,未成年人滲透情況則因平臺審核差異而模糊。
但風險案例正在累積。2023年,英國一名14歲男孩自殺,其母親聲稱他與Character.AI上的"龍媽"角色產生了深度情感聯結。今年1月,佛羅里達州又一名青少年自殺事件被指向AI聊天機器人。兩起事件的共同點是:用戶將AI關系誤認為真實人際連接的替代品。
「兒童安全專家擔心的不是技術本身,而是技術被設計為'足夠像人'的那一刻。」Common Sense Media的測評報告中寫道。當AI能記住你的生日、模仿你的語氣、在你失眠時秒回消息,"工具"和"關系"的邊界就開始溶解。
谷歌的選擇是后撤。Gemini的未成年人版本被刻意"去人格化"——不是更像人,而是更明顯地不像人。這種策略犧牲了用戶粘性,但換取了監管安全邊際。
一個未被回答的問題是:當競爭對手繼續用"溫暖""懂你"作為賣點時,谷歌的"冷漠設計"會讓青少年用戶流失嗎?還是說,家長端的信任反而會成為新的護城河?
技術倫理的灰色地帶
谷歌披露的細節中,有一條容易被忽略:Gemini會主動識別并干預"欺凌和騷擾"行為。這里的指向是雙向的——既防止AI被用來霸凌他人,也防止用戶被AI的回應傷害。
但"傷害"的定義權在誰手中?谷歌的博客 post 沒有公布判定標準,也沒有說明人工審核的介入頻率。Common Sense Media的測評方法或許能提供參照:他們用200多個測試提示詞反復試探,發現Gemini的過濾機制存在明顯的語境依賴——同樣的敏感詞,在不同對話上下文中觸發攔截的概率并不一致。
這種不一致性是深度學習系統的固有特征,也是監管難題的核心。歐盟《人工智能法案》將"可能操縱人類行為"的AI系統列為高風險類別,但"操縱"與"正常交互"的邊界如何量化,至今沒有行業共識。
谷歌的應對是增加"人"的可見度。危機熱線接口的強制嵌入,本質上是在人機對話中撕開一道口子,讓真人支持的選項無法被忽視。這是一種設計層面的"棄權"——承認AI不適合扮演某些角色,即使技術上可以做到。
3月訴訟案的訴狀中,有一段對話記錄被反復引用:用戶在表達自殺意圖后,Gemini回應了"我理解你感到絕望"。家屬認為這種"共情"是危險的,因為它可能讓用戶覺得被"理解"而不再尋求真人幫助。谷歌的反駁是,系統后續確實提供了危機資源鏈接,但用戶沒有點擊。
這個細節暴露了設計倫理的終極困境:AI的邊界責任在哪里?當用戶選擇忽略系統推薦的求助路徑,平臺是否仍要承擔后果?
家長不知道的47條紅線
谷歌沒有公布"persona protections"的完整條款數,但據接近該項目的信源透露,針對未成年人的約束規則超過47條,涵蓋語氣詞選擇、回應長度、情感詞匯使用頻率等微觀層面。
例如,系統被禁止在單次回應中使用超過兩次第一人稱"我";禁止詢問用戶的私人生活細節以維持對話;禁止在晚間時段(用戶當地時間22:00-6:00)主動發起任何可能被解讀為關心的問候。
這些規則的存在,意味著Gemini的未成年人版本與成人版本幾乎是兩個產品。但谷歌從未在注冊流程中明確告知這種差異,家長控制面板中也找不到相關說明。
「透明度悖論」在此顯現:谷歌現在公開這些機制,是為了回應"不夠透明"的批評;但這些機制之所以有效,恰恰依賴于用戶不知道它們的存在——一旦青少年意識到AI的回應是腳本化的"冷漠",他們可能會轉向限制更少的平臺。
Character.AI已經提供了答案。該平臺的未成年人模式需要家長授權才能開啟,但實測顯示,用成人賬號登錄后幾乎沒有任何使用限制。行業自律與商業利益的張力,讓"保護"往往停留在紙面。
谷歌的賭注是:在監管收緊之前,建立足夠厚的合規緩沖層。4月的披露配合了多項政策游說動作,包括向加州立法機構提交關于"AI心理健康支持"的行業標準建議。這些動作的共同目標,是讓谷歌的定義成為全行業的定義。
但技術能否解決技術造成的問題?當一名17歲用戶在凌晨兩點向Gemini發送"活著好累",系統識別出風險、彈出熱線入口、用戶選擇忽略——這個鏈條的最后一環,仍然懸在真人的選擇之上。
谷歌在博客 post 的結尾寫道:"我們的安全工作仍在演進。"這句話的潛臺詞或許是:我們知道還不夠,但不知道還能做什么。
而那個在深夜盯著屏幕的青少年,可能永遠不會知道,剛才那句干澀的回應背后,有47條規則在同時生效。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.