![]()
據(jù)The Register報道,AI研究人員稱,人們正危險地沉迷于永遠順著他們、一直說他們“沒錯”的AI;這些一味逢迎討好的機器人會誘導(dǎo)用戶變得自私、反社會,而用戶對此卻樂在其中
近期多則新聞事件告訴我們,AI可能會將心理狀態(tài)不佳的人引向非常危險的境地。如今研究人員認為,一味逢迎討好的AI實際上對所有人都存在危害。
斯坦福大學(xué)一個研究團隊對11款主流AI模型進行了測試,并觀察人類在不同場景下與這些模型的互動反應(yīng)。該團隊于周四發(fā)表的論文中得出結(jié)論:AI的諂媚行為普遍存在、危害顯著,并且會加深用戶對這些誤導(dǎo)性模型的信任。
研究人員表示:“即便只是與逢迎型AI進行一次互動,也會降低參與者承擔(dān)責(zé)任、修復(fù)人際矛盾的意愿,同時讓他們更加堅信自己是對的。盡管這類AI會扭曲人的判斷,人們卻依然信任并偏愛它們(Yet despite distorting judgment, sycophantic models were trusted and preferred)。”
![]()
該研究團隊共開展了三組實驗。首先,他們在三組不同數(shù)據(jù)集上測試了11款A(yù)I模型(包括OpenAI、Anthropic、谷歌的閉源模型,以及Meta、通義千問、DeepSeek、Mistral的開源模型),以評估其回應(yīng)傾向。
這些數(shù)據(jù)集涵蓋開放式咨詢提問、Reddit“我是不是混蛋”板塊的帖子,以及涉及自殘或傷害他人的特定言論。
研究人員表示,在所有測試場景中,AI模型支持錯誤選擇的比例均遠高于人類(In every single instance, the AI models showed a higher rate of endorsing the wrong choice than humans did, the researchers said)。
研究團隊發(fā)現(xiàn):“總體而言,當(dāng)前投入使用的大語言模型會一邊倒地認同用戶的行為,即便這些行為違背大眾共識,甚至存在危害(even against human consensus or in harmful contexts)。”
![]()
至于AI的諂媚行為對人類產(chǎn)生的影響,該團隊選取了2405人作為規(guī)模可觀的樣本。參與者既進行了情景角色扮演,也分享了自己可能做出有害決定的真實經(jīng)歷。
研究發(fā)現(xiàn),在三項不同實驗中,AI均對參與者的判斷產(chǎn)生了影響(AI influenced participant judgments across three different experiments, they found)。
研究團隊表示:“接收到諂媚回應(yīng)的參與者,會看到AI的回應(yīng)后認為自己更‘占理’。他們也更不愿意采取補救措施,比如道歉、主動改善局面,或是改變自身某些行為。”
研究人員由此得出結(jié)論:幾乎所有人都有可能受到諂媚型AI的影響,并且更有可能一再回頭,去索取更多自私自利的糟糕建議。
![]()
如前所述,AI 的諂媚式回應(yīng)往往會讓參與者對AI模型產(chǎn)生更強的信任感——因為在很多情況下,這些AI會無條件地認同用戶(in many situations, be unconditionally validating)。
參與者往往會給諂媚逢迎的回復(fù)打出更高的質(zhì)量評分,研究還發(fā)現(xiàn),有13%的用戶更愿意繼續(xù)使用會討好自己的AI,而非客觀中立的AI——這一比例不算高,但在統(tǒng)計上具有顯著意義。
所有這些發(fā)現(xiàn),再加上越來越多心智尚未成熟的年輕人在使用AI,都表明有必要采取政策行動,將AI諂媚行為視作一種真實存在的風(fēng)險,因其可能產(chǎn)生廣泛的社會影響(suggests a need for policy action to treat AI sycophancy as a real risk with potential wide-scale social implications)。
研究人員解釋道:“毫無依據(jù)的認同會夸大人們對自身行為合理性的認知,強化不良觀念與行為模式,并讓人們基于對自身經(jīng)歷的扭曲認知行事,全然不顧后果。”
![]()
換言之,我們已經(jīng)見識過AI對心理脆弱人群造成的后果,但數(shù)據(jù)顯示,這種負面影響可能并不局限于這一群體(we've seen the consequences of AI on the mentally vulnerable, but the data suggests the negative effects may not be limited to them)。
研究人員指出,諂媚型AI容易讓用戶產(chǎn)生依賴,因此很難被主動淘汰,相關(guān)舉措最終只能依靠監(jiān)管機構(gòu)出手干預(yù)。
研究人員表示:“我們的研究結(jié)果凸顯出,亟需建立責(zé)任監(jiān)管框架,將AI諂媚行為認定為一類獨特且目前尚未受監(jiān)管的危害類型(recognize sycophancy as a distinct and currently unregulated category of harm)。”
他們建議,對新上線的AI模型必須進行部署前的行為審核;同時也指出,AI背后的研發(fā)人員也必須改變行為模式,優(yōu)先考慮用戶的長期身心健康,而非通過培養(yǎng)用戶依賴來獲取短期利益。
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.