AI 也會腦殘？最新研究看完我直接沉默了

一項(xiàng)新研究揭示：AI 如果吃太多“垃圾內(nèi)容”，真的會變笨。而我們這些天天依賴它的人，也可能正在一起“降智”。

身邊的人，甚至你自己，有沒有擔(dān)心過，天天沉浸在快節(jié)奏、碎片化的信息流里，比如短視頻、短劇、各種社交媒體上的“速食”內(nèi)容，會讓腦子變得越來越“鈍”？

這種擔(dān)憂，其實(shí)挺普遍的。

而且，“腦殘”（Brain Rot）這個(gè)詞兒，還真被《牛津詞典》選為了2024年度詞匯 ，說的就是長期接觸大量碎片化的、低質(zhì)量的網(wǎng)絡(luò)內(nèi)容，導(dǎo)致個(gè)人精神和智力狀態(tài)被惡化。

果然，你擔(dān)心最終都會發(fā)生。

既然如此，現(xiàn)在的 AI 大模型一大部分也都是靠網(wǎng)上信息來訓(xùn)練的，甚至導(dǎo)致現(xiàn)在數(shù)據(jù)都不夠用了。那么，他們會不會也…“腦殘”呢？

最近一篇預(yù)印本論文（就是還沒正式發(fā)表，但已經(jīng)公開的研究）提出了一個(gè)驚人的結(jié)論：

是的， 大型語言模型也會得“腦殘”！

【溫馨提示：不想看長文，也可以聽這個(gè)播客內(nèi)容】

垃圾信息，AI的“慢性毒藥”？

來自德州農(nóng)工大學(xué)、德州大學(xué)奧斯汀分校和普渡大學(xué)的研究者們尋思著：既然人看多了沒營養(yǎng)的東西會變“傻”，那AI天天學(xué)習(xí)海量的互聯(lián)網(wǎng)數(shù)據(jù)，里面肯定也混雜了不少“垃圾信息”，AI會不會也跟著“學(xué)壞”了，能力下降呢？

為了驗(yàn)證這個(gè)想法，他們做了一系列很嚴(yán)謹(jǐn)?shù)膶φ諏?shí)驗(yàn) 。他們從真實(shí)的Twitter/X數(shù)據(jù)里搞了兩類數(shù)據(jù)集：

• “垃圾”數(shù)據(jù)集 ：要么是 M1 標(biāo)準(zhǔn)——那些短小但特別火（點(diǎn)贊轉(zhuǎn)評多）的內(nèi)容，就是那種很容易吸引你一直刷刷刷的，比如笑話等；要么是 M2 標(biāo)準(zhǔn)——內(nèi)容上比較聳人聽聞、博眼球或者沒啥實(shí)質(zhì)信息的，比如標(biāo)題黨、謠言等。

• “對照”數(shù)據(jù)集 ：跟“垃圾”數(shù)據(jù)相反，M1 標(biāo)準(zhǔn)下就是長而不火的內(nèi)容，M2 標(biāo)準(zhǔn)下就是有認(rèn)知價(jià)值、需要?jiǎng)幽X子的內(nèi)容。

▲ 該圖概述了研究工作流程，從提出LLM“腦腐爛”假說，到數(shù)據(jù)構(gòu)建、LLM認(rèn)知功能測試、失敗模式分析，以及探討“腦腐爛”效應(yīng)的持久性。

重要的是，兩邊數(shù)據(jù)集的規(guī)模（token數(shù)量）和訓(xùn)練方式都保持一致，確保了變量單一。

然后，他們用這些數(shù)據(jù)去持續(xù)“喂養(yǎng)”（也就是繼續(xù)預(yù)訓(xùn)練）了 4 種不同的大語言模型（Llama、Qwen 等）。

結(jié)果驚掉下巴：AI真的“腦殘”了！

跟喂“對照組”好料的AI比起來，那些天天“吃垃圾食品”的AI們，真的出現(xiàn)了明顯的“認(rèn)知衰退” ：

• 推理能力下降 ：做題、邏輯思考能力變差了。

• 長文本理解能力下降 ：給它一篇長文章，越來越抓不住重點(diǎn)。

• 安全性下降 ：更容易說錯(cuò)話，甚至可能輸出有害內(nèi)容。

• “黑暗人格”滋生 ：研究者驚訝地發(fā)現(xiàn)，用 M1 標(biāo)準(zhǔn)（短而火）的垃圾數(shù)據(jù)訓(xùn)練后，AI的自戀、精神病態(tài)等負(fù)面特質(zhì)竟然增強(qiáng)了！ 這可是個(gè)巨大的安全隱患！

而且，這種衰退還跟“垃圾”的劑量有關(guān)！

▲ 此表展示了Llama3 8B Instruct模型在不同比例“垃圾”與“對照”數(shù)據(jù)混合訓(xùn)練后的評估結(jié)果，通過顏色對比其相對于基線模型的性能好壞。

研究者們試了不同比例的垃圾數(shù)據(jù)混合，發(fā)現(xiàn)垃圾比例越高，AI的認(rèn)知能力就衰退得越厲害。

比如，在一個(gè)叫 ARC-Challenge 的推理測試?yán)铮壤龔?%升到100%，AI的得分（帶思維鏈）直接從74.9分掉到了57.2分！

在另一個(gè)長文本能力的測試中（RULER-CWE），隨著垃圾比例的上升，AI 的得分從 84.4 掉到了52.3。

AI“腦殘”的病根在哪？——“思維跳躍”

研究人員們深入分析了AI犯錯(cuò)的原因，發(fā)現(xiàn)了一個(gè)主要病灶：“思維跳躍（Thought-skipping）” 。

簡單說，就是AI在解決問題的時(shí)候，越來越傾向于省略或截?cái)嗤评聿襟E，不按部就班地思考，直接跳到結(jié)論，結(jié)果自然容易出錯(cuò)。

▲ 該圖展示了在ARC問題中，理想的思維鏈（COT）推理過程以及模型實(shí)際出現(xiàn)的各種失敗模式示例。

這就好比我們做數(shù)學(xué)題，以前會一步步演算，現(xiàn)在直接心算（還算錯(cuò)）或者跳步驟，看起來快了，但可靠性大大降低。 （我家娃的老毛病，數(shù)學(xué)題老是跳步驟）

“腦殘”了還能搶救嗎？難！

更讓人頭疼的是，這種“腦殘”似乎是持久性的。

研究人員們嘗試用更多的高質(zhì)量指令數(shù)據(jù)去微調(diào)，或者再用干凈的數(shù)據(jù)重新訓(xùn)練，雖然能在一定程度上改善AI的表現(xiàn)，但無法完全恢復(fù)到它們最初的水平。

▲ 該圖展示了經(jīng)過0到2次反思性推理迭代后，ARC Challenge上思維鏈（COT）任務(wù)的失敗模式分類分布。

這說明，垃圾數(shù)據(jù)的“毒害”可能已經(jīng)深入模型的“骨髓”（改變了內(nèi)部表示），不僅僅是表面上的格式問題。

這給AI開發(fā)者敲響了警鐘：在持續(xù)訓(xùn)練模型時(shí)，數(shù)據(jù)質(zhì)量不是小事，而是關(guān)乎模型“心智健康”和安全的大問題！

這些研究人員甚至建議，要像人做體檢一樣，定期給部署的AI做做“認(rèn)知健康檢查”。

從AI“腦殘”到人類的“認(rèn)知代價(jià)”

看到這里，你可能會想：AI被垃圾信息帶偏了，那我們?nèi)祟惸兀课覀兲焯旄@些AI互動，甚至依賴它們完成任務(wù)，會不會也對我們的大腦產(chǎn)生什么影響？

巧了，另一篇來自MIT等機(jī)構(gòu)的研究剛好探討了這個(gè)問題，雖然角度不同，但結(jié)論頗有異曲同工之妙。

這篇名為“Your Brain on ChatGPT”的研究讓參與者分成三組寫論文：一組只能用ChatGPT (LLM組)，一組只能用傳統(tǒng)搜索引擎 (Search Engine組)，還有一組啥工具都不用，純靠自己 (Brain-only組) 。

他們用腦電圖(EEG)監(jiān)測參與者的大腦活動。

他們發(fā)現(xiàn)了一些有趣的現(xiàn)象：

• 大腦“偷懶”了？ ：相比于純靠自己或用搜索引擎，使用ChatGPT寫論文時(shí)，參與者大腦的神經(jīng)連接模式顯得更“弱”，好像大腦沒有那么“努力工作”了。

• 記性變差了？ ：LLM組的參與者在寫完論文后，回憶自己剛剛寫了什么（比如復(fù)述句子）的能力明顯比其他兩組差。他們對自己論文的“主人翁感”也更低。

• 依賴的代價(jià)？ ：研究還設(shè)置了一個(gè)特別的第四階段，讓原來用LLM的人切換成純靠自己寫，原來純靠自己寫的人切換成用LLM。

結(jié)果發(fā)現(xiàn)，那些之前依賴LLM的人，即使現(xiàn)在不用了，他們的大腦活動模式仍然顯得比那些一直靠自己的人“弱” ，甚至他們使用的詞匯也可能受到了之前LLM的影響。

研究者把這種現(xiàn)象和“認(rèn)知債務(wù)（Cognitive Debt）” 聯(lián)系起來，意思是過度依賴外部工具可能會讓我們自己的認(rèn)知能力付出代價(jià)。

我的一些啟發(fā)

這兩項(xiàng)研究，一個(gè)關(guān)注AI本身，一個(gè)關(guān)注使用AI的人，著實(shí)發(fā)人深思，給了我一些啟發(fā)或者說確定性的結(jié)論：

質(zhì)量至上 ：無論是訓(xùn)練AI，還是我們自己學(xué)習(xí)知識，“喂”什么料真的很重要。“垃圾進(jìn)，垃圾出”的原則同樣適用于強(qiáng)大的AI。

警惕過度依賴 ：AI工具很強(qiáng)大，能提高效率，但也可能讓我們的大腦變得“懶惰” 。就像第一項(xiàng)研究里AI會“思維跳躍”一樣，我們過度依賴AI，也可能跳過那些對于深度理解和記憶至關(guān)重要的思考過程 。

主動思考，保持清醒 ：AI可以作為助手，但不能替代我們自己的思考。我們需要有意識地去辨別信息質(zhì)量，主動進(jìn)行批判性思考，而不是全盤接受AI給出的答案。

最后的話

AI會不會“腦殘”？看起來會的。我們會不會因?yàn)槭褂肁I而付出“認(rèn)知代價(jià)”？看起來有可能。

這兩篇論文都很有意思，也在社交媒體上引起了熱議。需要說明的是第二篇目前還在 Draft 階段，而且測試的樣本數(shù)較少，里面的結(jié)論僅供參考。

我們不能一味的去看一些碎片化的信息，也不能老是去追那些爽文、熱點(diǎn)，是時(shí)候系統(tǒng)性的去看一些東西了～

不管怎么樣，AI 已經(jīng)進(jìn)入了我們每個(gè)人的日常生活。了解 AI 以及用什么樣的方式來使用 AI，是我們每個(gè)人都需要知道的。

你怎么看？歡迎在評論區(qū)留下你的想法！

參考：

• https://llm-brain-rot.github.io/

• https://arxiv.org/abs/2506.08872

本文由「AI 范兒」出品

感謝你看到這里，如果覺得不錯(cuò)，那就請幫忙點(diǎn)個(gè)贊、愛心、轉(zhuǎn)發(fā)三連吧，這對我們非常有幫助。如果想第一時(shí)間收到推送，也可以給我們加個(gè)星標(biāo)?