從劉慈欣的《詩云》看AI的“智障”時(shí)刻——意識(shí)污染到底是什么

今天上午確實(shí)是給W君逗樂了，但細(xì)琢磨了一下不應(yīng)該樂的。

原因基于以下：

劉慈欣真正的硬科幻作品不多，即便是《詩云》這種很不錯(cuò)的題材，其實(shí)也是阿根廷的小說家博爾赫斯的《通天塔圖書館》的另一種表述形式罷了。

《詩云》寫的是一個(gè)高度發(fā)達(dá)的外星文明創(chuàng)造的，目的是生成和存儲(chǔ)宇宙中所有可能的詩歌，涵蓋每一種語言、風(fēng)格和表達(dá)方式。這個(gè)系統(tǒng)不僅能創(chuàng)作，還能理解和欣賞詩歌的美感，試圖探索宇宙中美的極致。然而，故事揭示了這種追求的局限性：即使窮盡宇宙的計(jì)算能力，真正的藝術(shù)創(chuàng)造力和人類的情感深度仍然難以被完全模擬或取代。

而《通天塔圖書館》則寫的是一座無限圖書館，藏書囊括了所有可能的字符排列，從圣典到胡言亂語應(yīng)有盡有。讀者們?nèi)杖粘两渲校噲D找出“真理之書”，卻往往在文字的深淵中發(fā)瘋、死亡。

就在今天上午，W君看到了這個(gè)故事的另一面：

從很多人都不知道的是羋平才是屈原這件事上來看，屈原的老婆姓什么本就不是一件重要的事情。

好，那么現(xiàn)在我們來說說AI，重點(diǎn)就是大家十分篤信智能的基于生成式的“大語言達(dá)模型（LLM，Large language model)）”到底是個(gè)什么東西。

首先，AI并不智能，尤其是生成式大語言模型更不智能。如果大家看過電視劇《西部世界》其中有一個(gè)橋段完美的詮釋了生成式大語言模型的工作原理。

當(dāng)妓院老鴇梅芙被帶回實(shí)驗(yàn)室進(jìn)行維護(hù)的時(shí)候，她驚奇的發(fā)現(xiàn)在說話之前，自己要說的單詞被系統(tǒng)從一大堆的候選詞中甄選出來。

這其實(shí)恰恰是大語言模型的精髓所在——用最合適的概率來決定下一個(gè)要輸出的詞匯（Token）是什么。

所以，在大語言模型領(lǐng)域中，我們通常以為AI在“思考”，但真實(shí)的情況是，它只是在權(quán)衡“哪個(gè)詞更像是人類此刻該說的話”。你以為它在推理，其實(shí)它只是算概率；你以為它有主張，其實(shí)它只是在選擇“下一句說什么最順”。

而這一切，都是基于卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的一次次應(yīng)用和迭代。當(dāng)然了，這些并不是今天的重點(diǎn)。

重點(diǎn)是人類的原始文本，都會(huì)送入AI中進(jìn)行訓(xùn)練和學(xué)習(xí)，當(dāng)這些語料信息被污染了會(huì)怎樣？

其實(shí)，結(jié)果大家已經(jīng)看到了——屈原的老婆成了屈臣氏。

1932年，窒素株式會(huì)社在日本熊本縣水俁市的化學(xué)工廠生產(chǎn)氯乙烯與醋酸乙烯，其制程中需要使用含汞的催化劑。該工廠為節(jié)省成本，將未經(jīng)處理的含汞毒廢水在完全沒有任何化學(xué)過濾的情況下排入水俁灣，這些含汞的劇毒物質(zhì)流入近海并被魚蝦所吸收，進(jìn)而在生物體內(nèi)轉(zhuǎn)化成甲基氯汞與二甲汞等有機(jī)汞化合物。

當(dāng)人類捕食海中生物后，甲基汞等有機(jī)汞化合物進(jìn)入人體，被腸胃吸收、造成生物累積，隨后侵害人體腦部和身體的其他部分。

記錄表明1956年4月21日開始第一個(gè)水俁病患者小女孩田中靜子被確診，出現(xiàn)了關(guān)節(jié)變形、渾身抽搐的癥狀，在1960年，日本政府正式將“甲基汞中毒”所引起的工業(yè)公害病定名為“水俁病”。

2014年4月，美國密歇根州弗林特市，在金融危機(jī)期間為了降低用水成本，將市政水源由休倫湖和底特律河改為了弗林特河，由于缺乏腐蝕抑制劑，導(dǎo)致老化管道中的鉛滲入供水系統(tǒng)。致使超過10萬居民飲用和使用超標(biāo)的鉛污染水。

1961年至1971年間，美國軍方在越南戰(zhàn)場上大規(guī)模噴灑一種名為“橙劑”（Agent Orange）的化學(xué)除草劑，號(hào)稱為了“破壞敵方的遮蔽與糧食供應(yīng)線”，實(shí)則是一場徹底的生態(tài)屠殺。橙劑在釋放后導(dǎo)致越南雨林植物大面積的樹葉脫落，在戰(zhàn)時(shí)越南的游擊隊(duì)就很難隱匿在叢林中。但橙劑中的二惡英則永遠(yuǎn)的留在了越南的雨林中。時(shí)至今日越南依然有大量的兒童被污染所累。

這些都是我們能看到的污染事件，它們傷害的是身體、土地、水源和子孫后代的健康。但今天，有一種看不見的污染已經(jīng)悄然開始釋放，并迅速彌漫在整個(gè)互聯(lián)網(wǎng)的語言之中。

它沒有顏色，沒有氣味，也不會(huì)讓你一夜間倒下。它更狡猾、更緩慢、更徹底地在摧毀我們每一個(gè)人最重要的能力：判斷、理解與分辨真?zhèn)蔚囊庾R(shí)系統(tǒng)。

這就是意識(shí)污染。現(xiàn)在已經(jīng)看到AI的水俁病了，或者是“屈臣氏病”。我們喂給AI什么，AI就學(xué)習(xí)什么，在適當(dāng)?shù)臅r(shí)候，AI會(huì)根據(jù)概率來反饋給我們一些結(jié)果。但如果我們喂給AI的東西是污染過的，例如一大堆的互聯(lián)網(wǎng)找樂段子、一大堆的諧音梗，一大堆錯(cuò)誤的認(rèn)知，你覺得AI會(huì)有判別能力嗎？其實(shí)沒有，在AI的視野里，一切內(nèi)容都是詩云中的文字隨機(jī)組合，只不過有一些組合概率大一些，有一些組合概率小一些，AI是照單全收的。喂的段子多了，AI自然也就“弱智”了，還沒有一個(gè)AI可以真正的理解“屈原老婆姓陳”和“屈原老婆姓李”的本質(zhì)區(qū)別，也無法判斷誰對(duì)誰錯(cuò)，但三人成虎，很顯然“屈原老婆姓陳”更具備傳播效率，被更多的網(wǎng)頁、文章提及，于是“姓陳”就在概率上更占優(yōu)勢(shì)。

最終，AI就會(huì)更加偏遠(yuǎn)向于給你輸出“姓陳”的答案。

檔AI吸收了錯(cuò)誤觀點(diǎn)和錯(cuò)誤信息——AI按照概率突出了錯(cuò)誤信息反哺人類，在意識(shí)的污染上已經(jīng)形成了完美的閉環(huán)。今天我們會(huì)敏銳的察覺到AI的智障行為，作為一個(gè)笑話來看，但最終，在歷史的某一個(gè)時(shí)刻，我們還真可能認(rèn)可“屈原的老婆姓陳”這樣的荒謬設(shè)定。

現(xiàn)在，咱們能看出“屈原的老婆姓陳”是一個(gè)笑話，但20年-30年之后呢？反正AI認(rèn)為是對(duì)的，最符合概率的輸出給大家，不斷的灌輸不斷的給人類肉身大腦反復(fù)清洗，到時(shí)候真會(huì)蹦出一個(gè)大學(xué)教授告訴你，小時(shí)候他在AI上提問，就是這樣的答案——“屈原的老婆姓陳”，最終歷史的真相就毀在了諧音梗的段子上。

說實(shí)在的，段子少一點(diǎn)為好，起初制造環(huán)境污染的那些罪人無非圖錢、圖利、圖方便，而現(xiàn)在制造意識(shí)污染的人其實(shí)也是非圖錢、圖利、圖樂子，沒啥不同。

用不了10年，大家可能就會(huì)追求所謂的“有機(jī)信息”了……

“意識(shí)污染”本質(zhì)上是一種評(píng)價(jià)系統(tǒng)的崩塌。在人類文化的演化中，語言不僅是交流工具，更是價(jià)值、真理與美的載體。傳播的本質(zhì)并非信息的搬運(yùn)，而是意義的傳遞與確認(rèn)。然而，在生成式AI的訓(xùn)練機(jī)制中，語言被還原為“拼接概率”，內(nèi)容被削弱為“格式匹配”。當(dāng)海量低質(zhì)、碎片化、娛樂化語料被不斷輸入模型，AI便開始學(xué)會(huì)“如何說得像樣”，卻不知“何為對(duì)錯(cuò)”。這種從算法出發(fā)、繞過思想、直達(dá)表達(dá)的路徑，最終讓人類在反復(fù)接受AI輸出中喪失分辨能力，從而形成語言邏輯上的污染，文化認(rèn)知上的退化，集體意識(shí)中的誤導(dǎo)閉環(huán)。

其實(shí)和你用含磷洗衣粉就是污染環(huán)境一樣，當(dāng)你轉(zhuǎn)發(fā)點(diǎn)贊一些無厘頭的內(nèi)容讓它們獲得更大的傳播時(shí)，你正在污染意識(shí)。

看到這里，你覺得自己沒被“意識(shí)污染”嗎？那么“垂死病中驚坐起”下一句是啥？