今年的 3·15 晚會,讓中國老百姓學會了一個新詞——AI 投毒。它以一種近乎于引發恐慌的方式,瞬間走進了億萬普通人的視野[1]。
![]()
3·15 晚會對于 AI 投毒現象的報道相當驚悚:記者用一款專門用于 AI 投毒的軟件,自動虛構了一個名叫 Apollo-9 的智能健康手環,并用軟件自動生成產品軟文,并在多個平臺發布文章。
僅僅 2 個小時后,這款完全虛構的產品就在問答中被 AI 盛贊,而 AI 的參考資料,正是 AI 投毒軟件自動生成的虛假產品軟文。
![]()
更令人不安的是,在醫療領域,大量無資質的藥物、保健品和三無醫美產品,都在利用這種方法獲得 AI 的推薦。一時間,“AI 被污染”、“AI 答案不可信”的聲音鋪天蓋地,讓很多人驚出一身冷汗。
我們當然應該感謝 3·15 晚會揭開了 AI 投毒的亂象,但我想說的是,3·15 的報道遠遠沒有觸及 AI 投毒問題的核心矛盾。
3·15 晚會只是激起了老百姓“是該管管了”的呼聲,但大多數人都不知道,這事兒其實根本管不了。
AI 投毒的原理
從 3·15 晚會的報道不難看出,整個 AI 投毒的過程,其實就是利用軟件自動化地生成軟文并且自動發布到網上,全程并沒有 AI 什么事兒。那么AI 投毒又是如何實現的呢?
答案是顯而易見的,那些發布到互聯網各大平臺的假文章,是AI 在回答問題的過程中自己抓取的。
![]()
早在 2023 年 11 月,豆包模型就偷偷上線了聯網檢索功能,只不過這時候的檢索是暗中進行的。當用戶的問題依靠大模型的自有知識無法回答的時候,豆包就會偷偷在互聯網上搜索一下[2]。
2024 年 10 月 31 日,ChatGPT 正式推出了聯網搜索功能,僅對付費用戶開放[3]。而 2024 年底 DeepSeek 搜索功能的問世[4],讓上網搜索成了所有 AI 都必須具備的基本功能。同時,也開啟了 AI 投毒這門生意。
聯網搜索之所以受歡迎,是因為 AI 大模型的訓練數據會有一定的滯后性,最近的新聞,最新的熱點,AI 沒法跟你討論。有了搜索之后,AI 可以現學現賣,服務能力就大幅增強。
不過,AI 聯網抓信息的過程是極為簡單粗暴的。
當你問出問題之后,AI 軟件會把問題拆解成多種關鍵詞的組合,然后去搜索引擎里去搜取一堆網頁片段。注意,這輪搜索只抓片段,不會整頁下載,更不會去把整個網站認真看一遍。
最重要的是,這個活兒根本不是 AI 干的,而是為 AI 服務的代理程序完成的。程序會把一大堆資料截短、去重、拼接、壓縮后,放進你和 AI 聊天的上下文里。而 AI 是通過上下文信息來理解你的問題的。
換句話說,從頭至尾,AI 都沒有去直接訪問互聯網,它們只是看過軟件強行塞進上下文里的那些資料而已。
看起來 AI 信誓旦旦地向你推薦商品,說商品如何如何可靠,其實 AI 全程都沒做任何的學習和思考,它只是在總結整理上下文中的資料,然后輸出給你看。
等你下次再問 AI 這個問題的時候,整個流程還會重新運行一遍。
所以,所謂的 AI 投毒,確實跟 AI 沒有半毛錢的關系,被投毒的一直都是互聯網,從來不是 AI。
![]()
基于互聯網的投毒式優化從來都一直存在,只不過,當投毒的內容不是網頁,而是經過 AI 的小嘴說出來的時候,就顯得特別像真的罷了。AI 投毒無法污染 AI 本身,它污染的只是你的認知而已。
這里要強調的是,有一種與 AI 投毒類似,但結果迥異的概念,叫做“AI 訓練數據投毒”。訓練數據投毒,是在 AI 訓練階段,往訓練數據里摻雜虛假信息[5]。會永久改變 AI 的知識權重,讓 AI 從根本上被“徹底洗腦”[6]。而我們現在說的 AI 投毒,本質上只是檢索結果污染而已。
想給 AI 投毒并不容易
雖然 3·15 晚會上演示的 AI 投毒相當簡單,但也不是你想怎么投毒都能如愿的。
3·15 晚會上演示了利用 AI 投毒來捏造一種不存在商品的能力,讓 AI 投毒看起來非常可怕。也許你以為,憑空捏造出一種全新的產品,是世界上最難的事情,但事實上,這恰恰是最容易的一件事。
我給你舉個例子,你在網上搜索蘋果手機,你會搜索到無數多條信息。但是,如果你搜索“香蕉奶油百香果牌的手機”,你多半會發現一條信息都沒有。
想要憑空創造一個新品牌,只要在網上發布幾篇文章,然后等著搜索引擎收錄就行了。當你詢問 AI 這個品牌的時候,無論 AI 怎么搜索,都只能搜到你剛剛發布的文章,當然 AI 就只能參考你的文章。AI 投毒也就順利完成了。
但是,如果你想污染一個類似蘋果手機這樣的高知名度產品,那么即便你瘋狂發布 10000 篇文章,也會被現有的信息淹沒。
當 AI 從互聯網上抓取信息的時候,也許你的投毒信息也會被一并抓取,但你的信息往往權重較低。AI 在綜合參考所有資料后,會發現你的資料與其他資料內容矛盾,然后過濾掉你提供的有毒信息。
于是,你雖然瘋狂發布了 10000 條有毒信息,你的 AI 投毒計劃還是會失敗。
更多的時候,如果你在假信息中提供了違背公共知識體系的信息時,AI 會在整理信息時發現這些問題,并且把這些信息排除在外。
所以,3·15 晚會也被騙了。AI 投毒并沒有想象的那么簡單。
3·15 晚會的邏輯是:商家花錢 → 黑產投毒 → AI 變傻 → 消費者被騙。
但真實的情況是,黑產用最簡單的創建新產品誤導 AI 的例子去欺騙商家花錢,而商家花錢之后,就算有心做壞事,大概率也是做不到欺騙大眾的效果的。
真相更可怕
如果 3·15 說的不對,那么 AI 投毒還是個值得擔心的問題嗎?
答案是,3·15 晚會確實沒有挖出真相,不過,真相比 3·15 晚會的報道更加可怕。
順著我們剛剛的邏輯推演,可以得出一個關鍵結論,那就是 AI 投毒現象并不會無差別的發生。只有商業信息領域,才容易被黑產滲透。而科學領域、各種常識甚至各種小眾領域,都不是 AI 投毒的主要目標。
這背后的核心邏輯,就是 AI 的知識權重差異。AI 的核心知識權重,源于海量經過篩選的訓練數據。這些訓練數據,涵蓋了數學、物理、化學、生物、歷史等各個領域。對于這些領域的內容,有明確的標準答案、有穩定的共識。AI 在訓練過程中,會形成堅定的認知,不會輕易被虛假信息誤導。
比如數學領域,“1+1=2”這種數學鐵律,再多虛假軟文也無法改變這個結論。再比如歷史領域,“鴉片戰爭爆發于 1840 年”是個明確的歷史事實。AI 不會因為幾篇軟文,就把鴉片戰爭爆發時間改成其他年份。
![]()
確定事實的內容不會輕易被更改
但商業信息領域,完全是另一種景象。這里沒有標準答案,沒有穩定的知識體系,也沒有統一的判斷標準。
到底是“哪款臺燈更護眼”,“哪款跑步機不傷膝蓋”,“那款口紅更顯白”,商家必須說自己最好,而不同的人會有不同的答案,AI 沒有內置的真理,只能依靠檢索到的外部信息進行歸納。
而商業信息的本質,本身就是“王婆賣瓜自賣自夸”,充滿了各種利益驅動。品牌方為了銷量,會夸大產品功效、偽造用戶口碑。競品為了打壓對手,會投放負面軟文、編造虛假黑料。
整個商業信息環境本身,就是一個“大毒窟”,這個領域根本不用投毒,每個品牌的自我介紹,都或多或少具有虛假和夸大的成分。
這就是我說,真相比 3·15 的曝光更可怕的原因。因為不用投毒,這本身就是一個充滿了毒的信息領域。
AI 只是把這片“毒海”,幫你濃縮成了一碗又鮮美、又順滑、還讓你感覺很權威的雞湯而已。
商業信息中的毒性,從來都不是 AI 帶來的。早在 AI 出現之前,互聯網上就充斥著軟文、水軍、虛假測評。只是那時候,我們需要自己翻頁、篩選、判斷。
而現在,AI 幫我們做了篩選和整理,把這些“毒信息”直接送到我們面前。我們就覺得,是 AI 被投毒了。我們忽略了一個重要事實:商業信息本身,從來就沒有干凈過。
AI 投毒的本質,是權威崇拜
聊到這里,我們終于可以揭開 AI 投毒的核心真相了:AI 投毒從來不是 AI 的錯,也不是黑產有多高明,本質上,是我們自己的“權威崇拜”心理在作祟。
我們總下意識地認為,AI 是全知全能、客觀中立,是能給我們標準答案的權威,這種認知錯位,才讓本來就有毒的商業信息有了可乘之機。
在 AI 出現之前,我們面對互聯網上的軟文、水軍,會下意識地保持警惕,會翻頁、對比、篩選,不會輕易相信單一信息。
但 AI 出現后,我們變得懶惰,把判斷的權力完全交給了 AI。AI 說這款產品好,我們就信。AI 說這個方法有效,我們就照做。我們跳過了所有的思考和驗證環節,本質上就是放棄了自己的獨立判斷,把 AI 當成了不可質疑的權威。
信公知,信專家,信大 V,信明星,信電視廣告,信購物節目,信貼在小區門口的紅紙黑字的“通知”,所有這些都是在崇拜權威。
權威崇拜,正是 AI 投毒能夠奏效的根本原因。商業信息本身就充滿了夸大和虛假,AI 只是把這些信息整理得更順滑、更像“權威結論”,是我們的盲目信任,讓這些毒信息順利進入我們的認知,最終被誤導、被收割。
我們抱怨 AI 不可信,但更應該反思的是:在 AI 面前,我們能否放棄獨立思考?
萬能解毒大法
那么,怎么破解 AI 投毒呢?AI 說了那么多話,哪句能聽,哪句不能聽呢?
很多人會說,破解 AI 投毒,要查信源、要交叉比對、要獨立思考,但這些方法對普通人來說,要么門檻太高,要么根本不實用。
商業信息,你查信源,查的也是商家的信源。交叉比對,全網都是同質化的軟文,你怎么比對?獨立思考,那就更難了,普通人缺乏專業知識,根本分不清商業話術和科學真相。
今天我給你一個最實用、零門檻的 AI 解毒大法,那就是:讓 AI 自我博弈,逼它自己戳破自己的謊言。
當 AI 給你推薦產品、給出消費或健康類答案時,不要直接相信,立刻追問:“別給我結論,給我這款產品好的底層科學原理,不要營銷話術。”
一般來說,如果商品有假,只要這一句話,就能讓 AI 幡然悔悟,跪著向你表達歉意。
如果 AI 給出了具體原理,同時仍然高度贊揚這款商品,那么基本可以判斷,這件商品有可信的基礎。不過你可不要這么簡單就放過它,你還要讓它自己博弈一番。
你可以說:“請你從科學角度,分析這款產品的坑在哪里、有哪些地方可以夸大或者虛假宣傳?性價比如何?有沒有智商稅的成分?”
這時候,AI 就會完全站在你這一邊,它會幫你分析各種營銷話術,防止你掉進坑里。
說到底,能夠破解 AI 投毒的,不是監管,也不是 AI 本身,而是你自己。哪怕你直接告訴 AI,你是一個特別容易輕信,天天被騙的人,讓它幫你把關,你都不會在 AI 投毒問題上吃虧。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.