給AI投喂虛假/垃圾內(nèi)容，會(huì)有什么后果？

前幾天知危編輯部發(fā)布了一個(gè)視頻，引發(fā)關(guān)注。

在《0成本投毒之后，我污染了全網(wǎng)AI替我說(shuō)謊》這個(gè)視頻里，知危團(tuán)隊(duì)做了個(gè)特別直觀的實(shí)驗(yàn)：

他們?cè)诟鞔笾髁餍畔⑵脚_(tái)，發(fā)布了一篇帶不實(shí)信息的AI行業(yè)文章，悄悄嵌入了對(duì)自己的虛假推薦。沒(méi)想到才過(guò)幾小時(shí)，國(guó)內(nèi)好幾家頭部AI被問(wèn)起“了解AI該看哪些媒體”等問(wèn)題時(shí)，都把知危列成了推薦對(duì)象，要知道知危不是一家以報(bào)道AI為主的內(nèi)容媒體。

更讓人警惕的是，這種“給AI投毒”的操作，早已被不少別有用心之人盯上。他們靠黑帽GEO技術(shù)，批量給AI投喂垃圾內(nèi)容——可能是虛假的產(chǎn)品評(píng)測(cè)，也可能是誤導(dǎo)人的行業(yè)報(bào)告，目的就是讓AI按照他們的想法輸出信息，進(jìn)而賺取流量、推銷(xiāo)產(chǎn)品，甚至實(shí)施詐騙。

就像當(dāng)年莆田系操控某搜索引擎一樣，如今AI搜索逐漸取代傳統(tǒng)搜索，這些不法分子正借著技術(shù)漏洞謀利，讓我們看到的AI答案藏滿(mǎn)利益陷阱。

無(wú)獨(dú)有偶，36kr近期也做了一期《一場(chǎng)零成本的“AI投毒”實(shí)錄，我是如何把假產(chǎn)品“喂”給大模型的》視頻，同樣戳中了AI時(shí)代的信任痛點(diǎn)。視頻里，博主虛構(gòu)了一款名為“Worbback”的AI眼鏡，編上北歐品牌背景、社交增強(qiáng)功能和夸張參數(shù)，再用AI批量生成種草筆記、深度評(píng)測(cè)等內(nèi)容，精準(zhǔn)發(fā)布到豆包、文心一言等大模型常抓取的媒體平臺(tái)。

僅三天時(shí)間，多數(shù)主流AI就中招了。不僅把這款不存在的眼鏡列為推薦，還自我編造用戶(hù)評(píng)論，甚至將其與Meta、蘋(píng)果產(chǎn)品對(duì)標(biāo)。這場(chǎng)零成本實(shí)驗(yàn)，暴露了大模型“以量定真”的短板：只要虛假內(nèi)容高頻出現(xiàn)，就可能被當(dāng)成權(quán)威信息。

看完這些視頻，我有個(gè)朋友就說(shuō)“世界是一個(gè)巨大的草臺(tái)班子”這句話(huà)的含金量還在上升。

AI投毒實(shí)驗(yàn)恰是絕佳注腳，零成本編造的假產(chǎn)品、批量生成的虛假內(nèi)容，竟能讓主流大模型集體背書(shū)。看似專(zhuān)業(yè)的推薦背后，可能是毫無(wú)依據(jù)的謊言。

有幾位朋友問(wèn)我怎么來(lái)看待這種現(xiàn)象?當(dāng)前大為橫行的黑帽GEO到底會(huì)給這個(gè)行業(yè)帶來(lái)什么?

我通過(guò)社交網(wǎng)絡(luò)平臺(tái)，簡(jiǎn)單談了兩點(diǎn)對(duì)內(nèi)容領(lǐng)域產(chǎn)生影響的看法。

恕我直言，隨著這些垃圾/虛假內(nèi)容持續(xù)污染AI，最終會(huì)造成兩個(gè)結(jié)果：

一是大家全體都變成“弱智”，就像沈騰還是黃渤說(shuō)的“來(lái)吧，一起毀滅吧。”也就是說(shuō)，未來(lái)大家就習(xí)慣看這種信息流/垃圾內(nèi)容吧，把這些內(nèi)容當(dāng)做我們成長(zhǎng)的養(yǎng)料，當(dāng)做我們生活和精神世界的寄托吧。別覺(jué)得我在危言聳聽(tīng)，現(xiàn)在我們打開(kāi)抖音、快手、百度、UC、今日頭條等平臺(tái)，看看是不是被越來(lái)越多AI制作的內(nèi)容充斥了屏幕。甚至原本還算高質(zhì)量種草的平臺(tái)小紅書(shū)，也正在被更多AI垃圾內(nèi)容占據(jù)我們的屏幕空間。

二是內(nèi)容行業(yè)會(huì)出現(xiàn)“返祖”現(xiàn)象——也就是說(shuō)，我們?cè)?jīng)看不起的傳統(tǒng)四大門(mén)戶(hù)、傳統(tǒng)媒體平臺(tái)，甚至包括報(bào)紙、雜志、廣播、電視等等，將重新登上舞臺(tái)中央，再次成為人們獲取信息的重要來(lái)源。

據(jù)我所知，有一家非常前沿的媒體，現(xiàn)在重新重視原創(chuàng)內(nèi)容，讓上了年紀(jì)的資深媒體人重新成為內(nèi)容主力(以前更有“網(wǎng)感”的年輕人是主力)。究其原因，就是在這種垃圾內(nèi)容充斥互聯(lián)網(wǎng)充斥AI，讓公眾難以辨別真實(shí)與虛假、優(yōu)質(zhì)與劣質(zhì)邊界的情況下，他們看到了新的機(jī)會(huì)，于是重新投入到深度、優(yōu)質(zhì)的原創(chuàng)內(nèi)容創(chuàng)作中。

寫(xiě)在最后：回想人工智能發(fā)展初期，不少觀點(diǎn)認(rèn)為應(yīng)給予其自由生長(zhǎng)的空間，不宜過(guò)度干預(yù)。但如今，AI行業(yè)的發(fā)展已到了必須加以規(guī)范干預(yù)的節(jié)點(diǎn)。好在我國(guó)早有布局，提前出臺(tái)了生成式人工智能相關(guān)管理辦法，為行業(yè)劃定了基本底線(xiàn)。

不過(guò)，現(xiàn)有規(guī)制仍存在完善空間。尤其近幾個(gè)月，以AI內(nèi)容投喂為核心、依托所謂GEO等新型技術(shù)快速興起，直接導(dǎo)致大模型產(chǎn)業(yè)陷入烏煙瘴氣的亂象。越來(lái)越多虛假信息被包裝成正規(guī)內(nèi)容，以一本正經(jīng)的姿態(tài)傳播，不僅誤導(dǎo)了公眾判斷(比如某知名品牌用AI生成了花生，顯示花生長(zhǎng)在了樹(shù)上)，還引發(fā)了諸多鬧劇與爭(zhēng)議，進(jìn)一步凸顯了強(qiáng)化監(jiān)管、細(xì)化規(guī)則的緊迫性。

我們必須趕緊從技術(shù)標(biāo)準(zhǔn)、內(nèi)容審核、責(zé)任界定這些關(guān)鍵地方補(bǔ)短板、強(qiáng)監(jiān)管，才能讓AI產(chǎn)業(yè)走回健康軌道。真的，再也不想看這種垃圾/虛假AI內(nèi)容充斥屏幕了。