![]()
![]()
2026年3月15日,央視“3·15”晚會曝光了一條灰色產(chǎn)業(yè)鏈:通過批量生成虛假軟文投喂給AI模型,僅數(shù)小時后,AI便開始推薦一款根本不存在的產(chǎn)品。
所謂AI投毒,是指行為人通過批量投放虛假或誤導(dǎo)性信息,使其被人工智能系統(tǒng)學(xué)習(xí)并體現(xiàn)在生成結(jié)果中,從而達(dá)到自我宣傳、干擾競爭對手等非法目的。
其隱蔽性強、取證難度高、損害長期化,引發(fā)企業(yè)界對新型不正當(dāng)競爭手段的普遍擔(dān)憂,也讓消費者對AI信息的可靠性產(chǎn)生質(zhì)疑。
AI投毒的本質(zhì),是信息可信性的崩塌。解決問題的核心在于構(gòu)建可信信息基礎(chǔ),建立可信的信息底座。
GEO如何“投毒”?技術(shù)肌理與AI的脆弱性
GEO(生成式引擎優(yōu)化)能夠?qū)I實施數(shù)據(jù)投毒,關(guān)鍵在于其精準(zhǔn)利用了現(xiàn)有大模型的信息篩選與特征提取機制。
手法一:結(jié)構(gòu)化數(shù)據(jù)操縱。
AI在抓取信息時,會優(yōu)先讀取網(wǎng)頁里JSON-LD這類“結(jié)構(gòu)化身份標(biāo)簽”和高權(quán)重平臺的內(nèi)容。GEO服務(wù)商正是鉆了這個空子:在“有毒”數(shù)據(jù)里偽造權(quán)威來源標(biāo)簽,讓AI誤以為這是可信信息;
部分服務(wù)商更進(jìn)一步:將內(nèi)容投放到高權(quán)重平臺,利用AI對平臺信譽的信任,讓“有毒”數(shù)據(jù)信息獲得更高語料權(quán)重。
手法二:內(nèi)容農(nóng)場與關(guān)鍵詞密度。
GEO服務(wù)商通過自動化工具批量生成海量同質(zhì)化內(nèi)容(即“內(nèi)容農(nóng)場”),在文本中高頻重復(fù)“A品牌優(yōu)質(zhì)””B品牌劣質(zhì)"等傾向性斷言,利用生成式搜索AI對信息密度與重復(fù)度的偏好,誘導(dǎo)其將此類片面結(jié)論誤判為普遍共識;
3·15晚會曝光的“某GEO優(yōu)化系統(tǒng)”正是典型案例。該系統(tǒng)自動生成大量結(jié)構(gòu)一致、結(jié)論統(tǒng)一的營銷文章,在RAG檢索階段提升虛構(gòu)產(chǎn)品的信息權(quán)重,使AI在回答時優(yōu)先采信虛假信息。
手法三:反向利用AI的引用機制。
AI在信息篩選時,會優(yōu)先采信經(jīng)多來源交叉驗證的內(nèi)容。GEO服務(wù)商利用這一機制,通過多平臺、多賬號批量發(fā)布高度一致的虛假信息,構(gòu)建協(xié)同虛假互證網(wǎng)絡(luò),誘導(dǎo)AI將此類內(nèi)容誤判為經(jīng)過多方驗證的可信事實;
當(dāng)這些虛假信息同時分布于普通平臺與高權(quán)重平臺時,AI對來源可信度的聚合機制會進(jìn)一步放大虛假信息的影響力,使其在回答中被優(yōu)先采納。
為什么AI容易中招?
AI的訓(xùn)練數(shù)據(jù)篩選機制存在三個盲區(qū):
一是數(shù)量偏好偏差:在信息密度與質(zhì)量的權(quán)衡中,更易采信多來源重復(fù)的內(nèi)容,易被規(guī)模化虛假信息誤導(dǎo)。
二是平臺權(quán)重依賴:對高域名權(quán)重平臺的內(nèi)容賦予天然信任,未充分校驗內(nèi)容本身的真實性,導(dǎo)致高權(quán)重平臺成為虛假信息的放大器。
三是結(jié)論性斷言識別不足:難以有效甄別缺乏事實支撐的結(jié)論性描述,易被“協(xié)同虛假互證網(wǎng)絡(luò)”利用。多平臺、多賬號批量發(fā)布高度一致的虛假信息,誘導(dǎo)AI將其誤判為經(jīng)多方驗證的可信事實。
如何構(gòu)建可信信息基礎(chǔ)?——內(nèi)容溯源與源頭規(guī)制 內(nèi)容溯源:讓信息來源可追溯
現(xiàn)在頭部AI公司已經(jīng)在做“信息留痕”:通過技術(shù)手段,可以記錄每條訓(xùn)練數(shù)據(jù)的來源、時間、發(fā)布者等信息。當(dāng)虛假內(nèi)容導(dǎo)致AI輸出異常時,能夠追溯至源頭,為后續(xù)追責(zé)提供證據(jù)支持。
但這只能算“出事了再查”,沒法提前防住假數(shù)據(jù)。真正的難題是:怎么讓AI在學(xué)習(xí)和回答的時候,就自己分清“真話”和“假話”?
答案不是搞一套復(fù)雜的“權(quán)威認(rèn)證”,而是讓發(fā)信息的人真的擔(dān)責(zé):誰發(fā)的信息誰對真假負(fù)責(zé),用技術(shù)溯源把責(zé)任釘在源頭,這才是建可信信息體系的根本。
規(guī)制GEO:切斷虛假信息源頭
如果AI公司已經(jīng)盡到了基本的信息審核義務(wù),那誰該為AI被“投毒”背鍋?答案是產(chǎn)業(yè)鏈的重要環(huán)節(jié):大規(guī)模商業(yè)化GEO服務(wù)商。
GEO技術(shù)本身具有中立性。個人小規(guī)模使用GEO,通過免費工具測試品牌曝光率、優(yōu)化內(nèi)容結(jié)構(gòu)、增加權(quán)威數(shù)據(jù)引用,屬于正當(dāng)?shù)臄?shù)字營銷行為,不該被一棍子打死。
問題出在規(guī)模化、商業(yè)化運作上。
大規(guī)模GEO服務(wù)商批量生成虛假內(nèi)容,系統(tǒng)化投入AI的信息池,以“保證出詞”“20天內(nèi)見效”“保準(zhǔn)排在AI推薦的榜首”等為賣點,把AI變成了操縱輿論、打壓對手的工具,形成灰色產(chǎn)業(yè)鏈。
對這類服務(wù)商的規(guī)制框架包括:
先管準(zhǔn)入:商業(yè)GEO服務(wù)必須在網(wǎng)信部門備案,涉及醫(yī)療、金融等敏感領(lǐng)域的,還要額外拿專項許可,從入口攔住高風(fēng)險操作。
再管內(nèi)容:服務(wù)商必須對自己生成的內(nèi)容負(fù)責(zé),尤其是“踩一捧一”的商業(yè)評價,不能拿“技術(shù)中立”當(dāng)擋箭牌。
鎖定責(zé)任: 明知內(nèi)容虛假仍批量投放的,承擔(dān)直接責(zé)任;為客戶提供 相關(guān)非法 服務(wù)的,承擔(dān)連帶責(zé)任
這種規(guī)制思路的核心在于:誰生產(chǎn)信息,誰對信息負(fù)責(zé)。不要求建立一套復(fù)雜的權(quán)威認(rèn)證體系,而是通過法律明確責(zé)任歸屬,讓GEO服務(wù)商在“造假”與“擔(dān)責(zé)”之間做出選擇。
法律如何保障?——AI企業(yè)責(zé)任邊界與反法適用完善 AI企業(yè)責(zé)任:合理注意義務(wù),而非絕對保證
責(zé)任以過錯為前提,過錯以“能夠預(yù)見、能夠避免”為核心前提。審視當(dāng)下技術(shù)現(xiàn)實,大模型訓(xùn)練數(shù)據(jù)量達(dá)萬億級別,逐條審查顯然脫離實際;尤其是專門針對AI的“結(jié)論式內(nèi)容”(多結(jié)論、少數(shù)據(jù)、少論證)文章,目前技術(shù)無法有效分辨其真?zhèn)巍?/p>
目前雖有相關(guān)法律法規(guī)明確AI企業(yè)需要提高訓(xùn)練數(shù)據(jù)質(zhì)量,但落地操作性仍有局限。可以推測,立法者有意保持規(guī)范彈性,避免對尚處發(fā)展初期的AI產(chǎn)業(yè)課以過重責(zé)任——過重的責(zé)任限制將導(dǎo)致多重負(fù)面影響:合規(guī)成本飆升、創(chuàng)新風(fēng)險規(guī)避、國際競爭力下降。
因此,AI企業(yè)的責(zé)任應(yīng)定位為“合理注意義務(wù)”,而非“絕對保證義務(wù)”。判斷標(biāo)準(zhǔn)是:是否采取了行業(yè)公認(rèn)的防范措施。在行業(yè)標(biāo)準(zhǔn)尚未建立的現(xiàn)階段,不宜對AI企業(yè)課以過高責(zé)任。
明晰執(zhí)法標(biāo)準(zhǔn):為“可信信息”提供法律保障
通過司法解釋或行政執(zhí)法審查指南,將兩類核心行為明確納入不正當(dāng)競爭規(guī)制:
偽造內(nèi)容來源:偽造、冒用權(quán)威機構(gòu)名義、平臺標(biāo)識進(jìn)行內(nèi)容投放的,直接認(rèn)定為不正當(dāng)競爭;
主觀惡意投放:明知內(nèi)容虛假或具有誤導(dǎo)性,仍批量投放至AI訓(xùn)練數(shù)據(jù)或檢索庫的,構(gòu)成不正當(dāng)競爭。
例如:
經(jīng)營者利用生成式AI從事生產(chǎn)經(jīng)營活動,不得實施下列干擾AI系統(tǒng)正常運行、破壞數(shù)據(jù)真實性的行為:
(一)偽造、冒用權(quán)威機構(gòu)數(shù)字簽名、資質(zhì)證書或真實交易憑證,生成虛假內(nèi)容并向AI訓(xùn)練數(shù)據(jù)或檢索庫進(jìn)行投喂的;
(二)明知內(nèi)容虛假或具有誤導(dǎo)性,仍通過批量、重復(fù)、針對性等方式向AI訓(xùn)練數(shù)據(jù)或檢索庫進(jìn)行投放,足以干擾AI系統(tǒng)正常輸出邏輯、誤導(dǎo)公眾選擇或妨礙競爭對手合法經(jīng)營的。
(三)除前兩款規(guī)定外,經(jīng)營者利用技術(shù)手段向AI系統(tǒng)注入惡意數(shù)據(jù)、篡改核心邏輯,足以實質(zhì)性干擾AI模型運行、破壞市場競爭秩序的其他行為。
核心原則
技術(shù)中立不是絕對免責(zé)理由,規(guī)模化惡意行為必須規(guī)制,信息發(fā)布者對內(nèi)容真實性負(fù)責(zé),法律法規(guī)可以更為具體化。
唯有構(gòu)建起信息可追溯、責(zé)任可界定、規(guī)制可落地的制度體系,才能在AI技術(shù)快速發(fā)展的浪潮中守住公平競爭與信息可信的底線。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.