當(dāng)AI一本正經(jīng)“胡說八道”并許下賠償承諾,當(dāng)GEO灰產(chǎn)批量投喂虛假信息操控AI推薦,人工智能商業(yè)化正站在創(chuàng)新與風(fēng)控的十字路口。
中國(guó)首例“AI幻覺”侵權(quán)案宣判厘清平臺(tái)責(zé)任邊界,央視“3?15”晚會(huì)直擊GEO“AI投毒”灰色產(chǎn)業(yè)鏈,AI產(chǎn)業(yè)高速增長(zhǎng)的背后,可信生態(tài)建設(shè)已成為行業(yè)可持續(xù)發(fā)展的核心命題。
一、首例AI幻覺案宣判:定責(zé)清晰,為AI服務(wù)劃清合規(guī)底線
中國(guó)首例因AI“幻覺”引發(fā)的侵權(quán)糾紛案,成為AI法律責(zé)任認(rèn)定的重要里程碑。用戶梁某因AI生成錯(cuò)誤高校信息,且AI堅(jiān)稱“內(nèi)容有誤賠償10萬(wàn)元”,將平臺(tái)訴至法院,杭州互聯(lián)網(wǎng)法院最終駁回其索賠訴求。
判決顯示AI承諾無效。AI并非民事主體,其生成的“賠償承諾”不構(gòu)成平臺(tái)的意思表示,不能作為追責(zé)依據(jù)。本案中,平臺(tái)已在顯著位置提示AI內(nèi)容局限性、采用檢索增強(qiáng)生成技術(shù)提升準(zhǔn)確性、完成模型備案與安全評(píng)估,法院認(rèn)定其無過錯(cuò)。
當(dāng)前技術(shù)下,AI“幻覺”具有不可避免性,司法為科技創(chuàng)新預(yù)留容錯(cuò)空間,同時(shí)明確平臺(tái)需履行風(fēng)險(xiǎn)提示、內(nèi)容審核、技術(shù)防錯(cuò)三大核心義務(wù)。
該案為生成式AI服務(wù)確立了責(zé)任框架:技術(shù)無罪,但運(yùn)營(yíng)有責(zé)。平臺(tái)不能以“技術(shù)不可控”為由免責(zé),也無需為所有AI錯(cuò)誤“買單”,合規(guī)運(yùn)營(yíng)的核心是盡到合理注意義務(wù),這為行業(yè)規(guī)范化發(fā)展提供了司法指引。
二、“3?15”曝光GEO投毒:灰產(chǎn)肆虐,艾媒數(shù)據(jù)揭示風(fēng)險(xiǎn)與暴利
央視“3?15”晚會(huì)曝光的GEO(生成式引擎優(yōu)化)灰色產(chǎn)業(yè)鏈,撕開了AI信息生態(tài)的合規(guī)缺口。不法分子通過批量虛假投喂、操控AI回答、偽造推薦榜單,讓虛構(gòu)產(chǎn)品登頂AI推薦位,這種“AI投毒”已成為新型信息污染,具備擴(kuò)散性、長(zhǎng)期性、隱蔽性特征。
iiMedia Research(艾媒咨詢)發(fā)布的《2024-2025年中國(guó)AI大模型市場(chǎng)現(xiàn)狀及發(fā)展趨勢(shì)研究報(bào)告》數(shù)據(jù)顯示,2025年中國(guó)AI大模型市場(chǎng)規(guī)模達(dá)495.39億元,預(yù)計(jì)2026年突破700億元,龐大市場(chǎng)體量成為灰產(chǎn)牟利的沃土。
同時(shí),GEO行業(yè)爆發(fā)式增長(zhǎng),iiMedia Research(艾媒咨詢)數(shù)據(jù)顯示,2026年全球GEO市場(chǎng)規(guī)模預(yù)計(jì)達(dá)291.7億美元,同比增速為159.3%;中國(guó)市場(chǎng)規(guī)模有望突破942億元,2030年將激增至6338.1億元。藍(lán)海市場(chǎng)下,違規(guī)操作成本低、收益高、追責(zé)難,導(dǎo)致灰產(chǎn)快速蔓延。
大模型依賴海量數(shù)據(jù)訓(xùn)練,數(shù)據(jù)校驗(yàn)機(jī)制薄弱,無法甄別虛假信息。灰產(chǎn)借助GEO系統(tǒng)批量生成虛假軟文、杜撰測(cè)評(píng),經(jīng)自媒體分發(fā)后被AI抓取推薦,形成“虛假投喂—AI收錄—誤導(dǎo)用戶”的閉環(huán)。AI投毒并非簡(jiǎn)單虛假營(yíng)銷,而是對(duì)AI可信基礎(chǔ)的系統(tǒng)性破壞:虛構(gòu)信息誤導(dǎo)用戶決策、破壞公平競(jìng)爭(zhēng)環(huán)境、降低AI內(nèi)容可信度,最終導(dǎo)致劣幣驅(qū)逐良幣,阻礙行業(yè)發(fā)展。
艾媒咨詢分析師認(rèn)為,AI投毒涉及廣告商、GEO服務(wù)商、大模型平臺(tái)多方主體,責(zé)任應(yīng)遵循“誰(shuí)發(fā)起誰(shuí)主責(zé)、誰(shuí)服務(wù)誰(shuí)同責(zé)、誰(shuí)運(yùn)營(yíng)誰(shuí)擔(dān)責(zé)”原則。破解亂象需從平臺(tái)責(zé)任、監(jiān)管執(zhí)法、技術(shù)防控、行業(yè)自律四維度發(fā)力。
未來,AI產(chǎn)業(yè)必須堅(jiān)守科技向善底線,平衡創(chuàng)新與風(fēng)控:企業(yè)摒棄流量至上思維,專注產(chǎn)品與風(fēng)控;監(jiān)管完善法律與標(biāo)準(zhǔn),提高違法成本;行業(yè)加強(qiáng)自律共建。唯有如此,才能清除AI投毒毒瘤,重建公眾信任,讓GEO技術(shù)回歸良性軌道,實(shí)現(xiàn)AI技術(shù)價(jià)值與社會(huì)價(jià)值的統(tǒng)一。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.