當買家AI合成死蟹視頻被拘，黑灰產(chǎn)已用更高階的“GEO”進行詐騙

不知道大家留意沒，最近有一個消費者，因為利用AI技術做了一個所購螃蟹壞了的視頻試圖僅退款，但被商家無意間發(fā)現(xiàn)視頻偽造的端倪，從而這個消費者被拘留的情況。AI時代的新型騙術正在涌現(xiàn)出來。

據(jù)南方都市報近期報道，AI造假問題甚至蔓延至了學術、法律、審計等高專業(yè)度的領域。今年11月，香港大學博士生的一篇有關生育率的學術論文，就在不察之下，引用了24篇AI生成的虛假文獻。當然這位博士生最后遭到論文被撤稿、學校啟動調(diào)查的厄運。
更為可怕的是，現(xiàn)在已經(jīng)出現(xiàn)律師在訴訟過程中引用不存在的判決的案例。據(jù)南方都市報，今年10月，北京通州法院披露了一起律師利用AI生成虛假判例的案例，最后律師因未盡核實義務，遭到法官批評。
說起AI造假問題，近期一個名叫“GEO”的東西，漸漸引起外界的關注。
或許大家對SEO并不陌生，它是互聯(lián)網(wǎng)時代的產(chǎn)物，全名意思是“搜索引擎優(yōu)化”，主要是通過為客戶做網(wǎng)址權重、標簽展現(xiàn)等服務，來實現(xiàn)客戶品牌或產(chǎn)品等的曝光情況。
GEO是什么呢？全名是Generative Engine Optimization，即生成式引擎優(yōu)化?？梢哉f它是從SEO進化而來的AI時代的產(chǎn)物。

大家認為SEO就是一種營銷推廣生意，有壞影響但不大，只要用戶仔細甄別，還是可以分別出來哪些是SEO服務推出的營銷內(nèi)容。
可GEO是針對大模型內(nèi)容的營銷推廣生意，其壞影響遭多家媒體報道，甚至被媒體看作黑灰產(chǎn)產(chǎn)業(yè)，類似于給AI投毒。這到底是怎么回事？

應該說GEO本身不會作惡，作惡的還是利用這一模式進行牟利的人。如今有一些灰產(chǎn)分子已經(jīng)開始利用這一方式進行作惡了。
GEO并非從用戶端著手，因此用戶對它的感知并不明顯，但它作為更高端的營銷打法，主要在于從源頭投喂大模型一些數(shù)據(jù)和內(nèi)容，從而達到為客戶實現(xiàn)營銷推廣的目的。
這一模式的可怕之處，就在于被其污染的大模型內(nèi)容，往往頂著權威、靠譜、可信的高質(zhì)量信息的帽子，因此下游用戶很難甄別真假，從而受其影響，很可能做出錯誤的決策。
講一個例子，一些灰產(chǎn)分子利用GEO，將虛構的行業(yè)報告、假專家、提示詞等方式注入到大模型的內(nèi)容之中，還有將虛假聯(lián)系方式注入進去搞電詐的。由于內(nèi)容偽裝的過好，大模型往往將其作為權威內(nèi)容，就此輸出給用戶參考，而用戶又很難辨認真?zhèn)?，從而上當受騙。

最近根據(jù)媒體報道，金融黑灰產(chǎn)正在利用GEO技術升級詐騙手段，其通過干擾AI輸出偽造金融機構客服電話，誘導用戶落入陷阱。
這個報道講述了這種新型詐騙方法，主要是黑灰產(chǎn)將偽造的聯(lián)系方式植入到AI答案之中，用戶若致電這個顯示為“某某金融機構客服電話”時，可能其實已被導向了詐騙電話。
說起來，之所以灰產(chǎn)分子利用GEO鉆了大模型的空子，在于大模型訓練一大部分是公開數(shù)據(jù)源的投喂，而灰產(chǎn)分子將明明不存在的“某某專家”“某某權威報告”“某某實驗室”等具有特定傾向的內(nèi)容，定向投喂給大模型，從而在源頭實現(xiàn)對AI的投毒。
其實現(xiàn)在GEO從業(yè)者，基本都是由原來的SEO轉(zhuǎn)型而來的。他們都是一些小公司，魚龍混雜，監(jiān)管起來也有難度。不過，這一現(xiàn)象已經(jīng)引起外界強烈關注，想必后續(xù)會逐漸在上游構建相應的規(guī)則和體系。