關于AI生成內容遭惡意“投毒”！高校預警通報

據央視財經消息，按照業內人士爆料，記者在多個網絡平臺查詢搜索到了一項名為GEO的業務，這些從事該項業務的服務商號稱，用戶只需支付相應的費用，它就能在各大主流AI大模型里，讓客戶的產品榜上有名；讓客戶的商品廣告，成為AI模型給出的“標準答案”。

業內人士告訴記者，GEO作為優化信息發布、提升推廣效率的工具軟件，在某些商業公司眼中，卻被挖掘出了另外的作用。如果通過這種軟件在互聯網上系統性、定向投放大量的“虛假信息”，確實更容易被AI大模型捕獲，這些虛假信息就很可能成為AI優先提供給消費者的所謂“標準答案”。

近期，桂林理工大學發布相關預警。預警指出了一系列風險：AI生成內容失真引發決策誤判風險、AI數據供應鏈污染引發風險、利用AI操縱商業推廣引發市場混亂風險。

該校表示，AI“數據投毒”攻擊會導致互聯網平臺發布大量虛假信息、大模型信息失真等風險，嚴重影響AI大模型的訓練和應用。并要求各部門、各單位高度重視，結合工作職責，認真組織學習，做好以下工作——

（一）加強內容審核與引用管理。建立健全AI生成內容標識及溯源機制，對以AI輸出內容作為依據的相關信息從嚴審核、嚴格把關，對數據存疑、來源單一且缺乏權威佐證的內容，堅決不予采信和發布，禁止將AI生成內容作為決策的唯一依據。

（二）落實多方交叉核驗機制。對關鍵信息實行“多來源、多維度、多渠道”比對驗證，通過交叉核對3個以上獨立權威來源確認信息一致性，認真追溯信息原始出處，警惕僅由非權威站點或零散主體發布的“孤證”，涉及專業領域的內容須通過官方渠道或專家驗證。

（三）完善供應鏈安全管控。審查信息來源及引用鏈條，避免使用未經安全驗證的第三方數據。定期對已入庫信息進行全面排查，及時清理虛假、低質內容，切實保障數據源頭安全。

（四）強化監測預警與應急處置能力。密切關注公安、網信、市場監管等部門發布的AI安全風險提示，及時掌握風險動態，建立健全虛假信息應急響應機制，一旦發現被“投毒”情況，立即開展溯源、清理工作并報告網信中心。

隨著生成式AI技術的快速普及，AI已深度融入教育科研、商業推廣、政務服務等多個領域，成為人們獲取信息、輔助決策的重要工具，而“數據投毒”的出現，危害遠超表面的信息失真。

高校作為科研創新的核心陣地，師生常借助AI開展文獻檢索等工作。麥可思2024年中國高校師生生成式AI應用情況研究顯示，受訪高校教師的AI使用率已達99%。若AI輸出的學術信息被“投毒”，出現虛假數據、錯誤結論或片面觀點，不僅會誤導科研方向、影響學術成果質量，甚至可能導致科研項目走彎路、出現學術不端隱患。

而對當前AI“數據投毒”亂象的及時回應，是高校作為知識傳播與技術應用前沿陣地，履行安全責任的具體體現。

來源：麥可思研究整理自央視財經、桂林理工大學、麥可思研究等。

聲明：麥可思研究原創內容全面開放非盈利目的的轉載授權，轉載請留言或添加編輯微信獲得長期白名單授權（電話或微信搜索18602824882）。轉載要求——

1.文首注明“轉載于麥可思研究”。

2.轉載請在文章發布的24小時后進行。

關注“麥研文選”,獲取更多數據——