多模態自動化事實核查：當代數字媒體時代的防偽利器

在信息爆炸的時代，虛假信息往往通過多種模態傳播——一張配有引人誤解標題的圖片，一段被篡改的視頻，或是一條被斷章取義的音頻。這些多模態虛假信息不僅比純文本謠言更具說服力，還能在社交媒體上傳播得更快更廣。隨著人工智能技術的發展，生成和傳播多模態虛假信息變得愈發簡單。在這場信息真偽的拉鋸戰中，多模態自動化事實核查技術應運而生，它能夠處理文本、圖像、音頻和視頻等多種形式的信息，構建起一道抵御虛假信息的防線。然而，這項技術面臨著怎樣的挑戰？它的發展前景又將如何？

圖像易被信

2023年3月，一張＂特朗普被捕＂的照片在社交媒體上瘋傳。照片中，前美國總統特朗普被多名警察按倒在地，場面混亂。這張照片看起來極為真實，但實際上是由人工智能生成的虛假內容。BBC很快對此進行了澄清，但在短短幾小時內，這張圖片已經在全球范圍內引發了廣泛討論和混亂。

這只是多模態虛假信息日益猖獗的一個縮影。所謂多模態虛假信息，是指通過文本、圖像、音頻、視頻等多種形式媒介組合傳播的不實內容。根據研究人員對9，255條真實世界事實核查文章的手動注釋分析，超過28.68%的信息涉及多模態內容，其中圖像占比20.07%，視頻占比8.06%，音頻占比0.55%。

多模態虛假信息比純文本更具欺騙性，這背后有著深刻的心理機制。紐曼等人2012年的研究顯示，人們對包含圖像的內容天然有一種＂照片真實性＂的信任偏見。當我們看到一張圖片或視頻時，大腦會自動認為＂看到的就是真的＂，即使配文可能是完全虛構的。這種心理效應使得包含視覺元素的虛假信息更容易被接受和相信。

2017年，牛津互聯網研究所發現，在社交媒體平臺上，包含圖像或視頻的帖子比純文本帖子平均獲得2.3倍的轉發量和1.8倍的點贊數。李和謝在2020年的研究進一步證實，多模態內容不僅傳播更快，用戶參與度也顯著更高。假新聞如果配上圖片，其傳播速度比沒有圖片的版本快47%，這種現象在Twitter和Facebook上尤為明顯。

更令人擔憂的是，隨著生成式人工智能技術的飛速發展，制作逼真的多模態虛假信息變得越來越容易。2022年發布的Stable Diffusion等文本生成圖像模型，讓普通人只需輸入簡單的文字描述，就能生成高質量的假圖片。不久前風靡一時的＂特朗普被捕＂圖片，就是由Midjourney這類AI工具生成的。同樣，DeepFake技術讓視頻造假變得簡單化，任何人都可以輕松制作某人說出從未說過的話的視頻。

多模態虛假信息主要表現為幾種典型形式。一種是完全偽造的內容，比如AI生成的不存在的場景；一種是將真實內容置于誤導性上下文中使用，例如2022年俄烏沖突期間，多段來自電影或游戲的視頻被錯誤標注為戰場實況；還有一種是在一種模態中嵌入另一種模態的內容，如在圖像中添加誤導性文字形成所謂的＂表情包＂，英國脫歐公投期間，一張標有＂土耳其加入歐盟＂的宣傳海報就是典型案例。更復雜的形式是使用一種模態的證據去驗證另一種模態的聲明，例如利用圖表數據來支持文本中的虛假統計數字。

核查的四步驟

面對多樣化的多模態虛假信息，如何進行有效核查？研究人員提出了一個包含四個關鍵步驟的多模態自動化事實核查框架。

第一步是聲明檢測與提取。這一步的目標是從海量內容中識別出＂可核查＂且＂值得核查＂的聲明。據統計，一名專業事實核查員花費約一天時間核實一條典型聲明并撰寫相應的事實核查文章。自動化系統需要優化這一流程，過濾出那些可以被驗證且潛在危害較大的聲明。多模態聲明可能以多種形式出現：可能是嵌入在圖像中的文字聲明，如廣為流傳的＂表情包＂；可能是關于內容真實性的聲明，例如某段視頻是否確實拍攝于特定地點；也可能是通過操縱證據支持的聲明，如通過唇形同步技術偽造的講話視頻。

對于嵌入在視覺內容中的文本聲明，系統首先需要檢測圖像或視頻中的文本并在上下文中理解它。例如，曲等人2022年開發的系統能夠從表情包中提取文本內容并理解其含義。對于音頻內容，馬羅斯等人2021年的研究使用轉錄技術將語音轉換為文本再進行核查。

第二步是證據檢索。與文本事實核查類似，多模態事實核查也依賴于證據來做出判斷。專業事實核查員總是提供支持其判斷的證據，自動化系統也遵循這一原則。多模態事實核查的證據檢索主要有兩種方法：一種是使用待核查的聲明本身作為證據，例如檢測圖像是否被篡改；另一種是檢索額外的證據數據。

在多模態事實核查中，證據的模態可能與聲明模態不同。例如，為了檢索圖像或音頻事實核查的證據，研究人員還使用了文本（如元數據、社交媒體評論或說明文字）。穆勒-布達克等人2020年的研究利用聲明文本中的命名實體查詢搜索引擎和WikiData知識圖譜。阿卜德爾納比等人2022年的系統則使用聲明描述文字進行查詢，并應用反向圖像搜索技術尋找與聲明圖像相似或相同的證據圖像。

第三步是判斷預測。專業事實核查員會給出明確的真實性判斷，自動化系統也需要預測聲明的真實性。在多模態環境下，判斷預測可分解為三個任務：操縱分類、脫離上下文分類和真實性評估。

操縱分類主要處理兩種情況：帶有操縱內容的誤導性聲明，以及伴隨操縱內容的正確聲明（例如為了增加可信度）。目前已有多種方法可以操縱文本、視覺和音頻內容。雖然有些方法需要專業知識（如語音合成），但其他操縱可以使用簡單工具輕松實現（如改變視頻速度）。

＂深度偽造＂（Deepfake）通常被定義為＂人工智能應用程序的產物，創建看似真實的虛假視頻＂，常見例子包括看起來逼真的視頻，其中講話者的聲音或面部被修改。相關術語＂廉價偽造＂（Cheap fake）則指通過更簡單方法創建的操縱內容，例如更改視頻字幕或速度。

脫離上下文分類處理不變內容在不同上下文中使用的情況。這是多模態虛假信息最常見和最容易創建的方法之一。它涉及（可能誤導性的）文本聲明與從上下文中取出的內容（如視頻）配對，以增加聲明的可信度。2023年張等人的研究表明，傳統的多模態虛假信息檢測方法在識別脫離上下文內容方面面臨挑戰。

真實性分類可以理解為文本聲明標準事實核查任務的多模態對應物。給定聲明和不同模態的證據數據，任務是僅使用證據數據中存在的信息預測聲明的真實性。嵌入在音頻中的聲明的真實性分類也通常稱為欺騙檢測。

第四步是解釋生成。這一步為人類提供核查結果背后的理由。以往關于自動化解釋生成的工作主要集中在文本聲明上，但專業事實核查員也會為涉及圖像、音頻或視頻內容的事實核查提供解釋。多模態虛假信息的解釋生成可分為三類：識別聲明輸入的哪部分具有誤導性；提供類似人類事實核查員的自然語言解釋；選擇并突出用于驗證的特定證據部分。

解釋的作用不僅是解釋核查結果。人類事實核查員還使用它們來討論不確定性和潛在錯誤，這在快速發展事件的事實核查中尤為必要。2022年，姚等人通過抓取網頁上的文本和視覺內容，創建了一個帶有自然語言解釋的多模態數據集。

這四個步驟構成了多模態自動化事實核查的基本框架，為應對日益復雜的信息環境提供了有力工具。隨著技術的不斷發展，這一框架也在不斷完善和進化，以適應新型虛假信息的挑戰。

技術與難點

2023年3月，當特朗普＂被捕＂的AI生成圖片在網絡上瘋傳時，許多專業人士能迅速識別出這是假圖。他們注意到了圖像中的細節不連貫——警察臂章不清晰、特朗普面部比例失調等。但對普通人來說，這些細微之處很難察覺。這正是多模態事實核查技術面臨的挑戰：如何讓機器像專業核查員一樣，從海量多模態內容中發現真假？

目前多模態事實核查的數據集主要集中在圖像和文本組合方面。Jin等人在2017年構建了包含9，528條中文微博信息的數據集，用于檢測圖文結合的虛假內容。尼爾森和麥康維爾在2022年發布了MuMIN數據集，包含12，914條多語言推文，每條都附有圖片和元數據。針對視頻內容，Rssler等人的Faceforensics數據集收集了1，004個YouTube視頻樣本，用于檢測面部操縱。音頻方面，吳等人2015年建立的ASVspoof數據集包含16，375個英語語音樣本，用于識別合成語音。

這些數據集采用不同的建模方法。對于操縱檢測，早期方法主要使用CNN模型，如VGG16、ResNet和InceptionV3。阿梅里尼等人在2019年采用光流場捕捉連續視頻幀之間的相關性，檢測由操縱引起的不相似之處。蓋拉和德爾普在2018年使用LSTM模型對視頻幀特征序列進行建模，判斷視頻是否被操縱。近期模型多整合Transformer組件，提高了檢測精度。

對于脫離上下文和真實性分類，模型通常包含三個組件：單模態編碼器、融合組件和分類組件。文本編碼早期使用word2vec、LSTM和TF-IDF得分的組合，近期多采用預訓練語言模型。視覺數據編碼通常先用Mask R-CNN檢測視覺內容中的對象，再提取視覺特征。視頻和圖像表示通常通過CNN模型如ResNet、VGG和Inception獲得。音頻特征提取方面，尚等人在2021年提取梅爾頻率倒譜系數，科佩夫等人在2019年使用INTERSPEECH 2013 ComParE特征集。

多模態表示獲取有兩種主要方法：早期融合和晚期融合。早期融合在編碼步驟后立即連接表示，較為常見；晚期融合則較少使用。模型無關方法（如連接和點積）比模型相關方法（如神經網絡）更為普遍。脫離上下文分類還常用跨模態檢查，比較聲明中存在的模態，識別上下文誤用。

盡管取得了進展，多模態事實核查仍面臨關鍵挑戰。一個主要難點是從多模態內容中提取聲明。現有方法多集中于從視覺內容中提取文本或轉錄音頻和視頻，但難以處理更復雜的情況。例如，數據可視化常被誤用支持錯誤聲明，提取圖表主要信息需要理解底層數據，如提取圖像中嵌入的數字、文本和趨勢線。音頻和視頻聲明提取更為復雜，因為理解所需信息分布在多個音頻/視頻幀中。

音頻和視頻的證據檢索也是一大挑戰。不同于其他模態，它們無法輕易在網絡或社交媒體上搜索。事實核查組織建議從簡單處著手，如尋找視頻中明顯被操縱的內容。反向視頻搜索引擎如Google Lens或TinEye需要視頻截圖作為輸入，但如果提供了錯誤時間幀的截圖，搜索可能完全失敗。惡意行為者可以輕易使現有工具難以使用。

多語言和多模態的結合增加了復雜性。雖然多語言事實核查工作增多，但主要限于純文本基準和模型。不同管道步驟的基準數據集中，非英語語言的多模態數據集有限。劉等人2021年的研究表明，僅在英語數據上訓練和測試會引入偏見，模型無法捕捉其他語言和文化中普遍存在的概念和圖像。一些類型的多模態虛假信息利用跨語言來源誤導，例如非英語報紙的圖像或視頻作為英語多模態虛假信息的上下文外數據。

未來展望

隨著人工智能和深度學習技術的飛速發展，多模態自動化事實核查領域也面臨著新的機遇與挑戰。未來的發展方向主要聚焦在四個關鍵領域：跨語言能力、系統可解釋性、生成式技術應用以及人機協作模式。

當前，多模態事實核查的研究主要集中在英語內容上，這種單一語言的偏向存在明顯缺陷。真實世界的信息生態系統是多語言的，虛假信息也常常跨語言傳播。魯德爾等人2022年的研究強調，未來的事實核查系統必須同時具備多模態和多語言處理能力。這需要構建更加多樣化的訓練數據集，覆蓋不同語言和文化背景下的多模態內容。Google和Meta等科技巨頭已開始投入資源開發多語言多模態模型，如Google的MUM（Multitask Unified Model）能夠同時理解75種語言的文本和圖像，為跨語言事實核查奠定了技術基礎。

可解釋性是未來多模態事實核查系統的另一個關鍵方向。現有系統往往是＂黑盒＂式的，用戶難以理解系統為何做出特定判斷。這不僅影響用戶對系統的信任，也限制了系統在實際應用中的效果。科托尼亞和托尼在2020年指出，自動化事實核查系統需要生成人類可理解的解釋，說明其判斷依據。未來的系統需要超越簡單地高亮輸入的關鍵部分，提供更加全面和深入的解釋，包括推理過程、證據來源以及不確定性評估。一個有希望的研究方向是開發能夠跟蹤和記錄系統推理過程的技術，使用戶能夠＂看到＂系統如何從輸入到輸出，提高透明度和可信度。

生成式技術在事實核查解釋中的應用前景廣闊。隨著像GPT-4和DALL-E 2這樣的大型語言和圖像生成模型的出現，未來的事實核查系統可能不僅能檢測虛假信息，還能生成視覺化解釋。列萬多夫斯基等人在2020年的研究表明，設計良好的圖表、視頻和照片等語義輔助工具可以幫助清晰簡潔地傳達復雜或統計信息的更正。想象一下，當系統識別出一張操縱過的圖像時，它不僅能指出被修改的區域，還能生成一張圖表或信息圖展示原始圖像與修改圖像的差異，甚至重建可能的原始圖像。這種視覺化解釋比純文本更直觀，也更容易被用戶接受和記住。

人機協作是多模態事實核查未來發展的另一個重要趨勢。完全自動化的系統在處理復雜或新穎的虛假信息時仍存在局限，而人類核查員則缺乏處理海量信息的能力。納科夫等人2021年的研究提出，最有效的方法是將機器的效率與人類的判斷力相結合。未來的系統可能采取＂人在環路中＂的方式，由算法進行初步篩選和分析，然后由人類專家進行最終判斷和解釋。這種協作模式不僅可以提高系統的準確性，也能夠適應不斷變化的虛假信息形式。埃爾賓等人的研究顯示，類似的人機協作系統在醫學影像診斷中已經取得了比單獨人類或機器更好的成績，這一模式同樣適用于事實核查領域。

面對越來越復雜的多模態虛假信息生態系統，未來的事實核查技術還需要更加靈活和適應性強。阿卜德爾納比等人2022年的研究表明，虛假信息制造者不斷調整策略，開發新的逃避檢測的方法。這就要求事實核查系統具有持續學習和更新的能力，能夠應對新興的虛假信息形式。聯邦學習等分布式機器學習技術可能為構建不斷更新的多模態事實核查系統提供新思路，使系統能夠從多個來源學習新的虛假信息模式，同時保護數據隱私。

在人工智能內容生成技術迅速普及的背景下，多模態事實核查的重要性與日俱增。正如巴黎和多諾萬2019年所指出的，AI生成的虛假內容與＂廉價偽造＂結合，已經形成了一個龐大而復雜的虛假信息生態系統。未來的事實核查技術需要與內容生成技術同步發展，形成有效的對抗機制。一個積極的信號是，開發內容生成技術的同時，研究人員也在開發檢測這些生成內容的方法，如數字水印和內容鑒別技術。

參考資料

• Akhtar， M.， Schlichtkrull， M.， Guo， Z.， Cocarascu， O.， Simperl， E.， &； Vlachos， A. （2023）. Multimodal Automated Fact-Checking: A Survey. arXiv:2305.13507.

• Alam， F.， et al. （2022）. A Survey on Multimodal Disinformation Detection. Digital Threats: Research and Practice.

• Gupta， A.， Lamba， H.， Kumaraguru， P.， &； Joshi， A. （2013）. Faking Sandy: characterizing and identifying fake images on Twitter during Hurricane Sandy. WWW ＇13 Companion.

• Paris， B.， &； Donovan， J. （2019）. Deepfakes and Cheap Fakes. Data &； Society Research Institute.