Intuit團隊新發現:當AI檢索信息時，"找到答案"遠不是故事的終點

這項由美國金融科技公司Intuit的研究人員完成的研究，以預印本形式于2026年4月7日發布在arXiv平臺上，論文編號為arXiv:2604.05467，感興趣的讀者可通過該編號檢索完整原文。

**一切要從一個日常場景說起**

假設你雇了一位私家偵探幫你調查一件事，他出去收集了一堆資料，最后回來告訴你答案。你該怎么評價他的工作？最簡單的方式當然是看答案對不對。但真正有經驗的雇主會問更多：他找到的那些資料，哪些真正幫助了他得出答案？哪些是干擾？哪些根本沒用上？他有沒有因為某份假情報走了彎路，雖然最后蒙對了，但過程一團糟？

這正是Intuit這篇研究想解決的問題。現代AI系統——尤其是那些能回答復雜問題的大型語言模型——越來越擅長在回答之前先"出去檢索一圈資料"，然后綜合這些資料給出答案。這種方式被學界稱為"檢索增強生成"（Retrieval-Augmented Generation，簡稱RAG）。問題在于，學界長期以來評價這類系統的方式，就像那位只看最終答案的雇主一樣粗糙：答案對了就好，至于資料起了什么作用，沒人細究。

Intuit的研究團隊認為這遠遠不夠。他們開發了一套叫做**CUE-R**的評估框架，專門用來診斷每一條檢索到的證據究竟發揮了什么作用——不是靠猜測，而是靠"做實驗"。

**一、問題的根源：我們一直在用錯誤的方式給AI打分**

評價AI問答系統的方式，幾十年來基本沒變：問它一個問題，看它的答案對不對，完事。這就好比評價一位廚師只看最終端上桌的菜好不好吃，完全不管他用的是什么食材、怎么切、用了哪口鍋、火候如何。

然而，當AI系統變得越來越復雜，這種"只看結果"的評價方式開始暴露嚴重缺陷。研究團隊指出了兩個核心痛點。

第一個痛點是，最終答案太粗糙了，根本看不出檢索過程中發生了什么。一道菜可能因為偶然好運而美味，也可能因為廚師技藝高超而美味，單看菜本身根本無法區分。同樣，AI可能恰好從記憶里調出了正確知識，也可能真的靠檢索到的資料推斷出了答案。如果只看最終答案，這兩種截然不同的情況看起來完全一樣。

第二個痛點是，AI系統在"思考過程"中寫下的推理步驟，并不總是忠實反映它內部真正發生的事情。麻省理工學院和Anthropic的研究者們都曾發現，AI的"思維鏈"（也就是它寫出來的推理過程）有時更像是事后編造的合理化解釋，而非真實的推理軌跡。換句話說，偵探寫在報告里的"我是怎么破案的"，未必是他真正破案的方式。

正因如此，Intuit的團隊決定不去信任AI寫下的推理文字，而是去觀察它的**行為**——它實際用了哪些資料，給出了什么答案，有多大把握。這些都是可以直接記錄和測量的"可觀察軌跡"，就像偵探的行動記錄，而非他自述的心路歷程。

**二、CUE-R的核心思路：不信說的，只看做的**

CUE-R框架的核心設計哲學，可以用一個簡單的偵探實驗來理解。假設偵探用了五份情報破了一個案子。你想知道每份情報分別起了什么作用，最直接的辦法是：把其中一份拿走，讓他重新破一次，看看結果有什么變化。把某份情報換成假的，再破一次。把某份情報復印一份塞進去，再破一次。通過這些"干預實驗"，你就能知道每份情報對最終結果的真實貢獻。

CUE-R做的正是這件事。對于每一條檢索到的證據，框架設計了三種"手術操作"。

第一種操作叫**REMOVE（移除）**，就是把目標證據從資料堆里直接刪掉，讓AI在缺少這條證據的情況下重新回答。如果答案因此變差了，說明這條證據是必要的；如果沒變，說明AI其實不依賴它。

第二種操作叫**REPLACE（替換）**，把目標證據換成一條"看起來相關、實際上沒用"的內容——一條主題接近但不包含正確信息的假情報。這個操作專門測試AI面對誤導性信息時的抵抗力。

第三種操作叫**DUPLICATE（復制）**，把目標證據復印一份，讓同樣的內容出現兩次。這個操作測試冗余信息的影響——多一份一模一樣的情報，到底有沒有意義？

每次手術之后，研究團隊不只看最終答案對不對，而是從四個維度全面測量變化：答案的**正確性**、證據引用的**可信度**（AI有沒有真的用對資料）、AI自我報告的**置信度誤差**（它以為自己有多準，和實際準確度之間的差距），以及整個推理過程的**行為軌跡偏離程度**（整個調查路徑發生了多大變化）。

這四個維度合在一起，就構成了一幅完整的"證據角色圖譜"——每條證據到底是不可缺少的關鍵線索、可有可無的背景資料、令人迷惑的假情報，還是讓偵探自信過頭的危險信號。

**三、實驗設計：在兩個題庫、兩個AI身上反復驗證**

為了確保結論可靠，研究團隊在兩個經典的多跳問答數據集上進行了實驗。

第一個叫**HotpotQA**，這是一個專門為測試多步推理設計的問答庫。所謂"多跳"，就是回答一個問題需要把兩條不同來源的信息串聯起來，就像偵探需要把A處發現的線索和B處發現的線索聯合分析，才能得出結論。研究團隊在HotpotQA上進行了主要實驗，用了200個問題來測試主力模型，同時另取200個問題做控制實驗，再取100個問題用于跨模型驗證。

第二個叫**2WikiMultihopQA**，同樣是多跳推理數據集，用100個問題來驗證HotpotQA上得出的結論是否普遍適用。

測試用的AI模型有兩個。主力模型是**Qwen-3 8B**，一個參數量為80億的中等規模模型，在本地服務器上運行。另一個用于跨模型驗證的是**GPT-5.2**，即OpenAI最新一代的強大模型。選擇這兩個模型，是為了驗證結論對不同能力級別的AI都成立，而非某個特定模型的特殊現象。

在檢索方式上，團隊選擇了經典的**BM25算法**——一種基于關鍵詞匹配的文檔檢索方法，每次為每個問題檢索5條最相關的段落。選擇這個"老派"的檢索方式是有意為之：它簡單、透明、可復現，有利于科學對比，盡管這也帶來了一定的局限性（后文會提到）。

**四、實驗結果：三種手術引發了截然不同的后果**

實驗結果非常清晰，像三條性格迥異的曲線，各走各的路。

在HotpotQA上，Qwen-3 8B在正常檢索條件下答對了58.5%的問題，答案F1分（一種衡量答案質量的綜合指標）為0.640，證據引用準確率高達82.3%。這是偵探擁有完整情報時的表現。

當把目標證據**移除**之后，答對率驟降至28.5%，F1分跌到0.329，證據引用準確率更是大跌至39.2%。偵探失去了關鍵情報，幾乎無從下手。更戲劇性的是，整個調查軌跡的偏離程度高達0.632——意味著偵探走了完全不同的調查路徑，而大多數都通向了錯誤的結論。

**替換**操作的破壞力更猛。答對率降至27.0%，F1分0.318，證據引用準確率35.3%，軌跡偏離0.637。假情報不但頂替了真情報，還主動把偵探引向了錯誤的方向。AI不僅失去了正確信息，還被填入了干擾信息，兩種損害疊加在一起。

換句話說，復制一份相同情報，不會讓偵探答錯，但會讓他的調查方式悄悄改變——他可能更頻繁地引用這份情報，或者在某些步驟上走了略有不同的路徑。如果只看最終答案，你會認為復制操作完全無害；但看完整的行為軌跡，你會發現它其實在暗地里影響著偵探的工作方式。

**五、一個不可忽視的對照實驗：如果偵探完全沒有情報會怎樣**

為了確認檢索這件事本身是有價值的——換句話說，為了證明實驗觀察到的變化確實是因為情報質量下降，而非AI系統本身不穩定——研究團隊專門進行了一個"零情報"控制實驗。

在這個實驗里，AI根本沒有收到任何檢索結果，只能憑著自己的記憶（也就是訓練時學到的知識）來回答問題。結果如何？答對率從58%跌到22%，F1分從0.629跌到0.270，證據引用準確率直接歸零。

這個實驗的意義在于：它確認了檢索確實是有用的，AI不是隨機猜測的機器，檢索到的資料切實提升了它的表現。因此，當移除或替換某條證據導致性能下降時，這種下降是真實的、有意義的損失，而非噪音。

**六、跨數據集、跨模型驗證：規律是否普遍成立**

一個實驗結論，如果只在一個數據集上、一個模型上成立，科學價值是有限的。研究團隊因此專門做了兩輪驗證。

在2WikiMultihopQA上的驗證結果與HotpotQA高度吻合。正常檢索條件下答對54%，移除后降至39%，替換后降至37%，復制后略降為51%。軌跡偏離的模式同樣：移除0.594，替換0.622，復制僅0.063。證據引用準確率從81.8%在有害操作下驟跌至46.5%和42.6%，而復制反而輕微提升到84%。不同數據集上，這個規律的整體形態完全一致。

這意味著，CUE-R揭示的規律并非某個弱模型的特有缺陷，而是一種在不同能力級別的AI系統中都普遍存在的現象。更強的模型對有害干預更有抵抗力，但絕非免疫。

**七、替換的難度重要嗎：假情報的質量會不會影響破壞力**

研究團隊還專門測試了一個細節問題：把真情報換成什么樣的假情報，影響有多大？

他們設計了三個難度等級。"簡單"替換是隨機挑一條不相關的文章段落塞進去；"中等"替換是找一條與問題關鍵詞相似的段落；"困難"替換是找一條內容與被替換情報最相似、但依然不包含正確答案的段落——這是最難分辨真假的那種假情報。

實驗結果出乎意料地一致：三種難度下，答對率完全相同，都是35.4%。軌跡偏離也十分接近，在0.616到0.633之間。三種假情報，破壞力幾乎一樣。

唯一的細微差別在于"困難"替換略微提升了F1分（0.416對比其余兩種的0.394）和證據引用準確率（0.434對比其余兩種的約0.39）——這可能是因為高度相似的假情報在結構上與真情報接近，保留了一些有用的上下文框架，但核心答案信息仍然缺失。

這個實驗告訴我們：假情報的質量好壞，對最終破壞力影響有限。只要真情報消失了，偵探就會遭遇困難，不管塞進去的是什么。

**八、多條情報的聯合效應：1+1竟然不等于2**

在多跳問答場景中，回答一個問題通常需要來自兩個不同來源的信息聯合作用。研究團隊專門對這種情況做了一個深入實驗。

他們從HotpotQA中篩選出51個同時檢索到兩條關鍵證據的問題，然后分三種情況測試：只移除第一條證據、只移除第二條證據、同時移除兩條證據。

結果令人震驚。只移除第一條證據，F1分平均下降0.205。只移除第二條證據，F1分平均下降0.186。但同時移除兩條證據，F1分平均下降0.493——遠遠超過兩個單獨下降之和（0.205+0.186=0.391）。

更戲劇性的是，在13.7%的案例中，單獨移除任意一條證據，AI依然能答對；但同時移除兩條，AI就會答錯。這兩條證據彼此"互相支撐"，缺少任何一條都能從另一條中找補回來，但兩條同時缺失就會徹底崩潰。

研究團隊給出了一個具體例子：有個問題需要把《變形金剛》系列的一本書（Animorphs）和另一本書（The Hork-Bajir Chronicles）的信息結合起來才能回答。單獨移除任何一本書對應的證據，AI仍然能靠另一條找到正確答案；但兩本書的證據同時移除后，AI就給出了錯誤答案。

這一發現的意義在于：如果你只做"一次移除一條證據"的實驗，你永遠看不到這種互動效應，會低估AI對檢索信息的真實依賴程度。

**九、五個典型案例：證據角色的真實面貌**

研究團隊還用具體案例展示了他們提出的"證據角色分類"在實踐中的樣子。

第一類是**關鍵構建型**證據——缺了它，一切都崩塌。有個問題問的是布朗州立釣魚湖所在縣的人口數量，答案是9984。AI在有這條"布朗縣，堪薩斯州"證據時，自信地回答了9984。把這條證據移除后，AI的答案變成了"未知"，置信度從0.9跌到0，軌跡偏離幾乎達到最大值1.0。這條證據就是整個推理鏈的關鍵節點，缺了它寸步難行。

第二類是**答案不變但軌跡飄移型**——最能說明為什么不能只看答案。有個問題問的是某位漫畫家的出生年份（正確答案是1962）。原始AI回答的是1970（已經答錯了），置信度0.5。把某條證據替換后，AI改口說1968（依然是錯的），但置信度跳升到0.9，軌跡偏離達0.88。從"對錯"角度看，兩次都答錯，毫無變化；但從"軌跡"角度看，AI的整個思路發生了巨大變化，甚至變得更自信——這是一種危險的信號，答案錯誤+高度自信，而單純看答對率根本發現不了。

第三類是**完全冗余型**——多了也沒用。有個問題問斯科特·德里克森和艾德·伍德是不是同一國籍（正確答案是"是"）。AI原本答的是"不是"（錯誤），復制證據后依然回答"不是"，置信度相同，證據引用模式相同，軌跡偏離為零。這條證據無論如何都幫不上忙，多一份少一份完全一樣。

第四類是**置信度擾亂型**——答案對了，但信心搞錯了。有個關于樂隊樂器數量比的問題，AI原本正確地回答了"Badly Drawn Boy"，置信度0.9。復制證據后，答案仍然正確，但置信度跌到了0.5，置信誤差從0.1飆升到0.5。如果只看答案，復制操作無害；但從置信度角度看，它把AI變成了一個正確但不自信的偵探——而錯誤的信心評估在實際應用中是非常危險的，因為系統可能因此在該確認的時候反而猶豫。

**十、這個框架的局限：誠實面對自己的不足**

研究團隊在論文中非常坦誠地列出了CUE-R的各種局限性。

首先，實驗中的"干預"操作修改的是輸入給AI的文本，這同時改變了文本的長度、內容分布和注意力分配。因此，觀察到的變化是"對輸入擾動的敏感度"，而非最嚴格意義上的"因果貢獻"，兩者之間有細微但重要的區別。

其次，CUE-R只能觀察AI的外在行為——它用了哪些資料、給出了什么答案、報告了什么置信度——而無法看到AI內部真正發生了什么。這就像通過觀察偵探的行動來推斷他的思路，而非直接讀取他的腦電波。

在實驗規模上，100到200個樣本相對有限，檢索方式也選擇了較為基礎的BM25算法，而非業界最先進的語義檢索技術。這些都意味著結論的泛化范圍還需要更多驗證。

此外，證據引用準確率的度量方式比較粗糙：只檢查AI引用的證據標題是否與標準答案中的支持文章匹配，并不驗證AI是否真的用了那篇文章中的正確信息。一個證據引用了正確的文章但用了里面錯誤的信息，依然會被算作"正確引用"。

最后，自我報告置信度本身就是一個問題：AI系統對自己準確度的估計普遍不夠可靠，不同模型的置信度信號質量差異很大。

**十一、CUE-R在更大圖景中的位置**

研究團隊專門制作了一張比較表，梳理了CUE-R與現有各類評估方法的區別，這有助于理解它填補的是什么空白。

已有的評估方法大致可以分為幾類。純粹看答案對不對的方法最常見，但完全不涉及檢索過程。檢查AI推理過程是否"看起來合理"的方法更進一步，但依賴文字層面的表面判斷。檢查AI在答案中引用的文獻是否真實支持該答案的方法關注證據與答案的對應關系，但也只停留在最終答案層面。完整評估AI執行任務全過程軌跡的方法視角最廣，但并不聚焦于檢索證據的具體貢獻。專門做"拿走某條證據答案會不會變"實驗的方法已經有了干預思想，但只看答案變不變這一個維度。

CUE-R的獨特之處在于同時具備兩個特征：有干預實驗，而且是多維度評估。在研究團隊梳理的所有方法中，只有CUE-R同時具備這兩點，這是它真正的差異化價值。

說到底，CUE-R這項研究做的事情，像是給AI問答系統的工作過程裝上了一套全面的體檢儀器。過去，我們只能看最終體檢報告上那一個數字，卻對體檢過程中的所有環節視而不見。現在，Intuit的研究團隊展示了通過系統性的干預實驗，可以看到更多——哪些信息是真正不可缺少的，哪些看似有用實則冗余，哪些會悄悄影響AI的信心而不影響答案，而多個信息之間有時會產生遠超單獨作用之和的聯合效應。

這對普通人意味著什么？當你使用任何依賴"查資料再回答"的AI工具時，AI給你的答案背后有一個復雜的信息處理過程，而這個過程中發生的事情，對答案的可靠性有深遠影響。僅僅因為答案看起來合理，不代表AI用對了資料；僅僅因為AI很自信，不代表它真的有把握。CUE-R這套工具，讓我們有了更系統的方法去檢驗這些隱藏的過程。

對于AI系統的開發者而言，這項研究提示：優化最終答案質量，和優化檢索利用過程，是兩件不完全重疊的事情，需要分開來評估和改進。對于更廣泛的研究社區而言，它打開了一扇新的窗口：通過可觀察的外在行為，而非不可信的內在"思維鏈"文字，來理解AI如何使用它找到的信息。

如果你對這項研究的技術細節感興趣，可以通過arXiv編號2604.05467找到完整論文，所有實驗數據、統計檢驗結果和案例細節都在其中。

**Q&A**

Q1：CUE-R框架具體是用什么方法來判斷每條檢索證據的價值的？

A：CUE-R通過三種"手術實驗"來判斷證據價值：一是直接刪除目標證據讓AI重新回答（REMOVE），二是把目標證據換成相關但無用的假情報（REPLACE），三是把目標證據復制一份再放進去（DUPLICATE）。然后從答案正確率、證據引用準確率、置信度誤差和行為軌跡變化四個維度來對比前后差異，綜合判斷這條證據起了什么作用。不只看答案對不對，而是看整個推理行為有沒有變化。

Q2：DUPLICATE操作既然不影響答案正確率，為什么研究團隊認為它依然值得關注？

A：雖然復制一條證據通常不會讓答案變差，但實驗發現它會顯著改變AI引用證據的方式和推理軌跡（統計上高度顯著），有時還會扭曲AI的自信程度——讓本來正確答案對應的置信度降低，或者改變AI更偏向引用哪條資料。這種"答案不變但行為已變"的情況，如果只用答案來評估，就完全看不到，而這種隱藏的行為變化在實際應用中可能帶來潛在風險。

Q3：HotpotQA雙支持消融實驗（兩條證據同時移除）說明了什么問題？

A：這個實驗發現，同時移除兩條關鍵證據導致的性能下降（F1平均降0.493）遠遠超過分別只移除一條時的損失之和（0.205+0.186=0.391）。更關鍵的是，有13.7%的案例中單獨移除任意一條證據AI還能答對，但兩條同時移除就答錯了——說明兩條證據相互支撐、缺一不可。這意味著如果評估時只做"一次移除一條"的實驗，會嚴重低估AI對檢索信息的實際依賴程度，多條證據之間可能存在非加性的協同關系。