CMU開源首份Agentic Search日志數(shù)據(jù)，把Agent拆開給你看

在大模型驅(qū)動的 Agentic Search 日益常態(tài)化的背景下，真實環(huán)境中智能體 “如何發(fā)查詢、如何改寫、是否真正用上檢索信息” 一直缺乏系統(tǒng)刻畫與分析。

CMU 團隊基于可重復檢索平臺 DeepResearchGym，從統(tǒng)一后端的半年真實流量中整理出 1400 萬余條搜索請求、約 400 萬個會話，在嚴格匿名化與清洗后，構(gòu)建并于 Hugging Face 開源了首個 Agentic Search 行為日志數(shù)據(jù)集。

在此基礎上，工作提出 “會話意圖（Declarative / Procedural / Reasoning）→軌跡動作（專化 / 泛化 / 探索 / 重復）→檢索信息采納率（CTAR）” 三層分析框架，利用 LLM 進行會話切分與標簽推斷，刻畫出智能體搜索中普遍存在的下鉆偏好、事實型任務中的重試循環(huán)，以及不同改寫模式對歷史檢索信息依賴程度的顯著差異。

總體而言，該研究既為觀察與評估 Agentic Search 行為提供了首個大規(guī)模開源日志，也為后續(xù)在智能體訓練與系統(tǒng)設計中顯式建模 “會不會搜” 提供了可復現(xiàn)的數(shù)據(jù)基礎與可量化的行為信號。

• 論文標題：Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests
• 論文鏈接：https://arxiv.org/abs/2601.17617
• 
  

• 
  
• Hugging Face 開源數(shù)據(jù)集：DeepResearchGym Agentic Search Logs
• 數(shù)據(jù)集鏈接：https://huggingface.co/datasets/cx-cmu/deepresearchgym-agentic-search-logs

01 從任務到行為：Agentic Search 的缺失一環(huán)

近年來，大型語言模型驅(qū)動的 Agentic Search 與 Deep Research 逐漸成為信息獲取的重要形態(tài)，即系統(tǒng)不再只返回一頁文件結(jié)果，而是通過智能體自動發(fā)起多輪檢索、閱讀文檔、改寫問題，再生成綜合回答。

與之相對應，已有研究提出了多種基準任務和評測框架，用于衡量系統(tǒng)在問答、推理、工具調(diào)用等方面的性能。然而，這些評測大多基于構(gòu)造好的題目和離散樣本，缺乏對真實環(huán)境中智能體檢索行為的系統(tǒng)觀察與結(jié)構(gòu)化分析：

• 多輪會話在實際使用中如何展開；
• 不同任務類型下，智能體采用哪些檢索策略；
• 在多步改寫過程中，檢索證據(jù)信息在多大程度上真正影響了后續(xù)查詢。

這篇 Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests 論文針對上述缺口，基于 DeepResearchGym（DRGym）平臺提出了兩方面貢獻：

1. 從半年真實流量中整理出超過 1400 萬條 Agentic Search 請求、約 400 萬個搜索會話，在嚴格匿名化與清洗之后，發(fā)布為首個開源的 Agentic Search 行為日志數(shù)據(jù)集。

2. 在此基礎上，從任務意圖（intent）與檢索軌跡（trajectory）兩個維度，系統(tǒng)分析智能體的搜索過程，并提出一個衡量 “是否利用檢索到信息” 的指標 CTAR（Context-driven Term Adoption Rate）。

02 數(shù)據(jù)與平臺：DRGym 日志概況

DRGym 是該團隊搭建的一個面向研究用途的可重復檢索平臺（https://www.deepresearchgym.ai/），對外提供統(tǒng)一的 /search API，后端基于密集檢索，掛載在固定的 Web 語料快照上，例如 ClueWeb22、FineWeb 等。不同智能體可以以任意策略調(diào)用該接口，但所有請求都運行在統(tǒng)一的檢索基礎設施之上。

日志中的每條記錄包含如下信息：

• 查詢文本 query_text；
• 檢索文檔數(shù)量 num_of_docs（即 top-K）；
• 所用數(shù)據(jù)集 dataset（如 ClueWeb22 / FineWeb）；
• 檢索預算相關參數(shù) complexity；
• 時間戳、匿名化 IP 等會話識別字段。

論文選取約半年時間窗口，得到來自橫跨 25 個國家，近 600 個 IP 地址，超過 1400 萬條請求日志，約 400 萬個會話（session）。

這為驗證日志是否具有廣泛多元使用的多樣性，而非某些基準題目的重復回放訓練，作者從兩方面進行了檢查：

• 使用文本向量表示（embedding）分析查詢語義分布，結(jié)果顯示查詢覆蓋的語義空間較為分散；
• 將日志中的查詢與若干常用 Agentic Benchmark 的題目進行語義匹配，重合比例極低。

隱私方面，日志經(jīng)過了字段裁剪與匿名化處理：去除直接可識別信息，對自由文本進行 PII 清理，并重新生成會話級別的匿名 ID，最終在 Hugging Face 上公開。

03 從請求到會話：Session 切分方法

原始日志是時間順序的請求流，要分析行為模式，需要先劃分搜索會話。與傳統(tǒng)人類 Web 日志不同，智能體請求往往高頻且可并發(fā)，僅依賴固定時間閾值（例如 “間隔超過 30 分鐘”）容易誤分。

該工作采用了語義 + 時間聯(lián)合的 Sessionization 策略：

1. 首先，基于一批相鄰請求樣本，通過 LLM 標注 “是否屬于同一會話”，構(gòu)建連續(xù)性標簽；

2. 其次，使用查詢的向量表示訓練一個連續(xù)性判別模型，預測兩條查詢之間是否應歸為同一 session；

3. 在線劃分時，對同一匿名 IP 下的新查詢，與當前所有活躍會話的末尾查詢計算連續(xù)性分數(shù)，在分數(shù)與時間差均滿足條件時并入對應會話，否則開啟新會話。

這一策略最終得到約 400 萬個 session。整體分布上：

• 單輪會話仍然占據(jù)一定比例，但相當多的會話包含多步查詢；
• 大部分相鄰請求的時間間隔在數(shù)秒到十幾秒之內(nèi)，體現(xiàn)出 agentic search 中 “高頻、小步迭代” 的特征。

04 兩層視角：任務意圖與檢索軌跡

在會話劃分的基礎上，論文從兩層視角刻畫 agentic search 過程：

• 會話層面：Session Intent，即智能體在此次搜索中試圖完成的任務類型；
• 逐步步驟軌跡層面：Trajectory Move，即相鄰兩條查詢之間的改寫動作類型。

4.1 三類 Session Intent

作者沿用經(jīng)典的 Web Search 目標分類，對多輪會話進行三類劃分：

1.Declarative：陳述型 / 事實與知識檢索

• 典型問題包括 “是什么”“誰是”“列出……”。

2.Procedural：過程型 / 操作與步驟檢索

• 包括 “如何做”“如何修復”“完成某項任務的步驟” 等。

3.Reasoning：推理型 / 分析與比較檢索

• 包括 “為什么”“如何權(quán)衡”“多因素比較和規(guī)劃” 等。

標注方式為，將一個 session 內(nèi)全部查詢串聯(lián)，交由 LLM 進行意圖分類，并在樣本上用另一模型交叉驗證，標簽可靠性較高。

統(tǒng)計結(jié)果表明，日志中以陳述型任務為主，其次是推理型任務，過程型任務比例相對較小。不同意圖下，會話長度與檢索配置表現(xiàn)出明顯差異，例如過程型任務更傾向一次性拉取更多文檔，而推理型任務的查詢文本往往更長、前后變化幅度更大。

不通過目標分類下的Query 樣例

4.2 四類 Trajectory Move

在單個會話內(nèi)部，相鄰兩條查詢之間的變化被劃分為四種改寫動作：

1.Specialization（專化）：增加約束，下鉆到更具體的條件或子范圍；

2.Generalization（泛化）：去除約束，將查詢放寬到更一般的描述；

3.Exploration（探索）：在同一主題下轉(zhuǎn)向新的側(cè)面或子問題，例如從 “定位” 轉(zhuǎn)向 “屬性信息”；

4.Repetition（重復）：語義基本不變的輕微改寫或直接重試，例如改寫語序、替換同義表達。

類似的這些標簽基于 LLM 對查詢對的判別結(jié)果獲得，并結(jié)合向量相似度和檢索結(jié)果重疊進行驗證。整體來看，智能體呈現(xiàn)出明顯的 “下鉆偏好”（Drill-down Bias）：專化與探索使用頻率較高，泛化相對稀少，而在許多事實型會話的后期，重復動作顯著增多，形成 “重試循環(huán)”。

案例1：事實型會話的后期形成“重試循環(huán)”

另一方面，智能體也表現(xiàn)出一定的“重置 - 再細化”（Reset-then-Refine）模式，如下圖可見，智能體先在一個寬泛主題上做專化（例如從 “拿破侖戰(zhàn)役” 收窄到 “1796 年意大利戰(zhàn)役”），隨后通過去掉這些約束做一次泛化（得到更短、更寬泛的查詢），再沿著另一個側(cè)面重新專化（切換到 “埃及遠征” 等新的細化方向）。

從查詢長度的變化也能看出這一點，即專化通常會拉長查詢，而泛化則會縮短查詢。整體上，泛化在這里更像是一種輕量級回溯，用來在不同細化分支之間切換，而不是持續(xù)性地將查詢維持在寬泛層級。

案例2：“重置-再細化”的步驟循環(huán)

05 Agent 對于搜索到信息的具體利用：

CTAR 指標

在多輪檢索中，關鍵問題之一是：新的查詢在多大程度上受到了既有檢索信息的影響。由于日志中沒有點擊、停留時間等顯性交互信號，論文提出了一個簡單的間接度量：CTAR（Context-driven Term Adoption Rate）。

計算方法概括如下：

• 對相鄰查詢對 q_k → q_{k+1} 進行分詞與停用詞過濾；
• 找出 q_{k+1} 中首次出現(xiàn)的 “新詞”；
• 在上一步或累積至今的歷史檢索結(jié)果中檢查這些新詞是否以詞面形式出現(xiàn)；
• CTAR 即為 “在上下文中出現(xiàn)的新詞占全部新詞的比例”。

這個指標帶來的核心發(fā)現(xiàn)包括：

1.整體 CTAR 超過一半

大約一半以上的新詞可以在之前檢索到的文檔中找到。這表明，在相當多的步驟中，智能體并非完全憑空提出新的條件，而是從已有獲取信息中采納術(shù)語和約束。

2.不同 Trajectory Move 的 CTAR 存在顯著差異

專化和探索動作的 CTAR 明顯高于平均水平，說明這兩類改寫更依賴已有文檔信息；重復動作的 CTAR 則較低，通常對應表述上的微調(diào)或重試，而非基于新信息的策略調(diào)整。

3.歷史上下文具有額外貢獻

只看上一輪檢索結(jié)果時，CTAR 較低；將更早步驟的文檔一并納入后，CTAR 穩(wěn)定提升，說明部分新詞來源于更早的檢索信息，智能體在一定程度上會 “回溯” 歷史上下文。

需要強調(diào)的是，CTAR 僅刻畫 “新詞在檢索信息中的可追溯性”，并不直接等價于因果利用；但由于定義簡單且易于解釋，適合作為衡量 “是否參考檢索上下文” 的粗粒度指標。

06 對 Agentic Search 系統(tǒng)設計的啟示

基于上述行為分析與 CTAR 指標，論文在結(jié)尾討論了若干與系統(tǒng)設計直接相關的啟示：

1.重復動作可視為潛在 “停滯信號”

在大量陳述型會話中，隨著 Agent 步驟推進，重復改寫的占比明顯提高，其檢索結(jié)果高度重疊且 CTAR 較低。這種模式可以視為系統(tǒng)進入 “原地重試” 的信號。在工程上，可以基于重復率、結(jié)果重疊度和 CTAR 等聯(lián)合特征，檢測并中斷重試循環(huán)，強制觸發(fā)泛化或探索策略，或切換到更高配置的工具鏈。

2.檢索預算應隨任務意圖與軌跡自適應調(diào)整

日志表明，現(xiàn)有許多智能體將檢索深度 K 寫死為有限幾個固定值，在同一會話內(nèi)幾乎不做調(diào)整。然而，不同意圖和軌跡狀態(tài)對檢索策略的需求顯然不同，即過程型任務更依賴一次性較寬的文檔覆蓋，推理型任務則往往更需要多輪細化與驗證。因此，更合理的設計是，先對會話意圖進行識別，再結(jié)合當前軌跡（如是否處于探索階段、是否陷入重試）動態(tài)調(diào)整 top-K、上下文長度與工具組合，而非采用全局統(tǒng)一配置。

3.將 CTAR 等 “信息采納率” 指標納入系統(tǒng)監(jiān)控

CTAR 在不同改寫類型之間具有明顯區(qū)分度，在專化和探索步驟中，CTAR 高時往往對應基于檢索信息的實質(zhì)推進，而重復步驟中 CTAR 較低則更可能反映策略停滯。

因此，可以將 CTAR 一類指標納入系統(tǒng)的觀測與調(diào)度邏輯：當長時間觀測到 CTAR 偏低或在特定模式下急劇下降時，觸發(fā)算法層或工作流層面的干預與重規(guī)劃。

07 結(jié)語：從第一份開源日志

到 Agentic IR 的 “常識層” 認識

整體來看，這篇工作完成了三件具有基礎設施意義的事情：

1.提供首個開源的 Agentic Search 行為日志數(shù)據(jù)集

基于 DRGym 平臺采集并清洗的 1400 萬 + 請求、約 400 萬會話，在經(jīng)過匿名化處理后，在 Hugging Face 平臺公開，為后續(xù)研究提供了可復現(xiàn)的行為數(shù)據(jù)基礎。

2.提出面向 Agentic Search 的 “意圖–軌跡–信息利用” 分析框架

通過三類 Session Intent、四類 Trajectory Move 以及 CTAR 指標，從結(jié)構(gòu)和內(nèi)容兩個維度刻畫智能體搜索過程，為后續(xù)的行為建模、策略比較和訓練目標設計提供了分析工具。

3.將若干經(jīng)驗性觀察固化為可量化的設計建議

具體包括，將重復改寫視作停滯信號、依據(jù)任務意圖與軌跡模式自適應檢索預算，以及通過檢索信息采納率監(jiān)控智能體是否真正 “讀取并利用” 檢索結(jié)果。

對于從事信息檢索與智能體系統(tǒng)研究的讀者，這份數(shù)據(jù)與框架為理解和改進 agentic search 提供了新的切入點；對于工程實踐者，則可以據(jù)此審視現(xiàn)有系統(tǒng)的行為模式，并據(jù)實引入新的監(jiān)控和控制機制。

作者簡介：

本論文第一作者為卡內(nèi)基梅隆大學計算機學院語言技術(shù)研究所碩士研究生 Jingjie Ning，研究方向聚焦信息檢索、DeepResearch、Query 理解與強化、推薦系統(tǒng) Benchmark 等工作。Jingjie Ning 師從 Jamie Callan 教授及 Chenyan Xiong 教授。在卡內(nèi)基梅隆大學前，Jingjie 曾在騰訊任職 Senior Data Scientist。個人主頁：https://ethanning.github.io