IBM：通用智能體標準

我們一直期待 AI 不只是“工具鏈的執行者”，而是真正能在陌生環境里自主理解、規劃、行動的“主體”。

但越是接近這個愿景，越能感受到現實的落差——尤其當我們認真問一句，這些號稱“通用”的 Agent，真的能在沒有任何任務特化工程的情況下完成任務嗎？

2 月 27 日，IBM Research 發布最新研究成果《General Agent Evaluation》，它提出統一協議、零特化原則、跨環境評測框架，并系統性地測試了五個主流 Agent 系統，揭示了一個殘酷但真實的事實，在沒有任務特化工程的情況下，所有系統的表現都顯著下降。

IBM Research 成立于 1945 年，是全球最早的科技研究院之一。它的定位從來不是“做產品”，而是“做未來”。幾十年來，它在計算機科學史上留下了大量里程碑式成果，從磁盤存儲、關系數據庫、量子計算，到深藍、沃森，再到今天的企業級 AI、可信 AI、自動化系統與智能體研究。

01通用智能體的承諾與現實落差

通用 Agent不依賴任務特化 API，不依賴提示工程，不依賴環境包裝器，面對陌生任務也能自主理解、規劃、執行。OpenAI SDK Agent、Claude Code 等系統讓人看到了一些苗頭，但當我們真正把它們放到“無特化環境”里時，結果往往變得不那么好看。

評測，反而成了通用 Agent 的最大瓶頸。不是因為評測難，而是因為現有評測體系根本無法回答“通用性”這個問題。絕大多數 Agent 基準都隱含著大量任務集成假設，任務 API 已經準備好、環境已經結構化、輸入已經清洗、工具已經綁定。這些條件讓 Agent看起來很強，但也讓它們完全無法在真實世界的“未知環境”中站穩腳跟。

如果要理解這項研究的意義，必須先看清當前 Agent 研究的三大誤區。

第一個誤區是把“任務特化 Agent”當成“通用 Agent”。許多系統在特定任務上表現驚艷，但那是因為它們被深度集成進了任務環境：API已經綁定、工具已經封裝、提示已經優化。它們的強，是工程強，而不是智能強。

第二個誤區，是基準測試隱含大量“任務集成假設”。當前主流 Agent 基準往往假設任務結構化、環境穩定、接口清晰，這讓評測結果看起來很漂亮，卻完全無法反映真實世界的復雜性。研究團隊明確指出，現有基準“編碼了任務信息”，從根本上排除了對通用Agent 的公平評估。

第三個誤區，是缺乏跨環境、跨任務的統一評測協議。每個基準都有自己的接口、格式、工具鏈，導致 Agent 無法在不同環境間遷移，也無法被系統性比較。

在這樣的背景下，研究團隊提出了一個關鍵問題：

“如果不給 Agent 做任何任務特化，它還能完成任務嗎？”

這個問題看似簡單，卻直擊通用 Agent 的本質。真正的通用性，不是模型參數的大小，也不是工具數量的多少，而是Agent 是否能在陌生環境中自主理解任務、規劃行動、調用工具、處理錯誤、完成目標。

而這恰恰是當前 Agent 的最大短板。

通用 Agent 的真正挑戰，不在于語言模型本身，而在于四個系統性能力：環境理解、工具泛化、長期規劃、錯誤恢復。模型可以很強，但如果無法理解環境狀態、無法在未知工具中遷移策略、無法在失敗后重新規劃，那它就無法成為真正的“通用智能體”。

02構建通用智能體評估的基礎設施

通用智能體的討論已經持續多年，但真正意義上的“通用性”始終缺乏一個可以落地、可復現、跨環境的評測體系。這項研究最重要的貢獻，就是把這件事從“概念”變成“基礎設施”。研究團隊不是在展示一個更強的 Agent，而是在搭建一個讓所有 Agent 都必須面對的“現實考場”。這套體系的出現，意味著通用 Agent 的研究終于有了共同語言和統一標準。

圖1：跨代理模型配置的性價比權衡。帕累托邊界（紅色虛線）顯示了最佳的權衡：GPT 5.2配置提供了最佳的成本效益，而Claude Opus 4.5在3-33×成本更高。

研究的第一個貢獻，是正式提出“General Agent Evaluation”作為一個獨立研究方向。過去的Agent 評測往往被塞進某個任務基準里，或者依附在某個系統的展示中，缺乏系統性、方法論和理論框架。IBM Research 這次把它從任務中抽離出來，定義為一個獨立的科學問題，如何評估一個不依賴任務特化工程的智能體？這一步的意義類似于當年 ImageNet 之于視覺、GLUE 之于語言，它為未來十年的 Agent 研究奠定了方向。

第二個貢獻，是構建了跨六類環境的統一評測框架。研究沒有選擇單一任務或單一環境，而是覆蓋了 Web、文件系統、API 工具、代碼執行、游戲/模擬、結構化任務六大類環境。這些環境共同構成了現實世界中 Agent 可能面對的主要任務類型。更重要的是，它們都遵循同一套協議，讓 Agent 不再依賴環境特化的接口，而必須在自然語言描述下自主行動。

第三是提出“零特化（Zero Integration）”評測原則。這個原則非常關鍵，它要求評測過程中不允許任何任務特化提示、API、包裝器或結構化輸入。換句話說，Agent 必須像真實世界那樣面對“未知環境”，不能依賴工程師提前鋪好的路。這是對通用性最直接、最嚴格的檢驗，也讓許多看似強大的Agent 暴露出真實能力邊界。

第四個貢獻，是對五個主流 Agent 系統進行系統性評測，揭示了它們在無特化條件下的通用性缺陷。研究沒有點名批評，但結果非常清晰：所有系統在陌生環境中的表現都遠低于它們在任務特化基準中的成績。規劃混亂、工具調用失敗、環境理解不足、錯誤恢復能力薄弱，這些問題在跨環境評測中被放大得淋漓盡致。

圖2:代理評估的演變。（A）單獨基準的集合，每個基準都需要一個自定義代理或一個具有特定適應能力的代理（HAL）（B）通過單一協議（如CLI或Web）整合的多個基準（C）通過可適應任何代理協議的通用協議（Exgentic）整合的多重基準。

第五是提出可擴展的評測協議，為未來 Agent 標準化奠基。研究的框架不是一次性實驗，而是一套可擴展、可復現、可跨系統遷移的評測基礎設施。它可以不斷加入新環境、新任務、新工具，成為未來通用 Agent 研究的“公共底座”。

03評測框架設計：如何評估“真正的通用Agent”

IBM Research 的設計思路非常明確，讓 Agent 在盡可能接近真實世界的條件下行動，而不是在工程師為它準備好的“溫室”里完成任務。

統一協議（Unified Protocol）

研究的核心是一個統一的交互協議。所有任務都以自然語言描述，不提供結構化輸入、不提供任務模板、不提供 API 文檔。Agent 必須自己理解任務、規劃步驟、選擇工具、執行操作、處理錯誤。它不能依賴任何任務特化提示，也不能依賴環境包裝器。這個協議讓所有 Agent 都站在同一起跑線上，也讓評測結果更能反映真實能力。

圖3：Open General Agent Leaderboard是第一個在不同環境中跨關鍵技能一致測試General Agent架構的基準。

六大環境類型

研究團隊選擇的六類環境，幾乎覆蓋了現實世界中 Agent 可能遇到的主要任務類型。

Web 環境是最貼近真實世界的場景，涉及動態頁面、DOM 結構、交互邏輯等復雜因素。難點在于環境高度非結構化，Agent 必須具備強大的感知與規劃能力。

文件系統環境更偏向傳統操作系統任務，考驗 Agent 的指令理解、路徑推理和狀態管理能力。相對可控，但仍需要多步驟規劃。

API 工具環境模擬現實中的工具調用場景，難點在于 Agent 必須理解工具功能、參數格式，并在缺乏明確文檔的情況下正確調用。

代碼執行環境考驗 Agent 的編程能力、調試能力和邏輯推理能力。錯誤恢復在這里尤為關鍵。

游戲/模擬環境提供了動態狀態、規則系統和策略空間，是測試長期規劃和環境建模能力的理想場景。

結構化任務環境則用于評估 Agent 在半結構化信息中的推理能力，介于自然語言與程序化任務之間。

這些環境共同構成了一個跨維度、跨任務、跨交互模式的評測體系，讓 Agent 的通用性在多角度、多層次上被檢驗。

任務設計原則

研究的任務設計遵循四個嚴格原則。

無結構化輸入，意味著任務不會被預處理成模型最擅長的格式，Agent 必須自己理解自然語言。

無任務特化工具，意味著 Agent 不能依賴為某個任務定制的工具鏈。

無預設 API，意味著 Agent 必須自己探索工具功能，而不是依賴工程師提前寫好的接口。

無提示工程，意味著 Agent 不能依賴“魔法提示”來完成任務。

這些原則共同指向一個目標，強調“陌生環境中的泛化能力”。真正的通用Agent，不是靠工程堆出來的，而是靠能力本身支撐的。

04實驗設置：5個Agent × 6類環境

通用智能體的評測，只有在“把所有系統放到同一片陌生土地上”時才真正有意義。IBM Research的實驗設計正是基于這種理念，不給任何系統鋪路，不給任何任務特化接口，讓所有 Agent 在同樣的自然語言任務描述下，進入六類完全不同的環境，看看它們到底能走多遠。

圖4：Exgentic定義了代理和基準之間的統一協議。Exgentic Orchestrator連接代理和基準，首先傳遞任務定義，然后協調基準和代理之間傳遞的觀察和操作。Exgentic提供適配器，將統一協議轉換為代理和基準測試所需的特定協議。最后，基準提供質量結果指標，而代理提供代理運行時成本。

被評測的五類主流 Agent 系統

研究團隊沒有把注意力放在“誰更強”上，而是刻意選擇了五種代表性系統，覆蓋當前 Agent 生態的主要技術路線。

工業級 Agent 是最受關注的一類，包括 OpenAI SDK Agent、Claude Code 等具備強大工具調用能力的系統。它們通常在任務特化環境中表現亮眼，但在零特化條件下能否保持穩定，是本次評測的關鍵看點。

開源 Agent 框架代表了社區生態的另一條路線，強調可擴展性、可組合性和靈活性。它們的優勢在于工程透明，但在陌生環境中往往缺乏穩健性。

工具增強型 LLM Agent 則依賴豐富的工具集，通過調用外部 API、插件或函數來完成任務。它們的挑戰在于如何在沒有預設 API 文檔的情況下理解工具功能。

代碼執行型 Agent 是近年來的熱門方向，依靠編寫和執行代碼來解決復雜任務。它們在結構化任務中表現強勢，但在動態環境中容易迷失。

Web 操作型 Agent 則專注于瀏覽器環境，能夠解析 DOM、點擊按鈕、填寫表單，但面對動態網頁和不確定結構時常常出現策略崩潰。

這五類系統共同構成了當前 Agent 技術版圖的縮影，也讓評測結果更具行業代表性。

評測指標

為了全面刻畫 Agent 的真實能力，研究從六個維度進行評估。

成功率是最直觀的指標，衡量 Agent 是否最終完成任務。

規劃質量反映了 Agent 的任務分解能力，是否能把自然語言目標拆解成合理步驟。

工具使用策略考察 Agent 是否能正確選擇工具、理解參數、處理調用失敗。

環境探索能力決定了 Agent 在未知環境中能否主動嘗試、收集信息、調整策略。

錯誤恢復能力是通用 Agent 的生命線，失敗后能否重新規劃，而不是陷入循環或直接放棄。

任務泛化能力則是最核心的指標，衡量 Agent 是否能在完全陌生的任務和環境中保持穩定表現。

這些指標共同構成了一個多維度的能力畫像，讓“通用性”不再是模糊概念，而是可量化、可比較的能力結構。

05實驗結果：通用Agent的真實能力遠低于預期

當五類系統被放入六類陌生環境，所有任務只通過自然語言描述，沒有任何任務特化工程時，結果呈現出一種令人意外卻又合理的趨勢，通用 Agent 的真實能力，比我們想象的要弱得多。

總體表現：所有系統在“無特化”條件下顯著下降

成功率普遍偏低，這是最直接的信號。許多系統在任務特化基準中能達到 70%–90% 的成功率，但在零特化環境中往往跌到個位數或十幾的水平。

工具調用混亂是另一個普遍現象。Agent 經常誤用工具、傳錯參數、重復調用失敗的函數，甚至在沒有理解工具功能的情況下盲目嘗試。

規劃錯誤頻繁出現，尤其是在多步驟任務中。Agent 往往無法保持任務上下文，導致步驟順序混亂、遺漏關鍵操作或重復執行無意義動作。

環境理解不足則貫穿所有環境類型。無論是網頁結構、文件系統狀態還是 API 返回值，Agent 都難以形成穩定的環境模型，導致行動策略缺乏連貫性。

這些問題共同揭示了一個事實：當前 Agent 的“智能”更多來自工程鋪路，而不是自主能力。

各環境表現差異

盡管整體表現不佳，但不同環境之間仍呈現出明顯差異。

文件系統任務相對較好，因為環境結構穩定、反饋明確、操作可控。Agent 在這里更容易形成有效策略。

Web 操作與 API 調用任務的失敗率極高。動態網頁、復雜 DOM、缺乏結構化 API 文檔，讓 Agent 很難理解環境狀態，導致大量無效操作。

多步驟推理任務表現不穩定。Agent 往往能完成前幾步，但在任務中段或末段出現邏輯斷裂，暴露出長期規劃能力的不足。

這些差異說明，Agent 的能力高度依賴環境結構化程度，而非真正的通用性。

表：失敗的運行比成功的運行長多少，以交互次數的百分比差異來衡量。

正值意味著失敗需要更多的交互；負值意味著它們取的更少。

Agent的系統性弱點

研究的實驗結果揭示了四個貫穿所有系統的核心弱點。

缺乏環境建模能力，使得 Agent 無法理解狀態變化，也無法根據環境反饋調整策略。

缺乏通用工具使用策略，讓 Agent 在面對未知工具時表現得像“盲試”，而不是“理解后行動”。

缺乏自我糾錯機制，使得錯誤一旦發生，Agent 往往陷入循環、重復失敗或直接放棄。

缺乏長期規劃能力，讓多步驟任務變得異常困難，尤其是在需要跨階段保持上下文的場景中。

這些弱點共同構成了當前通用 Agent 的能力天花板，也說明了為什么“任務特化工程”在過去幾年里如此重要——它在很大程度上掩蓋了這些結構性問題。

06通用Agent的瓶頸在哪里？

通用智能體的討論常常被大模型的光環所掩蓋，人們習慣性地把“模型能力”與“Agent 能力”畫上等號。但研究團隊用系統性的跨環境實驗告訴我們，真正的瓶頸根本不在模型，而在行動、在策略、在環境理解、在錯誤恢復——在那些模型本身并不擅長的地方。

模型能力 ≠ Agent 能力

大模型的語言理解、推理和生成能力確實強大，但 Agent 的任務不是“回答問題”，而是“在環境中行動”。行動意味著狀態變化、工具調用、路徑規劃、錯誤處理，這些都不是 LLM 的天然強項。研究的實驗結果清楚地展示了這一點，即便是最強的模型，在面對陌生工具、未知環境、動態狀態時，也會表現得像一個“不會用電腦的新手”。

工具使用是第一個瓶頸。Agent 經常誤用工具、傳錯參數、重復調用失敗的函數，說明它并沒有真正理解工具的功能和限制。

環境理解是第二個瓶頸。無論是網頁結構、文件系統狀態還是 API 返回值，Agent 都難以形成穩定的環境模型，導致行動策略缺乏連貫性。

狀態建模則是第三個瓶頸。Agent 往往無法記住任務進度、環境變化或歷史操作，導致規劃斷裂、重復執行或邏輯混亂。

這些問題共同說明：模型強，不等于 Agent 強。

當前基準嚴重高估了 Agent 的真實能力

研究的另一個關鍵洞察，是對現有基準的批判。當前 Agent 基準往往給了太多“任務特化輔助”：結構化輸入、預設 API、環境包裝器、提示工程。這些輔助讓 Agent 看起來很強，但那是因為工程師替它完成了大部分“理解環境”的工作。

真實世界任務遠比基準復雜。網頁是動態的，API 沒有文檔，文件系統狀態不穩定，工具行為不可預測。基準中的“理想環境”與現實中的“混沌環境”之間的差距，正是通用 Agent 在落地時頻頻翻車的原因。

研究的零特化評測框架，正是為了把這些隱藏的輔助全部剝離，讓 Agent 面對真實世界的復雜性。

通用 Agent 需要“跨環境一致的認知結構”

研究提出的第三個洞察，是對未來通用 Agent 架構的方向性判斷：真正的通用 Agent 必須具備跨環境一致的認知結構，而不是依賴任務特化工程。

通用規劃器是第一層能力。Agent 必須能從自然語言任務中自主拆解步驟，而不是依賴模板化提示。

通用工具策略是第二層能力。Agent 必須能在沒有文檔的情況下理解工具功能、推斷參數、處理失敗。

通用錯誤恢復機制是第三層能力。失敗不是例外，而是常態。Agent 必須能識別失敗、重新規劃，而不是陷入循環。

通用環境建模是第四層能力。Agent 必須能理解環境狀態、預測變化、保持上下文，而不是每一步都“從零開始”。

這些能力共同構成了未來通用 Agent 的“認知骨架”。

評測體系必須從“任務特化”轉向“環境無關”

研究的第四個洞察，是對評測體系的方向性重構。未來的評測不應該再圍繞“任務得分”，而應該圍繞“泛化能力”。這與近年來關于“Benchmark Saturation”的研究形成呼應：當模型在特定基準上達到極限時，基準本身已經無法反映真實能力。

環境無關的評測體系，才是推動 Agent 進化的關鍵。只有在陌生環境中，Agent 的真實能力才會被暴露；只有在無特化條件下，通用性才有意義。（END）

參考資料：https://arxiv.org/pdf/2602.22953

關于波動智能——

波動智能旨在建立一個基于人類意圖與反應的真實需求洞察及滿足的價值體系，融合人工智能與意識科學，構建覆蓋情緒識別、建模與推薦的智能引擎，自主研發面向社交、電商等場景的多模態意圖識別引擎、意圖標簽系統及意圖智能推薦算法，形成從情緒采集、意圖建模到商業轉化的完整解決方案。波動智能提出“意圖是連接人、物與內容的新型接口”，其產品廣泛應用于AI社交、個性化內容推薦、虛擬陪伴、電商體驗優化等領域。波動智能正在探索“EMO-as-a-Service”技術服務架構，賦能企業實現更高效的用戶洞察與精準情緒交互，推動從功能驅動到意圖驅動的產業范式升級。

親愛的人工智能研究者，為了確保您不會錯過*波動智能*的最新推送，請星標*波動智能*。我們傾心打造并精選每篇內容，只為為您帶來啟發和深思，希望能成為您理性思考路上的伙伴！

加入AI交流群請掃碼加微信