北卡大學(xué)教堂山分校推出ClawArena

這項由北卡羅來納大學(xué)教堂山分校、加州大學(xué)圣克魯茲分校和加州大學(xué)伯克利分校聯(lián)合開展的研究發(fā)表于2026年4月的arXiv預(yù)印本，編號為arXiv:2604.04202v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

當(dāng)你的手機(jī)助手告訴你"昨天的會議已經(jīng)取消"，但你的郵箱里卻顯示會議"只是延期到下周"，而同事的消息又說"會議照常進(jìn)行"時，你會相信哪一個？這種信息沖突在我們的數(shù)字生活中隨處可見，對人來說尚且困擾，對AI代理來說更是巨大挑戰(zhàn)。

想象一下，你雇傭了一位數(shù)字助手來管理你的工作，它需要像人類助理一樣持續(xù)跟蹤項目進(jìn)展、處理信息更新，并且記住你的偏好。但現(xiàn)實中的信息環(huán)境就像一個不斷變化的迷宮——不同來源說著不同的話，新信息會推翻舊結(jié)論，而你的偏好只能通過零散的糾正和互動模式慢慢顯露，從不明確告知。

目前的AI評測就像在實驗室里測試汽車性能——環(huán)境單純、條件理想，但現(xiàn)實道路充滿了意外。研究團(tuán)隊發(fā)現(xiàn)，現(xiàn)有的基準(zhǔn)測試大多假設(shè)信息來源權(quán)威且一致，就像所有路標(biāo)都指向同一個方向。然而真實世界更像是一個路標(biāo)混亂的十字路口，有些指向錯誤方向，有些已經(jīng)過時，還有些互相矛盾。

正是基于這樣的觀察，研究團(tuán)隊開發(fā)了ClawArena這個評測平臺。這個名字頗有深意——"Claw"意為"爪子"，暗示AI代理必須像野獸一樣用爪子在錯綜復(fù)雜的信息叢林中"抓取"真相。該平臺專門測試AI代理在信息環(huán)境持續(xù)演變時是否還能保持正確的認(rèn)知和判斷。

一、信息迷宮中的三重挑戰(zhàn)

ClawArena的設(shè)計理念就像一座精心構(gòu)建的信息迷宮，每個場景都包含著三層相互交織的挑戰(zhàn)。第一層是多源沖突推理，就好比你同時收到了好幾份關(guān)于同一件事的不同報告。研究團(tuán)隊發(fā)現(xiàn)，現(xiàn)實中的證據(jù)往往分散在不同渠道——私聊記錄、群組消息、監(jiān)控日志、審計報告等等，而這些渠道經(jīng)常傳達(dá)相互矛盾的信息。

以一個典型的工程事故為例，私人消息可能聲稱管道故障在4分鐘內(nèi)自動恢復(fù)，但監(jiān)控導(dǎo)出的數(shù)據(jù)卻記錄了47分鐘的中斷，而后續(xù)的審計筆記顯示所謂的修復(fù)其實并不完整。對AI代理來說，難題不在于簡單地檢索某個事實，而在于判斷哪些證據(jù)仍然值得相信。這就像在法庭上，法官必須權(quán)衡不同證人證詞的可信度，而不是簡單地相信所有人說的話。

第二層挑戰(zhàn)是動態(tài)信念修正。在現(xiàn)實世界中，新證據(jù)會隨時出現(xiàn)，可能徹底顛覆之前看似正確的結(jié)論。這就像你根據(jù)早上的天氣預(yù)報決定不帶傘，但中午突然收到暴雨警告——你必須重新評估并改變計劃，而不是固執(zhí)地堅持原來的判斷。對AI代理而言，這意味著它們不能簡單地積累信息，而必須具備主動修正信念的能力。

第三層是隱性個性化，這可能是最微妙也是最重要的一層。用戶的偏好很少會直接表達(dá)，更多時候是通過糾正和互動模式逐漸顯露。比如用戶可能習(xí)慣性地把AI給出的項目符號格式改成表格形式，或者總是要求添加某種特定的分析角度。優(yōu)秀的AI助手需要像經(jīng)驗豐富的秘書一樣，無需提醒就能記住并應(yīng)用這些偏好。

這三個維度的巧妙之處在于它們會產(chǎn)生復(fù)雜的相互作用。一個AI代理可能在處理信息沖突方面表現(xiàn)出色，但在信息更新后卻無法及時修正觀點。或者它能正確修正信念，但卻忽略了用戶偏好的輸出格式，仍然產(chǎn)生不可靠的結(jié)果。就像一臺精密機(jī)器，任何一個齒輪出問題都會影響整體性能。

二、精心設(shè)計的現(xiàn)實模擬

為了真實模擬這種復(fù)雜的信息環(huán)境，研究團(tuán)隊采用了分層設(shè)計的方法。每個測試場景都像一部精心編排的戲劇，包含六個層級。最底層是隱藏的客觀真相，就像劇本中的真實故事線，永遠(yuǎn)不會直接展示給被測試的AI系統(tǒng)。其余五層則是AI能夠觀察到的"表演"——工作區(qū)文件、會話歷史、評估問題、分階段更新包，以及內(nèi)部生成指南。

這種設(shè)計確保了評估的可靠性。就像偵探小說中，讀者看到的是各種線索和證人證詞，但只有作者知道真相。AI代理必須根據(jù)這些不完整、有時甚至相互矛盾的線索拼湊出真實情況。答案的正確性總是根據(jù)隱藏的客觀真相來驗證，而不是根據(jù)任何單一的可觀察信源。

在多源沖突的設(shè)計上，研究團(tuán)隊精心設(shè)置了四種典型的證據(jù)關(guān)系。事實沖突是最直接的，不同信源報告完全不同的事實，就像兩個目擊者對同一起事故給出截然不同的描述。權(quán)威沖突更加微妙，涉及聲稱獲得某種批準(zhǔn)但缺乏文檔支持或遭到否認(rèn)的情況。非沖突插槽則是故意設(shè)置的一致信息，防止系統(tǒng)過度敏感，把每個分歧都當(dāng)作矛盾處理。時間和流程沖突則涉及不同信源對時間安排或合規(guī)性的分歧。

分階段更新的設(shè)計特別巧妙。早期輪次會展示看似合理但不完整的敘述，就像推理小說的前幾章，一切看起來都說得通。然后后續(xù)輪次會注入矛盾信息、權(quán)威確認(rèn)和獨立證實，逐步揭示真相的復(fù)雜性。更新分為兩種：主觀更新通過追加的會話消息改變信源可信度，客觀更新則通過工作區(qū)文件修改改變事實記錄。

為了測試自我糾正能力，研究團(tuán)隊特意嵌入了一些"錨定短語"，這些短語在早期聽起來很有說服力，還有一些"權(quán)威短語"會錯誤地援引高級領(lǐng)導(dǎo)的批準(zhǔn)。AI代理會因為一旦有矛盾證據(jù)出現(xiàn)就進(jìn)行修正而獲得獎勵，而不是因為從一開始就持懷疑態(tài)度。這更接近現(xiàn)實情況——我們通常會相信最初看到的合理信息，直到有明確的反駁證據(jù)出現(xiàn)。

三、個性化的漸進(jìn)式學(xué)習(xí)

個性化評估采用了四階段協(xié)議，就像訓(xùn)練一位新助手的過程。校準(zhǔn)階段，用戶會給出自然的提示，比如"把這個放在表格里"，就像你向新同事展示你喜歡的工作方式。反饋階段，用戶會糾正之前的輸出，明確指出哪些地方不符合期望。

更有趣的是會話隱性階段，這時偏好只通過互動模式表達(dá)，而不再有明確的指示。就像一對老夫妻，不需要說話就能理解對方的需求。最后是靜默考試階段，完全沒有提醒，只有這個階段的表現(xiàn)才計入評分。這就像真正的工作場景，沒人會反復(fù)提醒你的偏好，你需要自己記住和應(yīng)用。

偏好涵蓋了五個維度：輸出格式、文檔命名、文檔結(jié)構(gòu)、分析風(fēng)格和溝通語調(diào)。這些看似細(xì)微的差別往往決定了用戶體驗的質(zhì)量。想象你習(xí)慣看表格形式的數(shù)據(jù)總結(jié)，但AI總是給你大段文字，或者你喜歡簡潔的技術(shù)報告，但AI總是給你冗長的解釋，這種不匹配會嚴(yán)重影響工作效率。

四、大規(guī)模真實場景構(gòu)建

創(chuàng)建大規(guī)模測試場景面臨的最大挑戰(zhàn)是如何在保持各層級因果一致性的同時產(chǎn)生真實的行為模式。研究團(tuán)隊采用了三階段構(gòu)建流程來解決這個問題。

種子構(gòu)建階段完全依靠手工制作，就像制作高質(zhì)量的樣品。團(tuán)隊會反復(fù)精煉每個場景，直到包含所有四種矛盾類型，每個答案都需要交叉引用至少兩個信源，每個分階段更新都會改變至少一個之前正確的答案，并且所有答案都沒有歧義。

元規(guī)范歸納階段從種子場景中提取結(jié)構(gòu)不變性，編碼敘事模式、矛盾類型比例、偏見短語插入規(guī)則和更新問題綁定約束。這就像總結(jié)菜譜的通用原理，確保大批量制作時仍能保持質(zhì)量。比如規(guī)范要求每個場景必須包含exactly一個非沖突插槽來防止過度標(biāo)記，至少一次更新必須翻轉(zhuǎn)之前問題的正確答案。

批量生成階段最具創(chuàng)新性，整合了現(xiàn)實世界的分布約束。研究團(tuán)隊收集了超過200個已發(fā)表的經(jīng)驗分布，涵蓋電子郵件量、提交模式、消息活動和社交網(wǎng)絡(luò)結(jié)構(gòu)。這些分布約束在三個真實性維度上限制角色檔案和場景生成。

工作區(qū)真實性方面，文檔遵循特定領(lǐng)域的慣例，如合規(guī)格式、風(fēng)險披露、董事會決議模板，并且類似系統(tǒng)導(dǎo)出而非精心策劃的摘要。會話真實性體現(xiàn)在消息時間遵循場景特定的晝夜曲線，聯(lián)系頻率遵循四層Dunbar層級加權(quán)方案，其中親密聯(lián)系人出現(xiàn)頻率大約是邊緣聯(lián)系人的100倍，30-50%的消息是無關(guān)噪音。因果真實性確保所有可觀察材料都來自單一的底層真相，保證文檔和會話之間有因果連接，而不是獨立編造的文本。

五、嚴(yán)格的多層驗證

每個場景都經(jīng)過三個層級的驗證，確保測試的可靠性。結(jié)構(gòu)檢查執(zhí)行目錄結(jié)構(gòu)、問題模式、文件存在性、會話交替和更新完整性驗證。語義一致性檢查驗證矛盾覆蓋、答案關(guān)鍵一致性，以及可觀察軌跡與底層真相之間的聯(lián)系。控制檢查確認(rèn)偏見短語嵌入在預(yù)期會話中，非沖突插槽保持真正一致。

在開發(fā)過程中，這些檢查在任何模型評估開始之前發(fā)現(xiàn)了64個場景中的37個規(guī)范錯誤。這確保了如果系統(tǒng)在ClawArena上失敗，失敗反映的是代理行為而不是場景中的隱藏不一致性。

當(dāng)前版本包含8個專業(yè)領(lǐng)域的64個場景，總共1,879個評估輪次和365個動態(tài)更新。這些場景涵蓋了創(chuàng)業(yè)公司、醫(yī)院管理、企業(yè)IT、學(xué)術(shù)研究等多個領(lǐng)域，每個都有其特定的挑戰(zhàn)和復(fù)雜性。

六、框架與模型的較量

研究團(tuán)隊評估了五個AI代理框架和五個語言模型，結(jié)果揭示了一些有趣的發(fā)現(xiàn)。在框架比較中，MetaClaw以0.603的總體得分領(lǐng)先，超過其底層執(zhí)行器OpenClaw的0.579。MetaClaw采用技能驅(qū)動的自我進(jìn)化框架，維護(hù)著一個從先前失敗軌跡中提煉的程序技能不斷增長的存儲庫。這些技能會在每輪中被檢索并注入到代理的提示中，而不修改模型權(quán)重。

有趣的是，MetaClaw在中期更新階段表現(xiàn)最佳，達(dá)到0.557和0.569，比其OpenClaw執(zhí)行器恢復(fù)了0.08-0.09。早期階段的性能主要依賴上下文推理，而后期階段OpenClaw會反彈到0.619，表明注入的技能穩(wěn)定了中期信念修正，但將后期推理留給了底層執(zhí)行器。

在模型比較中，出現(xiàn)了明顯的能力梯度：Opus(0.735) > Sonnet(0.708) > Haiku(0.614) > GPT-5.2(0.581)，與模型規(guī)模一致。模型誘導(dǎo)的總體范圍是0.154，大大超過了框架誘導(dǎo)的0.092范圍，表明在評估不同場景時，模型能力比框架設(shè)計更重要。

特別值得注意的是，多選擇和可執(zhí)行檢查分?jǐn)?shù)只是中等相關(guān)。Sonnet盡管在多選擇方面落后于Opus(0.782 vs 0.829)，但實現(xiàn)了最高的可執(zhí)行檢查分?jǐn)?shù)(0.489)，表明工作區(qū)基礎(chǔ)和推理質(zhì)量是部分獨立的能力。

七、錯誤模式的深度解析

錯誤分析揭示了一些意想不到的模式。總體分?jǐn)?shù)可能掩蓋不同的失敗模式——兩個得分相同的配置可能在結(jié)構(gòu)上相反的選項上失敗，一個錯過了真正的沖突，另一個過度標(biāo)記了非沖突。這就像兩個學(xué)生都得了80分，但一個是因為數(shù)學(xué)好文科差，另一個恰恰相反。

模型級偏見會在框架間傳播。在一個信念修正問題上，所有三個GPT-5.1非Claude-Code框架都產(chǎn)生了相同的錯誤答案，表明存在模型級敘述錨定偏見。Claude Code的框架設(shè)計在推理前逐字引用源文本，糾正了這種偏見。這表明框架級設(shè)計選擇可以減輕模型級失敗模式。

信念修正難度取決于更新設(shè)計而非更新數(shù)量。在跨框架實驗中，所有配置在第一次更新后下降了0.28-0.36。但在跨模型實驗中，Haiku總體僅顯示+1.7%的變化。這種差異表明，集中的、有針對性的更新比分散的更新更具挑戰(zhàn)性，基準(zhǔn)設(shè)計師可以通過更新特異性而非更新量來控制修正難度。

可執(zhí)行檢查暴露了工具鏈瓶頸。Haiku在某個醫(yī)院管理場景中多選擇得分95.2%，但可執(zhí)行檢查得分0.0%，表明工作區(qū)基礎(chǔ)需要與推理質(zhì)量正交的能力——文件解析、shell命令構(gòu)造等。這種分離驗證了ClawArena的雙格式設(shè)計。

八、跨領(lǐng)域的表現(xiàn)差異

性能在不同領(lǐng)域間的變化超過60%，這對每個測試的模型都是如此。GPT-5.2在一個中文企業(yè)場景中比Haiku高出26.7%，盡管總體上落后，表明特定語言的訓(xùn)練數(shù)據(jù)發(fā)揮了重要作用。

最具挑戰(zhàn)性的場景是一個有12輪和6次密集更新的創(chuàng)業(yè)場景，擊敗了所有模型，全面實現(xiàn)低于30%的精確匹配。這種場景代表了現(xiàn)實中最復(fù)雜的信息環(huán)境，即使是最先進(jìn)的AI系統(tǒng)也難以應(yīng)對。

研究還發(fā)現(xiàn)，框架誘導(dǎo)的總體范圍從0.068擴(kuò)展到包含MetaClaw時的0.092，確認(rèn)一旦自我進(jìn)化可用，框架設(shè)計就很重要。但總的來說，15.4%的模型能力范圍仍然大大超過9.2%的框架設(shè)計影響，強(qiáng)調(diào)了基礎(chǔ)模型質(zhì)量的重要性。

九、現(xiàn)實意義與未來展望

ClawArena的評測結(jié)果揭示了當(dāng)前AI代理技術(shù)的真實水平。即使是表現(xiàn)最好的系統(tǒng)，在面對真實世界的復(fù)雜信息環(huán)境時仍然存在顯著挑戰(zhàn)。這就像我們發(fā)現(xiàn)即使是最好的GPS系統(tǒng)，在復(fù)雜的城市環(huán)境中仍然會迷路一樣。

這項研究的意義遠(yuǎn)超學(xué)術(shù)范疇。隨著AI助手越來越多地被部署為持久助手，它們處理矛盾信息、適應(yīng)變化環(huán)境和學(xué)習(xí)用戶偏好的能力將直接影響用戶體驗。一個無法正確判斷信源可信度的AI助手可能會誤導(dǎo)項目決策、事故響應(yīng)、日程安排或文檔準(zhǔn)備，即使所有相關(guān)事實都已存在于數(shù)字環(huán)境中的某個地方。

研究團(tuán)隊指出，現(xiàn)有評估大多假設(shè)靜態(tài)、單一權(quán)威的信息環(huán)境，這與現(xiàn)實部署環(huán)境相去甚遠(yuǎn)。ClawArena填補(bǔ)了這一空白，為評估AI代理在真實世界復(fù)雜性中的表現(xiàn)提供了重要工具。

未來的發(fā)展方向包括從靜態(tài)文件和分階段更新轉(zhuǎn)向?qū)崟r、無約束的環(huán)境，在這種環(huán)境中代理必須制定自己的查詢并與實時信息源交互。研究團(tuán)隊希望ClawArena能幫助社區(qū)衡量和改進(jìn)AI代理在現(xiàn)實部署設(shè)置中維持正確信念的方式。

歸根結(jié)底，這項研究提醒我們，構(gòu)建真正有用的AI助手不僅需要強(qiáng)大的基礎(chǔ)模型，還需要能夠在復(fù)雜、動態(tài)、有時相互矛盾的信息環(huán)境中導(dǎo)航的sophisticated系統(tǒng)設(shè)計。就像訓(xùn)練一名優(yōu)秀的人類助理需要時間和經(jīng)驗積累一樣，創(chuàng)建可靠的AI代理也需要我們更好地理解和模擬現(xiàn)實世界的復(fù)雜性。ClawArena為這一目標(biāo)提供了重要的評估工具和研究基礎(chǔ)。

Q&A

Q1：ClawArena是什么樣的評測平臺？

A：ClawArena是專門測試AI代理在復(fù)雜信息環(huán)境中表現(xiàn)的評測平臺。它模擬現(xiàn)實工作場景，包含相互矛盾的信息源、動態(tài)更新和隱性用戶偏好，測試AI是否能像人類助理一樣處理復(fù)雜信息并做出正確判斷。

Q2：為什么現(xiàn)有的AI評測不夠用？

A：現(xiàn)有評測大多假設(shè)信息來源權(quán)威且一致，就像在實驗室測試汽車性能。但現(xiàn)實世界更像路標(biāo)混亂的十字路口，不同信源經(jīng)常矛盾，信息會實時更新，用戶偏好從不明確告知，這些復(fù)雜情況現(xiàn)有評測都無法涵蓋。

Q3：ClawArena的測試結(jié)果說明了什么？

A：測試顯示即使最先進(jìn)的AI系統(tǒng)在復(fù)雜信息環(huán)境中仍面臨重大挑戰(zhàn)，模型能力比框架設(shè)計更重要。最好的系統(tǒng)在最難場景中準(zhǔn)確率仍低于30%，說明構(gòu)建真正可靠的AI助手還需要大量改進(jìn)。