姚順雨騰訊第一篇論文，道破為什么AI死活聽不懂人話

本文來自微信公眾號(hào)：字母AI，作者：苗正，題圖來自：AI生成

今天的大語言模型能解奧數(shù)題、通過專業(yè)考試、寫復(fù)雜代碼，但它們在真實(shí)世界的應(yīng)用中卻常常“翻車”。問題出在哪里？

在姚順雨加入騰訊后發(fā)布的首篇論文里，他對于這個(gè)現(xiàn)象提出了一個(gè)觀點(diǎn)：

“當(dāng)前AI與真正智能之間的鴻溝，不在于知識(shí)的多少，而在于學(xué)習(xí)的能力。一個(gè)裝滿知識(shí)卻不會(huì)學(xué)習(xí)的AI，就像一個(gè)背了整本字典卻不會(huì)寫作的人，看起來博學(xué)，實(shí)則僵化。”

這篇論文的標(biāo)題叫做《CL-bench: A Benchmark for Context Learning》。

CL-bench是一個(gè)專門評測語言模型“上下文學(xué)習(xí)能力”的大規(guī)模基準(zhǔn)測試集，它的全稱是Context Learning Benchmark，即上下文學(xué)習(xí)測試集。

它包含500個(gè)復(fù)雜上下文場景、1899個(gè)任務(wù)和31607個(gè)評估標(biāo)注點(diǎn)，所有內(nèi)容均由各個(gè)領(lǐng)域資深專家精心挑選。

這個(gè)基準(zhǔn)的核心設(shè)計(jì)理念，是挑選那些在模型的預(yù)訓(xùn)練數(shù)據(jù)中不存在的難題，讓每個(gè)任務(wù)都必須要求模型從提供的上下文中學(xué)習(xí)全新的知識(shí)才能解決。

這篇論文不僅揭示了當(dāng)前AI的根本性缺陷，還構(gòu)建了一個(gè)專屬于AI的評價(jià)體系，非常值得AI以及agent從業(yè)者學(xué)習(xí)。

一面照出AI“假學(xué)習(xí)”真相的鏡子

從數(shù)據(jù)規(guī)模來看，CL-bench的每個(gè)上下文平均包含3.8個(gè)任務(wù)，最多可達(dá)12個(gè)任務(wù)。

更重要的是，500個(gè)復(fù)雜上下文場景中，包含序列依賴性任務(wù)的場景占51.1%。

這也就是說，你想要AI解決后面的任務(wù)，那就必須先從前面的任務(wù)中得到正確的答案，這種多輪交互設(shè)計(jì)極大增加了難度。

單任務(wù)標(biāo)注平均需領(lǐng)域?qū)＜?0小時(shí)，每個(gè)任務(wù)平均配備16.6個(gè)評估標(biāo)注項(xiàng)，從事實(shí)正確性、計(jì)算準(zhǔn)確性、程序正確性、內(nèi)容完整性和格式合規(guī)性等多個(gè)維度進(jìn)行嚴(yán)格驗(yàn)證。

CL-bench考的不是AI記住了多少知識(shí)，而是AI能不能像人類一樣，拿到一份新材料后快速學(xué)會(huì)并正確使用。

這些任務(wù)有個(gè)共同點(diǎn)，AI必須靠臨場發(fā)揮才能通過考試。

預(yù)訓(xùn)練時(shí)學(xué)到的知識(shí)在這里用處不大，因?yàn)镃L-bench里的知識(shí)要么是專家們新編的，要么是現(xiàn)實(shí)世界中極其小眾的內(nèi)容。

那如何保證CL-bench里的新知識(shí)是模型原來就沒有的呢？

論文通過消融實(shí)驗(yàn)驗(yàn)證了這一點(diǎn)。在不提供上下文的情況下，所有被測模型只能解決不到1%的任務(wù)。這充分證明了任務(wù)對上下文的依賴性。

CL-bench將上下文學(xué)習(xí)場景分為四大類別，每類對應(yīng)不同的認(rèn)知要求：

領(lǐng)域知識(shí)推理（Domain Knowledge Reasoning）：涵蓋金融、醫(yī)療、人文、法律咨詢、生活方式、管理和科學(xué)七個(gè)子領(lǐng)域。

上下文提供專業(yè)領(lǐng)域知識(shí)，如虛構(gòu)的法律體系、創(chuàng)新的金融工具或小眾專業(yè)知識(shí)，模型需要學(xué)習(xí)并應(yīng)用這些知識(shí)進(jìn)行推理。比如給AI一個(gè)虛構(gòu)國家的完整法律條文和判例，讓AI判罰一起復(fù)雜的民事糾紛。

規(guī)則系統(tǒng)應(yīng)用（Rule System Application）：包括游戲機(jī)制、數(shù)學(xué)形式體系、編程語法、法律法規(guī)和技術(shù)標(biāo)準(zhǔn)五個(gè)子類。

上下文提供明確定義的規(guī)則系統(tǒng)，模型必須理解并嚴(yán)格遵守這些規(guī)則。比如給定一門全新編程語言的語法規(guī)范，讓模型編寫符合規(guī)范的程序；或者給定一套新游戲的完整規(guī)則手冊，讓模型分析游戲狀態(tài)并給出最優(yōu)策略。

程序性任務(wù)執(zhí)行（Procedural Task Execution）：分為教學(xué)程序、操作程序和工作流編排三類。

上下文提供復(fù)雜的操作流程、產(chǎn)品手冊或工作流程，模型需要學(xué)習(xí)并正確執(zhí)行這些程序。例如給定一份無人機(jī)物流系統(tǒng)約7000字的API文檔，讓模型將自然語言指令轉(zhuǎn)換為安全合規(guī)的偽代碼。

經(jīng)驗(yàn)發(fā)現(xiàn)與模擬（Empirical Discovery & Simulation）：是最具挑戰(zhàn)性的類別，包括實(shí)驗(yàn)數(shù)據(jù)、觀測數(shù)據(jù)和模擬環(huán)境三個(gè)子類。

與前三類強(qiáng)調(diào)演繹推理不同，這一類要求歸納推理。從大量數(shù)據(jù)中發(fā)現(xiàn)潛在規(guī)律，或在虛擬環(huán)境中進(jìn)行推理和決策。比如給定300份帶電粒子在磁場中運(yùn)動(dòng)的實(shí)驗(yàn)日志，讓模型推導(dǎo)出運(yùn)動(dòng)規(guī)律并計(jì)算特定參數(shù)。

這四類場景基本覆蓋了人類在現(xiàn)實(shí)工作中遇到的主要學(xué)習(xí)情境，而CL-bench又把這些真實(shí)場景搬進(jìn)了評測體系。

說得更直白些，領(lǐng)域知識(shí)推理考的是“能不能學(xué)會(huì)新概念”，規(guī)則系統(tǒng)應(yīng)用考的是“能不能遵守新規(guī)則”，程序性任務(wù)執(zhí)行考的是“能不能照著新流程做事”，經(jīng)驗(yàn)發(fā)現(xiàn)與模擬考的是“能不能從數(shù)據(jù)里找規(guī)律”。

這四種能力，人類在日常工作中天天用，但AI顯然還沒學(xué)會(huì)。

為了確保測試的是真正的學(xué)習(xí)能力而非記憶，CL-bench采用了嚴(yán)格的“防污染”設(shè)計(jì)：

虛構(gòu)創(chuàng)作：所有的測試內(nèi)容都是由專家們完全原創(chuàng)的。

就拿剛才的虛擬國家為例，它包含一套完整的憲法、民法、刑法，甚至連判例都有。其中的法律原則和判例邏輯與現(xiàn)實(shí)世界任何國家都不同。

或者創(chuàng)造一門名為“EduScript”的教育編程語言，具有獨(dú)特的語法規(guī)則和控制結(jié)構(gòu)。

現(xiàn)有內(nèi)容修改：CL-bench還對真實(shí)知識(shí)進(jìn)行了系統(tǒng)性地改動(dòng)，比如修改著名歷史事件的因果關(guān)系、改變物理定律的數(shù)學(xué)表達(dá)、或調(diào)整技術(shù)標(biāo)準(zhǔn)的具體參數(shù)。

這確保了即使模型見過類似內(nèi)容，也無法直接套用預(yù)訓(xùn)練知識(shí)。

小眾新興內(nèi)容整合：CL-bench里面還納入了預(yù)訓(xùn)練數(shù)據(jù)中極少出現(xiàn)的內(nèi)容，就像2024年后發(fā)布的新產(chǎn)品技術(shù)文檔、最新的科研論文發(fā)現(xiàn)、或極其專業(yè)的小眾領(lǐng)域知識(shí)。

這三招組合拳，目的只有一個(gè)，讓AI沒法作弊。你不能靠背過的知識(shí)答題，必須現(xiàn)場學(xué)。這就像考試時(shí)老師突然換了一套從沒見過的題型，你只能靠理解能力和學(xué)習(xí)能力來應(yīng)對。

論文通過消融實(shí)驗(yàn)驗(yàn)證了這一設(shè)計(jì)的有效性：在不提供上下文的情況下，即使是最強(qiáng)的 GPT-5.1 模型也只能解決不到 1% 的任務(wù)，充分證明了任務(wù)對上下文的依賴性。

CL-bench給出的結(jié)果讓人們既開心又難過

CL-bench的這套評估體系的嚴(yán)格程度超出想象。

16.6個(gè)評估標(biāo)注項(xiàng)意味著什么？意味著你不能只答對大方向，每個(gè)細(xì)節(jié)都要對。就像做數(shù)學(xué)題，你不僅要答案對，步驟也要對，格式還要對，引用的公式也要對。任何一個(gè)環(huán)節(jié)出錯(cuò)，整道題就算錯(cuò)。

這些標(biāo)準(zhǔn)會(huì)從六個(gè)角度檢查AI的答案，每個(gè)標(biāo)準(zhǔn)要么對，要么錯(cuò)，沒有中間地帶。

事實(shí)對不對？比如AI說這個(gè)虛構(gòu)國家的憲法第3條規(guī)定了什么，得和上下文里寫的一模一樣才算對。

計(jì)算對不對？如果任務(wù)要求計(jì)算帶電粒子的運(yùn)動(dòng)軌跡，那每一步公式、每一個(gè)數(shù)字都得驗(yàn)證。

推理對不對？AI得按照上下文里給的規(guī)則來推理，不能自己瞎編邏輯。

代碼對不對？如果要寫程序，得嚴(yán)格遵守文檔里的 API 規(guī)范，少一個(gè)參數(shù)都不行。

完整不完整？該做的步驟一個(gè)都不能少，漏了哪怕一個(gè)關(guān)鍵環(huán)節(jié)都算錯(cuò)。

格式對不對？讓你輸出JSON就得是JSON，讓你用表格就得是表格。

這套評分系統(tǒng)最狠的地方在于，只有所有標(biāo)準(zhǔn)全部通過，任務(wù)才算完成。只要有一個(gè)標(biāo)準(zhǔn)沒過，整個(gè)任務(wù)就算失敗。這就像考試，選擇題全對才給分，錯(cuò)一個(gè)就是零分。

為了保證這套自動(dòng)評分系統(tǒng)靠譜，論文做了兩個(gè)驗(yàn)證。

一是讓5個(gè)不同的AI模型（GPT-5.1/5.2、Claude Opus 4.5、Qwen-3-Max、ERNIE 4.0）當(dāng)評委，它們的判斷結(jié)果90%以上都一致；二是人工抽查了200個(gè)案例，發(fā)現(xiàn)AI評委的準(zhǔn)確率也超過90%。這說明這套評分系統(tǒng)確實(shí)可信。

CL-bench的評測顯示，AI距離解決實(shí)際問題還相距甚遠(yuǎn)，往好處想，人類還不用擔(dān)心被AI取代。

十個(gè)最先進(jìn)的語言模型，平均只能解決17.2%的全量任務(wù)，所有模型里表現(xiàn)最好的是GPT-5.1，但也僅達(dá)到23.7%。這意味著在大多數(shù)情況下，即使上下文中包含了解決問題所需的全部信息，模型仍然失敗了。

這個(gè)數(shù)字值得細(xì)品。23.7%意味著給AI一份完整的操作手冊，它有四分之三的概率還是搞不定。

這就像你雇了個(gè)員工，你給他詳細(xì)講了一遍具體操作流程，結(jié)果輪到他上崗的時(shí)候，十次有八次都做錯(cuò)。在現(xiàn)實(shí)世界里，這樣的員工早就被開除了。

更深入的錯(cuò)誤分析揭示了失敗的主要原因。

超過55%的錯(cuò)誤源于“上下文忽略”：模型根本沒有注意到上下文中的關(guān)鍵信息，而是試圖用預(yù)訓(xùn)練知識(shí)解決問題。

超過60%的錯(cuò)誤屬于“上下文誤用”：模型看到了信息但理解錯(cuò)誤或應(yīng)用不當(dāng)。

還有超過35%的錯(cuò)誤是格式錯(cuò)誤，說明模型連明確的格式指令都無法遵守。

這三種錯(cuò)誤類型揭示了AI的根本問題。上下文忽略說明AI不會(huì)“看”；上下文誤用說明AI不會(huì)“想”；格式錯(cuò)誤說明AI不會(huì)“聽”。

一個(gè)不會(huì)看、不會(huì)想、不會(huì)聽的學(xué)生，怎么可能學(xué)會(huì)新知識(shí)？

這些發(fā)現(xiàn)揭示了一個(gè)被長期忽視的真相：當(dāng)前的AI模型本質(zhì)上是“參數(shù)推理者”而非“上下文學(xué)習(xí)者”。它們擅長調(diào)用預(yù)訓(xùn)練時(shí)壓縮在權(quán)重中的靜態(tài)知識(shí)，卻不擅長從當(dāng)前輸入中動(dòng)態(tài)學(xué)習(xí)新知識(shí)。

因?yàn)檎鎸?shí)任務(wù)往往需要根據(jù)具體上下文靈活應(yīng)對，而非套用固定模式。

所以AI在標(biāo)準(zhǔn)化考試中表現(xiàn)優(yōu)異，在真實(shí)工作場景中卻頻頻出錯(cuò)。

打個(gè)比方，現(xiàn)在的AI就像一個(gè)背了整本字典的人，你問他字典里的字怎么寫，他都能答上來。但你給他一本新書讓他學(xué)習(xí)，他就傻眼了。他不會(huì)學(xué)，只會(huì)背。這就是“參數(shù)推理者”和“上下文學(xué)習(xí)者”的區(qū)別。

四大類別中，領(lǐng)域知識(shí)推理相對最容易，最好的模型能達(dá)到25.3%的解決率。規(guī)則系統(tǒng)應(yīng)用和程序性任務(wù)執(zhí)行難度適中，大部分模型在15-20%之間。但經(jīng)驗(yàn)發(fā)現(xiàn)與模擬類任務(wù)的表現(xiàn)斷崖式下跌，所有模型平均只有11.8%的解決率。

這個(gè)差異很有意思。

演繹推理（應(yīng)用已知規(guī)則）比歸納推理（從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律）容易得多。給AI一套規(guī)則讓它照著做，它還能勉強(qiáng)應(yīng)付；讓它從數(shù)據(jù)里找規(guī)律，它就徹底懵了。

這說明AI的學(xué)習(xí)能力還停留在“照葫蘆畫瓢”的階段，遠(yuǎn)沒到“舉一反三”的程度。

在子類別層面，差異更加明顯。在規(guī)則系統(tǒng)應(yīng)用中，法律法規(guī)類任務(wù)的解決率超過 29%， GPT-5.1 甚至達(dá)到 44.8%，但數(shù)學(xué)形式體系類任務(wù)大部分模型都在 15% 以下。

在程序性任務(wù)執(zhí)行中，工作流編排的解決率普遍在 20% 以上，但操作程序類任務(wù)明顯更難。

這些差異透露出另一個(gè)信息，AI對不同類型知識(shí)的學(xué)習(xí)能力差異巨大。有些知識(shí)它學(xué)得快，有些知識(shí)它怎么都學(xué)不會(huì)。這就像人類學(xué)生，有人擅長文科，有人擅長理科。

但問題是，AI的偏科比人類嚴(yán)重得多。

論文引發(fā)的啟示

無可置疑的是，CL-bench填補(bǔ)了現(xiàn)有評測體系的關(guān)鍵空白。

在過去，長上下文評測主要考AI能不能從一大堆文字里找到信息。比如給AI一篇10萬字的小說，問“主角的媽媽叫什么名字”，AI只要能翻到那一頁找到答案就行。

這更像是考“查字典”的能力，不是“學(xué)習(xí)”的能力。

指令遵循評測主要考AI聽不聽話。比如讓AI“用JSON格式輸出，不超過100字”，看它能不能照做。

但這類測試的知識(shí)都很簡單，AI早就會(huì)了，只是看它守不守規(guī)矩而已。

領(lǐng)域任務(wù)評測問題更大。它既考AI會(huì)不會(huì)找資料，又考AI會(huì)不會(huì)用資料。結(jié)果AI答錯(cuò)了，你根本不知道是因?yàn)樗鼪]找對資料，還是找對了但不會(huì)用。

就像學(xué)生考試不及格，你不知道是他沒復(fù)習(xí)，還是復(fù)習(xí)了但沒學(xué)會(huì)。

CL-bench則專注于一個(gè)明確的能力維度，從復(fù)雜上下文中學(xué)習(xí)新知識(shí)并正確應(yīng)用。

它將上下文準(zhǔn)備與上下文學(xué)習(xí)解耦。所有必要信息都已組織好并提供，模型只需學(xué)習(xí)和應(yīng)用，無需外部檢索。這使得評測結(jié)果能夠精確反映模型的上下文學(xué)習(xí)能力，而非其他混雜因素。

論文還發(fā)現(xiàn)了一些反直覺的現(xiàn)象，GPT-5.2的表現(xiàn)反而比GPT-5.1差5.6%。

深入分析發(fā)現(xiàn)，GPT-5.2在長上下文推理時(shí)難以維持連貫的因果鏈，且更頻繁地違反上下文中的明確約束。

這說明模型的版本迭代并不總是帶來全面提升，某些能力的優(yōu)化可能以犧牲其他能力為代價(jià)。

這個(gè)發(fā)現(xiàn)很重要。我們一直以為新版本肯定比舊版本強(qiáng)，但事實(shí)并非如此。GPT-5.2可能在某些方面確實(shí)更強(qiáng)了，但在上下文學(xué)習(xí)這個(gè)維度上反而退步了。這就像一個(gè)學(xué)生，數(shù)學(xué)成績提高了，但語文成績下降了，總分反而降了。

再比如，增加推理強(qiáng)度對不同模型的效果差異巨大。

GPT-5.1在高推理強(qiáng)度下平均提升2.5%，在管理和實(shí)驗(yàn)數(shù)據(jù)類任務(wù)上提升近6%。

但GPT-5.2在某些子類別上反而出現(xiàn)負(fù)增長。這表明“更多思考”只有在模型具備正確的上下文學(xué)習(xí)機(jī)制時(shí)才有效，否則可能只是在錯(cuò)誤的方向上越走越遠(yuǎn)。

這又是一個(gè)反直覺的發(fā)現(xiàn)。我們以為讓AI多想想總是好的，但實(shí)際上，如果AI的學(xué)習(xí)機(jī)制本身就有問題，讓它多想只會(huì)讓錯(cuò)誤更嚴(yán)重。就像一個(gè)方向錯(cuò)了的人，走得越快，離目標(biāo)越遠(yuǎn)。

CL-bench揭示的問題不僅僅是技術(shù)層面的，更是范式層面的。當(dāng)前AI的訓(xùn)練范式和真實(shí)應(yīng)用場景之間存在根本性的不匹配。我們優(yōu)化出的模型擅長對“已知”事物進(jìn)行推理，但用戶需要的是能解決依賴于動(dòng)態(tài)上下文的任務(wù)的模型。

這個(gè)不匹配解釋了為什么AI在實(shí)驗(yàn)室里表現(xiàn)優(yōu)異，到了真實(shí)場景就頻頻翻車。實(shí)驗(yàn)室里的任務(wù)大多是封閉的、靜態(tài)的，答案在訓(xùn)練數(shù)據(jù)里都見過。但真實(shí)世界的任務(wù)是開放的、動(dòng)態(tài)的，需要根據(jù)具體情況靈活應(yīng)對。

論文提出的“上下文學(xué)習(xí)”能力，本質(zhì)上是讓AI從“死記硬背”轉(zhuǎn)向“活學(xué)活用”。

如果AI真的能學(xué)會(huì)從上下文中學(xué)習(xí)，那它就能像人類一樣，面對新情況、新問題時(shí)快速適應(yīng)，而不是只會(huì)套用固定模式。

CL-bench的意義，是為了給大模型公司啟示，告訴他們下一代AI不需要更大的模型，不需要更多的參數(shù)，而需要更強(qiáng)的學(xué)習(xí)能力。

但上下文學(xué)習(xí)只是第一步。論文提到，即便上下文學(xué)習(xí)足夠強(qiáng)大，模型的上下文窗口一旦清空，學(xué)到的知識(shí)隨之消失。

因此，下一個(gè)挑戰(zhàn)是如何讓從上下文中習(xí)得的知識(shí)持久化。

姚順雨在最近的公開發(fā)言中也談到了這個(gè)方向。他認(rèn)為，自主學(xué)習(xí)幾乎已經(jīng)形成了共識(shí)，而且這個(gè)事情已經(jīng)在發(fā)生了。

他說ChatGPT在利用用戶數(shù)據(jù)不斷擬合人的聊天風(fēng)格，Claude Code已經(jīng)寫了自己項(xiàng)目的95%的代碼。在某種程度上它在幫助自己變得更好。

但他也指出，這些自主學(xué)習(xí)的例子目前還局限在特定場景下，沒有讓人感覺到非常大的威力。“這個(gè)事情可能會(huì)更像一個(gè)漸變，而不像一個(gè)突變。”

從更宏觀的角度看，CL-bench揭示的問題反映了AI發(fā)展的一個(gè)深層矛盾。我們一直在追求更強(qiáng)的推理能力、更大的知識(shí)容量，但忽視了一個(gè)更基礎(chǔ)的能力，那就是學(xué)習(xí)。

沒有學(xué)習(xí)能力的AI，再強(qiáng)也只是一個(gè)高級(jí)的查詢系統(tǒng)。只有具備了真正的學(xué)習(xí)能力，AI才能從“工具”進(jìn)化為“智能體”。

本文來自微信公眾號(hào)：字母AI，作者：苗正

本內(nèi)容由作者授權(quán)發(fā)布，觀點(diǎn)僅代表作者本人，不代表虎嗅立場。如對本稿件有異議或投訴，請聯(lián)系 tougao@huxiu.com。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4832361.html?f=wyxwapp