約翰斯·霍普金斯大學(xué)讓大模型挑戰(zhàn)真實法律推理，結(jié)果令人警醒

這項由約翰斯·霍普金斯大學(xué)與巴黎綜合理工學(xué)院電信巴黎分校聯(lián)合開展的研究，以預(yù)印本形式于2026年4月6日發(fā)布在arXiv平臺，論文編號為arXiv:2604.04443。研究團隊圍繞大語言模型在真實法律與政策場景中的推理能力展開了系統(tǒng)性評估，其核心成果是一個名為DeonticBench的新型測試基準。

每當(dāng)我們談到"人工智能能不能替代律師或稅務(wù)顧問"，支持者往往會舉出AI在律師資格考試或標準化測試中的亮眼表現(xiàn)。但考試題目和真實法律工作之間，存在一道深深的鴻溝。現(xiàn)實中的法律推理不是選擇正確答案那么簡單，而更像是在一座迷宮里按圖索驥：你手里拿著一份密密麻麻的法規(guī)文件，面對一個具體的人的具體處境，必須一條條核對規(guī)定、排除例外、計算數(shù)字，最終給出一個有據(jù)可查、經(jīng)得起追問的結(jié)論。

研究團隊正是抓住了這個痛點。他們構(gòu)建了一個包含6232個真實任務(wù)的測試集，橫跨美國聯(lián)邦稅法、航空行李政策、美國移民行政裁決以及各州住房法律四個領(lǐng)域。這四個領(lǐng)域有一個共同特點：它們都充滿了"如果……那么……除非……"式的條件嵌套，稍有疏漏就可能得出錯誤結(jié)論，而錯誤的后果往往不是無關(guān)緊要的小事，而是真金白銀的罰款、被拒之門外的簽證申請或者被驅(qū)逐的租戶。

更關(guān)鍵的是，研究團隊不僅僅測試AI能否給出正確答案，他們還探索了一種更嚴格的"可追溯"解題方式：讓AI把法規(guī)和案件事實翻譯成可以在電腦上實際運行的Prolog邏輯程序，由程序給出最終答案。這就好比不僅要求學(xué)生寫出答案，還要展示完整的運算過程，并且這個過程必須嚴格正確、一步都不能錯。測試結(jié)果對當(dāng)前最強大的AI模型而言相當(dāng)嚴峻，最好的模型在最難的子集上也只答對了不到一半的題目，而且增加"思考時間"也并不總能帶來改善。

一、法律推理為什么難？從"背法條"到"懂法律"的天壤之別

理解這項研究的核心，得先明白一件事：知道一條法律規(guī)定的文字，和能夠把這條規(guī)定正確地應(yīng)用到千變?nèi)f化的具體情況中，是兩回事。

以聯(lián)邦稅法為例。法律條文規(guī)定，已婚納稅人如果符合"幸存配偶"身份，可以適用某個稅率檔次。但判斷某人是否是"幸存配偶"，需要確認其配偶去世的年份、該納稅人是否再婚、家里是否有符合條件的受撫養(yǎng)人、房子是否由該納稅人維持……這些條件每一個都有精確的定義，而且可能相互影響。一個真實案例里，還會夾雜著雇傭農(nóng)業(yè)工人的情況，這又觸發(fā)了聯(lián)邦失業(yè)保險稅的計算。要把所有這些因素都正確地識別出來，準確地應(yīng)用到具體的人身上，并最終算出一個精確到美元的稅額，需要的不僅僅是"知道"這些規(guī)則，而是系統(tǒng)、嚴密地"運用"它們。

研究團隊把這種推理能力稱為"義務(wù)推理"（deontic reasoning），意思是推理關(guān)于"義務(wù)、許可和禁止"的問題。日常語言里，"你必須申報所有收入""你可以申請此類豁免""你不得在未申請許可的情況下驅(qū)逐租客"這類表述，正是義務(wù)推理的對象。現(xiàn)有的AI測試大多聚焦于數(shù)學(xué)題或百科知識，而DeonticBench專門針對這種在真實高風(fēng)險場景下、依據(jù)明確規(guī)則進行的推理，是目前這一方向上規(guī)模最大的公開基準。

相比已有的類似測試集，DeonticBench有幾個顯著的不同之處。其一，規(guī)模更大，6232個任務(wù)約是此前最接近的同類測試集RuleArena的七倍以上。其二，領(lǐng)域更真實，四個領(lǐng)域都是普通人可能真實遭遇的場景，而非人工合成的邏輯題。其三，每個任務(wù)都配有一套經(jīng)過人工驗證的參考Prolog程序，這既可以作為AI學(xué)習(xí)的"標準答案"，也可以用來分析AI犯錯的具體原因。

二、四個考場，四種為難

DeonticBench的四個領(lǐng)域各有側(cè)重，像是四種不同難度和類型的法律考場。

聯(lián)邦稅法部分沿用了一個叫SARA的已有數(shù)據(jù)集，并做了重要改進。原始版本里，稅法規(guī)則已經(jīng)提前編寫成Prolog背景程序，AI只需要應(yīng)用；而在DeonticBench里，AI必須從頭根據(jù)自然語言寫成的法律條文生成完整的Prolog程序，這更接近真實的工作情景。這部分分為兩類題目：一類要求計算具體的稅額（SARA Numeric），另一類要求判斷某個關(guān)于稅法的陳述是"與法條相符"還是"與法條矛盾"（SARA Binary）。

航空行李政策部分來自另一個已有數(shù)據(jù)集RuleArena，考的是數(shù)值計算能力。給定一位乘客的艙位級別、行李的數(shù)量和尺寸重量，以及具體的航空公司政策，AI需要算出旅客總共應(yīng)該支付多少費用。聽起來不復(fù)雜，但當(dāng)行李既超重又超尺寸，還要考慮商務(wù)艙免費托運額度和最優(yōu)化選擇時，正確答案的獲取需要嚴格按照規(guī)則一步步推算。

住房法律部分來自一個法律檢索領(lǐng)域的研究，包含了五千多個二元問答題，每題都基于具體州的住房法規(guī)。模型必須理解條文、識別相關(guān)規(guī)定，并給出是或否的判斷。這部分的挑戰(zhàn)在于：不同州的法律各不相同，而且題目往往需要從多條法規(guī)中綜合推斷，而不是直接照搬某一條文。

最值得關(guān)注的是全新構(gòu)建的移民行政裁決部分（USCIS-AAO）。研究團隊從美國公民及移民服務(wù)局行政上訴辦公室公開發(fā)布的2022至2025年裁決文件中篩選出6483份有效案例，最終經(jīng)過分層抽樣和人工平衡，形成包含242個案例的數(shù)據(jù)集，其中"裁決接受"和"裁決駁回"各121個。每個案例由法律依據(jù)、分析論證和最終裁定三部分構(gòu)成，研究團隊特別用AI輔助提取了不含法律分析結(jié)論的"純事實敘述"，確保AI在解題時無法從案例文本中直接"偷看"答案。這個新數(shù)據(jù)集要求模型綜合運用多重法律標準，判斷一次移民申請上訴應(yīng)當(dāng)被接受還是駁回。

三、Prolog這把"驗證之尺"是什么

在深入理解測試結(jié)果之前，有必要介紹一下Prolog這種工具，因為它在這項研究中扮演了關(guān)鍵角色。

Prolog是一種邏輯編程語言，誕生于1970年代。與Python或Java那種按步驟告訴計算機"先做這個再做那個"的語言不同，Prolog的工作方式更像是數(shù)學(xué)推導(dǎo)：你告訴程序一些事實和規(guī)則，然后提出一個問題，程序會自動推導(dǎo)出答案。舉個例子，你告訴程序"所有哺乳動物都是溫血動物"，"狗是哺乳動物"，然后問"狗是溫血動物嗎"，程序會自動回答"是"。

把這個邏輯擴展到法律推理，就是：把法律條文翻譯成"如果……那么……"形式的規(guī)則，把案件事實翻譯成具體的事實陳述，然后向程序提問，由程序嚴格按照規(guī)則推導(dǎo)出結(jié)論。這種方式有兩個顯著優(yōu)點：其一，答案是由邏輯推導(dǎo)得出的，每一步都有據(jù)可查；其二，只要規(guī)則和事實被正確翻譯，結(jié)論就一定正確。這就好比用計算器算賬，只要你輸入的數(shù)字和公式都對，結(jié)果就不會錯。

DeonticBench的獨特之處在于為每一個任務(wù)配備了經(jīng)過人工驗證的參考Prolog程序。研究團隊用OpenAI的o3模型為每個任務(wù)生成Prolog代碼，由SWI-Prolog解釋器驗證能否正確運行并得到正確答案，對失敗的案例給一次重試機會，再失敗則丟棄。生成的代碼還要經(jīng)過人工驗證，檢查以下幾點：規(guī)則覆蓋是否完整、案件事實是否準確無泄露、代碼能否正常運行，以及答案是否與標準答案一致。這套流程產(chǎn)出的參考程序，既是評測標準，也是供模型學(xué)習(xí)的訓(xùn)練素材。

正是因為有了這套可以實際運行的程序，研究團隊能夠?qū)I的錯誤進行精細的解剖分析，而不只是知道"答對了還是答錯了"。

四、"最難的那批題"與評測方法

在整個DeonticBench中，最讓研究團隊引以為豪的是一批精心篩選的"難題子集"（hard set）。這批題目的產(chǎn)生方式頗有意思：首先讓三個最強的前沿模型——OpenAI o3、GPT-5.2和Claude 4.5 Sonnet——各對每道題目進行兩次嘗試，只要其中任何一次失敗，這道題就被標記為"潛在難題"；然后經(jīng)過人工審核，去掉其中本身有歧義或表述不清的問題，保留真正有挑戰(zhàn)性的那些。最終，這批難題被分成兩部分：一部分放入評測集，另一部分放回訓(xùn)練集，確保評測時模型看到的都是沒練習(xí)過的題目。

之所以強調(diào)難題子集，是因為隨著AI能力不斷提升，很多原本"有挑戰(zhàn)性"的基準已經(jīng)接近飽和，成績差異越來越小，很難區(qū)分模型的真實水平。把精力集中在少量真正棘手的題目上，既省錢又更能說明問題。

評測中，每道題目會被模型回答多次（稅法和移民題各4次，行李和住房題各3次），通過對這些答案進行統(tǒng)計分析來估計模型的穩(wěn)定性，并給出帶有置信區(qū)間的成績。評分標準方面，數(shù)值計算類題目（稅額和行李費）允許1美元的誤差，二元判斷題（法條符合還是矛盾、申請接受還是駁回、是還是否）使用宏平均F1分數(shù)，確保即使類別不均衡也能公平評估。

五、三種解題策略：直接回答、零樣本和少樣本

每個模型都以三種方式面對題目，分別對應(yīng)三種解題策略，猶如三種不同的備考方式。

最直接的方式是讓模型僅憑思維鏈推理給出最終答案，不生成任何Prolog程序。這就像讓考生直接給出答案，不需要寫出演算過程。這種方式最簡潔，但也最不透明，出錯了也難以追究原因。

第二種方式是"零樣本Prolog生成"：給模型看法規(guī)文本和案件事實，讓它從頭生成一個完整的Prolog程序，然后實際運行這個程序來得到答案，整個過程沒有任何示例可以參考。這像是給考生一份題目和一本規(guī)則手冊，然后要求他們用這本手冊寫出一套可以在計算機上運行的推理機器。

第三種方式是"少樣本Prolog生成"：在上述基礎(chǔ)上，額外提供幾個已經(jīng)寫好的示例程序，供模型參考和模仿。這是其中門檻最高的一種，因為生成的程序必須能實際運行、能調(diào)用正確的法律條款，并且輸出正確的結(jié)論。

六、成績單：最強大模型也只答對不到一半

研究團隊一共測試了八個通用大語言模型，包括GPT-4.1、GPT-5.1、GPT-5.2、O3、Claude 4.5 Sonnet、Gemini 2.5 Flash、Kimi K2 Instruct以及Qwen3-235B，另外還有三個專門的代碼生成模型。測試結(jié)果在難題子集上頗為慘淡。

以最直觀的數(shù)值來看：在稅法數(shù)值計算（SARA Numeric）這道"算算Alice今年要交多少稅"的題目上，o3在零樣本Prolog生成策略下取得了44.4%的準確率，這是所有模型和所有策略中的最高分；而GPT-5.1在零樣本策略下也達到了44%。在住房法律判斷題（Housing）上，GPT-4.1和GPT-5.1的少樣本策略分別達到了46.6和46.8的宏平均F1，同樣是各自的最高水平。換句話說，即便是當(dāng)今最強大的模型，在這些真實法律推理任務(wù)的難題部分，成功率也僅僅勉強接近一半。

還有一些現(xiàn)象令人深思。o3在行李費計算題的少樣本策略下表現(xiàn)驚人，達到了90.8%的準確率，但在稅法數(shù)值計算的同樣策略下只有15.2%。這說明模型的能力是高度任務(wù)特定的，擅長處理一種結(jié)構(gòu)的規(guī)則計算，不代表在另一種同樣基于規(guī)則的任務(wù)上也會表現(xiàn)良好。

更有趣的是不同策略之間的巨大差距。以Qwen3-235B為例，在稅法數(shù)值計算上，少樣本策略只有0.7%，幾乎完全失效；零樣本策略稍好一點，也只有8.7%；但切換到直接回答策略（不生成Prolog），成績跳升至32.1%。類似的情況在Kimi K2上也出現(xiàn)了：在稅法二元判斷題上，直接回答策略取得了68.4的F1，是該模型該領(lǐng)域的最高水平。這說明不同模型對不同提示方式有截然不同的敏感度，沒有一種策略能在所有模型和所有領(lǐng)域上都取得最好的效果。

開源模型與前沿閉源模型之間的差距也相當(dāng)明顯。開源模型在少樣本和零樣本Prolog生成策略上普遍表現(xiàn)較差，而且對提示方式更為敏感，成績波動更大。在二元判斷題上，這種差距有所收窄，直接回答策略能讓開源模型取得相對有競爭力的分數(shù)，但在需要精確計算的數(shù)值題上，開源模型依然明顯落后。

還有一個關(guān)于"更多思考"是否有幫助的專項測試值得一提。研究團隊對o3、GPT-5.1、GPT-5.2等支持調(diào)節(jié)思考深度的模型，分別在低、中、高三個推理強度下測試了稅法數(shù)值計算題，結(jié)果發(fā)現(xiàn)增加推理強度并不能穩(wěn)定提升成績，有時甚至出現(xiàn)負面效果。這意味著，靠讓模型"想得更久"來解決這類問題，并非可靠的策略。

七、把錯誤放到顯微鏡下：四種犯錯方式

因為每個任務(wù)都有參考Prolog程序，研究團隊得以對GPT-5.1、GPT-5.2和o3在難題上的失敗案例進行逐一分析，將錯誤歸入四個類別。

第一類錯誤是"選錯法條"：模型應(yīng)用了錯誤的法律條款、錯誤的子條款，或者在行李費計算中查錯了費率表。這類錯誤在住房法律題中占據(jù)壓倒性優(yōu)勢，少樣本策略下高達96.8%的失敗案例屬于這一類；零樣本策略下也有93.5%。在移民行政裁決題中，零樣本策略的失敗案例中有77.3%屬于選錯法條。這說明，在需要從大量條文中識別最相關(guān)規(guī)定的任務(wù)上，模型的檢索和對應(yīng)能力是最大的瓶頸。

第二類錯誤是"事實編碼失誤"：法條找對了，但案件中的具體信息沒有被正確提取和編碼。比如，婚姻狀況、撫養(yǎng)關(guān)系、行李類型等事實細節(jié)被錯誤地表示。這類錯誤在稅法任務(wù)中尤為突出，在稅法數(shù)值計算的零樣本策略下，52%的失敗案例屬于這一類。

第三類錯誤是"數(shù)值計算錯誤"：法條找對了，事實也提取正確了，但在具體的數(shù)學(xué)運算上出了差錯，比如超出限額的計算、行李數(shù)量最優(yōu)化選擇等。行李費計算任務(wù)的少樣本策略下，100%的失敗案例都屬于這一類，零樣本策略下也有75%。這說明即便規(guī)則和事實都對了，精確的算術(shù)運算對模型來說仍然是一道難關(guān)。

第四類錯誤是"程序?qū)崿F(xiàn)缺陷"：Prolog代碼本身在語法或運行時出現(xiàn)了低級錯誤，與推理邏輯無關(guān)。這類錯誤在移民行政裁決題的少樣本和零樣本策略下各占42.3%和22.7%，說明這個領(lǐng)域的任務(wù)對代碼生成質(zhì)量的要求也特別高。

由此可以得出一個重要判斷：不同領(lǐng)域的問題有不同的瓶頸，不存在一個能一次性解決所有問題的通用改進方案。要提升住房法律題的成績，關(guān)鍵是改善規(guī)則檢索和匹配；要提升稅法題的成績，關(guān)鍵是改善信息提取；要提升行李費計算題的成績，關(guān)鍵是改善數(shù)值計算的可靠性。

八、能通過訓(xùn)練彌補差距嗎？

研究團隊還嘗試了通過訓(xùn)練來改善模型在這類任務(wù)上的表現(xiàn)，選擇的基礎(chǔ)模型是Qwen2.5-32B-Instruct，這是一個性能均衡的開源模型。訓(xùn)練方式包括三種：監(jiān)督微調(diào)（SFT）、直接偏好優(yōu)化（DPO）和一種改進版的強化學(xué)習(xí)方法（Dr. GRPO）。

監(jiān)督微調(diào)的原理是讓模型反復(fù)看正確的Prolog程序，學(xué)習(xí)如何從法規(guī)文本生成正確的代碼。DPO則是在此基礎(chǔ)上，同時給模型看"好的答案"和"差的答案"，讓模型學(xué)會區(qū)分和偏向正確解法。Dr. GRPO是一種強化學(xué)習(xí)方法，通過讓模型生成多個答案，然后用實際運行結(jié)果作為獎勵信號來引導(dǎo)模型改進：如果生成的程序能正確運行并給出正確答案，給滿分獎勵；如果代碼無法運行但使用了正確的謂詞結(jié)構(gòu)，給一個小額部分獎勵；其他情況得零分。

訓(xùn)練確實帶來了改進，特別是在二元判斷類任務(wù)上。以移民行政裁決題為例，基礎(chǔ)模型在少樣本策略下只有10.3分，經(jīng)過SFT訓(xùn)練后提升到35分，再加上DPO后提升到45.7分。這說明訓(xùn)練對模型的分類判斷能力有明顯幫助。

然而，稅法數(shù)值計算題幾乎沒有從任何訓(xùn)練方式中受益，所有方法在所有策略下都維持在個位數(shù)水平。這個強烈的對比說明，精確的規(guī)則計算是一個比分類判斷困難得多的問題，當(dāng)前的訓(xùn)練方法還不能可靠地解決它。

強化學(xué)習(xí)方法雖然在某些任務(wù)上（如航空行李和稅法二元判斷）達到了最好成績，比如GRPO+DPO+SFT在行李費計算上達到了60.4，在稅法二元判斷上達到了54.0，但這些提升并不穩(wěn)定，跨任務(wù)表現(xiàn)參差不齊。更值得注意的是，訓(xùn)練之后的模型對提示方式依然高度敏感：行李費計算最好用少樣本策略，但移民行政裁決最好用直接回答策略，這種對提示方式的依賴性在訓(xùn)練前后并沒有得到根本改變。

九、專門代碼模型表現(xiàn)如何？

研究團隊還額外測試了三個專門針對代碼生成優(yōu)化的模型：GPT-5.2-Codex、Qwen3-Coder-Next以及Qwen3-Coder-480B。

GPT-5.2-Codex的表現(xiàn)最為突出，在行李費計算的少樣本策略下達到了95.5%的驚人準確率，在稅法數(shù)值計算的零樣本策略下也達到了45.8%，是所有模型中的最高分之一。然而，它的表現(xiàn)同樣對提示方式極為敏感，而且置信區(qū)間很寬，說明結(jié)果的穩(wěn)定性存疑。

Qwen系列代碼模型則在許多設(shè)置下幾乎完全失效，給出零分或接近零分的成績，說明這些模型在生成符合法律推理需要的Prolog代碼方面存在嚴重困難。研究團隊指出，盡管這些模型具備強大的通用代碼生成能力，但將這種能力遷移到高度特定的法律邏輯推理場景，仍然是一個尚未解決的難題，而且細微的提示變化就可能導(dǎo)致災(zāi)難性的失敗。

由此可見，DeonticBench揭示了一個值得警惕的現(xiàn)象：在標準編程任務(wù)上表現(xiàn)卓越的代碼模型，并不能自然地轉(zhuǎn)化為可靠的法律推理工具，兩者所需的能力有實質(zhì)性差異。

歸根結(jié)底，這項研究用扎實的數(shù)據(jù)回答了一個每個人都可能關(guān)心的問題：當(dāng)AI說它能"幫你處理法律事務(wù)"時，它真正擅長的是什么，又在哪里力不從心？答案是清醒而具體的：即便是當(dāng)今最強大的模型，在真實法律推理的困難情況下，正確率也只能勉強達到五成上下。錯誤的來源是多樣的，有時是找錯了法條，有時是提取事實出了偏差，有時是數(shù)學(xué)算錯了，有時干脆就是代碼寫出了低級錯誤。通過訓(xùn)練可以有所改善，但改善幅度有限，而且進展不均衡。

DeonticBench的價值不在于給AI打了一個低分，而在于它清晰地揭示了"哪里出了問題"以及"問題各不相同"。這對于真正想要改進AI在法律、稅務(wù)、政策領(lǐng)域應(yīng)用的研究者和開發(fā)者而言，提供了一張有用的路線圖。研究團隊明確提醒，他們發(fā)布這個基準純粹用于研究和評估，模型的輸出不應(yīng)被視為專業(yè)的法律、稅務(wù)或政策建議，任何真實的高風(fēng)險決策都應(yīng)有人類專業(yè)人士的監(jiān)督。

對于普通讀者而言，這項研究傳遞了一個實際而有用的信息：AI在法律和政策問題上目前仍然不夠可靠，特別是當(dāng)問題比較復(fù)雜、需要多條規(guī)則交叉應(yīng)用時，出錯的概率相當(dāng)高。用AI來快速了解法規(guī)的大致內(nèi)容，可能是有幫助的；但真正依賴AI給出一個精確的法律結(jié)論——比如你今年到底該交多少稅，或者你的簽證申請能否被接受——風(fēng)險依然很高。

這項研究的完整內(nèi)容可通過arXiv平臺以論文編號arXiv:2604.04443查閱。

Q&A

Q1：DeonticBench測試的是AI的什么能力，和普通AI測試有什么不同？

A：DeonticBench專門測試AI在真實法律和政策場景下按照明確規(guī)則進行推理的能力，覆蓋美國稅法、航空行李政策、移民行政裁決和住房法律四個領(lǐng)域。與大多數(shù)只考數(shù)學(xué)或百科知識的AI測試不同，DeonticBench要求模型在長篇法規(guī)文本和具體案件事實之間建立精確對應(yīng)，還可選擇把推理過程轉(zhuǎn)化為可實際運行的Prolog邏輯程序，這讓出錯的地方得以被精確追蹤和分析。

Q2：DeonticBench的測試結(jié)果中，當(dāng)前最強的AI大概能答對多少題？

A：在最難的題目子集上，成績最好的情況是OpenAI o3在稅法數(shù)值計算的零樣本Prolog策略下達到44.4%的準確率，GPT-4.1和GPT-5.1在住房法律判斷題上達到約46.6到46.8的宏平均F1分數(shù)。換句話說，即便是當(dāng)今最頂尖的模型，在這些真實法律推理難題上也只能答對不到一半，而且不同任務(wù)和提示方式之間的成績波動很大。

Q3：DeonticBench為什么要用Prolog語言來驗證AI的推理過程？

A：Prolog是一種邏輯編程語言，可以把法律規(guī)則和案件事實翻譯成計算機可以嚴格推導(dǎo)的程序，由此得到的答案每一步都有明確依據(jù)。用Prolog驗證有兩個好處：一是答案由邏輯推導(dǎo)產(chǎn)生，不是憑感覺猜測，可靠性高；二是當(dāng)程序運行失敗或答案錯誤時，研究者能精確定位是法條選錯了、事實提取有偏差、數(shù)值計算出錯了，還是純粹的代碼語法問題，從而找到有針對性的改進方向，而不是只知道"答錯了"。