兩個(gè)LLM互相對(duì)線，推理起飛：康奈爾團(tuán)隊(duì)發(fā)布大模型版類GAN訓(xùn)練法

大型語言模型（LLMs）雖然通過可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RLVR）取得了顯著進(jìn)展，但仍然在很大程度上依賴外部監(jiān)督（例如人工標(biāo)注的數(shù)據(jù)）。自博弈（self-play）提供了一種有前景的替代方案，使模型能夠通過與自身反復(fù)對(duì)抗來學(xué)習(xí)，從而減少對(duì)外部監(jiān)督的依賴。GAN 則提供了另一種更具吸引力的訓(xùn)練范式：通過對(duì)抗式地訓(xùn)練兩個(gè)模型，其中一個(gè)模型專注于生成具有挑戰(zhàn)性的任務(wù)或?qū)箻颖荆硪粋€(gè)模型則專注于解決這些任務(wù)。

于是問題來了：LLM 是否也可以像 GAN 一樣進(jìn)行訓(xùn)練？我們的希望是，通過賦予每個(gè)模型不同的專門化角色，可以促進(jìn)持續(xù)的競爭與共同進(jìn)化，從而讓它們能夠解決單一模型可能從根本上無法勝任的任務(wù)。

為解決這一難題，來自康奈爾大學(xué)的 NLP 團(tuán)隊(duì)提出了PasoDoble，一個(gè)面向大語言模型的全新類 GAN 訓(xùn)練框架。PasoDoble 通過對(duì)抗式地訓(xùn)練兩個(gè)幾乎相同的模型：Proposer 用于生成帶有標(biāo)準(zhǔn)答案的高難度問題，Solver 則嘗試解決這些問題。我們進(jìn)一步利用高質(zhì)量的數(shù)學(xué)預(yù)訓(xùn)練語料，并引入離線訓(xùn)練范式，以緩解潛在的訓(xùn)練不穩(wěn)定性。值得注意的是，PasoDoble 在整個(gè)訓(xùn)練過程中不依賴任何監(jiān)督信號(hào)

• 論文題目：Better LLM Reasoning via Dual-play
• 論文鏈接：https://arxiv.org/pdf/2511.10395
• 項(xiàng)目主頁：https://hcy123902.github.io/PasoDoble/
• 作者介紹：共同一作張正鑫，黃誠瑜為康奈爾大學(xué)計(jì)算機(jī)系博士，李?yuàn)S翀為主要貢獻(xiàn)者之一，Claire Cardie 為通訊作者以及導(dǎo)師。

圖為使用 Qwen3-1.7B 在 MATH-500 上評(píng)估的 Solver 在不同訓(xùn)練步驟中的訓(xùn)練動(dòng)態(tài)。Solver 的整體準(zhǔn)確率在無任何監(jiān)督的情況下從 45% 提升至 67%。它在第 20 步之前就超過了基線模型，并在第 360 步達(dá)到最高的 67%。重要的是，PasoDoble 能夠在數(shù)百個(gè)更新步驟中保持持續(xù)提升，展現(xiàn)出遠(yuǎn)強(qiáng)于相關(guān)工作 R-Zero 的擴(kuò)展能力。

我們?yōu)槊總€(gè)問題采樣六個(gè)回答，并報(bào)告 pass@1 的準(zhǔn)確率。基線模型按照 Qwen 技術(shù)報(bào)告中的設(shè)置，使用 4-shot 提示進(jìn)行評(píng)估；其他模型則使用 0-shot 提示進(jìn)行評(píng)估。

我們發(fā)現(xiàn)，在完全無監(jiān)督的情況下，PasoDoble 使 Qwen3-1.7B-Base 的數(shù)學(xué)任務(wù)平均性能提升約13 個(gè)點(diǎn)，使 Qwen3-4B-Base 提升約16 個(gè)點(diǎn)。

PasoDoble 方法概覽

PasoDoble 由四個(gè)組件構(gòu)成：Proposer (π_p)、Solver (π_s)、Knowledge Base (K)，以及用于離線訓(xùn)練的題目緩沖區(qū)（Question Buffer）。Proposer 和 Solver 均從同一個(gè)預(yù)訓(xùn)練模型初始化，隨后會(huì)進(jìn)行初始的冷啟動(dòng)訓(xùn)練。

在在線訓(xùn)練中，每次迭代都會(huì)從知識(shí)庫中采樣一個(gè)知識(shí)片段（1），用于提示 Proposer 生成一批問答（QA）對(duì)（2）。隨后，Solver 會(huì)針對(duì)每個(gè)問題生成多個(gè)解答嘗試（3–4）。Solver 根據(jù)其答案是否與 Proposer 的標(biāo)準(zhǔn)答案一致來獲得正確性獎(jiǎng)勵(lì)（5）。為評(píng)估問題的難度，我們計(jì)算 Solver 在該問題上的準(zhǔn)確率（6），并將 Proposer 的難度獎(jiǎng)勵(lì)定義為該準(zhǔn)確率的反比（7）；同時(shí)，還會(huì)加入一個(gè)多樣性獎(jiǎng)勵(lì)以鼓勵(lì)生成新穎的問題（8）。這些獎(jiǎng)勵(lì)被組合得到 Proposer 的最終獎(jiǎng)勵(lì)（9）。只有那些具有非平凡難度、被判定為有效的問題才會(huì)被保留下來用于 Solver 的訓(xùn)練（10）。當(dāng)至少存在一個(gè)有效問題時(shí)，兩個(gè)模型都會(huì)同步更新（11），從而形成完整的在線訓(xùn)練循環(huán)。

在離線訓(xùn)練中，Proposer 會(huì)在 Solver 凍結(jié)的情況下首先更新若干步（11），并將生成的有效問題存入 Question Buffer（12）。隨后，將 Proposer 凍結(jié)，Solver 則利用 Question Buffer 中的問題進(jìn)行更新（13），從而構(gòu)建其訓(xùn)練數(shù)據(jù)集。

Proposer Reward 是如何設(shè)計(jì)呢？

簡而言之，Proposer 會(huì)因?yàn)樯衫щy（即 Solver 準(zhǔn)確率低）且 多樣（與近期問題不相似）的問題而獲得獎(jiǎng)勵(lì)，但前提是這些問題是有效且格式良好的。

Proposer 的任務(wù)是生成既具有挑戰(zhàn)性又多樣化的數(shù)學(xué)問題。為引導(dǎo)這種行為，我們?cè)O(shè)計(jì)了一個(gè)由難度 reward多樣性 reward兩部分組成的 reward 機(jī)制。

1. 難度 Reward

我們希望 Proposer 能生成有挑戰(zhàn)性的問題 —— 即 Solver 不能輕易答對(duì)的問題。我們用 Solver 的通過率來衡量難度：

通過率 p_i 越低，問題越難，獎(jiǎng)勵(lì)就越高。具體地，難度獎(jiǎng)勵(lì)為：

即使一個(gè)問題非常簡單（例如 p_i = 1.0），獎(jiǎng)勵(lì)仍然為 0.1，以確保 Proposer 始終傾向于生成有效的問題，而不是生成錯(cuò)誤或無意義的問題。

2. 多樣性 Reward

我們還希望避免退化現(xiàn)象，例如 Proposer 反復(fù)生成同一種類型的問題。為此，我們將新生成的問題 q_i 與歷史緩沖區(qū) H 中的最近問題進(jìn)行比較，采用 Jaccard 相似度：

如果兩個(gè)問題過于相似，我們將其視為重復(fù)：

因此，多樣性獎(jiǎng)勵(lì)定義為：

簡而言之：問題越獨(dú)特，獎(jiǎng)勵(lì)越高。

3. Proposer 最終獎(jiǎng)勵(lì)

我們只有在問題既有效又具有多樣性的情況下才會(huì)對(duì) Proposer 進(jìn)行獎(jiǎng)勵(lì)：

• 有效性（Validity）：通過率不能過低：

• 多樣性（Diversity）：不能過于重復(fù)：

最終獎(jiǎng)勵(lì)為:

Solver Reward 是如何設(shè)計(jì)呢？

Solver 的訓(xùn)練僅依賴純正確性獎(jiǎng)勵(lì)。

其中指標(biāo)函數(shù)定義為：

實(shí)驗(yàn)設(shè)置

我們?cè)诙喾N模型規(guī)模上進(jìn)行實(shí)驗(yàn)，包括 Qwen3-0.6B-Base、Qwen3-1.7B-Base、Qwen3-4B-Base、Qwen2.5-0.5B-Base、Qwen2.5-1.5B-Base 和 Qwen2.5-3B-Base，將它們分別用作 Proposer 和 Solver，然后執(zhí)行冷啟動(dòng)訓(xùn)練。在冷啟動(dòng)之后，我們使用 GRPO 同時(shí)訓(xùn)練 Proposer 和 Solver，并在在線與離線兩種設(shè)置下進(jìn)行實(shí)驗(yàn)。更多超參數(shù)設(shè)置參見論文附錄 B。我們使用 MegaMath-Pro-Max 預(yù)訓(xùn)練數(shù)據(jù)集作為知識(shí)庫 K。

實(shí)驗(yàn)結(jié)果

主流數(shù)學(xué) benchmark 的結(jié)果

我們?cè)诟傎惣?jí)數(shù)學(xué)基準(zhǔn)上評(píng)估了我們的方法，包括 AIME 2024、AIME 2025、AMC、GSM8k、MATH-500 和 OlympiadBench。加粗表示最佳結(jié)果，下劃線表示第二優(yōu)。

PasoDoble 能顯著提升模型在數(shù)學(xué)基準(zhǔn)上的表現(xiàn)，尤其是在 Qwen2.5-1.5B/3B 和 Qwen3-1.7B/4B 模型上。此外，PasoDoble 的性能提升隨著模型規(guī)模的增大而持續(xù)增強(qiáng)。

Qwen2.5-0.5B-Base 模型的實(shí)驗(yàn)結(jié)果。

Qwen3-0.6B-Base 模型的實(shí)驗(yàn)結(jié)果。

Qwen2.5-1.5B-Base 模型的實(shí)驗(yàn)結(jié)果。

Qwen3-1.7B-Base 模型的實(shí)驗(yàn)結(jié)果。

Qwen2.5-3B-Base 模型的實(shí)驗(yàn)結(jié)果。

Qwen3-4B-Base 模型的實(shí)驗(yàn)結(jié)果。

Proposer 與隨機(jī)獎(jiǎng)勵(lì)：Solver 到底學(xué)到了什么？

先前的研究表明，即使使用隨機(jī)獎(jiǎng)勵(lì)也可能帶來非平凡的提升。因此，我們?cè)?Qwen3-1.7B 模型上采用在線訓(xùn)練范式進(jìn)行了相關(guān)實(shí)驗(yàn)。

隨機(jī)獎(jiǎng)勵(lì)的實(shí)驗(yàn)結(jié)果。

如上表所示，使用完全隨機(jī)獎(jiǎng)勵(lì)進(jìn)行訓(xùn)練會(huì)使 Solver 在所有數(shù)學(xué)基準(zhǔn)上的平均準(zhǔn)確率幾乎跌至零。即便我們強(qiáng)制 Solver 以正確格式作答（部分隨機(jī)獎(jiǎng)勵(lì)），其準(zhǔn)確率仍然大幅下降。與我們?cè)荚O(shè)置形成的鮮明對(duì)比清楚地表明：Solver 在訓(xùn)練過程中確實(shí)從 Proposer 的答案中受益匪淺

Proposer 生成的問題是由記憶驅(qū)動(dòng)的，還是由推理驅(qū)動(dòng)的？

Qwen3-1.7B-Base 在不同提示前綴比例下（即 x% 表示向 Qwen3-1.7B-Base 提示前 x% 的 問題 ）對(duì) Proposer 在第 200 個(gè)檢查點(diǎn)生成的問題進(jìn)行評(píng)估，其 Exact Match（EM）和 ROUGE-L得分如上所示。所有評(píng)估均使用貪心解碼，并且不使用聊天模板。

我們通過上表進(jìn)行了分析。即使提示問題前綴重疊達(dá)到 80%，EM 也僅約為 12%（使用知識(shí)庫）和 31%（不使用知識(shí)庫），這表明絕大多數(shù)生成的問題來源于推理而非記憶。

總結(jié)

我們的研究表明，大語言模型可以通過類似 GAN 的雙模型對(duì)抗式訓(xùn)練來提升數(shù)學(xué)推理能力，并在多個(gè)數(shù)學(xué)基準(zhǔn)上取得可量化的性能提升。該方法還通過利用預(yù)訓(xùn)練知識(shí)增強(qiáng)后訓(xùn)練效果，在預(yù)訓(xùn)練與后訓(xùn)練之間建立了一座橋梁。

盡管如此，我們的方法也存在局限性，例如在 GPQA 等領(lǐng)域外任務(wù)中并未帶來性能提升。未來的研究將探索將該框架拓展到其他領(lǐng)域，如代碼與事實(shí)問答，并進(jìn)一步研究更廣泛的多模型訓(xùn)練范式，包括協(xié)作式、競爭式以及角色專門化等設(shè)置。這些方向可能對(duì)于解決遠(yuǎn)比單一模型能可靠處理的任務(wù)更加復(fù)雜的問題至關(guān)重要。

參考文獻(xiàn):

[1] Goodfellow, Ian, et al. "Generative adversarial networks." *Communications of the ACM* 63.11 (2020): 139-144.

[2] Huang, Chengsong, et al. "R-Zero: Self-Evolving Reasoning LLM from Zero Data." *arXiv preprint arXiv:2508.05004* (2025).

[3] Yang, An, et al. "Qwen3 technical report." *arXiv preprint arXiv:2505.09388* (2025).

[4] Shao, Zhihong, et al. "Deepseekmath: Pushing the limits of mathematical reasoning in open language models." *arXiv preprint arXiv:2402.03300* (2024).

[5] Wang, Zengzhi, et al. "Octothinker: Mid-training incentivizes reinforcement learning scaling." *arXiv preprint arXiv:2506.20512* (2025).

[6] Shao, Rulin, et al. "Spurious rewards: Rethinking training signals in rlvr." *arXiv preprint arXiv:2506.10947* (2025).

[7] Lin, Chin-Yew, and Franz Josef Och. "Automatic evaluation of machine translation quality using longest common subsequence and skip-bigram statistics." *Proceedings of the 42nd annual meeting of the association for computational linguistics (ACL-04)*. 2004.