復旦提出簡單指標，找出推理蒸餾中真正有教學價值的數(shù)據(jù)

什么樣的思維鏈，能「教會」學生更好地推理？

許多人都有這樣的學習體驗：內(nèi)容過于熟悉，難以帶來新的收獲；內(nèi)容過于陌生，又往往超出理解能力，難以消化吸收。

類似的現(xiàn)象同樣出現(xiàn)在大語言模型的推理蒸餾中。來自能力更強的教師模型的思維鏈，可能過于晦澀，學生模型難以掌握其推理模式；而與學生認知相近的教師模型，其推理軌跡又常常缺乏新信息，難以帶來實質(zhì)提升。

因此，要獲得理想的蒸餾效果，關(guān)鍵在于為不同學生模型選擇恰好合適的數(shù)據(jù)，在「熟悉」與「陌生」之間找到最佳平衡。然而，現(xiàn)有基于概率的篩選或度量方法（如 Perplexity）難以刻畫這種細粒度的適配關(guān)系。

那么，是否存在一種直觀且易于計算的數(shù)據(jù)適配度指標，能夠量化這種平衡？

來自復旦大學和上海人工智能實驗室的研究者提出了一種簡單而有效的度量方法，Rank-Surprisal Ratio (RSR)：

RSR 從學生模型的視角出發(fā)，綜合考慮樣本的信息量與對齊程度，旨在找出那些既足夠「新」，又未超出學生認知邊界的推理數(shù)據(jù)。

在大規(guī)模蒸餾實驗中，RSR 與學生模型后訓練性能的相關(guān)性高達 0.86，并且可以直接用于篩選推理軌跡以及選擇教師模型，無需實際訓練即可找到更合適的思維鏈數(shù)據(jù)。

• 論文鏈接：https://arxiv.org/pdf/2601.14249
• 代碼鏈接：https://github.com/UmeanNever/RankSurprisalRatio

反直覺的現(xiàn)象

長思維鏈（CoT）的生成被普遍認為是大模型推理能力的核心。相應地，包含長思維鏈的推理軌跡常被視為高質(zhì)量的監(jiān)督信號，可以用于有監(jiān)督微調(diào)（SFT）訓練學生模型，或助力強化學習的冷啟動。

但越來越多的實驗呈現(xiàn)出一個反直覺現(xiàn)象：教師模型越強，學生模型未必學得越好。

在這篇工作中，作者系統(tǒng)性地構(gòu)建了 11 個 teacher（教師模型）× 5 個 student（學生模型）的蒸餾實驗，覆蓋從 4B 到 671B 的主流推理模型。結(jié)果顯示：

• teacher 的參數(shù)規(guī)模、推理準確率與 student 的推理提升相關(guān)性很弱；
• 同一個 teacher 的數(shù)據(jù)在不同 student 上的訓練效果差異顯著；
• 跨模型家族的 teacher（如 GPT-OSS → Qwen）往往效果更差；
• 推理數(shù)據(jù)是否「適合」當前 student 是關(guān)鍵。

表一：蒸餾實驗結(jié)果，在多個數(shù)學 benchmark 上評測 student 模型使用 teacher 數(shù)據(jù)訓練后的性能。

現(xiàn)有數(shù)據(jù)篩選方法的問題

當前主流的數(shù)據(jù)篩選或評估方法，大多依賴一個信號：student 模型生成該數(shù)據(jù)的概率（perplexity /log-likelihood/surprisal），認為 student 覺得「自然」的數(shù)據(jù)就更容易學。

但問題在于：

• 太「自然」的推理數(shù)據(jù)，往往信息增量有限；
• 真正有價值的推理數(shù)據(jù)，恰恰是 student 尚未充分掌握的部分。

這就引出了論文試圖解決的核心矛盾 ——Informative Alignment Challenge：如何在提供新知識的 informativeness 與符合學生當前認知的 alignment 之間取得平衡？

關(guān)鍵洞察

「絕對陌生 (Absolute unfamiliarity) + 相對熟悉 (Relative familiarity)」的推理數(shù)據(jù)最有學習價值

面對看似難以兼顧的「熟悉 - 陌生」的平衡，作者從 token 級別重新審視 student 的預測分布，提出一個直觀、但之前被忽略的視角：

• Informativeness 關(guān)注的是當前 token 在概率層面的絕對陌生度，可由 Surprisal（?log p / 負對數(shù)似然）刻畫；
• Alignment 關(guān)注的是當前 token對比其它候選 token 的相對熟悉度，可由 Rank（在詞表預測中的名次）衡量。

在這一視角下，一個 token 可以同時滿足：

• 被 student 生成的概率不高（informative）
• 但在候選詞表中排名靠前（aligned）

因此，informativeness 與 alignment 并非天然沖突。恰恰是同時滿足這兩點的 token，構(gòu)成了最適合 student 學習的推理數(shù)據(jù)。

圖一：Rank-Surprisal Ratio 的設計動機 —— 合適的推理數(shù)據(jù)應當兼顧 informativeness 與 alignment

直觀的指標：Rank-Surprisal Ratio

基于前文在 token 級別的觀察，以及相關(guān)仿真分析與數(shù)學推導，論文提出了一個形式上極其簡潔的樣本級指標：

直覺解釋：

• 分子（Rank）越小，表示當前樣本越符合 student 的行為模式，對齊程度（alignment）越高；
• 分母（Surprisal）越大，表示當前樣本提供的信息量越充分，信息性（informativeness）越強；
• RSR 越小 → 信息量與對齊程度的平衡越好。

在實現(xiàn)上：

• 僅需對 student 進行一次前向計算；
• 不依賴 verifier 或額外測試數(shù)據(jù)；
• 融合了 rank clipping 與 surprisal 加權(quán)平均機制，在極端情況下具有更好的數(shù)值穩(wěn)定性。

實驗：與訓練效果的相關(guān)性

作者將 RSR 與多種已有指標進行了對比，包括 teacher 模型及訓練數(shù)據(jù)的若干統(tǒng)計量、常用的數(shù)據(jù)質(zhì)量評估方法、基于概率的指標，以及其他基于 student 模型計算的指標。

實驗結(jié)果在 5 個 student 模型上高度一致：RSR 與 student 模型后訓練性能的 Spearman 相關(guān)系數(shù)平均達到 0.86，顯著高于其它指標。

表二：不同指標與模型后訓練推理性能之間的相關(guān)性

在實際場景中的應用

場景 1：Trajectory Selection (選擇最合適的推理軌跡數(shù)據(jù)）

• 在該場景中，針對訓練集中的每一道題目，作者從多個 teacher 模型生成的 33 條候選思維鏈中，依據(jù)不同指標選擇一條最合適的推理軌跡，從而構(gòu)建用于訓練 student 的推理數(shù)據(jù)集。
• 實驗結(jié)果表明，基于 Rank-Surprisal Ratio 篩選得到的數(shù)據(jù)，在不同 student 模型上訓練后均取得了最優(yōu)的推理性能，優(yōu)于其它方法。

表三：不同數(shù)據(jù)篩選方法的后訓練性能

場景 2：Teacher Selection（選擇最合適的教師模型）

• 在該場景中，作者僅使用每個 teacher 模型生成的 200 條推理軌跡來估計其與不同 student 的適配程度，從而模擬實際蒸餾前的 teacher 選擇過程。
• 實驗結(jié)果顯示，RSR 能穩(wěn)定選出接近 oracle（真實最優(yōu)）的 teacher 模型，整體表現(xiàn)優(yōu)于其它方法。

表三：不同 teacher 模型選擇方法的表現(xiàn)

結(jié)語

這項工作重新審視了推理蒸餾中一個看似簡單卻難以回答的的問題：什么樣的推理軌跡能「教會」student 更好地推理。通過將 token 的 相對熟悉度（rank） 與 絕對信息量（surprisal） 結(jié)合，Rank-Surprisal Ratio 給出了一個直觀、易于計算、且在大規(guī)模實驗中被驗證有效的答案。

更重要的是，RSR 并不依賴額外的評估數(shù)據(jù)或驗證器，而是直接從 student 的視角出發(fā)刻畫數(shù)據(jù)價值。這使它不僅是一個分析工具，也具備作為實際數(shù)據(jù)工程指標的潛力。

向前看，這種「informative alignment」的視角或許可以進一步擴展到：

• 更通用的 reasoning 任務（如 code、tool use）；
• 推理軌跡的重寫與合成，而不僅是選擇；
• 以及與 On-policy Distillation、RL 結(jié)合的動態(tài)數(shù)據(jù)調(diào)度。

當推理模型的瓶頸逐漸從「規(guī)模」轉(zhuǎn)向「數(shù)據(jù)的高效利用」，理解哪些思維過程真正具有教學價值，可能將成為下一階段 post-training 的關(guān)鍵問題。

作者介紹

楊宇銘，復旦大學自然語言處理實驗室博士生，導師為張奇教授。本科畢業(yè)于復旦大學數(shù)學系，碩士畢業(yè)于密歇根大學統(tǒng)計學系。博士階段前曾在微軟擔任數(shù)據(jù)科學家。研究方向為自然語言處理與大語言模型，作為第一作者或共同第一作者在 ACL、EMNLP、NeurIPS 等頂級會議發(fā)表多篇論文。