西湖大學突破：大模型"模仿-探索"兩階段訓練法效果更優

這項由西湖大學工程學院丁博文、陳宇涵等研究者聯合華為諾亞方舟實驗室共同完成的研究，發表于2025年12月的arXiv預印本（編號：arXiv:2512.11470v1），對當前大語言模型的訓練方式提出了根本性的重新思考。有興趣深入了解的讀者可以通過該論文編號查詢完整研究。

當下人工智能領域有個普遍認知：要讓AI變得更聰明，就得讓它既會模仿專家的解題過程，又能自己探索新的解決方案。但到底該怎么安排這兩種學習方式呢？是讓AI同時進行模仿和探索，還是先讓它專心模仿一段時間，再讓它自由探索？這個看似簡單的問題，實際上困擾了整個行業。

就好比學習開車，有人主張邊看教練示范邊自己上手練習，也有人認為應該先把教練的每個動作都觀察學透，再獨自練習。哪種方式更有效？西湖大學的研究團隊決定用科學的方法來回答這個問題。他們發現的結果可能會讓很多人感到意外。

研究團隊通過大量實驗證實，傳統的"邊模仿邊探索"訓練方式并非最優選擇。相反，采用"先模仿后探索"的順序訓練方法，能讓AI達到更高的性能天花板。這個發現不僅挑戰了當前主流的訓練理念，更為AI訓練提供了全新的指導原則。

一、為什么要重新審視AI的學習方式

在人工智能的世界里，讓模型變得更聰明主要依靠兩種訓練方法。第一種叫做監督微調，就像讓學生照著標準答案反復練習，通過模仿專家的推理過程來學會正確的解題思路。第二種叫做強化學習，類似于讓學生自己摸索解題方法，通過試錯和反饋來發現新的解決路徑。

近年來，許多研究團隊提出了同步訓練的方法，試圖讓AI同時進行模仿和探索。這些方法看起來很有道理，畢竟人類學習時也常常是模仿與創新并行。然而，西湖大學的研究團隊敏銳地察覺到，這種同步訓練方法在面對大規模數據時可能存在穩定性問題。

更關鍵的是，現有的研究大多基于相對較小的數據集進行驗證，通常只有幾萬個樣本。但在實際應用中，要達到最先進的性能水平，往往需要數十萬甚至上百萬個訓練樣本。在這種大規模數據環境下，同步訓練是否還能保持其聲稱的優勢，成為了一個亟待解決的問題。

研究團隊還發現，業界在決定何時從模仿階段轉向探索階段時，往往缺乏系統性的指導原則。有些團隊偏愛"少即是多"的訓練哲學，認為用少量高質量數據就能達到很好的效果。但這種做法是否會限制模型后續的學習潛力，也是一個充滿爭議的話題。

二、搭建全新的理論框架來解決困惑

面對這些懸而未決的問題，研究團隊提出了一個創新的"可塑性-天花板"理論框架。這個框架就像是為AI訓練過程配備了一個精密的儀表盤，能夠清晰地顯示訓練的各個關鍵指標。

在這個框架中，AI的最終性能被分解為兩個核心組成部分。第一部分是"監督學習性能"，代表通過模仿專家能夠達到的基礎能力水平。就像學開車時，這相當于你能夠按照教練的示范完成基本操作的熟練程度。第二部分是"強化學習可塑性"，表示在基礎能力之上還能進一步提升的空間。這就好比你掌握了基本駕駛技能后，還能通過實際路況練習進一步提高駕駛水平的潛力。

這個理論框架的巧妙之處在于，它將復雜的訓練過程量化為可以測量和比較的指標。研究團隊發現，最終的性能天花板等于基礎監督學習性能加上剩余的強化學習可塑性。關鍵的洞察是，這兩個要素之間存在著微妙的平衡關系。

通過這個框架，研究團隊能夠精確地分析不同訓練策略的優劣。他們發現，雖然提高監督學習性能看起來總是好事，但如果監督學習的數據質量不夠理想，可能會壓縮后續強化學習的改進空間，從而限制最終的性能上限。

三、史上最大規模的訓練方式對比實驗

為了驗證理論框架的有效性，研究團隊設計了一個規模前所未有的對比實驗。他們使用了近90萬個數學推理樣本，這個數據規模是之前同類研究的20倍以上。實驗在兩個不同的模型上進行：主要使用Qwen2.5-7B模型，并在Llama3.2-3B模型上進行交叉驗證，確保結果的可靠性。

實驗涵蓋了六個數學推理基準測試，包括GSM8K、奧林匹克數學競賽、MATH等權威評測集。為了避免數據泄露影響結果的客觀性，研究團隊還專門過濾掉了與訓練數據相似度過高的測試樣本。

在這個龐大的實驗設計中，研究團隊系統地比較了四種主要的訓練策略。第一種是純監督學習，讓模型只通過模仿來學習。第二種是純強化學習，讓模型完全通過自主探索來提升。第三種是同步訓練，讓模型同時進行模仿和探索。第四種是順序訓練，先讓模型完成監督學習，再進行強化學習。

實驗結果令人驚訝。在小規模數據集上表現出色的同步訓練方法，在大規模數據面前暴露出了嚴重的穩定性問題。某些同步訓練算法的性能波動程度是穩定方法的2.6倍，有些甚至完全無法收斂。這就像是一個在平靜湖面上游泳很好的選手，到了波濤洶涌的大海中就完全失去了方向。

四、發現AI學習的最佳時機窗口

研究團隊在實驗中發現了一個關鍵規律：何時從監督學習轉向強化學習，對最終性能有著決定性的影響。他們將整個監督學習過程細分為四個階段，就像觀察植物的生長周期一樣。

第一個階段被稱為"適應期"，這時模型還在努力理解基本的任務要求，就像剛開始學習的學生需要時間適應新環境。如果在這個階段就急于轉向強化學習，模型缺乏足夠的基礎能力，后續的自主探索往往效果不佳。

第二個階段是"穩定期"，模型的驗證損失基本達到最低點并趨于穩定。這個時期模型已經充分掌握了從訓練數據中能夠學到的所有知識，基礎能力已經扎實。研究發現，這是開始強化學習的最佳時機。

第三個階段被稱為"輕度過擬合期"，驗證損失開始輕微上升，但仍在可接受范圍內。對于數據規模較小或難度較低的情況，在這個階段轉向強化學習有時也能取得不錯的效果。

第四個階段是"嚴重過擬合期"，驗證損失顯著上升。如果在這個階段才開始強化學習，模型的探索能力已經受到了嚴重損害，很難再有大的提升空間。

這個發現為AI訓練提供了精確的時機指導。就像烹飪中火候的把握一樣，過早或過晚都會影響最終的效果，只有在恰當的時機轉換訓練方式，才能發揮出最大的潛力。

五、數據規模與難度的驚人真相

在數據屬性對訓練效果影響的研究中，團隊得出了顛覆性的結論。長期以來，"少即是多"的理念在AI訓練領域頗受推崇，認為精心篩選的少量高質量數據能夠達到與大規模數據相當的效果。然而，研究結果表明，在追求最終性能上限的情況下，這種觀念是錯誤的。

實驗對比了不同規模的數據集，從1000個樣本的精品數據集到近90萬樣本的大規模數據集。結果顯示，雖然小規模精品數據在訓練初期確實能夠快速提升模型性能，但這種提升很快就會遇到瓶頸。小規模數據就像是一個小池塘，看起來清澈見底，但容量有限。當模型把這個"小池塘"里的知識全部吸收后，就再也沒有進步的空間了。

相比之下，大規模數據雖然在訓練初期的效率看起來不如精品數據，但它為模型提供了更廣闊的學習空間。更重要的是，大規模數據不僅提升了監督學習的基礎性能，還為后續的強化學習保留了更大的改進潛力。這就像是在一個深邃的湖泊中學習游泳，雖然初期進步可能較慢，但最終能夠達到的技能水平遠超在淺水區訓練的效果。

在數據難度方面，研究團隊發現了同樣有趣的規律。他們將數學問題按照難度分為簡單、中等和困難三個層次，分別構建了相同規模的數據集。結果表明，訓練數據的難度與最終性能存在正相關關系。困難的訓練數據不僅能讓模型獲得更高的基礎能力，還能為強化學習階段保留更大的提升空間。

這個發現揭示了一個重要原理：數據規模是決定AI性能上限的主要因素，而數據難度則起到放大器的作用。當數據規模有限時，適當增加數據難度能夠在一定程度上彌補規模的不足。但如果想要達到真正的性能巔峰，大規模的訓練數據仍然是不可替代的。

六、發現預測性能的神奇指標

在所有的實驗發現中，最令人興奮的可能是驗證損失與最終性能之間的強相關關系。研究團隊發現，監督學習階段達到的最低驗證損失，能夠準確預測整個訓練流程結束后的最終性能水平。這個相關系數達到了-0.90，在統計學上屬于極強的相關關系。

這個發現的價值在于，它為AI訓練提供了一個"早期預警系統"。就像醫生通過血壓和心率等指標來評估患者的健康狀況一樣，AI工程師現在可以通過監督學習的驗證損失來預判模型的最終潛力。如果驗證損失能夠達到很低的水平，那么可以預期后續的強化學習也會取得良好效果。反之，如果驗證損失居高不下，即使投入大量計算資源進行強化學習，最終收益也會有限。

這個指標的實用意義非常重大。在實際的AI開發中，強化學習往往需要消耗大量的計算資源和時間。如果能夠在監督學習階段就預判出最終效果，開發者就可以及早調整策略，避免在低效的訓練路徑上浪費資源。

更進一步，這個發現還為數據質量評估提供了新的視角。不同來源、不同處理方式的訓練數據，可以通過它們在監督學習階段產生的驗證損失來評估質量。那些能夠產生更低驗證損失的數據集，往往也能在完整的訓練流程中帶來更好的最終效果。

七、在不同模型上驗證發現的普適性

為了確保研究結論不是針對特定模型的偶然發現，研究團隊在Llama3.2-3B模型上進行了全面的驗證實驗。這個驗證過程就像是在不同的實驗室中重復同一個化學實驗，確保結果的可重復性和普適性。

驗證實驗的結果高度一致。在Llama3.2-3B模型上，順序訓練的優勢同樣明顯，同步訓練的不穩定性問題也同樣存在。更重要的是，監督學習階段的最佳轉換時機、數據規模與難度的影響規律，以及驗證損失的預測能力，在新模型上都得到了確認。

特別值得注意的是，對于參數量較小的模型（如Llama3.2-3B），充分的監督學習顯得更加重要。實驗發現，如果監督學習階段過于匆忙，小模型很難在后續的強化學習中彌補基礎能力的不足。這就像是基礎不牢固的建筑，無論后期如何裝修都難以達到理想的效果。

這種跨模型的驗證不僅增強了結論的可信度，也為不同規模的AI應用提供了針對性的指導。對于計算資源有限的開發者，使用較小的模型時更應該重視監督學習階段的充分性。而對于有條件使用大型模型的團隊，雖然模型本身的容錯能力更強，但遵循最佳實踐仍然能夠獲得更好的效果。

八、理論框架指導下的實踐建議

基于大量實驗和理論分析，研究團隊提出了一套系統的AI訓練實踐指南。這套指南就像是一本詳細的"烹飪食譜"，為不同情況下的AI訓練提供了具體的操作建議。

首先，在訓練策略的選擇上，順序訓練應該成為標準做法。研究明確表明，先進行充分的監督學習，再轉向強化學習，能夠獲得最高的性能上限。雖然這種方法在訓練初期可能看起來進展緩慢，但它為模型建立了堅實的基礎，確保后續的自主探索能夠在正確的方向上進行。

在轉換時機的把握上，監督學習應該進行到驗證損失穩定的階段。具體來說，當驗證損失連續幾個評估周期都保持在最低值附近時，就是開始強化學習的最佳時機。對于數據質量較高的大規模數據集，這個時機通常出現在驗證損失達到全局最小值時。對于規模較小或質量一般的數據集，可以容忍輕微的過擬合，但絕不能等到嚴重過擬合才開始轉換。

在數據準備方面，研究明確反駁了"少即是多"的觀念。想要達到最佳性能，必須優先考慮數據規模。在資源允許的情況下，應該盡可能收集和使用大規模的訓練數據。當數據規模受限時，可以通過提高數據難度來部分補償，但這種補償是有限的，無法完全替代規模的重要性。

在效果預測方面，監督學習階段的最低驗證損失成為了評估訓練潛力的重要指標。開發團隊可以在監督學習完成后，根據驗證損失的水平來預判最終效果，并據此決定是否值得投入資源進行后續的強化學習。

九、研究成果的深遠意義與未來影響

這項研究的價值遠不止于提出了一套新的訓練方法，更重要的是它為整個AI訓練領域建立了科學的理論基礎。過去，AI訓練更多依賴經驗和直覺，不同的研究團隊往往基于有限的實驗得出相互矛盾的結論。這項研究通過大規模實驗和嚴謹的理論分析，為這個充滿爭議的領域提供了客觀的指導原則。

從產業應用的角度來看，這些發現將直接影響AI公司的研發策略。許多公司正在開發自己的大語言模型，面臨著如何高效利用訓練資源的挑戰。研究提供的訓練策略和時機判斷方法，能夠幫助這些公司避免走彎路，更快地達到預期的性能目標。

對于學術界而言，"可塑性-天花板"框架開創了分析AI訓練過程的新視角。這個框架不僅適用于當前研究的數學推理任務，很可能也能推廣到其他類型的AI任務中。未來的研究可以在這個框架基礎上，探索更多任務領域中監督學習與強化學習的最優結合方式。

從方法論的角度來說，這項研究展示了大規模實驗在AI研究中的重要性。許多之前的研究由于實驗規模有限，可能得出了局部正確但全局錯誤的結論。這提醒研究界，在資源允許的情況下，應該進行更大規模、更全面的實驗驗證。

更深層次上，這項研究揭示了AI學習過程的內在規律。監督學習提供基礎能力，強化學習發揮探索潛力，兩者的最優結合需要精確的時機把握。這種理解不僅有助于改進當前的AI訓練方法，也為未來開發更高效的學習算法提供了理論基礎。

說到底，這項研究用科學的方法回答了AI訓練中的一個根本問題：應該如何安排模仿學習和自主探索的關系。答案出人意料地簡單而深刻——先讓AI充分學會模仿，再讓它自由探索，這樣看似保守的策略實際上能夠帶來最好的效果。這個發現不僅改變了我們對AI學習的理解，也為未來開發更智能的AI系統鋪平了道路。對于每一個關注AI發展的人來說，這項研究都值得認真思考。它告訴我們，有時候最直接的方法可能就是最有效的方法，而科學的驗證是找到真理的唯一途徑。

Q&A

Q1：什么是"可塑性-天花板"框架？

A：這是西湖大學團隊提出的理論框架，將AI的最終性能分解為兩部分：監督學習性能（通過模仿專家達到的基礎能力）和強化學習可塑性（在基礎能力上進一步提升的空間）。就像學開車一樣，前者是按教練示范完成基本操作的熟練度，后者是通過實際練習進一步提高的潛力。

Q2：為什么先模仿后探索比邊模仿邊探索效果更好？

A：大規模實驗表明，同步訓練在面對大量數據時會出現嚴重的穩定性問題，性能波動是穩定方法的2.6倍。而順序訓練讓AI先充分掌握基礎知識，再進行自主探索，能建立更堅實的基礎，最終達到更高的性能上限。這就像先把基礎功練扎實，再進行高難度訓練一樣。

Q3：如何判斷什么時候從監督學習轉向強化學習？

A：研究發現最佳轉換時機是監督學習的"穩定期"，即驗證損失達到最低點并趨于穩定時。此時模型已充分掌握訓練數據中的知識，基礎能力扎實。如果過早轉換，基礎不牢固；過晚轉換，模型的探索能力會受損。驗證損失可以作為判斷時機的可靠指標。