清華與滴滴發(fā)現(xiàn)：消除0.01%有害詞提升AI性能20%

這項由清華大學車輛與運載學院以及滴滴自動駕駛團隊聯(lián)合完成的研究發(fā)表于2026年2月17日的arXiv預印本，論文編號為arXiv:2602.15620v1。對于那些想要深入了解技術細節(jié)的讀者，可以通過這個編號在學術數(shù)據(jù)庫中找到完整的研究資料。

當我們教AI解數(shù)學題時，就像訓練一個學生參加考試一樣。老師會根據(jù)學生答題的對錯給予獎勵或懲罰，希望學生能從中學會正確的解題方法。但是研究人員發(fā)現(xiàn)了一個令人困惑的現(xiàn)象：AI在學習過程中經(jīng)常會突然"崩潰"，原本能夠清晰解題的AI突然開始胡言亂語，或者陷入無意義的重復循環(huán)。

這種現(xiàn)象就像一個原本表現(xiàn)優(yōu)秀的學生，突然開始在考試中寫一些莫名其妙的答案，或者不停地重復同一句話。更奇怪的是，這種"崩潰"往往發(fā)生在訓練的后期，當AI似乎已經(jīng)學會了很多知識的時候。

為了理解這個問題，研究團隊決定從最細微的層面入手——觀察AI在處理每一個詞匯時的行為。他們發(fā)現(xiàn)了一個驚人的秘密：在AI生成的正確答案中，隱藏著一小撮"害群之馬"般的詞匯，這些詞匯雖然出現(xiàn)在正確的回答里，但實際上對解題過程毫無幫助，甚至會產(chǎn)生誤導作用。

一、發(fā)現(xiàn)隱藏在正確答案中的"搗亂分子"

研究團隊通過深入分析發(fā)現(xiàn)，AI在學習過程中會遇到一種特殊的困境。當AI生成一個數(shù)學題的完整解答時，這個解答可能最終得出了正確答案，因此會獲得正面的獎勵。但是在這個看似正確的解答過程中，可能包含了一些不合適的詞匯選擇。

比如說，在描述"移除圖中的邊"這個數(shù)學概念時，AI可能會選擇使用"broken"（壞掉的）這個詞，而不是更標準的"removed"（移除的）。雖然在日常對話中"broken"也能表達相似的意思，但在數(shù)學語境下，"removed"才是更準確、更專業(yè)的用詞。問題在于，由于整個解答最終得到了正確答案，AI的學習系統(tǒng)會錯誤地認為使用"broken"這個詞是好的選擇，從而在未來更頻繁地使用這種不準確的表達。

更嚴重的情況是數(shù)學錯誤的出現(xiàn)。研究人員發(fā)現(xiàn)了這樣的例子：AI在驗證一個分解式時寫道"6901 = 67 × 103 - 1"。實際上67乘以103等于6901，所以減去1就變成了6900，這明顯是錯誤的。但由于最終答案碰巧是對的，這個明顯的數(shù)學錯誤反而被當作"好的表達"而得到強化。

還有一類問題出現(xiàn)在格式層面。AI可能會在數(shù)學公式中產(chǎn)生一些格式錯誤，比如在本應該有空格的地方直接寫"3"而不是" 3"。雖然這種錯誤在最終顯示時可能被自動修正，看起來沒有影響，但實際上AI學習到了一種非標準的格式規(guī)范。

研究團隊將這些有問題的詞匯統(tǒng)稱為"虛假信號詞匯"（spurious tokens）。這些詞匯有三個共同特征：它們出現(xiàn)的概率很低（AI本來不太可能選擇這些詞），它們在當前語境下的不確定性很低（AI對選擇這些詞很"自信"），但它們獲得了正面的學習信號（因為包含它們的整個回答是正確的）。

二、數(shù)學證明：為什么微小的問題會引發(fā)巨大的混亂

研究團隊不僅僅是觀察到了這個現(xiàn)象，他們還通過數(shù)學方法證明了為什么這些看似微不足道的詞匯會對AI的學習造成如此大的影響。

在AI的學習過程中，每個詞匯都會產(chǎn)生一定的"學習強度"，這個強度決定了AI對使用這個詞匯的偏好會發(fā)生多大的改變。研究人員發(fā)現(xiàn)，這個學習強度與兩個關鍵因素密切相關：詞匯出現(xiàn)的概率和當前的不確定性水平。

當一個詞匯出現(xiàn)概率很低、同時AI對選擇這個詞又很確定時，就會產(chǎn)生異常強烈的學習信號。這就像在一個安靜的圖書館里突然響起的手機鈴聲，雖然聲音可能不大，但因為背景安靜，這個聲音就會顯得特別刺耳，引起所有人的注意。

具體來說，研究人員通過數(shù)學推導證明了學習強度與詞匯概率和不確定性之間存在反比關系。當一個詞匯的出現(xiàn)概率降低時，它產(chǎn)生的學習強度會顯著增加。同樣地，當AI對某個決策的不確定性降低時，相應的學習強度也會放大。

這種數(shù)學關系解釋了為什么那些虛假信號詞匯會對AI的學習產(chǎn)生如此不成比例的影響。雖然這些詞匯在所有詞匯中的占比極小（研究發(fā)現(xiàn)大約只有0.01%），但它們產(chǎn)生的學習信號卻異常強烈，足以擾亂AI的整個學習過程。

研究團隊通過實際的訓練數(shù)據(jù)驗證了這個理論。他們發(fā)現(xiàn)，含有虛假信號特征的詞匯產(chǎn)生的平均學習強度比正常詞匯高出16.7%。這意味著雖然這些有問題的詞匯數(shù)量很少，但它們對AI學習方向的影響力卻遠超其應有的比重。

三、STAPO方法：精準消除害群之馬的智能過濾系統(tǒng)

基于對問題根源的深入理解，研究團隊開發(fā)了一種名為STAPO（Spurious-Token-Aware Policy Optimization，虛假信號詞匯感知策略優(yōu)化）的解決方案。這個方法的核心思想就像是為AI的學習過程安裝了一個智能過濾器，能夠精準識別和屏蔽那些有害的學習信號。

STAPO的工作原理相當巧妙。在AI的每一次學習過程中，系統(tǒng)會實時監(jiān)控每個詞匯的三個關鍵指標：這個詞匯獲得的是正面還是負面評價，它出現(xiàn)的概率有多低，以及AI對選擇這個詞的確定性有多高。當一個詞匯同時滿足"獲得正面評價"、"出現(xiàn)概率很低"、"AI很確定"這三個條件時，系統(tǒng)就會將其標記為潛在的虛假信號詞匯。

一旦識別出這些有問題的詞匯，STAPO不會簡單地刪除它們，而是采用了一種更加精細的處理方式。系統(tǒng)會將這些詞匯的學習信號"靜音"，就像在音頻編輯中將某個頻段的噪音濾除一樣，然后重新計算整體的學習強度，確保剩余的正常詞匯能夠獲得適當?shù)膶W習權重。

這種方法的巧妙之處在于它的精準性和節(jié)制性。研究數(shù)據(jù)顯示，STAPO在整個訓練過程中只屏蔽了大約0.01%的詞匯學習信號。這個比例非常小，意味著絕大部分正常的學習過程都不會受到影響，但就是這微小的調(diào)整卻帶來了顯著的改善。

為了確保STAPO的有效性，研究團隊還設計了自適應的閾值機制。對于判斷不確定性水平的閾值，系統(tǒng)會根據(jù)當前批次的數(shù)據(jù)動態(tài)調(diào)整，確保能夠準確捕捉到真正有問題的詞匯。而對于概率閾值，研究人員經(jīng)過大量實驗后選擇了固定值，避免誤傷那些雖然概率不高但確實有用的詞匯。

四、實驗驗證：小改動帶來大提升的驚人效果

研究團隊在多個規(guī)模的AI模型上測試了STAPO方法的效果，結果令人印象深刻。他們使用了三種不同大小的模型（17億、80億和140億參數(shù)），在六個不同的數(shù)學推理測試集上進行了全面評估。

最引人注目的發(fā)現(xiàn)是在訓練穩(wěn)定性方面的改善。在使用傳統(tǒng)方法訓練AI時，研究人員經(jīng)常觀察到一種被稱為"熵爆炸"或"熵崩潰"的現(xiàn)象。熵在這里可以理解為AI回答的隨機性程度。當熵過高時，AI的回答變得過于隨機和不連貫；當熵過低時，AI可能陷入重復或過于機械的回答模式。

使用STAPO方法后，AI的熵水平在整個訓練過程中保持了良好的穩(wěn)定性。這就像是為一個容易情緒波動的學生找到了情緒調(diào)節(jié)的方法，讓他能夠保持穩(wěn)定的學習狀態(tài)。在圖表中可以清楚地看到，使用STAPO的AI模型在訓練過程中顯示出平滑的學習曲線，而使用傳統(tǒng)方法的模型則出現(xiàn)明顯的波動和不穩(wěn)定現(xiàn)象。

在性能表現(xiàn)方面，STAPO同樣交出了優(yōu)秀的答卷。在17億參數(shù)的小型模型上，STAPO相比最佳基線方法實現(xiàn)了13.50%的相對性能提升。隨著模型規(guī)模的增大，這種優(yōu)勢依然保持顯著。在80億參數(shù)模型上的提升幅度也達到了可觀的水平，而在140億參數(shù)的大型模型上，STAPO繼續(xù)保持領先地位。

特別值得注意的是，這些性能提升是在兩種不同的評估設置下都得到驗證的。第一種是"訓練對齊設置"，使用與訓練時相同的隨機度參數(shù)；第二種是"約束解碼設置"，使用更保守的參數(shù)來減少隨機性。在兩種設置下，STAPO都顯示出了一致的優(yōu)越性，證明了這種方法的穩(wěn)健性。

研究團隊還進行了詳細的消融實驗，探索了不同組合策略的效果。他們發(fā)現(xiàn)，僅僅基于概率低來屏蔽詞匯是不夠的，這樣做可能會誤傷一些雖然罕見但確實有用的表達。同樣地，僅僅基于不確定性來判斷也不夠準確。只有將概率、不確定性和評價信號三個維度結合起來，才能精準識別真正有害的虛假信號詞匯。

五、深入分析：揭開虛假信號詞匯的真面目

為了更好地理解STAPO方法的工作機制，研究團隊對被識別出的虛假信號詞匯進行了深入的定性分析。他們將這些有問題的詞匯分為了三個主要類別，每一類都揭示了AI學習過程中的不同問題。

第一類是"非常規(guī)語法"類詞匯。這類詞匯在語法上并沒有錯誤，但在特定的數(shù)學語境下顯得不夠專業(yè)或不夠準確。比如前面提到的用"broken"來描述"移除圖中的邊"，或者用"calculation"（計算）來指代"code"（代碼）。雖然這些用詞在日常交流中可能是可以接受的，但在嚴謹?shù)臄?shù)學表達中卻不夠準確。當AI因為整體答案正確而強化這些不準確用詞的使用時，就會逐漸偏離標準的數(shù)學表達規(guī)范。

第二類是"幻覺和數(shù)學錯誤"類詞匯。這是最嚴重的一類問題，包含了明顯的事實錯誤、計算錯誤或者憑空捏造的數(shù)值。研究人員發(fā)現(xiàn)了許多令人哭笑不得的例子，比如AI在驗算時寫出"6901 = 67 × 103 - 1"這樣的錯誤等式，或者在應該寫"21.5625"的地方寫成了其他數(shù)字。這些錯誤雖然最終沒有影響到答案的正確性（可能是后續(xù)步驟中的其他計算抵消了誤差），但卻被AI的學習系統(tǒng)錯誤地認為是"好的做法"而得到強化。

第三類是"格式錯誤"類詞匯。這類問題主要涉及到數(shù)學公式的排版和格式規(guī)范。比如在數(shù)學表達式中應該有空格的地方直接連寫，或者使用了不標準的符號組合。雖然這些錯誤在最終的顯示效果中可能被系統(tǒng)自動修正，看起來沒有問題，但AI實際上學習到了錯誤的格式規(guī)范。

通過對大量樣本的統(tǒng)計分析，研究團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：雖然虛假信號詞匯的總體數(shù)量很少，但它們在不同類型問題中的分布卻相對均勻。這說明這個問題不是某種特殊情況下的偶然現(xiàn)象，而是AI學習機制中的一個系統(tǒng)性問題。

更有趣的是，研究人員通過詞云分析發(fā)現(xiàn)，被STAPO屏蔽的詞匯主要包括一些特定的數(shù)字（如"4"、"1"、"2"）、數(shù)學符號（如"$"）和過渡詞匯（如"Wait"、"But"、"Since"）。與此形成對比的是，被保留的正常詞匯主要是數(shù)學推理中的核心詞匯，如"Let"、"find"、"we"、"can"等，這些詞匯構成了數(shù)學推理表達的基礎框架。

六、技術細節(jié)：STAPO的精妙設計哲學

STAPO方法的成功不僅僅在于它識別問題的準確性，更在于其設計中體現(xiàn)的精妙平衡哲學。研究團隊在開發(fā)過程中面臨的最大挑戰(zhàn)是如何在屏蔽有害信號的同時，避免誤傷有用的學習信息。

在閾值設計方面，研究人員采用了一種混合策略。對于不確定性閾值，他們使用了動態(tài)百分位數(shù)方法。具體來說，系統(tǒng)會在每個訓練批次中計算所有詞匯不確定性的分布，然后將處于最低20%的詞匯標記為"低不確定性"。這種動態(tài)調(diào)整的好處是能夠適應訓練過程中AI信心水平的變化，確保始終捕捉到真正"過度自信"的詞匯選擇。

與此不同，對于概率閾值，研究團隊經(jīng)過大量實驗后選擇了固定的絕對值。這個決定基于一個重要的觀察：如果使用相對百分位數(shù)來設定概率閾值，系統(tǒng)就會不分青紅皂白地屏蔽掉固定比例的低概率詞匯，這樣很可能會誤傷那些雖然罕見但確實有價值的專業(yè)表達。通過使用絕對閾值，STAPO能夠更精準地識別那些真正"異常低概率"的詞匯選擇。

在實現(xiàn)細節(jié)上，STAPO還引入了一個重要的重新歸一化步驟。當系統(tǒng)屏蔽掉一部分虛假信號詞匯的學習信號后，剩余詞匯的學習權重需要重新調(diào)整，以保證整體學習強度的一致性。這個步驟類似于在音頻處理中移除噪音后對有效信號進行增益補償，確保信息傳遞的完整性。

研究團隊還對STAPO的計算開銷進行了優(yōu)化。雖然需要對每個詞匯進行額外的監(jiān)控和判斷，但這些操作都是輕量級的，不會顯著增加訓練時間。實際測試顯示，使用STAPO的訓練過程相比傳統(tǒng)方法只增加了不到2%的計算時間，這個微小的開銷相對于獲得的性能提升來說是完全值得的。

七、廣泛驗證：跨規(guī)模跨任務的卓越表現(xiàn)

研究團隊為了確保STAPO方法的普適性，進行了極為全面的實驗驗證。他們不僅測試了不同規(guī)模的模型，還在多個不同難度和類型的數(shù)學推理任務上進行了評估。

在模型規(guī)模測試中，從17億參數(shù)的"小型"模型到140億參數(shù)的"大型"模型，STAPO都顯示出了一致的優(yōu)越性。這種跨規(guī)模的穩(wěn)定表現(xiàn)說明了STAPO解決的是一個基礎性問題，而不是某種特定規(guī)模下的特殊現(xiàn)象。有趣的是，研究人員發(fā)現(xiàn)在較小的模型上，STAPO的改善效果相對更加顯著，這可能是因為小型模型更容易受到虛假信號的干擾。

在任務多樣性測試中，研究團隊選擇了六個不同特征的數(shù)學推理基準測試。這些測試涵蓋了從高中水平到大學競賽水平的各種數(shù)學問題，包括代數(shù)、幾何、概率論和數(shù)論等多個分支。STAPO在所有這些不同類型的任務上都表現(xiàn)出色，證明了這種方法對于數(shù)學推理的普遍適用性。

特別值得關注的是敏感性分析結果。研究團隊系統(tǒng)性地測試了不同參數(shù)設置對STAPO性能的影響。他們發(fā)現(xiàn)，概率閾值的選擇對性能有顯著影響：當閾值設置得過高時（比如0.02），會屏蔽掉太多正常的低頻但有用的詞匯；當閾值設置得過低時（比如0.0002），則無法有效識別虛假信號詞匯。通過細致的網(wǎng)格搜索，研究人員找到了最優(yōu)的參數(shù)配置。

在不確定性閾值方面，實驗顯示使用20%百分位數(shù)是最佳選擇。當這個比例提高到50%或80%時，性能會明顯下降，因為系統(tǒng)開始錯誤地屏蔽一些正常的高確定性詞匯選擇。這些敏感性分析不僅幫助優(yōu)化了STAPO的性能，也為未來在其他任務上應用這種方法提供了重要的參考指南。

研究團隊還進行了消融研究，分別測試了只使用概率信息、只使用不確定性信息，以及只使用評價信號信息的效果。結果清楚地顯示，只有將這三個維度結合起來，STAPO才能達到最佳效果。任何單一維度的判斷都無法準確識別真正的虛假信號詞匯，這再次驗證了STAPO設計理念的正確性。

說到底，這項研究為我們揭示了一個深刻的道理：有時候最大的問題來自最小的細節(jié)。就像一粒沙子可能卡住整個精密機械一樣，那些看似微不足道的錯誤詞匯選擇，竟然能夠干擾整個AI系統(tǒng)的學習過程。STAPO方法的成功告訴我們，解決復雜問題有時不需要大刀闊斧的改革，而是需要精準的"微調(diào)"。

這項研究的意義遠不止于提升AI解數(shù)學題的能力。它為我們理解AI學習過程中的細微機制提供了新的視角，也為開發(fā)更穩(wěn)定、更可靠的AI系統(tǒng)指明了方向。當我們看到STAPO僅僅通過屏蔽0.01%的有問題詞匯就能帶來如此顯著的改善時，不禁讓人思考：在AI快速發(fā)展的今天，我們是否應該更多地關注這些"細節(jié)中的魔鬼"，而不僅僅是追求更大的模型和更多的數(shù)據(jù)？

歸根結底，STAPO的故事告訴我們，真正的智能不在于處理更多的信息，而在于能夠識別和過濾掉那些看似正確但實際有害的信息。這或許正是未來AI發(fā)展需要重點關注的方向：不是讓AI學得更多，而是讓AI學得更準確、更智慧。對于那些希望深入了解技術實現(xiàn)細節(jié)的讀者，完整的研究內(nèi)容可以通過論文編號arXiv:2602.15620v1在學術數(shù)據(jù)庫中查閱。

Q&A

Q1：STAPO方法是如何識別出有害詞匯的？

A：STAPO通過監(jiān)控三個關鍵指標來識別有害詞匯：詞匯是否獲得正面評價、出現(xiàn)概率是否很低（小于0.002%）、AI對選擇該詞的確定性是否很高（處于最低20%不確定性）。只有同時滿足這三個條件的詞匯才會被標記為虛假信號詞匯并被屏蔽。

Q2：為什么只屏蔽0.01%的詞匯就能帶來20%的性能提升？

A：雖然虛假信號詞匯數(shù)量很少，但它們產(chǎn)生的學習信號異常強烈。研究發(fā)現(xiàn)這些詞匯的學習強度比正常詞匯高16.7%，因為低概率和高確定性的組合會放大學習信號。就像安靜環(huán)境中的一點噪音會特別刺耳一樣，這些少量的錯誤信號會嚴重干擾AI的整體學習過程。

Q3：STAPO方法適用于數(shù)學題以外的其他AI任務嗎？

A：目前的研究主要集中在數(shù)學推理任務上，但研究團隊認為這種方法的原理具有普適性。任何需要精確表達和邏輯推理的AI任務都可能存在類似的虛假信號問題。不過要在其他領域應用STAPO，需要根據(jù)具體任務特點調(diào)整參數(shù)設置和識別標準。