騰訊AI團(tuán)隊(duì)突破：讓AI學(xué)會(huì)自我指導(dǎo)，解決智能推理的根本難題

這項(xiàng)由騰訊AI實(shí)驗(yàn)室的梁振文、陸斯迪、俞文浩、基山·帕納甘蒂、周宇君、米海濤和俞棟等人共同完成的研究發(fā)表于2025年12月，論文編號(hào)為arXiv:2512.15687v1。有興趣深入了解的讀者可以通過(guò)該編號(hào)查詢完整論文。這個(gè)研究團(tuán)隊(duì)中還有一位來(lái)自圣母大學(xué)的研究人員周宇君，形成了產(chǎn)學(xué)研的有力合作。

當(dāng)我們教孩子解決數(shù)學(xué)題時(shí)，通常會(huì)鼓勵(lì)他們嘗試不同的方法。如果一個(gè)孩子總是用同一種方式解題，即使答案正確，我們也會(huì)擔(dān)心他的思維過(guò)于狹窄。同樣的問(wèn)題也困擾著人工智能的訓(xùn)練過(guò)程。目前的AI模型在學(xué)習(xí)推理時(shí)，就像那個(gè)只會(huì)一種解題方法的孩子，容易陷入思維定勢(shì)。

騰訊的研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)關(guān)鍵問(wèn)題：現(xiàn)有的AI訓(xùn)練方法在鼓勵(lì)模型探索新思路時(shí)，采用的策略就像是盲人摸象。這些方法要么簡(jiǎn)單地增加輸出的隨機(jī)性，要么依賴外部的評(píng)判標(biāo)準(zhǔn)來(lái)衡量多樣性，但都沒(méi)有真正理解AI模型內(nèi)部是如何學(xué)習(xí)和更新的。這就好比一個(gè)教練在指導(dǎo)運(yùn)動(dòng)員訓(xùn)練時(shí)，從來(lái)不觀察運(yùn)動(dòng)員的肌肉反應(yīng)和身體狀態(tài)，只是盲目地要求運(yùn)動(dòng)員做各種不同的動(dòng)作。

研究團(tuán)隊(duì)提出了一個(gè)革命性的想法：讓AI模型觀察自己的"思考過(guò)程"，根據(jù)自己的學(xué)習(xí)需求來(lái)指導(dǎo)探索方向。他們開(kāi)發(fā)了一種叫做G?RL（梯度引導(dǎo)強(qiáng)化學(xué)習(xí)）的新方法。這個(gè)方法的核心思想是，AI模型可以通過(guò)分析自己的"神經(jīng)反應(yīng)"來(lái)判斷不同的解題路徑是否能提供新的學(xué)習(xí)價(jià)值。

一、AI探索學(xué)習(xí)的困境：為什么現(xiàn)有方法像在黑暗中摸索

要理解這項(xiàng)研究的突破性，我們需要先了解AI模型是如何學(xué)習(xí)推理的。當(dāng)AI模型學(xué)習(xí)解決數(shù)學(xué)題時(shí)，它會(huì)生成多個(gè)不同的解答，然后根據(jù)這些解答的正確性來(lái)調(diào)整自己的"思維模式"。這個(gè)過(guò)程類似于學(xué)生做練習(xí)題后老師批改并給出指導(dǎo)。

然而，傳統(tǒng)的訓(xùn)練方法存在一個(gè)根本缺陷。它們?cè)诠膭?lì)A(yù)I生成多樣化答案時(shí)，使用的標(biāo)準(zhǔn)與AI實(shí)際的學(xué)習(xí)機(jī)制是脫節(jié)的。比如，有些方法會(huì)簡(jiǎn)單地增加AI輸出的隨機(jī)性，這就像要求學(xué)生在考試時(shí)隨機(jī)選擇答案一樣，表面上看起來(lái)很多樣，但對(duì)真正的學(xué)習(xí)毫無(wú)幫助。

另一些方法則依賴外部的語(yǔ)義相似度模型來(lái)評(píng)判答案的多樣性。這種做法的問(wèn)題在于，外部評(píng)判器對(duì)"多樣性"的理解與AI模型的內(nèi)在學(xué)習(xí)需求并不一致。就像一個(gè)不懂音樂(lè)的人試圖指導(dǎo)音樂(lè)家練習(xí)一樣，可能會(huì)認(rèn)為兩首曲子聽(tīng)起來(lái)很不同，但實(shí)際上它們?cè)谝魳?lè)理論上可能沒(méi)有本質(zhì)區(qū)別。

更關(guān)鍵的是，這些方法都忽略了AI學(xué)習(xí)的本質(zhì)機(jī)制。AI模型的學(xué)習(xí)過(guò)程實(shí)際上是通過(guò)調(diào)整內(nèi)部參數(shù)來(lái)改善表現(xiàn)，這些參數(shù)的調(diào)整方向被稱為"梯度"。如果兩個(gè)看似不同的答案實(shí)際上引導(dǎo)模型朝著相同的方向調(diào)整參數(shù)，那么從學(xué)習(xí)效果來(lái)看，它們就是冗余的。這就像兩條看起來(lái)不同的路徑，如果最終都通向同一個(gè)目的地，對(duì)于旅行者來(lái)說(shuō)實(shí)際價(jià)值是相同的。

研究團(tuán)隊(duì)通過(guò)深入分析發(fā)現(xiàn)，傳統(tǒng)方法產(chǎn)生的"多樣化"答案中，很多在優(yōu)化空間中實(shí)際上是高度相似的，這導(dǎo)致AI模型的學(xué)習(xí)過(guò)程缺乏真正有效的探索，容易陷入局部最優(yōu)解，就像一個(gè)人總是走同一條路上班，永遠(yuǎn)不知道是否有更好的路線。

二、G?RL方法的核心創(chuàng)新：讓AI成為自己的探索指南

G?RL方法的突破在于它讓AI模型能夠"內(nèi)視"自己的學(xué)習(xí)過(guò)程，根據(jù)自己的梯度信息來(lái)指導(dǎo)探索方向。這個(gè)概念可以用一個(gè)生動(dòng)的比喻來(lái)理解：傳統(tǒng)方法就像讓一個(gè)盲人在陌生環(huán)境中探索，只能依靠外人的指導(dǎo)，而G?RL則給了這個(gè)人一套內(nèi)在的感知系統(tǒng)，讓他能夠感受到不同路徑對(duì)自己身體的影響，從而做出更明智的選擇。

具體來(lái)說(shuō)，G?RL方法的工作原理是這樣的：當(dāng)AI模型生成一個(gè)答案時(shí)，研究團(tuán)隊(duì)設(shè)計(jì)了一種方法來(lái)提取這個(gè)答案對(duì)應(yīng)的"梯度特征"，這個(gè)特征可以理解為答案對(duì)模型參數(shù)調(diào)整方向的影響程度。這個(gè)提取過(guò)程非常巧妙，它只需要利用模型正常推理過(guò)程中已經(jīng)計(jì)算的信息，不需要額外的計(jì)算負(fù)擔(dān)，就像在汽車行駛過(guò)程中順便記錄路面狀況一樣。

在獲得每個(gè)答案的梯度特征后，G?RL會(huì)比較同一組答案之間的特征相似性。如果一個(gè)答案的梯度特征與其他正確答案的特征高度相似，說(shuō)明這個(gè)答案在學(xué)習(xí)價(jià)值上是冗余的，就像一首歌的不同版本，雖然聽(tīng)起來(lái)可能略有不同，但給人的情感體驗(yàn)基本相同。相反，如果一個(gè)答案的梯度特征與其他答案正交或相反，說(shuō)明它能為模型提供全新的學(xué)習(xí)信息，就像在音樂(lè)創(chuàng)作中加入了全新的和弦進(jìn)行。

G?RL方法還設(shè)計(jì)了一個(gè)巧妙的獎(jiǎng)勵(lì)調(diào)節(jié)機(jī)制。對(duì)于正確答案，如果其梯度特征顯示出高度的新穎性，系統(tǒng)會(huì)給予額外的獎(jiǎng)勵(lì)，鼓勵(lì)模型繼續(xù)探索這類解題路徑。對(duì)于錯(cuò)誤答案，如果其梯度特征與正確答案接近，說(shuō)明這個(gè)錯(cuò)誤可能是"接近正確"的，系統(tǒng)會(huì)減輕懲罰，避免模型完全放棄這個(gè)有潛力的思路。反之，如果錯(cuò)誤答案的梯度特征與正確答案相差甚遠(yuǎn)，說(shuō)明這可能是完全錯(cuò)誤的方向，系統(tǒng)會(huì)加重懲罰。

這種機(jī)制的精妙之處在于它實(shí)現(xiàn)了自適應(yīng)的探索指導(dǎo)。就像一個(gè)經(jīng)驗(yàn)豐富的老師，能夠根據(jù)學(xué)生的具體表現(xiàn)給出針對(duì)性的指導(dǎo)，既鼓勵(lì)有價(jià)值的創(chuàng)新嘗試，又及時(shí)糾正明顯的錯(cuò)誤方向。

三、實(shí)驗(yàn)驗(yàn)證：在多個(gè)數(shù)學(xué)推理任務(wù)上的卓越表現(xiàn)

為了驗(yàn)證G?RL方法的有效性，研究團(tuán)隊(duì)在多個(gè)具有挑戰(zhàn)性的數(shù)學(xué)推理任務(wù)上進(jìn)行了全面測(cè)試。這些測(cè)試就像是給AI學(xué)生安排了從基礎(chǔ)到高級(jí)的各種數(shù)學(xué)考試，包括MATH500、AMC、AIME24、AIME25等知名數(shù)學(xué)競(jìng)賽數(shù)據(jù)集，還包括GPQA和MMLUpro等綜合推理任務(wù)。

實(shí)驗(yàn)采用了兩個(gè)不同規(guī)模的Qwen3基礎(chǔ)模型：1.7B和4B參數(shù)版本。這種對(duì)比設(shè)計(jì)就像是同時(shí)測(cè)試小學(xué)生和中學(xué)生的學(xué)習(xí)效果，能夠驗(yàn)證方法在不同能力水平上的普適性。

在最關(guān)鍵的單次答題準(zhǔn)確率（pass@1）指標(biāo)上，G?RL方法在所有測(cè)試任務(wù)上都取得了顯著提升。在1.7B模型上，AIME25任務(wù)的單次準(zhǔn)確率從基礎(chǔ)方法的4.6%提升到7.5%，這個(gè)63%的相對(duì)提升是相當(dāng)顯著的。在更大的4B模型上，AIME25的單次準(zhǔn)確率更是從17.5%提升到20.1%。這種提升不僅在數(shù)字上令人印象深刻，更重要的是它表明AI模型真正學(xué)會(huì)了更有效的推理方法。

在多樣性采樣方面，G?RL方法也表現(xiàn)出色。maj@16指標(biāo)衡量的是在16次嘗試中通過(guò)多數(shù)投票得出正確答案的能力，這類似于讓學(xué)生同時(shí)用多種方法解決問(wèn)題，然后選擇最可信的答案。在這個(gè)指標(biāo)上，G?RL在AIME25任務(wù)中將4B模型的表現(xiàn)從23.9%提升到29.0%，顯示出該方法不僅提高了單次答題的質(zhì)量，還增強(qiáng)了模型生成互補(bǔ)性解答的能力。

特別值得關(guān)注的是訓(xùn)練動(dòng)態(tài)分析。研究團(tuán)隊(duì)發(fā)現(xiàn)，與傳統(tǒng)的熵獎(jiǎng)勵(lì)方法相比，G?RL方法能夠更快地提升準(zhǔn)確率，同時(shí)保持合理的響應(yīng)長(zhǎng)度增長(zhǎng)。這表明G?RL鼓勵(lì)的是有意義的推理擴(kuò)展，而不是簡(jiǎn)單的詞匯堆砌。傳統(tǒng)方法往往會(huì)導(dǎo)致熵值的無(wú)控制增長(zhǎng)，就像學(xué)生為了顯示思考過(guò)程而寫出冗長(zhǎng)但無(wú)用的解答，而G?RL則能引導(dǎo)模型產(chǎn)生既詳細(xì)又有針對(duì)性的推理。

四、探索幾何的深層分析：發(fā)現(xiàn)AI學(xué)習(xí)的隱藏模式

研究團(tuán)隊(duì)進(jìn)行了一項(xiàng)特別有趣的幾何分析，來(lái)理解G?RL方法為什么如此有效。他們分析了不同方法生成的答案在梯度空間中的分布模式，這項(xiàng)分析就像是觀察學(xué)生解題思路在思維地圖上的分布情況。

分析結(jié)果揭示了一個(gè)令人震驚的發(fā)現(xiàn)：傳統(tǒng)的GRPO方法生成的答案雖然在語(yǔ)義上看起來(lái)多樣，但在梯度空間中卻高度聚集，平均余弦相似度高達(dá)0.208。這意味著這些看似不同的答案實(shí)際上都在推動(dòng)模型朝著相同的方向?qū)W習(xí)，就像多個(gè)學(xué)生用不同的表述方式說(shuō)同一件事。

更關(guān)鍵的是，研究團(tuán)隊(duì)發(fā)現(xiàn)了梯度空間中"負(fù)相似度"的重要性。當(dāng)兩個(gè)答案的梯度特征呈現(xiàn)負(fù)相似度時(shí)，意味著它們?cè)趦?yōu)化空間中指向相反的方向，這種對(duì)立能夠?yàn)槟Ｐ吞峁└娴膶W(xué)習(xí)信號(hào)。傳統(tǒng)GRPO方法中只有5.9%的答案對(duì)存在負(fù)相似度，而G?RL方法將這個(gè)比例大幅提升到28.1%，增加了近5倍。

這個(gè)發(fā)現(xiàn)的深層含義非常重要。在機(jī)器學(xué)習(xí)中，互相對(duì)立的梯度方向能夠幫助模型避免陷入局部最優(yōu)解，就像在登山時(shí)，如果只知道一個(gè)方向是向上的，可能會(huì)錯(cuò)過(guò)真正的山頂，但如果能夠從多個(gè)相反的角度觀察地形，就更容易找到全局最優(yōu)路徑。

令人驚訝的是，G?RL方法在大幅增加梯度多樣性的同時(shí)，實(shí)際上保持了更高的語(yǔ)義一致性。在外部語(yǔ)義編碼器的評(píng)估中，G?RL生成的答案平均語(yǔ)義相似度為0.769，高于傳統(tǒng)方法的0.738。這表明G?RL方法能夠在保持主題相關(guān)性和邏輯連貫性的前提下，最大化學(xué)習(xí)價(jià)值的多樣性。這種平衡就像一個(gè)優(yōu)秀的音樂(lè)家，能夠在保持音樂(lè)主題統(tǒng)一的同時(shí)，運(yùn)用豐富多樣的變奏技巧。

五、理論洞察：重新理解AI探索的本質(zhì)

G?RL方法的成功不僅在于實(shí)驗(yàn)結(jié)果，更在于它揭示了AI探索學(xué)習(xí)的深層理論原理。研究團(tuán)隊(duì)通過(guò)嚴(yán)格的數(shù)學(xué)分析證明了一個(gè)重要觀點(diǎn)：AI模型的所有參數(shù)更新都可以分解為通過(guò)最后一層特征的線性變換，這意味著最后一層的梯度特征實(shí)際上是整個(gè)網(wǎng)絡(luò)學(xué)習(xí)信號(hào)的關(guān)鍵瓶頸。

這個(gè)發(fā)現(xiàn)可以用一個(gè)水管系統(tǒng)來(lái)比喻：雖然整個(gè)供水系統(tǒng)有很多管道和閥門，但如果有一個(gè)關(guān)鍵的主管道控制著水流方向，那么通過(guò)監(jiān)控這個(gè)主管道的水流模式，就能了解整個(gè)系統(tǒng)的工作狀態(tài)。在AI模型中，最后一層就是這樣的主管道，它的梯度特征反映了整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)趨勢(shì)。

基于這個(gè)理論基礎(chǔ)，G?RL方法不是簡(jiǎn)單地增加輸出的表面多樣性，而是在優(yōu)化的根本層面上引導(dǎo)探索。這種方法解決了一個(gè)長(zhǎng)期存在的問(wèn)題：如何在稀疏獎(jiǎng)勵(lì)環(huán)境中進(jìn)行有效的信用分配。在數(shù)學(xué)推理任務(wù)中，答案要么完全正確，要么完全錯(cuò)誤，沒(méi)有中間狀態(tài)。這種二元獎(jiǎng)勵(lì)使得傳統(tǒng)方法難以區(qū)分不同正確答案的學(xué)習(xí)價(jià)值。

G?RL通過(guò)梯度引導(dǎo)的獎(jiǎng)勵(lì)調(diào)節(jié)機(jī)制，實(shí)現(xiàn)了更精細(xì)的信用分配。即使在相同的正確性類別中，不同答案也會(huì)根據(jù)其對(duì)學(xué)習(xí)的貢獻(xiàn)程度獲得不同的權(quán)重。這就像一個(gè)明智的老師，不僅會(huì)表?yè)P(yáng)答對(duì)題目的學(xué)生，還會(huì)特別鼓勵(lì)那些用創(chuàng)新方法解題的學(xué)生，因?yàn)檫@些創(chuàng)新思路對(duì)整個(gè)班級(jí)的學(xué)習(xí)都有更大價(jià)值。

六、方法的實(shí)用性：簡(jiǎn)單高效的工程實(shí)現(xiàn)

G?RL方法的另一個(gè)重要優(yōu)勢(shì)是其實(shí)現(xiàn)的簡(jiǎn)潔性。整個(gè)梯度特征提取過(guò)程都可以在模型的正常前向推理過(guò)程中完成，不需要額外的反向傳播計(jì)算。這種設(shè)計(jì)就像在汽車行駛過(guò)程中順便記錄油耗信息一樣，不會(huì)增加額外的計(jì)算負(fù)擔(dān)。

具體的實(shí)現(xiàn)過(guò)程可以分解為幾個(gè)簡(jiǎn)單步驟：首先，在模型生成每個(gè)詞匯時(shí)，系統(tǒng)會(huì)記錄最后一層的激活狀態(tài)和詞匯概率分布；然后，通過(guò)簡(jiǎn)單的矩陣運(yùn)算計(jì)算每個(gè)位置的梯度特征；最后，將所有位置的特征加權(quán)聚合成序列級(jí)別的特征向量。整個(gè)過(guò)程的計(jì)算開(kāi)銷微不足道，主要消耗在于幾次矩陣-向量乘法運(yùn)算。

在訓(xùn)練框架方面，G?RL可以無(wú)縫集成到現(xiàn)有的強(qiáng)化學(xué)習(xí)流水線中。它只是修改了優(yōu)勢(shì)函數(shù)的計(jì)算方式，保留了PPO（近端策略優(yōu)化）的所有穩(wěn)定性保證和KL散度控制機(jī)制。這種設(shè)計(jì)使得研究人員和工程師可以在最小的代碼修改下體驗(yàn)G?RL的效果，大大降低了技術(shù)采用的門檻。

研究團(tuán)隊(duì)還特別注意了獎(jiǎng)勵(lì)縮放的穩(wěn)定性。他們將梯度引導(dǎo)的獎(jiǎng)勵(lì)因子限制在一個(gè)有界范圍內(nèi)，并對(duì)最終獎(jiǎng)勵(lì)進(jìn)行裁剪，確保訓(xùn)練過(guò)程的穩(wěn)定性。這種保守的設(shè)計(jì)哲學(xué)體現(xiàn)了工程實(shí)踐中的重要原則：在追求性能提升的同時(shí)，絕不能犧牲系統(tǒng)的穩(wěn)定性和可預(yù)測(cè)性。

七、更廣泛的適用性：從數(shù)學(xué)推理到通用推理

雖然G?RL方法在數(shù)學(xué)推理任務(wù)上得到了充分驗(yàn)證，但研究團(tuán)隊(duì)也測(cè)試了其在更廣泛推理任務(wù)上的表現(xiàn)。在GPQA（研究生級(jí)物理、化學(xué)、生物問(wèn)題）和MMLUpro（大規(guī)模多任務(wù)理解）等綜合性任務(wù)上，G?RL同樣展現(xiàn)出穩(wěn)定的性能提升。

在GPQA任務(wù)中，G?RL將單次準(zhǔn)確率從37.4%提升到38.7%，16次采樣的通過(guò)率從88.9%提升到89.2%。雖然這些提升看起來(lái)相對(duì)較小，但考慮到GPQA任務(wù)的高難度（這些是研究生水平的科學(xué)問(wèn)題），任何性能提升都是值得重視的。更重要的是，這些結(jié)果證明了G?RL方法的通用性，它不僅適用于純數(shù)學(xué)問(wèn)題，也能處理需要科學(xué)知識(shí)和推理能力的復(fù)合任務(wù)。

在MMLUpro這個(gè)包含多個(gè)學(xué)科領(lǐng)域的大規(guī)模基準(zhǔn)測(cè)試中，G?RL獲得了58.47%的微平均準(zhǔn)確率，超過(guò)了所有基線方法。這個(gè)結(jié)果特別有意義，因?yàn)樗砻魈荻纫龑?dǎo)的探索策略能夠在不同類型的推理任務(wù)中都產(chǎn)生積極效果，而不是局限于特定的問(wèn)題域。

這種廣泛的適用性源于G?RL方法的根本設(shè)計(jì)理念：它不依賴于特定任務(wù)的先驗(yàn)知識(shí)，而是通過(guò)觀察模型自身的學(xué)習(xí)動(dòng)態(tài)來(lái)指導(dǎo)探索。這種任務(wù)無(wú)關(guān)的特性使得G?RL具有很強(qiáng)的可遷移性，就像一種通用的學(xué)習(xí)策略，無(wú)論是學(xué)習(xí)數(shù)學(xué)、物理還是其他學(xué)科，都能發(fā)揮作用。

八、未來(lái)影響：重塑AI訓(xùn)練的新范式

G?RL方法的意義遠(yuǎn)超其具體的技術(shù)實(shí)現(xiàn)，它代表了AI訓(xùn)練范式的一個(gè)重要轉(zhuǎn)向：從外部指導(dǎo)的探索轉(zhuǎn)向內(nèi)在驅(qū)動(dòng)的自主學(xué)習(xí)。這種轉(zhuǎn)變的深遠(yuǎn)影響可能會(huì)在多個(gè)層面上顯現(xiàn)出來(lái)。

在技術(shù)層面，G?RL為探索導(dǎo)向的強(qiáng)化學(xué)習(xí)開(kāi)辟了新的研究方向。傳統(tǒng)的探索方法主要關(guān)注行為空間或狀態(tài)空間的多樣性，而G?RL則直接在優(yōu)化空間中進(jìn)行探索指導(dǎo)。這種"元優(yōu)化"的思路可能會(huì)啟發(fā)更多創(chuàng)新方法，就像開(kāi)辟了一個(gè)全新的研究領(lǐng)域。

在實(shí)際應(yīng)用層面，G?RL方法的成功可能會(huì)推動(dòng)AI系統(tǒng)在各種復(fù)雜推理任務(wù)中的表現(xiàn)提升。無(wú)論是科學(xué)研究、工程設(shè)計(jì)還是創(chuàng)意工作，都需要AI系統(tǒng)具備探索創(chuàng)新解決方案的能力。G?RL提供的自主探索機(jī)制可能會(huì)讓AI在這些領(lǐng)域中表現(xiàn)得更加出色。

從更宏觀的角度看，G?RL體現(xiàn)了AI系統(tǒng)走向真正自主學(xué)習(xí)的一個(gè)重要步驟。當(dāng)AI能夠理解和指導(dǎo)自己的學(xué)習(xí)過(guò)程時(shí)，它就具備了一種類似于人類自我反思和自我改進(jìn)的能力。這種能力的發(fā)展可能會(huì)是通向更高級(jí)人工智能的關(guān)鍵環(huán)節(jié)。

當(dāng)然，這項(xiàng)研究也帶來(lái)了新的思考。如果AI系統(tǒng)能夠越來(lái)越好地指導(dǎo)自己的學(xué)習(xí)過(guò)程，那么人類在AI發(fā)展中的角色會(huì)如何變化？如何確保這種自主學(xué)習(xí)的AI系統(tǒng)與人類價(jià)值觀保持一致？這些問(wèn)題需要整個(gè)AI研究社區(qū)的持續(xù)關(guān)注和研究。

說(shuō)到底，G?RL方法的真正價(jià)值不僅在于它解決了當(dāng)前AI訓(xùn)練中的一個(gè)具體問(wèn)題，更在于它展示了一種全新的思考AI學(xué)習(xí)的方式。它告訴我們，最好的探索指導(dǎo)可能不來(lái)自外部的啟發(fā)式方法，而是來(lái)自AI系統(tǒng)對(duì)自身學(xué)習(xí)過(guò)程的深度理解。這種洞察可能會(huì)深刻影響未來(lái)AI系統(tǒng)的設(shè)計(jì)和訓(xùn)練方式，推動(dòng)整個(gè)領(lǐng)域向更加智能和自主的方向發(fā)展。

對(duì)于普通人來(lái)說(shuō)，這項(xiàng)研究意味著未來(lái)的AI助手可能會(huì)具備更強(qiáng)的學(xué)習(xí)和適應(yīng)能力，能夠在面對(duì)新問(wèn)題時(shí)主動(dòng)探索最佳解決方案，而不是簡(jiǎn)單地重復(fù)已知的模式。這將使AI在教育、科研、創(chuàng)作等需要?jiǎng)?chuàng)新思維的領(lǐng)域發(fā)揮更大的作用，為人類社會(huì)帶來(lái)更多價(jià)值。研究團(tuán)隊(duì)的這項(xiàng)工作為我們展現(xiàn)了AI發(fā)展的一個(gè)新的可能方向，值得持續(xù)關(guān)注其后續(xù)發(fā)展和應(yīng)用。

Q&A

Q1：G?RL方法是什么，它解決了什么問(wèn)題？

A：G?RL（梯度引導(dǎo)強(qiáng)化學(xué)習(xí)）是騰訊AI實(shí)驗(yàn)室開(kāi)發(fā)的一種新型AI訓(xùn)練方法。它解決了現(xiàn)有AI訓(xùn)練中探索方式不夠智能的問(wèn)題——傳統(tǒng)方法要么簡(jiǎn)單增加隨機(jī)性，要么依賴外部判斷，都無(wú)法真正理解AI內(nèi)部的學(xué)習(xí)需求。G?RL讓AI觀察自己的"學(xué)習(xí)反應(yīng)"，根據(jù)這些信息來(lái)指導(dǎo)自己應(yīng)該探索哪些新的解題思路。

Q2：G?RL方法在實(shí)驗(yàn)中的表現(xiàn)如何？

A：G?RL在多個(gè)數(shù)學(xué)推理任務(wù)上都取得了顯著提升。在最困難的AIME25數(shù)學(xué)競(jìng)賽題目中，它將AI的單次答題準(zhǔn)確率從17.5%提升到20.1%，多數(shù)投票準(zhǔn)確率從23.9%提升到29.0%。更重要的是，它讓AI生成的不同解法在學(xué)習(xí)價(jià)值上真正多樣化，相互對(duì)立的解題思路增加了近5倍。

Q3：普通人能從G?RL方法的發(fā)展中獲得什么好處？

A：G?RL方法代表了AI學(xué)習(xí)能力的重要進(jìn)步，未來(lái)基于此技術(shù)的AI助手將具備更強(qiáng)的自主學(xué)習(xí)和問(wèn)題解決能力。在教育領(lǐng)域，AI可能會(huì)提供更多樣化的解題思路；在科研和創(chuàng)作中，AI將能夠主動(dòng)探索創(chuàng)新方案而非簡(jiǎn)單重復(fù)已知模式。這將讓AI在需要?jiǎng)?chuàng)新思維的各種任務(wù)中為人類提供更有價(jià)值的幫助。