調(diào)整訓(xùn)練數(shù)據(jù)出場順序大模型就能變聰明！無需擴(kuò)大模型/數(shù)據(jù)規(guī)模

DELT團(tuán)隊(duì) 投稿
量子位 | 公眾號 QbitAI

模型訓(xùn)練重點(diǎn)在于數(shù)據(jù)的數(shù)量與質(zhì)量？其實(shí)還有一個(gè)關(guān)鍵因素——

數(shù)據(jù)的出場順序。

對此，微軟亞洲研究院提出了一種全新的文本數(shù)據(jù)組織范式DELT（Data Efficacy in LM Training），通過引入數(shù)據(jù)排序策略，充分挖掘訓(xùn)練數(shù)據(jù)潛力，在不同模型尺寸與規(guī)模下都達(dá)到了良好性能。

△數(shù)據(jù)效率與效能提升

該方法用優(yōu)化訓(xùn)練數(shù)據(jù)的組織方式來讓語言模型學(xué)得更好，還不用增加數(shù)據(jù)量或擴(kuò)大模型規(guī)模。

來看看是怎么做到的。

訓(xùn)練樣本的組織順序很關(guān)鍵

首先，我們先來理清幾個(gè)概念。

在語言模型訓(xùn)練中，數(shù)據(jù)使用效率至關(guān)重要。現(xiàn)有研究多關(guān)注于數(shù)據(jù)效率（Data Efficiency），即如何通過數(shù)據(jù)選擇提升模型訓(xùn)練效率并保持優(yōu)異性能。

然而，數(shù)據(jù)效能（Data Efficacy），即如何通過數(shù)據(jù)組織增強(qiáng)模型訓(xùn)練表現(xiàn)，卻常常被忽視。

以烹飪?yōu)槔瑪?shù)據(jù)效率就像在市場挑選新鮮、合適的食材，而數(shù)據(jù)效能則像名廚把握投放調(diào)料的時(shí)機(jī)與分寸，讓菜品發(fā)揮出最佳風(fēng)味。

數(shù)據(jù)組織的重要性

為了避免過擬合，當(dāng)前的大語言模型往往在海量數(shù)據(jù)上進(jìn)行訓(xùn)練，并且訓(xùn)練的次數(shù)非常有限，甚至僅進(jìn)行一次完整的訓(xùn)練周期（epoch=1），這與早期模型依賴多次迭代訓(xùn)練（epoch>>1）截然不同。

這些變化讓數(shù)據(jù)呈現(xiàn)的先后順序?qū)Y(jié)果影響巨大。

早期的AI模型類似于讓學(xué)生多次反復(fù)翻閱同一本書，在多輪學(xué)習(xí)中慢慢補(bǔ)齊細(xì)節(jié)；而現(xiàn)在更像只給一遍通讀，不再反復(fù)回看。

這就對閱讀順序提出了極高要求，必須精心規(guī)劃學(xué)習(xí)材料出現(xiàn)的先后和結(jié)構(gòu)。因此，訓(xùn)練樣本的組織順序顯得尤為關(guān)鍵。然而，關(guān)于這一點(diǎn)的研究卻很少。

基于此觀察，微軟亞洲研究院最新提出的文本數(shù)據(jù)組織范式DELT，通過引入數(shù)據(jù)排序策略，充分挖掘訓(xùn)練數(shù)據(jù)潛力，實(shí)現(xiàn)了數(shù)據(jù)的高效利用與效能提升。

DELT范式不但通過數(shù)據(jù)選擇提升效率，選取高質(zhì)量數(shù)據(jù)，加快訓(xùn)練速度；

而且通過數(shù)據(jù)排序提升效能，在預(yù)訓(xùn)練和后訓(xùn)練階段都顯著提升了模型性能，且適用于通用、數(shù)學(xué)和代碼等多領(lǐng)域任務(wù)。

給模型按部就班安排訓(xùn)練課程

數(shù)據(jù)訓(xùn)練效能定義Data Efficacy

研究首先定義了數(shù)據(jù)訓(xùn)練效能（Data Efficacy），是指通過優(yōu)化訓(xùn)練數(shù)據(jù)的組織方式來最大化語言模型的性能表現(xiàn)，而無需改變數(shù)據(jù)內(nèi)容或模型架構(gòu)。

與以往關(guān)注的“數(shù)據(jù)訓(xùn)練效率” (Data Efficiency) 側(cè)重?cái)?shù)據(jù)篩選的研究目的不同，數(shù)據(jù)效能強(qiáng)調(diào)對訓(xùn)練數(shù)據(jù)的評分和排序，以充分挖掘數(shù)據(jù)的潛在價(jià)值。

數(shù)據(jù)順序在語言模型訓(xùn)練中的潛力尚未被充分挖掘， 數(shù)據(jù)效能旨在通過合理的數(shù)據(jù)組織方式，使模型在有限的訓(xùn)練數(shù)據(jù)和資源下實(shí)現(xiàn)更高的性能和泛化能力，成為提升語言模型性能的一種新興方法。

數(shù)據(jù)組織范式DELT介紹

△DELT范式架構(gòu)

DELT（DataEfficacy inLMTraining）是一種創(chuàng)新的文本數(shù)據(jù)組織范式。

它集成了數(shù)據(jù)評分（Data Scoring）、數(shù)據(jù)選擇（Data Selection） 和數(shù)據(jù)排序（Data Ordering） 三大核心組件。

數(shù)據(jù)評分根據(jù)特定的屬性為每個(gè)樣本賦予分?jǐn)?shù)，如：難度、質(zhì)量、多樣性等。

數(shù)據(jù)選擇通過評分篩選出最優(yōu)子集（如：top-k、按閾值篩選等），然后數(shù)據(jù)排序根據(jù)評分重新組織所選擇數(shù)據(jù)的呈現(xiàn)順序（如：基于課程學(xué)習(xí)的分?jǐn)?shù)從低到高排列）。 為了兼顧數(shù)據(jù)處理效率，DELT范式的數(shù)據(jù)選擇和數(shù)據(jù)排序共用數(shù)據(jù)評分的結(jié)果。

因此，數(shù)據(jù)評分的規(guī)則設(shè)置非常重要。于是，研究還提出了Learning-Quality Score（LQS）方法。

△LQS打分方式

該數(shù)據(jù)評分方式結(jié)合了質(zhì)量和可學(xué)習(xí)性兩個(gè)關(guān)鍵指標(biāo)，不但可以篩選出低質(zhì)量數(shù)據(jù)，而且也能捕捉數(shù)據(jù)在不同階段的訓(xùn)練價(jià)值，進(jìn)一步提供了可靠的數(shù)據(jù)排列順序。

為了進(jìn)一步提升數(shù)據(jù)效能，團(tuán)隊(duì)還提出了一種全新的折疊排序方法Folding Ordering（FO）。

基于課程學(xué)習(xí)的排序（即，按分?jǐn)?shù)升序排序）可能導(dǎo)致模型遺忘和數(shù)據(jù)內(nèi)部分布偏差。

折疊排序策略通過多層“折疊”，將數(shù)據(jù)按分?jǐn)?shù)分層并多次采樣，無重復(fù)且均衡分布。

△Folding排序方式

相比隨機(jī)打亂或單一排序，它既保留難度排序優(yōu)勢，又避免模型過度遺忘或依賴特定數(shù)據(jù)，提升了魯棒性和泛化能力。

與傳統(tǒng)隨機(jī)排序方法相比，DELT范式不僅通過減小數(shù)據(jù)規(guī)模提升了訓(xùn)練效率；而且在不同模型尺寸和數(shù)據(jù)規(guī)模下，在各種評測集上都顯著提升了模型性能。

△不同數(shù)據(jù)規(guī)模和模型尺寸下的結(jié)果

DELT給Data-centric AI領(lǐng)域帶來了全新思路。

看來，類比于人類教學(xué)實(shí)踐，講究個(gè)性化與按部就班地安排學(xué)習(xí)內(nèi)容，AI訓(xùn)練也需要類似的學(xué)習(xí)方法。

論文鏈接：https://arxiv.org/abs/2506.21545
代碼鏈接：https://github.com/microsoft/DELT