ReGen如何訓(xùn)練生成式視頻模型實現(xiàn)零樣本識別

視頻理解技術(shù)的最大挑戰(zhàn)，莫過于識別那些從未見過的新場景。傳統(tǒng)視頻分類模型在未知類別面前往往束手無策，即便是最先進(jìn)的判別式模型，也難逃＂基類過擬合＂的困境。而生成式模型雖能產(chǎn)生靈活描述，卻常因缺乏判別性而難以用于精準(zhǔn)分類。ReGen框架巧妙結(jié)合兩者優(yōu)勢，通過三重獎勵機(jī)制訓(xùn)練生成模型，使其既能產(chǎn)生高質(zhì)量描述，又能實現(xiàn)精準(zhǔn)分類。這種基于強(qiáng)化學(xué)習(xí)的創(chuàng)新方法，不僅顯著提升了零樣本視頻識別性能，還在多項基準(zhǔn)測試中超越了現(xiàn)有技術(shù)。ReGen的成功為視頻理解領(lǐng)域提供了新思路：一個優(yōu)秀的生成式零樣本視頻分類器，應(yīng)當(dāng)獲得適當(dāng)?shù)莫剟睢?/p>

開放世界中的挑戰(zhàn)

想象這樣一個場景：你訓(xùn)練了一個視頻識別系統(tǒng)，它能準(zhǔn)確區(qū)分＂拉丁舞＂和＂布魯斯舞＂，但突然有天，系統(tǒng)需要識別從未見過的＂探戈舞＂。這就是開放世界視頻識別面臨的典型挑戰(zhàn)，也被稱為零樣本視頻分類問題。

傳統(tǒng)的視頻分類模型在這類任務(wù)中往往表現(xiàn)不佳。它們在訓(xùn)練時只能接觸到有限的類別，一旦遇到新類別，便無從下手。比如，一個在Kinetics-400數(shù)據(jù)集上訓(xùn)練的模型，當(dāng)面對Kinetics-600中160個全新類別時，識別準(zhǔn)確率往往大幅下降。

解決這一問題的主流方法是判別式模型，如X-CLIP和X-Florence。這些模型通過對比學(xué)習(xí)，將視頻特征與類名文本特征對齊。但這些方法存在一個普遍問題：基類過擬合。它們在訓(xùn)練時過度適應(yīng)了基礎(chǔ)類別，導(dǎo)致泛化到新類別的能力受限。在2023年的實驗中發(fā)現(xiàn)，當(dāng)評估包含所有620個類別（基礎(chǔ)類加新類）的綜合能力時，這些模型的準(zhǔn)確率會大幅下降，X-CLIP的準(zhǔn)確率僅為14.76%。

生成式模型提供了一種新思路。不同于直接預(yù)測類別，它們生成視頻內(nèi)容的文本描述，這些描述理論上可以與任何類別關(guān)聯(lián)。例如，視頻中的＂一群人在舞池中相擁旋轉(zhuǎn)，腳步輕快＂可能被識別為＂探戈舞＂，即使模型從未在訓(xùn)練中見過這個類別。

然而，生成式模型也面臨挑戰(zhàn)。如果直接讓模型輸出類名，會導(dǎo)致嚴(yán)重的基類過擬合，喪失零樣本能力。而如果不使用類信息訓(xùn)練（如REST方法），生成的描述雖然靈活，但往往不夠具有判別性，難以用于精準(zhǔn)分類。

這就是ReGen框架要解決的核心問題：如何訓(xùn)練一個生成式模型，使其既能避免基類過擬合，又能生成具有高判別性的視頻描述？

ReGen團(tuán)隊的解決方案建立在一個關(guān)鍵洞察上：強(qiáng)化學(xué)習(xí)可以有效引導(dǎo)模型生成既有判別性又不失靈活性的描述。不同于直接監(jiān)督學(xué)習(xí)強(qiáng)制模型輸出特定文本，強(qiáng)化學(xué)習(xí)允許模型探索更廣泛的表達(dá)方式，同時通過精心設(shè)計的獎勵機(jī)制引導(dǎo)它朝著期望的方向發(fā)展。

在實驗中，ReGen在多個基準(zhǔn)測試上取得了顯著成果。在HMDB-51數(shù)據(jù)集上，ReGen達(dá)到了55.1%的零樣本準(zhǔn)確率，比之前最好的結(jié)果提高了5.4%。在UCF-101上，準(zhǔn)確率達(dá)到76.4%，超過了X-Florence 3.3%。特別是在包含所有620個類別的泛化零樣本測試中，ReGen的38.1%準(zhǔn)確率遠(yuǎn)超X-CLIP的14.76%，證明了它在避免基類過擬合方面的優(yōu)勢。

這些結(jié)果表明，通過適當(dāng)?shù)挠?xùn)練框架，生成式模型不僅能夠保持其靈活性和開放性，還能在精準(zhǔn)分類方面超越專門的判別式模型。ReGen為開放世界視頻識別開辟了一條新路徑。

三重獎勵的力量

ReGen框架的核心在于其獨(dú)特的三重獎勵機(jī)制，它巧妙地引導(dǎo)生成式模型產(chǎn)生既具判別性、又與視頻相關(guān)且語法正確的描述。這三種獎勵各自解決了不同的問題，共同構(gòu)成了一個平衡的訓(xùn)練體系。

第一種獎勵是分類獎勵（CLS-R），它解決了生成式模型缺乏判別性的問題。具體來說，對于一個視頻生成的描述，CLS-R計算該描述與正確類別名稱的文本相似度，以及與其他類別名稱的區(qū)分度。這種獎勵鼓勵模型生成能夠準(zhǔn)確映射到正確類別的描述。

與直接強(qiáng)制模型輸出類名不同，CLS-R獎勵對整個生成的描述進(jìn)行全局評估，而不是對每個生成的單詞單獨(dú)評估。這意味著模型可以自由探索不同的表達(dá)方式，只要最終生成的描述能夠被正確分類即可。在實驗中，研究者發(fā)現(xiàn)，這種方法顯著增加了模型描述的詞匯多樣性，大多數(shù)類別的詞匯多樣性提高了20%到100%。

舉個例子，對于一個＂調(diào)整眼鏡＂類別的視頻，經(jīng)過ReGen訓(xùn)練的模型生成的描述是＂一個女人把眼鏡戴在臉上＂，而直接輸出類名的模型則簡單地輸出＂整理頭發(fā)＂，完全錯誤。觀察注意力權(quán)重發(fā)現(xiàn)，ReGen模型更多地關(guān)注輸入視頻本身，而不是依賴之前生成的文本。

第二種獎勵是CLIP獎勵（CLIP-R），它解決了一個重要問題：僅僅使用CLS-R可能導(dǎo)致模型為同一類別的所有視頻生成幾乎相同的描述，忽略視頻的具體內(nèi)容。例如，所有＂踢足球＂類別的視頻可能都被描述為＂兩個人在踢足球＂，即使有些視頻中有更多的球員。

CLIP-R通過計算生成描述的文本嵌入與視頻特征嵌入之間的相似度來解決這個問題。這種獎勵鼓勵模型生成的描述不僅要能正確分類，還要反映特定視頻的內(nèi)容特點。實驗表明，加入CLIP-R后，模型生成的描述更加細(xì)致具體，能夠捕捉視頻中的獨(dú)特細(xì)節(jié)。

第三種獎勵是語法獎勵（GRAMMAR-R），它確保生成的描述在語法上是正確的。在實踐中，研究者嘗試了兩種變體：基于語言模型（LM）的獎勵和基于判別器的獎勵。

LM變體利用預(yù)訓(xùn)練的語言模型為每個生成的文本計算概率分?jǐn)?shù)。由于自然語言中不太可能出現(xiàn)重復(fù)或調(diào)換的單詞，這種方法能夠引導(dǎo)模型生成語法正確的句子。研究者嘗試了多種語言模型，包括DistillBERT、BERT-Base、BERT-Large和DeBERTa-Base，發(fā)現(xiàn)大型模型略微占優(yōu)。

判別器變體則訓(xùn)練了一個專門的網(wǎng)絡(luò)來評估文本的語法正確性。這個判別器通過擾亂正確句子（如交換、打亂、重復(fù)、插入或刪除單詞）來創(chuàng)建訓(xùn)練數(shù)據(jù)，學(xué)習(xí)區(qū)分正確和錯誤的語法。實驗表明，判別器變體產(chǎn)生的描述在CIDEr評分上更高（46.1 vs 40.5），但在分類準(zhǔn)確率上略低。

這三種獎勵的組合是ReGen成功的關(guān)鍵。分類獎勵確保描述具有判別性，CLIP獎勵保證描述與具體視頻相關(guān)，語法獎勵則維持描述的可讀性和流暢性。實驗結(jié)果表明，缺少任何一種獎勵都會導(dǎo)致性能下降。例如，僅使用CLS-R時，模型在Kinetics-220上的準(zhǔn)確率為38.6%，但生成的描述質(zhì)量（CIDEr分?jǐn)?shù)28.1）較低；僅使用CLS-R和GRAMMAR-R時，描述質(zhì)量提高（CIDEr 33.4），但缺乏視頻特異性；三種獎勵結(jié)合時，在保持高準(zhǔn)確率（38.2%）的同時，描述質(zhì)量顯著提升（CIDEr 40.5）。

ReGen的訓(xùn)練過程采用了一種漸進(jìn)式策略：首先使用REST方法預(yù)訓(xùn)練基礎(chǔ)模型，然后應(yīng)用強(qiáng)化學(xué)習(xí)進(jìn)行微調(diào)。這種方法允許模型從一個合理的起點開始，然后通過探索更廣泛的表達(dá)方式來提高其判別性能。

技術(shù)實現(xiàn)之道

ReGen框架的技術(shù)實現(xiàn)并非一蹴而就，而是建立在深思熟慮的系統(tǒng)設(shè)計之上。這個系統(tǒng)由兩個主要部分組成：一個視頻編碼器和一個自回歸文本解碼器。視頻編碼器負(fù)責(zé)提取視頻中的關(guān)鍵特征，而文本解碼器則根據(jù)這些特征生成描述性文本。

在具體實現(xiàn)上，研究團(tuán)隊選擇了基于GIT和BLIP這兩種流行架構(gòu)進(jìn)行適配。視頻編碼器采用了視覺轉(zhuǎn)換器（ViT），它能夠有效處理視頻幀序列。當(dāng)處理多幀視頻時，系統(tǒng)會為每一幀的視覺特征添加時間編碼，然后在時間維度上取平均值，以保留視頻的時序信息。文本解碼器則采用類似BERT的結(jié)構(gòu)，輸入是視覺特征和文本嵌入的拼接，用特殊標(biāo)記[BOS]分隔。在測試階段，解碼器會自回歸地生成描述，直到遇到結(jié)束標(biāo)記[EOS]。

生成描述后，系統(tǒng)使用CLIP的文本編碼器計算該描述的嵌入向量，同時也計算所有類別名稱的嵌入向量。最終的類別預(yù)測基于描述嵌入與類別名稱嵌入之間的內(nèi)積最大值。

強(qiáng)化學(xué)習(xí)在ReGen中扮演著核心角色。傳統(tǒng)的監(jiān)督學(xué)習(xí)方法通常使用交叉熵?fù)p失直接優(yōu)化模型輸出，這容易導(dǎo)致模型過度擬合訓(xùn)練數(shù)據(jù)中的類別。而ReGen采用的強(qiáng)化學(xué)習(xí)方法允許模型探索更廣泛的表達(dá)方式，同時通過精心設(shè)計的獎勵機(jī)制引導(dǎo)它朝著期望的方向發(fā)展。

具體來說，ReGen使用REINFORCE算法，結(jié)合自批評基線策略進(jìn)行訓(xùn)練。在每個訓(xùn)練步驟中，系統(tǒng)會生成多個候選描述（通過束搜索），并計算每個描述的獎勵值。模型參數(shù)的更新基于這些獎勵值，鼓勵生成高獎勵的描述。

為了避免基類過擬合，這種訓(xùn)練方式至關(guān)重要。與直接監(jiān)督學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)不會強(qiáng)制模型輸出特定的文本，而是讓模型自主探索表達(dá)空間。這種靈活性使得模型能夠發(fā)現(xiàn)新的、可能更有判別力的表達(dá)方式，而不僅僅是死記硬背訓(xùn)練集中的模式。

在訓(xùn)練過程中，研究者采用了漸進(jìn)式策略：首先使用REST方法預(yù)訓(xùn)練基礎(chǔ)模型，然后應(yīng)用強(qiáng)化學(xué)習(xí)進(jìn)行微調(diào)。具體訓(xùn)練超參數(shù)包括使用AdamW優(yōu)化器，學(xué)習(xí)率為1e-7，權(quán)重衰減為0.001，批量大小為8。各種獎勵函數(shù)的權(quán)重分別為λCLS-R=1.0，λCLIP-R=5.0，λGRAMMAR-R=0.2。所有模型都訓(xùn)練了10個周期，使用PyTorch實現(xiàn)。

值得注意的是，ReGen框架的設(shè)計具有高度靈活性。實驗表明，無論是基于BLIP還是GIT架構(gòu)，ReGen都能顯著提升模型性能。這種架構(gòu)無關(guān)性意味著ReGen可以作為一種通用的訓(xùn)練框架，應(yīng)用于各種生成式視頻理解模型。

另一個重要設(shè)計考量是計算效率。強(qiáng)化學(xué)習(xí)通常需要大量計算資源，特別是在處理視頻數(shù)據(jù)時。ReGen通過精心設(shè)計的獎勵函數(shù)和訓(xùn)練策略，在保持性能的同時控制計算成本。例如，使用自批評基線策略減少了方差，加速了收斂，而使用預(yù)訓(xùn)練模型作為起點則大大縮短了訓(xùn)練時間。

模型的注意力機(jī)制分析揭示了ReGen成功的一個關(guān)鍵因素：它使模型更多地關(guān)注視頻內(nèi)容，而不是依賴先前生成的文本。如圖3所示，ReGen訓(xùn)練的模型在生成描述時，注意力主要集中在視頻幀上（文本到圖像注意力較高），而直接自回歸類名訓(xùn)練的模型則主要關(guān)注之前生成的文本（文本到文本注意力較高）。這表明ReGen訓(xùn)練的模型真正學(xué)會了＂看＂視頻，而不是簡單預(yù)測下一個可能的單詞。

突破與展望

ReGen在多個基準(zhǔn)測試上的表現(xiàn)令人印象深刻，展示了其作為零樣本視頻分類器的卓越能力。在傳統(tǒng)的零樣本動作識別測試中，ReGen在HMDB-51和UCF-101這兩個標(biāo)準(zhǔn)數(shù)據(jù)集上均實現(xiàn)了顯著突破。

具體來看，在HMDB-51數(shù)據(jù)集上，ReGen達(dá)到了55.1%的零樣本準(zhǔn)確率，比之前的最佳結(jié)果REST（49.7%）提高了5.4個百分點。在UCF-101數(shù)據(jù)集上，ReGen的準(zhǔn)確率高達(dá)76.4%，超過了之前最好的方法X-Florence（73.2%）3.2個百分點。這些改進(jìn)幅度在已經(jīng)相當(dāng)成熟的領(lǐng)域中尤為可貴。

更值得注意的是ReGen在擴(kuò)展性測試中的表現(xiàn)。在Kinetics-220數(shù)據(jù)集的標(biāo)準(zhǔn)1-vs-160設(shè)置（即在160個新類別中進(jìn)行分類）中，ReGen的準(zhǔn)確率達(dá)到62.0%，遠(yuǎn)高于REST的51.7%，雖然略低于最新的判別式方法X-Florence（68.8%）。但當(dāng)考慮所有620個類別（包括基礎(chǔ)類別和新類別）時，情況發(fā)生了戲劇性變化。在這種被稱為泛化零樣本設(shè)置的更具挑戰(zhàn)性的場景中，ReGen的準(zhǔn)確率為38.1%，大幅領(lǐng)先于X-CLIP的14.76%。這一結(jié)果強(qiáng)有力地說明了ReGen在避免基類過擬合方面的優(yōu)勢。

ReGen在少樣本動作識別任務(wù)中同樣表現(xiàn)出色。在這種設(shè)置下，模型可以訪問少量目標(biāo)類別的樣本（通常是2、4、8或16個）。在HMDB-51上，ReGen在各種樣本數(shù)量下都顯著優(yōu)于之前的方法，準(zhǔn)確率提高了6.8-8.6個百分點。在UCF-101上，改進(jìn)幅度為0.3-1.4個百分點。這表明ReGen不僅在完全未見過的類別上表現(xiàn)良好，在資源有限的環(huán)境中也能快速適應(yīng)新類別。

除了分類性能外，ReGen生成的描述本身也值得關(guān)注。在VaTeX數(shù)據(jù)集上進(jìn)行的零樣本視頻描述實驗中，ReGen（使用判別器變體）的CIDEr評分達(dá)到46.1，與使用超過2B圖像和24M視頻訓(xùn)練的Flamingo-80B模型（46.7）相當(dāng)，而Flamingo-80B在規(guī)模上要大160倍以上。這表明ReGen的生成能力不僅對分類有用，在視頻描述任務(wù)中也具有競爭力。

圖4展示了一些定性比較的例子，清晰地顯示了ReGen相對于REST的優(yōu)勢。ReGen生成的描述更具體、更接近視頻內(nèi)容，同時保持了語法的正確性。這些高質(zhì)量的描述不僅有助于更準(zhǔn)確的分類，也提高了系統(tǒng)的可解釋性，使用戶能夠理解為什么模型會做出特定的分類決策。

ReGen的成功對視頻理解領(lǐng)域有著廣泛的啟示。一方面，它展示了生成式方法在解決零樣本分類問題上的潛力，為傳統(tǒng)的判別式范式提供了有力的替代方案。另一方面，它證明了強(qiáng)化學(xué)習(xí)在調(diào)整大型預(yù)訓(xùn)練模型行為方面的有效性，特別是在需要平衡多個目標(biāo)（如判別性、特異性和語法正確性）的情況下。

展望未來，ReGen技術(shù)還有多個潛在發(fā)展方向。擴(kuò)展到更復(fù)雜的視頻理解任務(wù)是一個自然的下一步，例如視頻問答、視頻推理或視頻摘要。這些任務(wù)需要更深入地理解視頻內(nèi)容，并生成更復(fù)雜的文本響應(yīng)，可能會從ReGen的訓(xùn)練框架中受益。

另一個方向是探索更多樣化的獎勵函數(shù)設(shè)計。當(dāng)前的三種獎勵已經(jīng)展示了強(qiáng)大的效果，但仍有改進(jìn)空間。例如，可以引入更特定于領(lǐng)域的獎勵，或者設(shè)計能更好捕捉視頻時序特性的獎勵。

技術(shù)集成也是一個有前途的方向。將ReGen與最新的視頻和語言模型架構(gòu)結(jié)合，或者將其與其他零樣本學(xué)習(xí)技術(shù)（如提示學(xué)習(xí)或數(shù)據(jù)增強(qiáng)）集成，可能會進(jìn)一步提升性能。

ReGen的成功故事告訴我們，在機(jī)器學(xué)習(xí)中，有時候正確的訓(xùn)練方法比復(fù)雜的模型架構(gòu)更重要。通過精心設(shè)計的獎勵機(jī)制和強(qiáng)化學(xué)習(xí)框架，ReGen成功地將一個生成式視頻描述模型轉(zhuǎn)變?yōu)橐粋€高性能的零樣本分類器，為開放世界視頻理解開辟了新的可能性。

參考資料

1. Bulat， A.， et al. （2023）. ReGen: A Good Generative Zero-shot Video Classifier Should be Rewarded. ICCV 2023.

2. Martinez， B.， et al. （2022）. REST: Retrieval-Based Self-Training Framework for Zero-Shot Video Classification.

3. Sanchez， E.， &； Tzimiropoulos， G. （2021）. X-CLIP: End-to-End Video Classification with Vision Transformers.