架構(gòu)解耦是統(tǒng)一多模態(tài)模型所必須的嗎？全新AIA損失：No

近一年以來(lái)，統(tǒng)一理解與生成模型發(fā)展十分迅速，該任務(wù)的主要挑戰(zhàn)在于視覺(jué)理解和生成任務(wù)本身在網(wǎng)絡(luò)層間會(huì)產(chǎn)生沖突。早期的完全統(tǒng)一模型（如 Emu3）與單任務(wù)的方法差距巨大，Janus-Pro、BAGEL 通過(guò)一步一步解耦模型架構(gòu)，極大地減小了與單任務(wù)模型的性能差距，后續(xù)方法甚至通過(guò)直接拼接現(xiàn)有理解和生成模型以達(dá)到極致的性能。

香港中文大學(xué) MMLab 和美團(tuán)的研究者相信，在不久的將來(lái)統(tǒng)一模型的性能一定能夠達(dá)到單任務(wù)的水平，但同時(shí)也引起了他們的思考，目前通過(guò)拆解架構(gòu)換取性能提升的方式真的是正確的嗎，它是否背離統(tǒng)一模型的初衷，它能夠提升性能的內(nèi)在原因又是什么，這種方式真的是統(tǒng)一模型必須的嗎？

「統(tǒng)一模型的初衷」以及「 架構(gòu)解耦的缺點(diǎn)」

統(tǒng)一理解生成模型的初衷是為了通過(guò)透明化、合理化的圖文交錯(cuò)思考過(guò)程，提高單任務(wù)的性能，例如讓模型走迷宮時(shí)統(tǒng)一模型可以生成每一步對(duì)應(yīng)的圖像，可以在模型做數(shù)學(xué)題的時(shí)候給圖像畫(huà)上輔助線，或者是在生成一張圖像的時(shí)候邊畫(huà)邊思考有沒(méi)有生成不合理的地方并且自動(dòng)修正，這些都是 Uni-MMMU 等當(dāng)前統(tǒng)一模型基準(zhǔn)所關(guān)注，也是它本身被獨(dú)立成一個(gè)領(lǐng)域的初衷。

再回到架構(gòu)解耦的模型，例如 BAGEL 上，它本身如果要實(shí)現(xiàn)圖文交錯(cuò)思考，需要經(jīng)歷隱空間解碼到文字或者像素空間，然后再編碼到隱空間的復(fù)雜過(guò)程，兩個(gè)任務(wù)也幾乎不在同一個(gè)模型空間中，具有計(jì)算開(kāi)銷大、信息丟失兩大問(wèn)題。雖然在當(dāng)前情況下相比于其可觀的性能，這個(gè)問(wèn)題似乎并不顯著，但是研究者認(rèn)為隨著研究的進(jìn)行，這會(huì)是一個(gè)很大的問(wèn)題。

AIA: 模型架構(gòu)解耦不是統(tǒng)一模型必須的

為了探究清楚「架構(gòu)解耦帶來(lái)性能提升的內(nèi)在原因」以及「探索不使用架構(gòu)解耦的前提下提升模型性能的方式」，香港中文大學(xué) MMLab 和美團(tuán)聯(lián)合推出了 AIA。

• 論文標(biāo)題：Architecture Decoupling Is Not All You Need For Unified Multimodal Model
• 論文鏈接：https://arxiv.org/abs/2511.22663
• 代碼：https://github.com/zhengdian1/AIA
• 網(wǎng)頁(yè)：https://github.com/zhengdian1/AIA-project

研究者首先通過(guò)研究不同架構(gòu)的統(tǒng)一模型在每一層網(wǎng)絡(luò)中跨模態(tài)交互的強(qiáng)度，他們驚訝地發(fā)現(xiàn)不管如何進(jìn)行模型架構(gòu)解耦，理解和生成任務(wù)在同一層網(wǎng)絡(luò)中始終呈現(xiàn)負(fù)相關(guān)的關(guān)系，同時(shí)進(jìn)一步驗(yàn)證了這個(gè)現(xiàn)象與輸入的模態(tài)、長(zhǎng)度和類別都沒(méi)有關(guān)系，這說(shuō)明是模型自發(fā)在學(xué)習(xí)如何合理地分配兩個(gè)任務(wù)在每一層中的占比，從而 「緩解沖突」，這又說(shuō)明架構(gòu)解耦本質(zhì)上并沒(méi)有解決任務(wù)之間沖突的問(wèn)題。

研究者進(jìn)一步在最后一列可視化了現(xiàn)在單任務(wù) SOTA 的模型的多模態(tài)交互模式（HunyuanImage-3.0 雖然是統(tǒng)一模型，但更側(cè)重于生成效果），結(jié)果發(fā)現(xiàn)隨著模型解耦程度的增強(qiáng)，其對(duì)應(yīng)的跨模態(tài)交互模式會(huì)趨向于單任務(wù)的表現(xiàn)，這也是能夠?qū)崿F(xiàn)性能提升的主要原因。

基于這個(gè)發(fā)現(xiàn)，研究者設(shè)計(jì)了Attention Interaction Alignment (AIA) 損失，通過(guò)將單任務(wù)模型的跨模態(tài)交互模式作為學(xué)習(xí)目標(biāo)，在訓(xùn)練的過(guò)程中顯式地約束統(tǒng)一模型的交互模式。

AIA 效果如何？

研究者在 Emu3 和 Janus-Pro 這兩種完全統(tǒng)一架構(gòu)、輕微模型解耦架構(gòu)上進(jìn)行了實(shí)驗(yàn)，如下表所示，結(jié)果表明本文的方法能夠在沒(méi)有任何其他 trick 的情況下提升這些模型的性能，減小了與更高解耦程度模型的差距。

同時(shí)，研究者給出了使用 AIA 損失之后 Emu3 和 Janus-Pro 跨模態(tài)交互模式曲線變化，可以發(fā)現(xiàn)加入了 AIA 損失之后，兩個(gè)模型的交互曲線都向單任務(wù)模型的表現(xiàn)靠近了，既證明了 AIA 損失的有效性，同時(shí)也說(shuō)明了模型架構(gòu)解耦不是唯一能夠提高統(tǒng)一模型性能的方式。

當(dāng)然，研究者也承認(rèn)在目前情況下完全統(tǒng)一的方法和高解耦程度的模型之間存在很大的差距，但正如 Emu3.5 的出現(xiàn)，他們認(rèn)為這個(gè)差距會(huì)越來(lái)越小。因此，研究者呼吁更多的人拋開(kāi)表層的框架和數(shù)據(jù)配比，深入研究統(tǒng)一模型的任務(wù)沖突問(wèn)題，尋找更優(yōu)的解法。

AIA 好訓(xùn)嗎？

由于 Emu3 只有預(yù)訓(xùn)練 (PT) 階段是統(tǒng)一訓(xùn)練的，因此研究者在其 PT 權(quán)重上進(jìn)行微調(diào)，而 Janus-Pro 給的是最終 SFT 微調(diào)后的權(quán)重，研究者在此基礎(chǔ)上進(jìn)行后訓(xùn)練。

研究者通過(guò)調(diào)整 AIA 損失與 next-token-prediction (NTP) 損失的比重來(lái)測(cè)試其微調(diào)的敏感度，結(jié)果發(fā)現(xiàn)訓(xùn)練 Emu3 的時(shí)候由于其預(yù)訓(xùn)練知識(shí)比較薄弱，AIA 損失在一個(gè)很大的范圍內(nèi)都能達(dá)到穩(wěn)定收斂的效果。而在 Janus-Pro 中，由于其本身預(yù)訓(xùn)練知識(shí)很強(qiáng)，AIA 的加入非常容易影響模型訓(xùn)練，但在合適的比重情況下仍然能夠達(dá)到不錯(cuò)的效果。

AIA 有什么優(yōu)勢(shì)？

AIA 損失的加入可以一定程度上減少現(xiàn)在常見(jiàn)的數(shù)據(jù)配比工程問(wèn)題，本文的方法在生成與理解數(shù)據(jù)配比在 1:1 的情況下能夠達(dá)到更好的效果，這說(shuō)明在一定程度上兩個(gè)任務(wù)的訓(xùn)練不再是沖突的，產(chǎn)生了協(xié)同優(yōu)化的效果。

統(tǒng)一模型訓(xùn)練的正確道路是什么？

通過(guò)結(jié)合現(xiàn)在所有統(tǒng)一模型訓(xùn)練的問(wèn)題以及本文的實(shí)驗(yàn)分析，可以發(fā)現(xiàn)不管怎樣解耦模型，其始終會(huì)在統(tǒng)一訓(xùn)練的過(guò)程中動(dòng)態(tài)分配不同任務(wù)在同一層的權(quán)重來(lái)緩解沖突，那這是否實(shí)際上代表了統(tǒng)一模型的正確行為？

另一條統(tǒng)一路徑是移除所有可以用來(lái)區(qū)分任務(wù)的線索（即采用統(tǒng)一分詞器、消除任務(wù)相關(guān)特殊 token、使用交錯(cuò)數(shù)據(jù)數(shù)據(jù)輸入），迫使模型只能從輸入中學(xué)習(xí)真正的統(tǒng)一空間。雖然這種方法或許可以解決任務(wù)間的負(fù)相關(guān)問(wèn)題，但也會(huì)顯著增加訓(xùn)練難度。

未來(lái)展望

AIA 邁出了統(tǒng)一模型訓(xùn)練原理分析的第一步，研究者希望能夠有更多志同道合的研究者加入這個(gè)領(lǐng)域的探索。統(tǒng)一模型現(xiàn)在的理論、架構(gòu)都遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到成熟，需要大家共同進(jìn)行探索。同時(shí)研究者也希望大家能夠更加關(guān)注統(tǒng)一模型真正的意義，不要一味地關(guān)注當(dāng)前單任務(wù)基準(zhǔn)上的性能。