大模型時(shí)代，通用視覺(jué)模型將何去何從？

過(guò)去幾年，通用視覺(jué)模型（Vision Generalist Model，簡(jiǎn)稱(chēng) VGM）曾是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。它們?cè)噲D構(gòu)建統(tǒng)一的架構(gòu)，能夠處理圖像、點(diǎn)云、視頻等多種視覺(jué)模態(tài)輸入，以及分類(lèi)、檢測(cè)、分割等多樣的下游任務(wù)，向著「視覺(jué)模型大一統(tǒng)」的目標(biāo)邁進(jìn)。

然而，隨著大語(yǔ)言模型 LLM 的迅猛發(fā)展，研究熱點(diǎn)已經(jīng)悄然發(fā)生轉(zhuǎn)移。如今，多模態(tài)大模型興起，視覺(jué)被看作是語(yǔ)言模型眾多輸入模態(tài)中的一種，視覺(jué)模態(tài)數(shù)據(jù)被離散化為 Token，與文本一起被統(tǒng)一建模，視覺(jué)的「獨(dú)立性」正在被重新定義。

在這種趨勢(shì)下，傳統(tǒng)意義上以視覺(jué)任務(wù)為核心、以視覺(jué)范式為驅(qū)動(dòng)的通用視覺(jué)模型研究，似乎正在逐漸被邊緣化。然而，我們認(rèn)為視覺(jué)領(lǐng)域仍應(yīng)保有自己的特色和研究重點(diǎn)。與語(yǔ)言數(shù)據(jù)相比，視覺(jué)數(shù)據(jù)具有結(jié)構(gòu)化強(qiáng)、空間信息豐富等天然優(yōu)勢(shì)，但也存在視覺(jué)模態(tài)間差異大、難替代的挑戰(zhàn)。例如：如何統(tǒng)一處理 2D 圖像、3D 點(diǎn)云和視頻流等異質(zhì)輸入？如何設(shè)計(jì)統(tǒng)一的輸出表示來(lái)同時(shí)支持像素級(jí)分割和目標(biāo)檢測(cè)等不同任務(wù)？這些問(wèn)題在當(dāng)前的多模態(tài)范式中并未被充分解決。

正因如此，在這個(gè)多模態(tài)模型席卷科研與工業(yè)的新時(shí)代，回顧并總結(jié)純視覺(jué)范式下的通用視覺(jué)模型研究仍然是一件十分有意義的事情。清華大學(xué)自動(dòng)化系魯繼文團(tuán)隊(duì)最近發(fā)表于 IJCV 的綜述論文系統(tǒng)梳理了該方向的研究進(jìn)展，涵蓋輸入統(tǒng)一方法、任務(wù)通用策略、模型框架設(shè)計(jì)、模型評(píng)測(cè)應(yīng)用等內(nèi)容，希望能為未來(lái)視覺(jué)模型的發(fā)展提供參考與啟發(fā)。

• 論文標(biāo)題：Vision Generalist Model: A Survey
• 論文鏈接：
• https://arxiv.org/abs/2506.09954

VGM 到底解決了什么問(wèn)題？

通用視覺(jué)模型是一種能夠處理多種視覺(jué)任務(wù)和模態(tài)輸入的模型框架。類(lèi)似于大語(yǔ)言模型在自然語(yǔ)言處理中的成功，VGM 旨在通過(guò)構(gòu)建一個(gè)統(tǒng)一的架構(gòu)來(lái)解決各種計(jì)算機(jī)視覺(jué)任務(wù)。傳統(tǒng)的視覺(jué)模型通常針對(duì)特定任務(wù)（如圖像分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割等）設(shè)計(jì)，而 VGM 通過(guò)廣泛的預(yù)訓(xùn)練和共享表示，能夠在不同的視覺(jué)任務(wù)之間實(shí)現(xiàn)零樣本（Zero-shot）遷移，從而無(wú)需為每個(gè)任務(wù)進(jìn)行專(zhuān)門(mén)的調(diào)整。

VGM 的關(guān)鍵能力之一是其多模態(tài)輸入的統(tǒng)一處理能力。不同于傳統(tǒng)模型只處理單一類(lèi)型的視覺(jué)數(shù)據(jù)，VGM 能夠同時(shí)處理來(lái)自多個(gè)模態(tài)的數(shù)據(jù)，如圖像、點(diǎn)云、視頻等，并通過(guò)統(tǒng)一的表示方法將它們映射到共享的特征空間。

此外，VGM 還具備強(qiáng)大的多任務(wù)學(xué)習(xí)能力，能夠在同一個(gè)模型中處理多個(gè)視覺(jué)任務(wù)，從圖像識(shí)別到視頻分析，所有任務(wù)都可以在一個(gè)通用框架下并行處理。

綜述涵蓋了哪些核心內(nèi)容？

數(shù)據(jù) + 任務(wù) + 評(píng)測(cè)：為通用建模打基礎(chǔ)

VGM 通常使用大規(guī)模、多樣化的數(shù)據(jù)集進(jìn)行訓(xùn)練和評(píng)估。為了支持多模態(tài)學(xué)習(xí)，VGM 使用的訓(xùn)練數(shù)據(jù)集涵蓋了圖像、視頻、點(diǎn)云等多種類(lèi)型，本綜述列舉并介紹了一些常見(jiàn)的多模態(tài)數(shù)據(jù)集。

任務(wù)方面，本綜述將視覺(jué)任務(wù)分為四類(lèi)：圖像任務(wù)、幾何任務(wù)、時(shí)間序列任務(wù)以及其他視覺(jué)相關(guān)任務(wù)。評(píng)測(cè)方面，主要通過(guò)多個(gè)綜合基準(zhǔn)來(lái)衡量其在多種任務(wù)和數(shù)據(jù)集上的表現(xiàn)。與傳統(tǒng)的單一任務(wù)評(píng)測(cè)不同，現(xiàn)代評(píng)測(cè)方法更注重模型的跨任務(wù)泛化和多模態(tài)處理能力。本綜述也對(duì)現(xiàn)有通用視覺(jué)模型的評(píng)測(cè)基準(zhǔn)做了充分的調(diào)研與總結(jié)。

模型設(shè)計(jì)范式與技術(shù)補(bǔ)充

現(xiàn)有通用視覺(jué)模型的設(shè)計(jì)范式主要集中在如何統(tǒng)一處理不同視覺(jué)模態(tài)輸入和多樣化任務(wù)輸出，大致可以分為兩種類(lèi)型：編碼式框架和序列到序列框架。

編碼式框架（Encoding-based Framework）旨在通過(guò)構(gòu)建一個(gè)共享的特征空間來(lái)統(tǒng)一不同的輸入模態(tài)，并使用 Transformer 等模型進(jìn)行編碼。這類(lèi)框架通常包括領(lǐng)域特定的編碼器來(lái)處理不同類(lèi)型的數(shù)據(jù)，如圖像、文本和音頻，然后通過(guò)共享的 Transformer 結(jié)構(gòu)進(jìn)行進(jìn)一步處理，最終生成統(tǒng)一的輸出。

而序列到序列框架（Sequence-to-Sequence Framework）則借鑒了自然語(yǔ)言處理中的序列建模方法，將輸入數(shù)據(jù)轉(zhuǎn)換為固定長(zhǎng)度的表示，然后通過(guò)解碼器生成相應(yīng)的輸出。這些框架特別適合處理具有可變長(zhǎng)度輸入輸出的任務(wù)，如圖像生成和視頻分析。

盡管有一些工作并不能被定義為通用視覺(jué)模型，但它們?cè)诼?lián)合多模態(tài)數(shù)據(jù)輸入、模型架構(gòu)設(shè)計(jì)、協(xié)同處理多任務(wù)輸出等方面做出了卓越的技術(shù)貢獻(xiàn)。本綜述也對(duì)這些技術(shù)進(jìn)行了詳盡的討論分析。一些相關(guān)領(lǐng)域的內(nèi)容，如多任務(wù)學(xué)習(xí)、視覺(jué)-語(yǔ)言學(xué)習(xí)、開(kāi)放詞匯，也被用來(lái)擴(kuò)充通用視覺(jué)模型領(lǐng)域的知識(shí)邊界。

此外，作為一個(gè) case study，本綜述對(duì)比了收錄了多個(gè)主流 VGM 模型在 22 個(gè)基準(zhǔn)數(shù)據(jù)集上的評(píng)測(cè)結(jié)果：

VGM 的未來(lái)在哪里？

最后，本綜述總結(jié)了 VGM 的當(dāng)前研究進(jìn)展和面臨的挑戰(zhàn)，還強(qiáng)調(diào)了其在實(shí)際應(yīng)用中的潛力和未來(lái)發(fā)展方向。

現(xiàn)有 VGM 在多個(gè)任務(wù)和多模態(tài)輸入的統(tǒng)一處理方面已經(jīng)取得了顯著的進(jìn)展，但仍面臨著如何優(yōu)化統(tǒng)一框架設(shè)計(jì)、提高訓(xùn)練效率和應(yīng)對(duì)大規(guī)模數(shù)據(jù)等挑戰(zhàn)。數(shù)據(jù)獲取和標(biāo)注仍然是 VGM 發(fā)展的瓶頸。

為了解決這一問(wèn)題，自動(dòng)化標(biāo)注技術(shù)以及大規(guī)模無(wú)監(jiān)督學(xué)習(xí)方法的研究將成為未來(lái)的研究重點(diǎn)。然而，隨著模型規(guī)模的擴(kuò)大，VGM 也面臨著倫理問(wèn)題和偏見(jiàn)的挑戰(zhàn)。大量未標(biāo)注的數(shù)據(jù)中可能包含潛在的偏見(jiàn)，如何確保模型的公平性、透明性和安全性，仍是未來(lái)研究中的重要課題。

盡管如此，現(xiàn)有的 VGM 在實(shí)際應(yīng)用中展示了廣泛的潛力。它不僅可以用于傳統(tǒng)的視覺(jué)任務(wù)，如圖像分類(lèi)、目標(biāo)檢測(cè)和語(yǔ)義分割，還能擴(kuò)展到更復(fù)雜的多模態(tài)任務(wù)，如視覺(jué)問(wèn)答、圖像-文本檢索、視頻理解等。這些應(yīng)用涵蓋了智能監(jiān)控、自動(dòng)駕駛、機(jī)器人等多個(gè)領(lǐng)域，推動(dòng)了 VGM 在實(shí)際場(chǎng)景中的廣泛部署。

希望這篇文章能給研究中的你一些啟發(fā)。