全圖與切片并非等價(jià)？LLaVA-UHD-v3揭示差異推出高效全圖建模方案

隨著多模態(tài)大模型（MLLMs）在各類視覺語言任務(wù)中展現(xiàn)出強(qiáng)大的理解與交互能力，如何高效地處理原生高分辨率圖像以捕捉精細(xì)的視覺信息，已成為提升模型性能的關(guān)鍵方向。

然而，主流的視覺編碼范式往往難以兼顧性能與效率：基于切片的編碼方法雖能降低計(jì)算開銷，卻犧牲了全局上下文感知能力；而全局原生分辨率編碼在提升整體性能的同時(shí)，又帶來了巨大的計(jì)算負(fù)擔(dān)。同時(shí)，現(xiàn)有的視覺壓縮策略與特征提取過程相對(duì)獨(dú)立，難以在編碼早期有效控制信息冗余，缺乏一個(gè)兼顧細(xì)粒度建模與計(jì)算效率的統(tǒng)一架構(gòu)。

針對(duì)如何在高清原生分辨率下，保持圖像全局理解能力的同時(shí)，還能快速推理這一核心問題，來自清華大學(xué)、中科院的研究團(tuán)隊(duì)正式發(fā)布LLaVA-UHD v3！

• 論文標(biāo)題：LLAVA-UHD V3: PROGRESSIVE VISUAL COMPRESSION FOR EFFICIENT NATIVE-RESOLUTION ENCODING IN MLLMS
• 論文鏈接：https://arxiv.org/abs/2511.21150
• 代碼鏈接：https://github.com/thunlp/LLaVA-UHD
• huggingface 鏈接：https://huggingface.co/Sishxo/LLaVA-UHD-v3

LLaVA-UHD-v3 提出了全新的漸進(jìn)式視覺壓縮框架 ——Progressive Visual Compression（PVC），由Refined Patch Embedding（RPE）與Windowed Token Compression（WTC）兩個(gè)核心組件構(gòu)成。該框架在保持全局語義一致性的前提下，顯著減少視覺 Token 數(shù)量，從根本上提升原生高分辨率視覺編碼的效率。依托 PVC，LLaVA-UHD-v3 在性能上可與 Qwen2-VL 相媲美，同時(shí)實(shí)現(xiàn)1.9× 的 TTFT 加速，完整訓(xùn)練僅需32 張 A100、約 300 小時(shí)即可完成。

切片編碼 vs 全圖編碼深入分析

為了公平對(duì)比兩種主流視覺編碼方式 —— 基于切片的編碼 (Slice-based Encoding, SBE) 與 全局原生分辨率編碼 (Global Native-Resolution Encoding, GNE) —— 團(tuán)隊(duì)使用相同模型架構(gòu) + 相同訓(xùn)練數(shù)據(jù) + 相同評(píng)估 protocol。在此基礎(chǔ)上，既在通用多模態(tài) benchmark 上測(cè)試，也專門構(gòu)建了一個(gè)合成數(shù)據(jù)集 ShapeGrid 用于空間感知 / 定位能力分析。

在 ShapeGrid (及其 “Sudoku-style” 子集) 上，GNE 相比 SBE 在空間感知 / 定位任務(wù)上的表現(xiàn)有明顯優(yōu)勢(shì)：空間感知能力平均提升約11.0%。

同時(shí)，在通用視覺 - 語言理解任務(wù)中，GNE 在語義理解表現(xiàn)上也略優(yōu)于 SBE（平均提升約2.1%）。

更重要的是，通過對(duì)比注意力熱圖、激活分布 (attention maps)，研究發(fā)現(xiàn) SBE 在空間定位任務(wù)中表現(xiàn)出系統(tǒng)性的方向、結(jié)構(gòu)偏差 (例如水平、垂直方向不均衡) —— 也就是說 SBE 的切片機(jī)制破壞了圖像的空間連續(xù)性 (spatial continuity 、geometry)，從而削弱了空間理解、定位的可靠性。

因此，該對(duì)比實(shí)驗(yàn)清晰地表明：盡管 SBE 在效率上有優(yōu)勢(shì)，但從語義 + 空間 + 幾何一致性 (global context + spatial reasoning) 的角度，GNE 明顯更適合需要空間感知、高分辨率理解與推理的任務(wù)。

全圖編碼的高效解決方案

全局原生分辨率編碼帶來了較高的計(jì)算成本，這凸顯了迫切需要一種原生且高效的視覺編碼范式。因此，團(tuán)隊(duì)提出了 LLaVA-UHD v3，一種配備了漸進(jìn)式視覺壓縮（PVC）方法的多模態(tài)大模型（MLLM），用于高效的原生分辨率編碼。

PVC 架構(gòu)由兩個(gè)核心模塊組成：

• 精細(xì)化 Patch 嵌入 (Refined Patch Embedding, RPE)：通過將圖像劃分為更小尺寸的 patch，并用偽逆 (pseudo-inverse) 方法將預(yù)訓(xùn)練模型原有 embedding 權(quán)重轉(zhuǎn)換為新的、更細(xì)粒度的 embedding。這樣，原本粗粒度 patch 的語義信息被近似保留，但實(shí)現(xiàn)了更豐富的視覺語義提取建模。
• 窗口化 Token 壓縮 (Windowed Token Compression, WTC)：在 ViT 的中間層，將空間上相鄰的多個(gè) token（例如 2×2 區(qū)域）聚合為一個(gè)新 token，初期以均勻平均池化 (average pooling) 起步，并通過一個(gè)輕量級(jí)、零初始化的 MLP 模型學(xué)習(xí)內(nèi)容自適應(yīng)的池化權(quán)重，從而逐漸學(xué)會(huì)對(duì)更重要區(qū)域賦予更高權(quán)重。這樣，隨著網(wǎng)絡(luò)深度的推進(jìn)，token 數(shù)量被大幅壓縮，而關(guān)鍵語義信息得以保留。

這種 “先細(xì)粒度建模 + 再漸進(jìn)壓縮” 的設(shè)計(jì)，使得 PVC 在兼顧全局語義 + 局部細(xì)節(jié)的同時(shí)，大幅降低計(jì)算量。

實(shí)驗(yàn)驗(yàn)證：PVC 在推理效率提升的同時(shí)保留模型能力

效率方面，在統(tǒng)一的 LLM（Qwen2-7B）框架下，本文提出的 ViT-UHD 編碼器相比 MoonViT 實(shí)現(xiàn)了2.4× 加速，相比 Qwen2.5-ViT 也快 1.9×。將其整合到完整的 MLLM 中后，LLaVA-UHD v3 的 TTFT 相較強(qiáng)大的 Qwen2-VL降低 49%（約快 1.9×），甚至比以高效著稱的切片編碼模型 MiniCPM-V2.6 仍然快約 10%。

在性能方面，LLaVA-UHD v3 僅使用約 2000 萬對(duì)圖文數(shù)據(jù)完成訓(xùn)練，遠(yuǎn)低于 Qwen2-VL（約 7 億）和 MiniCPM-V-2.6（約 4.6 億）等商業(yè)模型的訓(xùn)練規(guī)模。然而，其在多項(xiàng)視覺語言基準(zhǔn)中依舊展現(xiàn)出高度競(jìng)爭(zhēng)力。同時(shí)，它實(shí)現(xiàn)了64× 的視覺 Token 壓縮率，遠(yuǎn)超對(duì)手（Qwen2-VL 約為 4×，MiniCPM-V2.6 為 16×），但在需要細(xì)粒度視覺信息的任務(wù)上 —— 包括 HallusionBench（幻覺檢測(cè)）、CV-Bench（空間推理）以及 OCR&Chart（文字與圖表識(shí)別）—— 依然取得了與 SOTA 模型相當(dāng)甚至更優(yōu)的表現(xiàn)。

這些結(jié)果充分驗(yàn)證了 PVC 框架的核心價(jià)值：在大幅減少視覺 Token 和推理開銷的同時(shí)，仍能穩(wěn)健保留關(guān)鍵的細(xì)節(jié)感知與全局理解能力，實(shí)現(xiàn)真正意義上的 “高效而不降級(jí)”。

展望

基于對(duì)全圖編碼與切片編碼優(yōu)劣的深入分析，LLaVA-UHD v3 提出了結(jié)合兩者優(yōu)勢(shì)的漸進(jìn)式視覺壓縮全圖編碼方案，在保證模型能力的前提下實(shí)現(xiàn)了顯著的推理效率提升，并展現(xiàn)出良好的遷移與泛化能力，為 MLLM 的高精度原生分辨率建模提供了可行路徑。

不過，實(shí)驗(yàn)分析表明，缺失了預(yù)對(duì)齊階段的 ViT-UHD 性能不佳，這表明引入 PVC 后的視覺編碼器能力仍未達(dá)到上限：僅靠當(dāng)前 MLLM 的標(biāo)準(zhǔn)訓(xùn)練流程，很難完全挖掘 ViT 的視覺表征潛力，其學(xué)習(xí)尚未飽和。此外，隨著 Token 數(shù)量增大，Transformer 的二次復(fù)雜度仍然會(huì)帶來成本瓶頸。

未來，仍需要探索更適合多模態(tài)任務(wù)的視覺編碼預(yù)訓(xùn)練策略，并逐步引入線性復(fù)雜度算子替代傳統(tǒng)的二次復(fù)雜度注意力機(jī)制，從而實(shí)現(xiàn)真正可擴(kuò)展的高效多模態(tài)建模。