告別全量掃描！浙大提出COIDO：破解多模態(tài)數(shù)據(jù)選擇「高耗」難題

本文第一作者是二年級(jí)博士生閆熠辰，主要研究方向是多模態(tài)大模型的數(shù)據(jù)質(zhì)量管理；通訊作者是李環(huán)研究員，主要研究方向包括人工智能數(shù)據(jù)準(zhǔn)備、大模型高效推理與部署、時(shí)空大數(shù)據(jù)與模型輕量化等。

01 省流版：一張圖看懂 COIDO

在深入技術(shù)細(xì)節(jié)之前，我們先用一張漫畫(huà)來(lái)直觀理解 COIDO (Coupled Importance-Diversity Optimization) 解決的核心問(wèn)題與方案：

正如鐘離在漫畫(huà)中所言，面對(duì)海量視覺(jué)指令數(shù)據(jù)的選擇任務(wù)，傳統(tǒng)方法需要遍歷全部數(shù)據(jù)才能進(jìn)行篩選造成大量「磨損」（高昂計(jì)算成本）。同時(shí)在面對(duì)數(shù)據(jù)重要性和多樣性問(wèn)題時(shí)，傳統(tǒng)方法往往顧此失彼。而 COIDO 通過(guò)「耦合優(yōu)化」的新契約，實(shí)現(xiàn)了以簡(jiǎn)馭繁的效果。

02 論文速覽

• 論文題目：COIDO: Efficient Data Selection for Visual Instruction Tuning via Coupled Importance-Diversity Optimization
• 收錄會(huì)議：NeurIPS 2025
• 作者單位：浙江大學(xué)大數(shù)據(jù)智能團(tuán)隊(duì)、杭州電子科技大學(xué)、北京郵電大學(xué)
• 項(xiàng)目代碼：https://github.com/SuDIS-ZJU/COIDO
• 論文鏈接：https://arxiv.org/abs/2510.17847

03 研究背景與動(dòng)機(jī) (Motivation)

多模態(tài)大語(yǔ)言模型（MLLM）的能力在很大程度上依賴于高質(zhì)量的視覺(jué)指令微調(diào)（Visual Instruction Tuning）。然而，隨著數(shù)據(jù)集規(guī)模的爆炸式增長(zhǎng)（如 LLaVA-665K），在全量數(shù)據(jù)上進(jìn)行微調(diào)帶來(lái)了巨大的計(jì)算開(kāi)銷和冗余 。

現(xiàn)有的數(shù)據(jù)篩選方法雖然旨在選取高質(zhì)量子集，但普遍存在兩個(gè)關(guān)鍵痛點(diǎn)：

• 高昂的篩選成本：現(xiàn)有方法通常要求目標(biāo) MLLM 對(duì)全量數(shù)據(jù)進(jìn)行反向傳播以計(jì)算重要性（如梯度、Loss），這導(dǎo)致篩選階段本身的計(jì)算成本就極高，違背了 「降本增效」的初衷 。也就是說(shuō)，為了篩選出少量有價(jià)值數(shù)據(jù)，我們還是得讓全部的數(shù)據(jù)進(jìn)入到目標(biāo) MLLM 當(dāng)中并訓(xùn)練。
• 優(yōu)化目標(biāo)的解耦：數(shù)據(jù)篩選通常需要兼顧重要性（Importance）和多樣性（Diversity）?，F(xiàn)有方法往往將二者割裂處理——在訓(xùn)練階段關(guān)注重要性，在篩選階段通過(guò)獨(dú)立算法處理多樣性。這種解耦往往導(dǎo)致次優(yōu)的權(quán)衡 。

針對(duì)上述問(wèn)題，本文提出了 COIDO 框架，旨在通過(guò)極低成本的訓(xùn)練，實(shí)現(xiàn)重要性與多樣性的聯(lián)合（耦合）優(yōu)化 。

04 方法論 (Mothodology)

COIDO 的核心思想是摒棄「遍歷全量數(shù)據(jù)」的舊范式，轉(zhuǎn)而采用輕量級(jí)評(píng)分器（Plug-in Scorer）配合小樣本采樣的策略。

1. 輕量級(jí)評(píng)分器與小樣本學(xué)習(xí)：不同于需要全量微調(diào) MLLM 的方法，COIDO 引入了一個(gè)輕量級(jí)的插件評(píng)分器（COIDO Scorer）。我們僅從全量數(shù)據(jù)中隨機(jī)采樣一小部分（例如 20%）作為訓(xùn)練集。評(píng)分器通過(guò)這部分?jǐn)?shù)據(jù)學(xué)習(xí)整個(gè)數(shù)據(jù)集的分布特征，從而能夠?qū)κＳ鄶?shù)據(jù)進(jìn)行泛化評(píng)分，無(wú)需遍歷全集進(jìn)行訓(xùn)練 。

2. 重要性與多樣性的耦合優(yōu)化 (Coupled Optimization)：這是本論文的核心創(chuàng)新點(diǎn)。本文將重要性和多樣性的優(yōu)化統(tǒng)一在了一個(gè)聯(lián)合訓(xùn)練框架中，而非分階段進(jìn)行：

重要性損失 (L_I)：基于 Cross-Entropy Loss 的重加權(quán)。我們將評(píng)分器輸出的得分 w 加權(quán)作用于 MLLM 的預(yù)測(cè) Loss。根據(jù)反向傳播原理，模型會(huì)自動(dòng)降低高難度（高 Loss）樣本的權(quán)重以最小化整體 Loss，從而使得評(píng)分器隱式地學(xué)習(xí)到樣本的重要性（即：分?jǐn)?shù)越低，樣本越重要 / 越難）
多樣性損失 (L_D)：基于譜聚類（Spectral Clustering）的方差最小化。我們?cè)谔卣骺臻g將數(shù)據(jù)聚類，并計(jì)算各簇（Cluster）平均得分的方差。通過(guò)最小化該方差，迫使模型在挑選高分樣本時(shí)，不會(huì)過(guò)度集中于某一類，從而保證了數(shù)據(jù)的多樣性分布。

05 實(shí)驗(yàn) (Experiments)

本文在 LLaVA-1.5-7B 模型及 LLaVA-665K 數(shù)據(jù)集上進(jìn)行了廣泛驗(yàn)證，并在 10 個(gè)主流多模態(tài)基準(zhǔn)（包括 VQAv2, GQA, MMBench 等）上進(jìn)行了測(cè)試。

1. 性能與效率的雙重 SOTA：實(shí)驗(yàn)結(jié)果表明，COIDO 僅利用 20% 的數(shù)據(jù)進(jìn)行訓(xùn)練和篩選，即可達(dá)到全量數(shù)據(jù)微調(diào) 98.2% 的平均性能。與現(xiàn)有的 SOTA 方法（如 ICONS、TIVE、COINCIDE）相比：

• 計(jì)算效率最高：COIDO 擁有最低的 Total FLOPs (4.2E)，顯著優(yōu)于需要全量遍歷的方法。
• 篩選質(zhì)量最優(yōu)：在相同的數(shù)據(jù)留存率下，COIDO 在各個(gè) Benchmark 上均取得了極具競(jìng)爭(zhēng)力的結(jié)果。

2. 強(qiáng)大的泛化性與遷移性：將在 LLaVA-665K 上訓(xùn)練好的 COIDO Scorer 直接應(yīng)用于 Vision-Flan 數(shù)據(jù)集（Zero-shot Transfer），其表現(xiàn)甚至優(yōu)于在該數(shù)據(jù)集上從頭訓(xùn)練的評(píng)分器，證明了 COIDO 能夠?qū)W習(xí)到通用的數(shù)據(jù)價(jià)值評(píng)估標(biāo)準(zhǔn)。

06 總結(jié) (Conclusion)

COIDO 提供了一種全新的多模態(tài)數(shù)據(jù)篩選范式。它打破了「數(shù)據(jù)篩選必須昂貴」的刻板印象，證明了通過(guò)耦合優(yōu)化和小樣本學(xué)習(xí)，我們可以「以簡(jiǎn)馭繁」，用極小的計(jì)算代價(jià)精準(zhǔn)定位高價(jià)值的視覺(jué)指令數(shù)據(jù)。這不僅為資源受限的研究者提供了高效微調(diào) MLLM 的可能，也為未來(lái)大規(guī)模多模態(tài)數(shù)據(jù)的自動(dòng)化清洗與治理提供了新的思路。

關(guān)注項(xiàng)目主頁(yè)獲取更多細(xì)節(jié)與代碼實(shí)現(xiàn)！