VideoCoF推出創新視頻編輯技術，無需Mask實現高精度時序推理！

本文第一作者是 UTS 博士生楊向鵬，主要研究方向是視頻生成和世界模型；第二作者是謝集，浙江大學的四年級本科生，主要研究方向統一多模態大模型和視頻生成。通訊作者是吳強教授，主要研究方向為計算機視覺和模式識別。

現有的視頻編輯模型往往面臨「魚與熊掌不可兼得」的困境：專家模型精度高但依賴 Mask，通用模型雖免 Mask 但定位不準。來自悉尼科技大學和浙江大學的研究團隊提出了一種全新的視頻編輯框架 VideoCoF，受 LLM「思維鏈」啟發，通過「看 - 推理 - 編輯」的流程，僅需 50k 訓練數據，就在多項任務上取得了 SOTA 效果，并完美支持長視頻外推！

目前，模型、代碼均已開源，4 步編輯一條視頻，訓練數據 VideoCoF-50k 預計本周內開源！

• 論文鏈接： https://arxiv.org/abs/2512.07469
• 項目主頁： https://videocof.github.io/
• 代碼 / 模型： https://github.com/knightyxp/VideoCoF
• Demo鏈接: https://huggingface.co/spaces/XiangpengYang/VideoCoF

痛點：精度與通用的「兩難困境」

在 AIGC 時代，視頻編輯已經有了長足進步，但仍存在一個明顯的痛點：

• 專家模型（Expert Models）：像醫生做手術一樣精準，但往往需要用戶提供繁瑣的 Mask，因此阻礙了自動化和統一化。
• 通用上下文學習模型（Unified In-Context Models）：雖然不需要 Mask，但在面對復雜的空間關系（比如「右邊的那個男孩」）時，往往「眼神不好」，定位不準。

能不能既要高精度，又不要 Mask？

VideoCoF 給出了肯定的答案。

核心創新：像人一樣「先思考，后動手」

VideoCoF 的核心靈感來自于大語言模型（LLM）中的思維鏈（Chain-of-Thought）。研究團隊認為，視頻生成模型也應該具備類似的推理能力。

為此，他們提出了Chain of Frames (CoF) 機制，將視頻編輯過程重構為三個階段：

1. Seeing（看）：輸入原始視頻。
2. Reasoning（推理）：模型先預測出「推理幀」（Reasoning Frame），即用高亮區域明確指出「哪里需要編輯」。
3. Editing（編輯）：基于推理結果，精準生成目標視頻。

這種顯式的推理過程，讓模型學會了主動建立編輯指令與畫面區域的對應關系，從而實現了無需 Mask 的高精度編輯。

時序 RoPE 對齊，實現長視頻外推

除了推理能力，視頻編輯的另一個難題是長度限制。很多模型只能編輯短視頻，一旦視頻變長，動作就會變形或崩壞。

VideoCoF 引入了獨特的RoPE（旋轉位置編碼）對齊策略：

• 巧妙的對齊了原視頻 [1,F] 和編輯視頻 [1,F] 時間索引，同時將推理幀的時間索引設置為 0，避免了推理幀與編輯幀的索引沖突；
• 實現了「訓練短視頻（33 幀），推理長視頻（140 + 幀）」 的能力。

這意味著，你用極小的成本訓練出的模型，可以在推理時處理遠超訓練長度的視頻，且保持動作流暢、無紋理突變和偽影。

實驗驗證：50k 數據「四兩撥千斤」，性能全面 SOTA

除了架構設計的精妙，VideoCoF 最令人印象深刻的當屬其驚人的數據效率。

為了驗證效果，研究團隊構建了一個包含添加、刪除、替換及風格遷移的高質量實例級數據集，并在VideoCoF-Bench上進行了嚴格測評。

1.以小博大：50k vs 100 萬

• VideoCoF：僅使用 50k (5 萬) 視頻對進行微調。
• 基線模型 (ICVE)：依賴龐大的 100 萬 視頻預訓練 + 15 萬 微調數據。

盡管訓練數據量僅為基線的1/20，VideoCoF 卻實現了性能的反超：

• 指令遵循 (Instruct Follow)：得分高達8.97(滿分 10)，顯著優于 ICVE (7.79) 和 VACE (7.47)。這意味著模型能更精準地 “聽懂人話”，不會漏掉指令細節。
• 成功率 (Success Ratio)：達到了76.36%，大幅領先于商業模型 Lucy Edit (29.64%) 和 ICVE (57.76%)。

2.為什么「推理」如此重要？（消融實驗）

VideoCoF 的核心在于「先推理，再編輯」。那么，如果去掉推理幀，直接讓模型硬算，效果會怎樣？

研究團隊進行了詳細的消融實驗（Ablation Study）。結果顯示，相比于沒有推理環節的Naive Temporal in Context基線：

• 引入CoF (Chain of Frames)后，指令遵循能力提升了近 1 分，成功率提升了 10% 以上。
• 引入RoPE 索引解耦后，長視頻外推的保真度（Preservation）和時序一致性（CLIP-F）均有顯著提升。

這有力地證明了：顯式的時序推理（See-Reason-Edit）不僅是錦上添花，更是實現高精度視頻編輯的關鍵。

3.推理幀長什么樣？「五彩斑斕的灰」才是最優解

除了「要不要推理」，VideoCoF 團隊還深入研究了「推理幀到底該長什么樣」，是像分割模型那樣用黑白掩碼？還是像圈圖那樣用紅圈？

在 Table 3 的消融實驗中，團隊對比了三種形式：

• 純黑背景 (Black BG)：效果最差，因為擴散模型往往對極端的純黑 / 純白像素不敏感。
• 紅色高亮 (Red Highlight)：效果中規中矩。
• 灰色高亮 (Gray Highlight)：表現優于紅色。

最終殺器：漸變灰 (Progressive Gray) 。VideoCoF 發現，推理幀不應只是一個靜態的「定位圖」，而應充當從「源視頻」到「編輯視頻」的時序過渡橋梁。

因此，團隊設計了一種透明度漸變（如 0% → 25% → 50% → 75%）的灰色掩碼。這種設計不僅明確了「哪里要改」，更給模型一種「變化正在發生」的動態暗示。

實驗結果（Table 3）顯示，相比于靜態的紅 / 黑掩碼，漸變灰設計直接將指令遵循得分（Instruct Follow）從 7.5/7.8 拉升到了 8.97，證明了細節設計對模型性能的巨大影響。

效果展示：萬物皆可改

VideoCoF 展現了強大的通用編輯能力，無論是增刪改查，還是局部風格遷移，都能精準搞定：

1. 多實例移除 (Multi-Instance Removal)：「移除左邊穿米色褲子的年輕女性」 —— 指哪打哪，背景自動補全，絕不誤傷旁人；
2. 物體添加 (Object Addition)：「在草地上憑空加一只白色的薩摩耶」 —— 從無到有，光影透視完美融合，仿佛它原本就在那里；
3. 多實例物體替換：無論是給人換一件牛仔外套，還是更換性別年齡，從老頭換成女孩， 可以輕松完成；
4. 局部風格遷移：給兔子換個「銅色皮膚」，把路牌從「School」改成「Hospital」，細節紋理都能完美保留。

https://mp.weixin.qq.com/s/e0X_0oF46oYJNqyAI3qetQ?click_id=11

總結

VideoCoF 是一項通過「時序推理」統一視頻編輯任務的開創性工作。它不僅解決了無 Mask 編輯的精度問題，還通過高效的數據利用（僅 50k 樣本）和巧妙的 RoPE 設計，實現了低成本、高性能、長視頻支持的視頻編輯。對于社區而言，VideoCoF 證明了 Better Reasoning > More Data，為未來的視頻生成與編輯研究提供了新的思路。