港科大廣州、快手可靈發布立體視頻轉換單步推理新方案

近年來，隨著 VR 頭戴設備、智能眼鏡、3D 影院的發展，人們對于 3D 立體視頻內容的需求不斷增加。3D 電影帶來的沉浸式體驗著實令人著迷，但因其制作過程需要專業的相機設備、復雜耗時的專家后處理，3D 內容的制作讓普通玩家望而卻步：

2010 年，卡梅隆導演為了實現經典著作《泰坦尼克號》的 3D 版本重制，制作團隊投入了高達 1800 萬美元，動用了 300 名專業工程師，耗時整整 60 周才完成[1]。

如此高昂的成本和復雜的人力投入，一直是 3D 內容生產的最大阻礙。盡管近年來自動化的“單目轉雙目”（Monocular-to-Stereo）技術有所發展，但效果往往不盡如人意，轉換的結果往往要么產生錯誤的視差，要么無法處理復雜的鏡面場景，且速度極慢：現有的研究工作轉換一段 5 秒的視頻，耗時15 分鐘到 70 分鐘不等。

針對這一難題，快手可靈團隊與香港科技大學（廣州）陳穎聰教授團隊（共同一作博士生沈貴寶、紅鳥碩士生杜壹華、博士生葛汶杭）聯合提出了一種全新的解決方案 ——StereoPilot。這是一種基于生成式先驗的統一高效立體視頻轉換模型，能夠在極短的時間內（11 秒），將一段 5 秒的普通 2D 視頻轉換為高質量的 3D 立體視頻，在所有定量指標上均超越了當前 SOTA 方法。

• 論文鏈接：https://arxiv.org/abs/2512.16915
• 項目主頁：https://hit-perfect.github.io/StereoPilot/
• 代碼鏈接：https://github.com/KlingTeam/StereoPilot/

當解鎖了 3D 視頻的制作部分，接下來，你只需要購買一副大約價格 10 元人民幣的紅藍眼鏡，即可跟隨 StereoPliot 一起，開啟沉浸式視覺體驗：

論文的作者，對單目轉雙目視頻，從以往的研究方法到數據格式，由表及里地進行了深入分析：

傳統困境：為何 "Depth-Warp-Inpaint" 走不通？

在 StereoPilot 之前的研究工作中，學術界和工業界主流的 2D 轉 3D 方案通常采用“深度估計 - 重投影 - 補全”（Depth-Warp-Inpaint, DWI）的多階段流水線 ：首先估計輸入視角（如 left-view）每個像素的深度，再依據深度和視差（disparity）的反比關系計算出視差進而重投影到目標視角（right-view），最后再對遮擋位置進行補全。雖然這種方法符合直覺，但在實際應用中卻存在三大致命缺陷：

1. 誤差累積（Error Propagation）

DWI 流程是串行的：先估計深度圖，再根據深度圖將像素 “重投影”（Warp）到另一只眼睛的視角，最后修補空洞。這導致了一個嚴重的問題：一步錯，步步錯。如果初始的深度估計不準確，后續的重投影步驟會直接放大這種錯誤，導致最終生成的畫面出現嚴重的幾何畸變和偽影 。

2. 深度歧義（Depth Ambiguity）

搞不定的 “鏡中花”這是 DWI 方法面臨的最棘手的物理難題。在現實世界中，鏡子或玻璃等反光表面存在一種特殊的現象：鏡子表面的物理深度與鏡子里反射物體的成像深度是不同的。 然而，傳統的深度估計算法在同一個像素點上只能預測一個深度值。這導致 DWI 方法無法正確處理反射場景 —— 它們往往會將物體反射的光學成像如同紋理一樣錯誤地 “貼” 在鏡子表面，導致 3D 觀感極度違和。

基于以上的現象觀察和論述，我們可以得到：在鏡面反射、透明等一個位置具備多個光學深度的場景下，單目深度估計算法預測得出的單一深度值，將無法通過簡單的反比幾何關系導出視差從而進行正確的重投影（warp）操作，而作者提出的 StereoPilot 則很好處理了“鏡中花”的場景，如下圖所示：

3. 格式不一致（Format Inconsistency）與幾何假設失效

目前的 DWI 方法通常假設：深度（Depth）與視差（Disparity）之間存在簡單的反比關系。這種假設僅對平行攝像機（Parallel）配置有效。然而， 3D 電影影視工業中，為了獲得更好的觀影體驗，通常使用的是匯聚攝像機（Converged/Toe-in）。 在匯聚模式下，上述簡單的幾何假設不再成立，強行使用 DWI 方法會導致視差計算錯誤，和需要還原的 3D 訓練數據無法達成一致。

撥開迷霧：Converged（匯聚式） vs. Parallel（平行式）

為了徹底解決格式問題，我們必須先理清 3D 視頻數據的兩種主要格式，StereoPlilot 的作者用下面的圖例形象地展示了兩種數據格式的區別：

• 平行格式（Parallel）： 左右兩個相機的光軸是完全平行的。這種格式常見于計算機視覺數據集，其視差與深度成簡單的反比關系，常常被用于計算高精度的深度值。
• 匯聚格式（Converged）： 左右相機的光軸向內旋轉，匯聚于一點（匯聚點）。這會產生一個 “零視差平面”—— 在這個平面之前的物體會有出屏效果（正視差），而在其之后的物體則 “深陷” 屏幕中（負視差），而處于零視差面的主體則沒有視差，觀眾的眼睛提供了休息區。這是 3D 電影工業的標準格式。深度與視差之間不再存在簡單的反比關系。

下面兩個例子形象展示了了兩種 3D 數據格式的區別：

平行格式（Parallel）vs 匯聚格式（Converged）

由于先前的研究工作往往從未對這兩種格式進行區分，或者只在單一格式上進行訓練，不可避免的帶來了一些不合理的對比，如將匯聚式 3D 電影數據集上訓練的模型在平行光軸的數據集上進行測試對比。

StereoPilot：統一、高效的端到端解決方案

為了攻克上述難題，快手可靈聯合港科大（廣州）團隊提出了StereoPilot。

UniStereo：首個大規模統一 3D 立體視頻數據集

團隊構建了UniStereo數據集，數據處理打標流程如下圖所示，這是業界首個同時包含 Parallel 和 Converged 兩種格式的大規模 3D 立體視頻數據集。UniStereo 數據集包含了兩個部分：

• Stereo4D (Parallel): 包含了 Stereo4D 的數據中 58,000 個 5 秒的源自真實世界的平行視角視頻片段 。
• 3DMovie (Converged): 從 142 部高質量 3D 電影中精選并處理了 48,000 個 5 秒的匯聚視角視頻片段。

作者將會公開 Parallel 格式的所有數據和 Converged 格式數據的處理流程。

統一高效的模型結構

StereoPilot 的模型結構如上圖所示，主要包含下面三個核心部分：

• Diffusion as Feed-Forward 11 秒極速轉換：不同于傳統的迭代式擴散模型（需要幾十步采樣，速度慢），StereoPilot 首次在該任務中采用了的"Diffusion as Feed-Forward"架構。作者將時間步 固定為一個極小值，利用預訓練視頻擴散模型（Video Diffusion Transformer）強大的生成先驗，直接在單次前向傳播中預測目標視圖。 這使得 StereoPilot 處理一個 5 秒（81 幀）的視頻僅需 11 秒，而同類方法（如 Mono2Stereo, SVG）往往需要十幾分鐘甚至一小時。
• Domain Switcher 全能格式切換：為了讓一個模型同時搞定兩種 3D 格式并提高模型的泛化能力，StereoPilot 引入了一個可學習的 Domain Switcher。這就好比給模型裝了一個 “開關”，用戶可以根據需要，自由控制生成 Parallel 還是 Converged 格式的 3D 視頻，實現了真正的統一。
• Cycle Consistency 保證幾何一致性：為了確保生成的左眼和右眼視頻在幾何上更好的對齊，團隊還設計了循環一致性損失（Cycle Consistency Loss），強制模型在從左圖生成右圖、再從右圖還原左圖的過程中保持信息不丟失，提升了目標視角與源視角的幾何一致性。

實驗對比展示

定量指標對比

作者在 UniStereo 基準測試集中對近期的 SOTA 方法進行了全面的對比，如表格所示，StereoPilot 在 PSNR、SSIM、LPIPS 等所有核心指標上均顯著優于 StereoDiffusion, StereoCrafter, SVG, Mono2Stereo 等現有 SOTA 方法，在推理性能上，對比其他方法動輒十幾分鐘到一個多小時的推理時間，StereoPilot 的 11 秒的推理速度實現了壓倒性的優勢。

可視化對比

根據作者展示的可視化對比結果，相比其他的 SOTA 方法，StereoPilot 預測的結果具有更加準確的視差和更高的視覺質量。此外，如前文中分析，StereoPilot 可以處理復雜的鏡面場景（如下圖中的最后一列的樣本），這是其他方法從原理上無法做到的事情。

消融分析

為了驗證 StereoPilot 方法中的模塊的有效性，作者提供了 Domain Switcher 和 Cycle Consistency 的消融分析實驗。

首先，如下展示的動態效果所示，StereoPilot 可以在 Domain Switcher 的加持下，實現 parallel 和 converged 的兩種 3D 格式的靈活轉換。

除了實現靈活統一的 3D 視頻轉換外，作者進一步地進行定量和定性實驗，驗證統一地訓練方式對模型泛化性能的影響，如下圖表所示：

從圖表展示的結果可以看出 Domain Switcher 和 Cycle Consistency 為模型在測試集上提供了更好的泛化性能與一致性。

結語

快手可靈團隊和港科大廣州聯合提出的 StereoPilot，實現了快速高質量的端到端 2D 視頻轉 3D 視頻，打破了 2D 轉 3D 依賴昂貴人工或低效深度重投影的桎梏，為 VR/AR 內容創作、老電影修復以及沉浸式視頻體驗提供了新的可能性。此外，團隊首次闡明 parallel 和 converged 兩種 3D 立體視頻數據的格式，并首次構建了大規模統一 3D 立體視頻數據集，澄清了該領域的訓練、測評標準。

[1] https://zh.wikipedia.org/wiki/% E6% B3% B0% E5%9D% A6% E5% B0% BC% E5%85%8B% E5%8F% B7_(1997% E5% B9% B4% E7%94% B5% E5% BD% B1)