新加坡國立大學與百度聯手開發ONE-SHOT

在電影特效和虛擬現實日益普及的今天，一項由新加坡國立大學和百度公司聯合開展的研究正在悄然改變我們對視頻制作的認知。這項發表于2026年4月arXiv預印本平臺（編號：arXiv:2604.01043v1）的研究，提出了一個名為ONE-SHOT的創新框架，能夠讓計算機像導演一樣，將真人的動作、表情和環境背景巧妙地融合在一起，創造出逼真的視頻內容。

要理解這項研究的意義，不妨把它想象成一種全新的"數字魔法"。傳統的視頻制作就像搭積木一樣，需要先準備好所有的零件，然后費力地將它們拼裝在一起。而ONE-SHOT更像是一位經驗豐富的廚師，能夠同時處理多種食材，讓每種食材都保持自己獨特的味道，最終烹制出一道和諧美味的大餐。

研究團隊面臨的核心挑戰類似于讓一位京劇演員在歐洲古堡中表演太極，同時還要確保演員的服裝、動作和周圍環境都顯得自然協調。在傳統方法中，這需要大量復雜的前期準備工作，就像為了做一道菜而要先建造整個廚房一樣繁瑣。更糟糕的是，一旦過度依賴這些復雜的準備工作，整個系統就像被束縛住的藝術家，失去了創造力和靈活性。

ONE-SHOT的獨特之處在于它采用了一種"分而治之"的策略。就像一位出色的管弦樂指揮能夠讓小提琴、大提琴和鋼琴各自發揮特長，同時又能完美融合成一首交響樂一樣，這個系統將人物動作、環境背景和攝像機運動這三個要素分開處理，然后巧妙地將它們組合起來。

研究的創新點體現在三個關鍵技術突破上。首先是"標準空間動作注入"機制，這就像為每位演員提供了一個專門的表演舞臺。無論演員要在什么樣的環境中表演，他們都可以在這個標準舞臺上練習動作，然后系統再將這些動作無縫地轉移到真實環境中。這種方法避免了傳統技術中常見的"水土不服"問題。

其次是"動態基礎旋轉位置編碼"技術，聽起來復雜，但實際上就像一個智能的空間翻譯器。當演員在標準舞臺上的動作需要轉移到真實環境時，這個翻譯器能夠自動調整空間對應關系，確保演員的每個動作在新環境中都顯得自然合理。

第三個突破是"混合上下文集成"機制，這相當于給系統配備了長期記憶和短期記憶兩套記憶系統。短期記憶負責記住演員的面部特征和基本外貌，而長期記憶則能追蹤整個表演過程中環境和人物的變化，確保長達數分鐘的視頻內容保持一致性。

在技術實現層面，ONE-SHOT采用了一種類似"學徒制"的訓練方式。研究團隊沒有從頭開始訓練一個全新的系統，而是基于已經成熟的Wan2.1視頻生成模型進行改進。這就像一位經驗豐富的師傅帶著徒弟，只需要教授一些特定的新技能，而不必從基礎開始。這種方法大大提高了效率，同時保持了原有系統的創造力。

系統的工作流程可以比作制作一部舞臺劇。首先，導演（系統）會根據劇本（文本提示）選擇合適的舞臺背景，這是通過分析三維點云數據和設定攝像機軌跡來實現的。然后，演員（虛擬人物）會根據編排好的動作序列在舞臺上表演。最有趣的是，這個系統能夠讓同一位演員在不同的舞臺上表演不同的劇目，或者讓不同的演員在同一個舞臺上表演相同的動作。

研究團隊在訓練這個系統時采用了多樣化的數據來源，就像讓學生同時學習多門課程一樣。他們使用了包含動態攝像機運動的EMDB2數據集、以人體動作為主的MotionX數據集子集、提供三維環境信息的ARKitScenes數據集，以及自行收集的網絡視頻。這種多元化的訓練方式讓系統具備了更強的適應能力和創造性。

在實驗驗證階段，研究團隊進行了兩類關鍵測試。第一類是"自我重現"測試，就像讓學生復述剛學過的課文一樣，檢驗系統能否準確重現已有的視頻內容。第二類是"創新組合"測試，這更像是讓學生進行創作，檢驗系統能否將不同來源的人物、動作和環境創造性地組合在一起。

實驗結果顯示，ONE-SHOT在多個重要指標上都超越了現有的頂級方法。在視覺質量方面，它獲得了16.88的FID分數和181.17的FVD分數，明顯優于其他競爭方法。更重要的是，在動作流暢性、背景一致性和人物相似性等關鍵指標上，ONE-SHOT都展現出了更好的平衡性。這就像一位全能運動員，不僅在單項上表現出色，在綜合能力上也超越了專項選手。

特別值得一提的是，ONE-SHOT還展現出了強大的文本指導編輯能力。用戶可以通過簡單的文字描述，讓系統將視頻中的人物或物體進行創意替換。比如，可以將一個普通人替換成卡通角色哆啦A夢，或者將寵物狗替換成發光的小龍。這種能力源于系統很好地保持了原始視頻生成模型的創造性，沒有因為增加控制功能而犧牲靈活性。

研究團隊還特別關注了長時間視頻生成的挑戰。傳統方法往往只能處理十秒左右的短視頻，而ONE-SHOT通過其混合記憶機制，能夠生成長達數分鐘的連貫視頻內容。這就像讓一位演員能夠完成一整部短劇的表演，而不僅僅是幾個片段。

在技術細節的消融實驗中，研究團隊驗證了每個核心組件的重要性。當移除動態基礎旋轉位置編碼功能時，系統在動作控制上的精確度明顯下降，生成的人物動作會出現偏移和不協調。當移除面部參考信息時，人物的身份保持能力顯著減弱，容易在長視頻中出現"換臉"現象。這些實驗結果證實了研究團隊設計的每個技術組件都有其不可替代的作用。

從實際應用的角度來看，ONE-SHOT的意義遠不止于技術突破本身。在電子商務領域，它可以讓商家輕松創建不同模特在各種場景下展示產品的視頻，大大降低拍攝成本。在教育領域，教師可以讓歷史人物在特定的歷史場景中"復活"，為學生提供更加生動直觀的學習體驗。在娛樂產業，內容創作者可以快速制作各種創意視頻，而無需復雜的拍攝和后期制作流程。

當然，這項技術也面臨著一些挑戰和限制。系統的效果很大程度上依賴于輸入的三維場景點云數據的質量，如果場景重建不夠精確，可能會影響最終的視頻質量。此外，在一些極端的邊界框定位情況下，系統可能會出現人物位置不準確的問題。對于超長時間的視頻生成，仍然可能出現一些細微的時間漂移現象。

研究團隊也坦誠地討論了這項技術可能帶來的社會影響。雖然ONE-SHOT為創意表達和內容制作提供了強大的工具，但它也可能被用于制作誤導性內容或虛假信息。因此，研究團隊強調了負責任使用這項技術的重要性，建議在實際部署時需要考慮隱私保護和偏見問題。

從技術發展的趨勢來看，ONE-SHOT代表了視頻生成技術向更加智能化和可控化方向發展的重要一步。它不僅解決了現有技術在精確控制方面的不足，還保持了人工智能系統的創造性和靈活性。這種平衡對于人工智能技術的實用化具有重要意義。

說到底，ONE-SHOT就像是給了我們一支神奇的畫筆，讓我們能夠在數字世界中隨心所欲地創作視頻內容。它不僅讓技術變得更加精確和可控，還讓創意表達變得更加自由和多樣。雖然這項技術還有改進的空間，但它已經為我們展示了人工智能在視頻制作領域的巨大潛力。對于那些對技術細節感興趣的讀者，可以通過論文編號arXiv:2604.01043v1查閱完整的研究內容，深入了解這項令人興奮的技術突破。

Q&A

Q1：ONE-SHOT技術是什么？

A：ONE-SHOT是新加坡國立大學和百度聯合開發的視頻生成技術，能夠讓計算機將真人動作、環境背景和攝像機運動智能地組合在一起，創造出逼真的視頻內容，就像讓虛擬演員在任何環境中自然表演。

Q2：ONE-SHOT比現有技術有什么優勢？

A：ONE-SHOT最大的優勢是解決了傳統方法的三個問題：減少了復雜的3D預處理工作，保持了系統的創造力和靈活性，還能生成長達數分鐘的連貫視頻。它就像一位全能導演，既能精確控制又保持創意自由。

Q3：普通人能使用ONE-SHOT技術嗎？

A：目前ONE-SHOT還是研究階段的技術，普通用戶暫時無法直接使用。不過這項技術未來可能會集成到視頻制作軟件中，讓內容創作者、教育工作者和商家都能輕松制作專業級的視頻內容。