NTU S-Lab 團隊探索可動 3D 新方向：結構、關節、紋理一次到位

ArtiLatent：用統一潛空間讓單圖也能生成結構清晰、動作合理的可動三維模型。

作者丨鄭佳美

編輯丨馬曉寧

在生成式 AI 全面進入三維空間的當下，如何讓機器不僅“看到”物體，還能理解其結構、關節和運動方式，正在成為全球研究機構與產業界共同關注的焦點。

從虛擬內容制作到機器人操作，從數字孿生到工業仿真，可動三維的自動化生成正在被視為未來交互式數字世界的重要基礎能力。然而，現有方法仍普遍受限于對完整三維掃描的依賴、對結構與紋理分離建模造成的不一致性，以及難以處理運動帶來可見性變化等難題。

在這一背景下，南洋理工大學S-Lab 團隊近期發布的一項研究提供了新的解決路徑。他們提出的統一建模框架能夠從單張圖像生成具備真實幾何結構、準確關節參數和自然外觀紋理的可動三維對象，在幾何精度、外觀一致性與運動合理性上均取得顯著提升。

這項工作不僅展示了結構化潛空間、擴散式 3D 生成與關節感知紋理建模的協同潛力，也為進一步提升 AI 對物體功能性與交互屬性的理解奠定了基礎。

值得一提的是，該論文作者之一的潘新鋼曾作為2023 年 GAIR 全球人工智能與機器人大會的受邀嘉賓，與眾多來自國際頂級院校與企業的研究者共同探討三維視覺、機器人操作和生成式模型的前沿方向。

GAIR 對三維生成、機器人智能與新型視覺系統長期保持關注，而即將在2025 年 12 月 12 — 13 日于深圳·博林天瑞喜來登酒店舉辦的 GAIR 大會，也將繼續聚焦這些技術的產業化趨勢，與一眾來自研究機構、科技企業與應用行業的專家共同關注空間智能與新型生成模型等新興技術在未來交互式場景中的落地路徑與發展方向。

論文地址：https://arxiv.org/pdf/2510.21432

01
整體的性能躍升

S-Lab 團隊這篇論文中的實驗結果顯示，他們研發的模型在多個關鍵維度上都有明顯提升，無論是幾何結構的完整度、關節運動的穩定性，還是外觀呈現的真實度與跨數據集的泛化能力，都展現出優于現有方法的綜合表現。

首先，在幾何結構生成方面，通過 Chamfer Distance 指標可以看到，無論是在靜止狀態還是在經歷關節旋轉、平移等運動之后，模型都能夠生成與真實物體高度接近的三維結構，并且在多種方法中保持了最低水平的幾何誤差。

生成物體在關節運動前后仍能維持清晰的部件邊界和穩定的空間關系，沒有出現錯位或穿插現象，這說明模型所學習的結構潛空間有效捕捉了各部件之間的連續性與耦合關系，從而使運動前后的幾何一致性明顯優于現有方法。

在外觀紋理生成方面，模型在 FID 得分及可視化表現上均展示了顯著優勢。生成結果的紋理更加清晰，顏色分布一致，細節保留充分，尤其是在關節運動后才會暴露的內部區域，例如抽屜內部或門板背面，模型依然能夠合成自然且無噪點的紋理。

這種穩定且連貫的紋理表現不僅體現在局部細節上，也體現在關節狀態變化前后的整體一致性上，即生成的表面在不同關節位置下不會出現顏色跳變或紋理斷裂，從而實現了對因運動帶來可見性變化的正確補全。

此外，模型生成的運動行為也表現出高度的物理合理性。對于常見的家具對象，模型能夠自動為抽屜生成平移關節并沿合理方向運動，為門板生成旋轉關節并圍繞正確的軸心展開，同時在運動過程中保持部件間無不合理的干涉或扭曲。在多次運動狀態的測試中，模型展現出優異的可控性、穩定性和部件分離度，遠超依賴部件檢索或后期裝配的傳統方法。

更進一步地，論文還驗證了模型在新數據集上的泛化能力。在來自完全不同來源的數據上，無論是幾何精度、外觀真實度還是運動表現，模型都維持了高質量輸出，未出現結構性錯誤，這說明模型并沒有簡單記憶訓練數據，而是真正學習到了可遷移的“關節結構 + 外觀生成”能力。

最后，消融實驗也強調了關節感知外觀微調策略的重要性。如果不使用該策略，生成結果在關節處和運動后暴露出的內部區域容易出現噪點、模糊或顏色異常。而加入該策略后，紋理清晰度及穩定性顯著提升，新暴露區域的外觀也更加自然一致，從而證明這一模塊是整體性能提升的關鍵因素。

02
可動三維的構建機制

總的來說，團隊的實驗流程可以整體概括為結構學習、潛空間生成以及外觀學習三個環節。

首先，研究者為每個訓練對象構建了一種帶有豐富關節信息的稀疏三維體素表示。在這一表示中，體素不僅記錄了物體是否占據該空間位置，還包含部件類別、所屬部件的空間包圍盒、關節類型、關節的軸向和原點位置以及關節的可運動范圍等描述物體結構與運動屬性的關鍵要素。

所有體素數據會被統一歸一化后輸入到一個三維卷積式的變分自編碼器中，通過占據分類損失、部件語義與關節類型的分類損失、關節參數以及包圍盒的回歸損失，并結合 KL 正則化形成整體訓練目標，從而使模型能夠將高維而復雜的體素結構壓縮成一個緊湊、連續且可生成的三維潛編碼。經過充分訓練后，該自編碼器已經能夠準確復原完整的可動結構，并為后續的生成任務提供穩定的結構潛空間。

在獲得結構潛編碼之后，論文進一步在潛空間中訓練擴散模型以生成可動結構。為此，作者構建了大量由潛編碼與其對應條件組成的數據對，其中條件既可以是來自真實圖像的視覺特征，也可以是簡單的類別標簽。

擴散模型采用基于 Transformer 的三維結構建模方式，能夠捕捉潛網格內部的空間依賴關系，并在此基礎上學習結構潛分布。完成訓練后，該模型不僅能夠無條件生成多樣化的可動三維結構，還能夠在給定單張圖像的情況下，生成與輸入在外觀、幾何結構和關節屬性上均保持一致的可動對象。

在結構生成能力具備之后，論文最后解決的是外觀生成的問題。由于原始的三維高斯解碼器只在靜態物體上訓練，它無法處理關節運動帶來的可見性變化，因此在運動后暴露出的內部區域容易出現紋理缺失或異常。

為此，作者提出了關節感知的外觀解碼微調策略。具體做法是，在每個訓練物體的關節運動范圍內均勻采樣若干狀態，并對每個狀態渲染多視角圖像，然后提取其特征與體素一一對應，為模型提供“不同關節狀態下真實可見外觀”的參考。

在微調過程中，生成的三維高斯點會根據對應的關節參數進行實際的旋轉或平移，然后被渲染成圖像并與真實渲染結果進行比較。通過這種多狀態的重建監督，模型逐漸學會了哪些區域在關節運動時會變得可見、如何為這些新暴露的表面生成合理紋理，以及如何在不同關節位置下保持整體外觀的一致性。

完成上述三個階段的訓練后，模型的推理流程也相對簡潔。給定一張真實圖像，模型首先利用擴散模型生成一個與輸入相匹配的可動體素結構，然后根據體素語義和空間包圍盒自動對物體進行部件劃分，接著對每個部件的關節參數進行聚合以確保其運動的一致性。

隨后，高斯解碼器會將結構潛表示還原為完整的三維外觀，最終得到一個既保留真實外觀，又具備正確關節行為的三維高斯對象，用戶可以直接對其進行旋轉或平移等運動操作。整個推理過程大約需要二十幾秒即可完成。

03
統一建模帶來了新可能

論文之外，這項工作的最大意義，在于構建了一套真正可擴展的可動三維生成框架，而不僅僅是提出一種新的技術方法。以往的三維生成要么只能輸出靜態模型，要么依賴完整的三維掃描數據，也有一些方法通過檢索和拼裝來構造結構，難以實現從少量輸入中生成能運動的物體。

現在只需要一張普通圖像，就能得到結構合理、關節設置正確、外觀逼真的可動三維對象，這大幅降低了創建三維內容的難度，對整個生成領域都是一次重要突破。

方法的核心在于把幾何結構、運動機制和外觀紋理放在統一框架中進行學習。結構化潛空間同時表達幾何、語義與關節信息，擴散模型進一步學習它們之間的關聯，外觀微調機制保證物體在發生運動后仍然呈現自然、穩定的紋理。通過這種整體式的建模方式，生成結果避免了傳統流程中結構和外觀不協調的問題，看起來更加一致和可信。

在應用層面，這種能夠從單圖生成可動三維物體的能力具有很大的價值。虛擬現實和增強現實場景可以快速獲得可交互物體，線上家具展示能夠更容易地呈現開合、旋轉等動作，游戲制作也能受益于自動生成帶關節的三維模型。對于機器人學習而言，這類可動生成物體有助于機器人理解和預判未知物體的使用方式，也適用于家庭和工業場景的數字孿生構建。幾乎所有需要大量可交互三維對象的行業都可能因此受益。

方法本身也具有很強的泛化能力和擴展空間。結構化潛空間、可動結構擴散模型和關節感知外觀解碼并不依賴特定的物體品類，因此不僅適用于家具，還可以推廣到機械設備、工具、生物體的骨骼結構以及復雜的裝配系統。

由此看來，這項研究不僅解決了當前可動三維生成的核心難題，也為未來相關方向的發展奠定了基礎。

首批 GAIR 2025 重磅大咖名單正式揭曉，還有更多行業領軍者將齊聚現場，共探智能的未來。

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。