業(yè)界首個(gè)高質(zhì)量原生3D組件生成模型來了！來自騰訊混元團(tuán)隊(duì)

業(yè)界首個(gè)高質(zhì)量原生3D組件生成模型來了！來自騰訊混元3D團(tuán)隊(duì)。

現(xiàn)有的3D生成算法通常會(huì)生成一體化的3D模型，而下游應(yīng)用通常需要語義可分解的3D形狀，即3D物體的每一個(gè)組件需要單獨(dú)地生成出來。

一般來說，組件式3D生成主要有2個(gè)應(yīng)用場(chǎng)景：

1） 視頻游戲制作管線： 在游戲中， 很多資產(chǎn)是要根據(jù)語意信息將其綁定不同的游戲邏輯， 比如，汽車模型應(yīng)該能夠被分解為主體和四個(gè)可滾動(dòng)的輪子， 這樣輪子是可以單獨(dú)滾動(dòng)起來的。所以組件拆分很重要。

與此同時(shí)，3D幾何生成的下游鏈路，包括低模拓?fù)洌琔V展開等模塊。這些模塊處理很復(fù)雜的幾何會(huì)變得困難，通過將復(fù)雜幾何進(jìn)行拆分簡(jiǎn)單的小組件，這種分而治之的策略，可以大大降低下游算法的處理難度。

2）3D打印： 這對(duì)3D打印行業(yè)也是不錯(cuò)的消息， 用戶可以把組件一個(gè)一個(gè)打印出來然后再組裝，像搭積木一樣。

然而，現(xiàn)有的組件式3D生成方法通常缺乏足夠的可控性，生成部件的幾何質(zhì)量不夠理想，并且語義連貫性有限。

對(duì)此，Hunyuan3D-Part提出了一種用于打造可投入生產(chǎn)，幾何質(zhì)量高，可編輯，且結(jié)構(gòu)合理的組件式3D生成新范式。

下面詳細(xì)來看。

技術(shù)流程介紹

如下圖所示，給定一張輸入圖片，團(tuán)隊(duì)首先使用Hunyuan3D的基模型獲取整體形狀（可以是V2.5或者V3.0）。

然后，將整體Mesh傳遞給部件檢測(cè)模塊P3-SAM，以獲得語義特征和部件的邊界框（bounding boxes）。

最后，由X-Part將整體形狀分解為各個(gè)部件。

△圖1. Hunyuan3D-Part組件拆分整體流程

其技術(shù)亮點(diǎn)在于：

1）提出了業(yè)界首個(gè)原生3D分割模型P3-SAM， 利用大規(guī)模高質(zhì)量3D數(shù)據(jù)訓(xùn)練，擺脫對(duì)2D數(shù)據(jù)的依賴，大幅提高3D組件分割的精度和魯棒性。

2）提出了工業(yè)級(jí)組件生成模型X-Part，重新定義3D組件生成可控性和生成質(zhì)量的天花板。

技術(shù)展開介紹

以下為P3-SAM和X-Part的詳細(xì)介紹。

原生3D分割模型P3-SAM

團(tuán)隊(duì)提出了一種原生3D的分割模型，稱為Point-PromptablePartSegmentation，即P3-SAM。

該模型旨在實(shí)現(xiàn)對(duì)任意復(fù)雜三維物體的全自動(dòng)分割，生成精確掩碼并具備極強(qiáng)的魯棒性。作為開創(chuàng)性的可提示圖像分割工作，SAM為實(shí)現(xiàn)這一目標(biāo)提供了可行的方案。

然而，本方法聚焦于自動(dòng)實(shí)現(xiàn)精確的組件分割，并對(duì)SAM的體系結(jié)構(gòu)進(jìn)行了簡(jiǎn)化。團(tuán)隊(duì)未采用SAM中復(fù)雜的分割解碼器和多類型提示，僅采用單一正點(diǎn)提示進(jìn)行處理。

具體來說，如圖2所示，P3-SAM包含一個(gè)特征提取器、三個(gè)分割頭和一個(gè)IoU（交并比）預(yù)測(cè)頭。

△圖2. P3-SAM訓(xùn)練流程

PointTransformerV3作為特征提取器，并融合其不同層級(jí)的特征作為點(diǎn)級(jí)特征。輸入的點(diǎn)提示和特征信息會(huì)被融合，并傳遞至分割頭，用于預(yù)測(cè)三個(gè)多尺度掩碼。同時(shí)，IoU預(yù)測(cè)頭用于評(píng)估掩碼質(zhì)量。

為實(shí)現(xiàn)物體的自動(dòng)分割，如圖3所示，團(tuán)隊(duì)利用FPS（最遠(yuǎn)點(diǎn)采樣）生成點(diǎn)提示，配合NMS（非極大值抑制）合并冗余掩碼。點(diǎn)級(jí)掩碼隨后被投影到網(wǎng)格面上，從而獲得部件分割結(jié)果。

△圖3. P3-SAM自動(dòng)分割流程

本方法的另一關(guān)鍵創(chuàng)新在于，完全摒棄2D SAM的影響，依賴于原生3D部件監(jiān)督，進(jìn)行原生3D分割模型的訓(xùn)練。

鑒于現(xiàn)有3D部件分割數(shù)據(jù)集規(guī)模普遍較小且缺乏詳細(xì)部件標(biāo)注，本方案開發(fā)了一套用于美術(shù)師創(chuàng)建網(wǎng)格的自動(dòng)化部件標(biāo)注流程，并據(jù)此生成了一個(gè)包含370萬個(gè)高質(zhì)量部件級(jí)掩碼的三維網(wǎng)格數(shù)據(jù)集。

最終模型在該數(shù)據(jù)集上展現(xiàn)出優(yōu)越的可擴(kuò)展性，并實(shí)現(xiàn)了強(qiáng)魯棒性、精確性及全局一致性的組件級(jí)分割。

X-Part：高保真且結(jié)構(gòu)一致的形狀分解

X-Part能夠?qū)崿F(xiàn)具有語義意義且結(jié)構(gòu)一致的部件生成。目標(biāo)是在給定物體點(diǎn)云的情況下，生成高保真、結(jié)構(gòu)一致的部件幾何體，同時(shí)保證對(duì)分解過程的靈活可控性。

如圖4所示，首先利用P3-SAM得到組件的包圍盒，點(diǎn)云語義特征。 為實(shí)現(xiàn)可控性提出了一個(gè)基于部件級(jí)提示的特征提取模塊，利用P3-SAM包圍盒作為提示，指示部件的位置和尺寸，而不是直接將分割結(jié)果作為輸入。

與細(xì)粒度、點(diǎn)級(jí)分割提示相比，包圍盒提供了一種更粗粒度的引導(dǎo)方式，有助于緩解對(duì)輸入的過擬合。

此外，包圍盒還為部分可見部件提供了額外的體積信息，從而有利于生成和可控性。

其次，盡管分割結(jié)果可能存在不準(zhǔn)確，團(tuán)隊(duì)注意到高維點(diǎn)級(jí)語義特征并沒有受到P3-SAM中聚類算法或預(yù)測(cè)頭所導(dǎo)致的信息壓縮影響，因此能夠提供更準(zhǔn)確的語義表示。

因此，團(tuán)隊(duì)將語義特征以精心設(shè)計(jì)的特征擾動(dòng)方式引入到其框架中，這有助于實(shí)現(xiàn)有意義的部件分解。

△圖4. X-Part訓(xùn)練流程

Benchmark定量對(duì)比結(jié)果

本方案在三個(gè)數(shù)據(jù)集上進(jìn)行了效果評(píng)估：PartObj-Tiny、PartObj-Tiny-WT和PartNetE。

PartObj-Tiny是Objarvse的一個(gè)子集，包含8個(gè)類別共200個(gè)數(shù)據(jù)樣本，并且都帶有人工標(biāo)注的部件分割信息。

PartObj-Tiny-WT是PartObj-Tiny的閉合水密（watertight）版本。

如表1（組件分割模型P3-SAM和現(xiàn)有工作對(duì)比結(jié)果）、表2（組件生成模型X-Part和競(jìng)品對(duì)比結(jié)果）所示，其分割和生成結(jié)果大幅超越現(xiàn)有工作。

可視化效果

團(tuán)隊(duì)還對(duì)模型的分割及生成效果進(jìn)行了可視化。

下圖為P3-SAM的分割結(jié)果：

然后是X-Part的生成結(jié)果：

下圖為X-Part的生成結(jié)果， 左中右依次為輸入圖、混元3D V2.5生成結(jié)果、組件拆分結(jié)果。

下圖為X-Part的生成結(jié)果和開源對(duì)比：

下圖為X-Part的生成結(jié)果和閉源R模型對(duì)比：

體驗(yàn)地址及相關(guān)技術(shù)論文如下。

代碼：https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
權(quán)重： https://huggingface.co/tencent/Hunyuan3D-Part

P3-SAM論文及項(xiàng)目地址：
https://arxiv.org/abs/2509.06784
https://murcherful.github.io/P3-SAM/

X-Part論文及項(xiàng)目地址：
https://arxiv.org/abs/2509.08643
https://yanxinhao.github.io/Projects/X-Part/

體驗(yàn)入口：
（輕量版）Hugging Face demo：https://huggingface.co/spaces/tencent/Hunyuan3D-Part
（滿血版）混元3D Studio：https://3d.hunyuan.tencent.com/studio