何愷明團隊新作GeoPT，全新預訓練范式讓模型自學真實物理規律

henry 發自 凹非寺
量子位 | 公眾號 QbitAI

靜態3D資產缺少動力學信息，真實物理標簽又極其昂貴——

物理仿真到底該如何scaling？

何愷明團隊最新的論文GeoPT提供了新思路——

GeoPT提出了一種全新的動力學提升預訓練范式，通過合成動力學（Synthetic Dynamics）將靜態幾何“提升”到動態空間，讓模型在無標簽數據上通過學習粒子軌跡演化來獲取物理直覺。

在相同的精度條件下，GeoPT最高可以節省60%的物理仿真數據。

接下來，我們一起來看。

將靜態幾何“提升”到動態空間

一般來說，物理系統的解場（Solution Fields）是由幾何G（定義空間邊界）和系統條件S（動力學驅動，如速度、力）共同決定的。

以空氣動力學為例，汽車的形狀（幾何）定義了空間的邊界，而風速和風向（動力學條件）則決定了流場的演化與具體的阻力分布。

當前，為了實現對物理系統的預測與控制，研究已經從傳統的物理仿真，轉向基于數據驅動的神經網絡仿真器。

然而，這一路徑面臨著兩個核心瓶頸：

一方面是標注成本極高

訓練仿真器依賴由傳統數值求解器（如CFD/FEA）生成的監督數據，生成一個工業級精度樣本往往耗費數萬CPU小時，高昂的“標簽生成”成本嚴重限制了仿真器的規模化（Scaling）。

另一方面是靜態預訓練的局限

盡管互聯網上有海量的3D幾何數據，但如果僅對靜態幾何進行自監督預訓練（如常見的掩碼重建任務），會因完全缺失“動力學”維度，導致模型無法捕捉物理仿真的核心特征，甚至在下游任務中出現“負遷移”現象。

基于此，愷明團隊提出了一種全新的預訓練范式——動力學提升的幾何預訓練（Dynamics-lifted Geometric Pre-training）

其核心在于，雖然真實的物理標簽難求，但“動力學”本身是可以被參數化的。

研究通過在預訓練階段引入合成動力學（Synthetic Dynamics），讓GeoPT不僅學習到幾何特征，還通過引入隨機速度場v，將表征從單純的幾何空間提升到“幾何+動力學”的聯合空間。

在這里，研究不依賴由物理決定、且需要昂貴仿真才能獲取的v，而是通過隨機采樣每個粒子的速度來構建合成速度（Synthetic Velocities）

由此，自監督目標變成了幾何特征在這種合成動力學下的軌跡：

于是，通過追蹤幾何特征沿這些合成軌跡的演化過程，研究獲得了一個完全由幾何構建的、感知動力學的監督信號。

這使得模型在接觸真實的物理標簽之前，就能夠通過海量無標簽幾何數據，預先學習到物理演化中通用的空間約束與耦合規律。

與此同時，上述動力學提升框架不僅提供了預訓練目標，還為下游任務提供了一個統一的接口：在預訓練和微調階段，模型均接收幾何和速度作為輸入。

預訓練后，GeoPT捕捉到了以速度為條件的物理對齊相關性，通過將動力學條件特化為相應的仿真設置并學習求解器生成的標簽，進而可以被微調至特定的物理任務。

訓練流程

在預訓練階段，模型被訓練用于預測合成動力學下的幾何特征軌跡，其損失函數定義為：

該目標函數涵蓋了三個核心變量的組合：

• 幾何：從包含車、機、船等萬余個幾何體的數據集中進行類別平衡采樣。
• 追蹤點x：從物體周圍的體積空間和幾何邊界上采樣初始位置。
• 速度v：從有界球體中為每個點均勻采樣隨機速度。

給定上述 (G, V) 信息后，軌跡通過公式確定性計算得出，其監督目標即為沿此路徑的幾何特征序列。

由于預訓練使GeoPT捕捉到了以速度為條件的物理對齊相關性，在微調階段，只需將預訓練時的隨機速度替換為編碼了特定仿真設置的任務特定速度。

具體的適配策略如下：

• 空氣動力學：將入射流條件（速度、攻角等）編碼為Vs，其方向與流向一致。
• 水動力學：分別為水、氣兩相配置不同的Vs，反映船舶阻力仿真中的兩相流。
• 碰撞仿真：將沖擊方向編碼為Vs，其大小從碰撞點開始隨空間衰減，以反映力的傳播。

這種統一接口的設計，使得單個預訓練模型只需通過重配置速度輸入，即可適配多樣化的物理仿真任務。

在具體的細節方面，研究采用Transolver作為骨干網絡，并配置了從3M到15M參數的三種模型尺寸。

在數據效率方面，軌跡被離散化為 3 個步驟，使用向量距離（Vector Distance）編碼幾何信息。每個幾何體采樣約3.6萬個點，并生成100個隨機動力學場。

在計算優勢上，監督信號通過優化的射線-三角形求交算法計算。處理一個樣本僅需約0.2秒，比工業級 CFD 仿真快10^7倍。在80核CPU上，僅需3天即可生成5TB的預訓練數據集。

目前，該框架已開源，感興趣的同學可以參考文末鏈接。

實驗驗證

在預訓練中，研究使用ShapeNet-V1數據集，包含汽車、飛機、船舶等三類工業相關幾何，通過采樣生成了超過100萬個樣本（約5TB數據） 。

任務覆蓋流體力學： 汽車空氣動力學 (DrivAerML)、飛機受力分析 (NASA-CRM)、船舶水動力學 (DTCHull) ；固體力學： 汽車碰撞最大應力仿真 (Car-Crash) 以及 輻射度仿真 (Radiosity) 等 。

實驗結果表明，GeoPT顯著降低了對標注數據的依賴，在達到相同精度時可節省20-60%的物理仿真數據。

與此同時，GeoPT還使微調階段的收斂速度比從頭訓練快2倍

而且，隨著模型層數增加（從8層增加到32層）和預訓練數據量的增大，性能持續穩步提升，展現了“物理大模型”的潛力 。

總的來說，論文證明了通過“合成動力學軌跡”進行預訓練，可以有效彌合靜態幾何與復雜動態物理任務之間的鴻溝 。

GeoPT 為構建通用的物理仿真基礎模型開辟了一條可擴展的路徑，即：

大規模無標簽幾何+簡單的合成動力學自監督=強大的跨領域物理仿真能力

論文作者

這篇論文的第一作者是來自MIT（CSAIL）的博士后研究員吳海旭

他目前師從Wojciech Matusik教授。此前，吳海旭在清華大學獲得博士和學士學位，導師為龍明盛教授。

值得一提的是，龍明盛教授現為清華大學軟件學院副教授，也是本文作者之一。

論文的共同第一作者是Minghao Guo，他目前為MIT（CSAIL）博士生，同樣師從Wojciech Matusik教授。

他本科就讀于清華大學，碩士畢業于香港中文大學。

此外，論文的其他作者還包括Zongyi Li（何愷明教授的博士后）、MIT博士生Zhiyang (Frank) Dou，以及何愷明教授和Wojciech Matusik教授。

[1]https://arxiv.org/abs/2602.20399v1

[2]https://github.com/Physics-Scaling/GeoPT