北大、高德聯合出品 | 僅憑幾張衛星圖，即可重建出逼真3D城市

本研究由北京大學、高德地圖研究團隊聯合完成。通訊作者包括北京大學博雅特聘教授，智能學院副院長陳寶權，北京大學助理教授陳文拯及高德地圖徐牧。

試想一下，無論是為下一代 3A 大作（如《GTA 6》）構建一個 1:1 的紐約城，還是為城市級無人機送貨系統規劃一條在摩天大樓間穿梭的低空物流航線，甚至是為特大城市的應急響應系統構建一個毫厘畢現的數字底座，高精度的逼真 3D 城市模型都是關鍵。

通常，構建一座這樣的 3D 城市模型需要數千人的美術團隊耗時數年手工建模，或者動用昂貴的專業設備進行掃描。如何低成本、高效率地將龐大的 “實體都市” 復刻進數字空間，一直是計算機圖形學與 3D 視覺領域試圖攻克的終極難題。

相比之下，衛星圖像覆蓋全球、易于獲取，似乎是理想的數據源。但實際上，用衛星圖重建城市卻一直非常困難。根本原因在于視角問題：衛星是從正上方俯拍，而我們需要的是帶有清晰立面的地面視角。

這種從 “頂視圖” 推理 “側視圖” 的視角極端外推，讓現有先進方法如 NeRF 和 3DGS 都難以應對，重建出的建筑側立面常常幾何扭曲、紋理模糊。

SOTA 城市重建方法（CityGS-X）在衛星場景下，可以重建出良好的城市屋頂幾何和自頂向下視角，但難以重建城市建筑側立面，在近地視角產生嚴重的偽影。

為了解決這一難題，北大與高德團隊提出了一種全新的生成式攝影測量方案Orbit2Ground。它巧妙地結合城市幾何先驗與生成式 AI，僅憑稀疏的衛星圖像，就構建出了精細美觀的逼真 3D 城市。

• 論文標題：From Orbit to Ground: Generative City Photogrammetry from Extreme Off-Nadir Satellite Images
• 項目主頁：https://pku-vcl-geometry.github.io/Orbit2Ground
• 論文地址：https://arxiv.org/pdf/2512.07527

SDF 單調性約束

強制從屋頂 “長” 出墻壁

衛星圖可以為屋頂提供良好的多視角立體視覺（Multi-View Stereo, MVS），但很難捕捉到建筑側面的視差信息，這導致傳統算法雖然能恢復出清晰的屋頂，但一處理側面就會遭遇嚴重的幾何崩塌，復原的墻面支離破碎，充滿懸浮的碎片。

與常規的街景重建不同，衛星圖像稀疏且視角嚴重地自頂向下，幾乎無法捕捉垂直結構的視差。如圖所示，多視角重建（黃色點）僅能恢復地面和屋頂，無法重建建筑物外立面。

為了補足缺失的側面幾何，團隊利用了一個關鍵現象：絕大多數城市建筑的墻壁都是平整外凸的，極少出現向內凹陷的結構。

基于此，團隊提出了Z-Monotonic SDF (Z 軸單調符號距離場)。其核心邏輯在于：約束 SDF 場在 Z 軸方向上單調遞增。

若將常規的城市建筑形成 SDF 場，則在其中任意選取平面一條豎線，其上所有點的 SDF 值，均沿高度向上單調遞增。

這一數學約束直接決定了最終的幾何形態 —— 因為SDF 場的單調性強制要求其生成的等值面（即幾何表面）必須是連續且非凹陷的，所以這意味著，幾何體不允許在中間斷開、破碎或是向內塌陷。

這種 “SDF 單調 → 幾何非凹” 的強力約束，使得算法即便在僅有頂部觀測數據的情況下，也能自動從屋頂向下 “拉伸” 出連續、閉合的完整墻壁。正是這一約束，從根本上避免了 “空心樓” 和墻面破碎的問題，從稀疏的衛星數據中生成了結構完整的建筑幾何。

AI “精裝修”，變模糊為高清

有了幾何 “毛坯房”，下一步是解決紋理模糊的問題。

由于大氣干擾和分辨率限制，衛星拍攝的側面紋理往往不夠清晰。為了解決這個問題，團隊基于 FLUX 模型，訓練了一個專門的確定性紋理修復網絡。他們并沒有讓 AI 憑空捏造，而是讓它基于衛星圖提供的基礎色調和結構，利用學習到的海量城市外觀知識，對模糊的立面進行確定性修復。

通過將擴散模型微調為 “確定性” 模式，確保了在不同視角下生成的紋理是連貫統一的，避免了生成式 AI 常見的由隨機性導致的鬼影、模糊等問題。

整體流程

Orbit2Ground 將重建任務解耦為幾何與外觀兩個階段：

• 第一階段（幾何重建）：基于稀疏的 MVS 點云優化 Z-Monotonic SDF (Z 軸單調符號距離場)，從而提取出具有干凈垂直立面的高保真 Mesh 幾何。
• 第二階段（外觀精修）：以初始紋理（由衛星圖像反向投影得到）為起點，我們利用修復網絡增強近距離新視角的渲染效果，進而將其作為清晰、高保真的監督信號，用于最終的紋理優化。

方法效果

在多個數據集上的測試表明，Orbit2Ground 在幾何完整性和視覺保真度上均超越了當前的 SOTA 方法。

更重要的是，Orbit2Ground 展現了碾壓級的視覺效果：

當其他方法在缺乏數據的區域產生云霧狀的偽影時，Orbit2Ground 生成的是堅實、連貫的物理表面。在近距離的地面視角下，建筑立面的紋理清晰可辨，極大地提升了畫面的真實感與沉浸感。

此外，與目前流行的 NeRF 或 3DGS 等 “云霧狀” 表達不同，Orbit2Ground 最終輸出的是標準的 Mesh (網格) 模型。

這意味著這套資產不是只能看、不能碰的 “全息影像”，而是可以直接導入 Unity、Unreal Engine 5 等主流引擎的實體資產。

Orbit2Ground 形成的城市 Mesh 模型，可以完成廣泛的下游應用，例如降雪模擬。

開發者可以直接在這些模型上添加剛體碰撞、進行物理模擬（如積雪堆積、洪水淹沒），或者進行光照渲染。這意味著我們擁有了一種低成本方案，能夠生成不僅 “看得清”，而且真正 “用得上” 的城市級數字資產。

或許在不遠的將來，

我們真的只需要幾顆衛星，

就能在數字世界中復刻一個鮮活的地球。