超越平面：走進雙曲空間，重新定義計算機視覺的未來

在計算機視覺的廣闊天地中，一場幾何學革命正悄然興起。傳統的歐幾里得空間——那個我們熟悉的平面世界，正被一種更為奇妙的幾何形式所挑戰。它被稱為雙曲空間，一個具有恒定負曲率的幾何領域，在這里，空間隨著直徑呈指數級擴張，而非多項式級增長。想象一下，當你在這個空間中漫步，每走一步，周圍的世界都在以驚人的速度擴展。這不是科幻小說的場景，而是一種正在改變計算機視覺領域的數學現實。雙曲幾何如何幫助機器更好地理解圖像？為何它能在有限樣本中學習，在不確定性中導航？本文將揭示這個令人著迷的新領域如何重塑我們的視覺世界。

曲率的魔力

想象一下你站在一張平坦的紙上，這就是我們熟悉的歐幾里得空間。在這個世界里，兩條平行線永遠不會相交，三角形的內角和總是180度。這個世界簡單明了，但當我們嘗試在這個平面上表示復雜的層次結構時，比如一棵不斷分支的樹，就會遇到困難。

雙曲空間則完全不同。它就像一個彎曲的馬鞍面，在這里平行線會擴散開來，三角形的內角和總是小于180度。更重要的是，雙曲空間中的體積增長速度驚人——隨著距離的增加呈指數級增長，而非歐幾里得空間的多項式增長。

這種特性使雙曲空間成為表示層次數據的理想場所。在19世紀，高斯、羅巴切夫斯基和博耶等數學家首次發展了這種非歐幾里得幾何，為物理學奠定了基礎，尤其是愛因斯坦的相對論。而今天，它正在改變計算機視覺的面貌。

雙曲空間有幾種不同但等價的模型。龐加萊模型可能是最直觀的一種，它將雙曲空間表示為一個單位圓盤。在這個圓盤中，直線變成了與邊界垂直相交的圓弧。著名藝術家埃舍爾的作品《圓極限》系列就是基于這個模型創作的，展示了雙曲空間中的規則結構。

雙曲面模型則使用單片超雙曲面來表示雙曲空間，它的優勢在于保留了某些線性結構，使得數學計算更為簡潔。而克萊因模型雖然不保持角度，但它的測地線（最短路徑）是直線段，這在計算上有很大優勢。

在計算機視覺應用中，五個核心操作構成了大多數算法的基本構件：測量兩點距離、找到測地?。▋牲c間的最短路徑）、形成測地線、使用指數映射沿著測地線移動、以及保持雙曲距離的平移操作。

以龐加萊模型為例，兩點p和q之間的距離計算公式為:

dD（p， q） = （1/√c）arcosh（1 + 2|p - q|/（（1 - |p|）（1 - |q|）））

這看起來復雜，但它捕捉了雙曲空間的本質特性——距離原點越遠，空間擴展越快。

借助陀螺向量空間計算，我們可以在雙曲空間中執行加法、標量乘法和移動等基本操作。陀螺向量空間加法給出了兩點的M？bius變換，而標量乘法則控制沿測地線移動的距離。

這些操作的魅力不僅在于數學的優雅，更在于它們為計算機視覺提供了新的思維方式。通過雙曲幾何，我們可以更自然地表示圖像中的層次關系，比如從物體類別到子類別，再到具體實例的遞進關系。

在實際應用中，歐幾里得空間長期以來一直是深度學習的默認選擇。然而，隨著研究的深入，我們發現歐幾里得空間并不總是最佳選擇。對于具有層次結構的數據，如圖像分類中的語義層次，雙曲空間提供了更自然的表示方法。

2017年，Nickel和Kiela證明雙曲空間能夠以最小的失真嵌入復雜的樹結構，這一發現為計算機視覺中的雙曲深度學習鋪平了道路。此后，雙曲神經網絡、雙曲圖卷積網絡等技術相繼出現，為計算機視覺領域帶來了新的可能性。

視覺的曲面

雙曲幾何在計算機視覺的監督學習中找到了豐富的應用場景。研究者們發現，將樣本與曲面上的不同元素匹配，可以實現令人印象深刻的性能提升。

第一種主要策略是樣本到旋轉平面學習。在這種方法中，類別通過雙曲超平面（即旋轉平面）表示，網絡基于樣本和旋轉平面間的置信度評分進行優化。Khrulkov等人在2020年的研究表明，在卷積網絡的最后一層添加雙曲分類器，不僅能提高分類性能，還能獲取基于圖像雙曲嵌入到原點距離的不確定性信息。

有趣的是，遠離原點的樣本通常對應于模型更確定的預測，而接近原點的樣本則表示更高的不確定性。這一特性使得區分在分布內和分布外的樣本成為可能，為異常檢測提供了自然的框架。

不過，雙曲分類器訓練中也存在梯度消失問題。由于當前雙曲方法多采用混合架構（歐幾里得特征連接到雙曲分類器），嵌入往往被推向龐加萊球的邊界，導致黎曼張量度量的逆接近零，產生較小的梯度。Guo等人在2022年提出了一種剪裁策略，顯著改善了這一問題，尤其是在處理ImageNet等大規模數據集時。

雙曲邏輯回歸不僅適用于整體分類，也適用于結構化預測任務如物體檢測和圖像分割。Ghadimi Atigh等人在2022年提出的雙曲圖像分割方法表明，雙曲空間為像素級分類帶來了多重優勢：不確定性量化、更好的零標簽泛化，以及在較少嵌入維度下的較高效率。

值得注意的是，雙曲圖像分割中的像素嵌入范數與語義模糊性高度相關——越接近語義邊界的像素，其范數越低。這種自然的不確定性表示已被Chen等人用于改進圖像分割。他們提出了一種雙曲不確定性損失，根據像素的雙曲范數加權交叉熵損失，從而提高分割結果。

除了邏輯回歸，雙曲核方法也顯示出強大的潛力。Fang等人在2021年引入了雙曲空間中的正定核函數，并展示了它們在計算機視覺中的應用。這些核方法可以插入到卷積網絡之上，同時受益于卷積層的表示學習和分類器中的雙曲核動態。

第二種廣泛使用的策略是樣本到原型學習，即將類別表示為雙曲空間中的點（原型）。這種方法有兩種主要實現：基于樣本均值的類嵌入（類似于原型網絡）和基于給定類層次結構的嵌入。

Khrulkov等人將歐幾里得原型網絡擴展到雙曲空間，通過愛因斯坦中點在克萊因坐標中計算類原型。這種雙曲原型網絡在少樣本學習中表現出色，尤其是當使用簡單的卷積骨干網絡時。

Gao等人進一步發現，不同任務甚至個別類別在少樣本學習中偏好不同的曲率。他們提出基于類內和類間樣本表示的二階統計生成每個類的曲率，并通過多層感知機學習確定曲率范圍。

雙曲原型學習的另一個分支專注于層次化知識的嵌入。許多研究者利用WordNet等現有層次結構，或者通過雙曲嵌入發現數據中的潛在層次關系。例如，Long等人利用雙曲糾纏錐嵌入動作類別層次結構，并加入葉節點間的角度分離以避免類別間混淆，從而改進了動作識別和零樣本分類。

Yu等人則提出同時學習層次和視覺表示，用于皮膚病變識別。通過優化圖像嵌入到正確的類原型，同時優化類別以遵守其雙曲糾纏錐，實現了更好的分層嵌入。

在零樣本學習領域，Liu等人利用WordNet的龐加萊嵌入和基于文本的龐加萊GloVe嵌入連接，形成類原型。通過優化訓練圖像到其原型的映射，可以在測試時通過最近鄰搜索泛化到未見類別。

Ghadimi Atigh等人則探索了雙曲空間中原型的均勻性，提出將類別嵌入到龐加萊球邊界上的最大分離點。由于邊界上的點與球內任何點的距離都是無限的，他們引入了Busemann距離作為替代度量，展示了這種方法與傳統邏輯回歸的直接聯系。

第三種策略是樣本到樣本學習，通過樣本間的對比來學習表示。Ermolov等人研究了雙曲度量學習的潛力，提出雙曲成對交叉熵損失，用于樣本對匹配。使用監督或自監督視覺變換器作為編碼器，雙曲度量學習在細粒度數據集上持續優于歐幾里得方法。

雙曲度量學習的二維投影顯示，類別聚集在球的邊界上，同時顯現出潛在的層次鄰域關系。這種學習方式已被證明有效克服了少樣本類增量學習中的過擬合和災難性遺忘問題，也適用于語義哈希、人臉識別和多模態對齊。

在多模態學習方面，Desai等人提出了雙曲圖像-文本表示，將輸入圖像和文本通過兩個獨立編碼器處理后投影到雙曲空間，并使用對比和蘊含損失進行訓練。該方法優于歐幾里得CLIP，能夠在雙曲空間中捕獲多模態層次關系。

除了樣本對的比較，一些研究表明基于集合和組的距離更有效、更穩健。Ma等人引入了一種自適應樣本到集合距離函數，通過所有支持樣本的加權平均來增加對異常值的魯棒性。這種方法在處理有異常值的少樣本學習中特別有益。

Zhang等人則提出了一種基于組的混合策略。每個組是樣本的隨機子集，通過可微分最優傳輸與原型匹配。他們也發現在雙曲嵌入空間中改進了細粒度數據集上的度量學習，并提供了經驗證據，表明其他基于度量的損失也從雙曲嵌入中受益。

這些監督學習策略展示了雙曲幾何在計算機視覺中的廣泛應用潛力。從分類和分割到少樣本和零樣本學習，再到度量學習和多模態學習，雙曲空間正在成為一種強大的替代幾何，能夠更好地捕捉視覺數據中的層次結構和復雜關系。

無師自通

在無監督學習的廣闊天地中，雙曲幾何也開辟了獨特的道路。無需標簽數據的指導，雙曲空間依靠其內在的幾何特性，自然地發現數據中的層次結構和模式。

生成模型是無監督學習的重要分支，研究者們已經將雙曲幾何融入到各種生成模型中。2019年，Nagano等人提出了雙曲包裹正態分布，并推導了可重參數化采樣和概率密度函數計算的算法。他們用這些工具構建了雙曲變分自編碼器（VAE），用雙曲包裹正態分布替代傳統的歐幾里得高斯分布作為先驗和后驗。這種方法在MNIST和Atari 2600 Breakout屏幕上學習表示時，在低維潛在空間中顯著優于歐幾里得表示。

Mathieu等人進一步擴展了這項工作，引入了黎曼正態分布，并推導出使用雙曲極坐標的可重參數化采樣方案。他們還在解碼器的第一層加入了旋轉平面層，將歐幾里得仿射變換替換為雙曲對應物。這些改進在低維潛在空間中提高了測試對數似然。

2022年，Cho等人對雙曲包裹正態分布進行了改進，提出了旋轉雙曲包裹正態分布。他們發現標準包裹正態分布的主軸與局部標準軸不對齊，于是設計了一種新的采樣過程來修正這一問題。這種改進在多種設置中都優于原始雙曲包裹正態分布。

生成對抗網絡（GAN）也已經采用雙曲幾何來捕捉圖像中的層次結構。Lazcano等人在2021年提出了雙曲GAN，用具有可學習曲率的雙曲層替換生成器和判別器中的部分歐幾里得層。他們發現，歐幾里得和雙曲層的最佳配置通?？梢蕴岣進NIST圖像生成的Inception Score和Frechet Inception Distance。與雙曲VAE不同，雙曲GAN在較大的潛在維度上也能獲得良好結果。

Qu和Zou提出了HAEGAN，一種基于Lorentz模型的雙曲自編碼器和GAN框架。他們泛化了WGAN-GP到雙曲空間，并引入了新的Lorentz連接層，與之前工作相比，在MNIST圖像生成上顯示出改進。

Li等人在2022年提出了一種用于少樣本圖像生成的雙曲方法。他們的核心思想是雙曲空間編碼了一個語義層次，其中層次的根（在雙曲空間中心）是一個類別，較低層次是更細粒度的劃分，最低層次是與類別無關的特征?；谶@一思想，他們將StyleGAN的W+空間映射到雙曲空間再映射回來，能夠進行層次化的屬性編輯和少樣本生成。

歸一化流也已在雙曲空間中得到實現。Bose等人在2020年提出了雙曲歸一化流，將歐幾里得歸一化流RealNVP泛化到雙曲空間。他們提出了兩種雙曲歸一化流：在原點的切空間中進行耦合的切空間耦合，以及使用平行傳輸將中間向量從原點的切空間映射到雙曲空間中另一點的切空間的包裹雙曲耦合。在MNIST上，雙曲模型在低維潛在空間中的性能超過了等效的歐幾里得模型，但在維度6時歐幾里得模型就開始超過雙曲模型。

聚類是無監督學習的另一個重要分支，雙曲空間與層次、樹的緊密關系使其成為層次聚類的理想選擇。Monath等人在2019年提出使用雙曲表示進行層次聚類。他們的方法要求每個數據點在龐加萊圓盤邊緣有一個雙曲表示，這些表示成為層次聚類的葉節點。通過優化固定數量內部節點的雙曲表示，可以提取離散的樹。其損失函數基于Dasgupta成本和父子邊際目標，鼓勵父節點具有比子節點更小的范數。使用這種方法，他們能夠嵌入ImageNet，表示取自預訓練Inception神經網絡的最后一層。

Chami等人在2020年也基于Dasgupta成本提出了一種方法，但他們將雙曲空間中兩點的最近公共祖先定義為連接這兩點的測地線上最接近雙曲原點的點，并提供了在龐加萊圓盤中計算這一點的公式。這允許直接優化Dasgupta成本的連續對應物。與Monath等人的方法不同，Chami等人不需要預先可用的雙曲嵌入，并優化整棵樹的雙曲嵌入，而不僅僅是葉子。

Lin等人在2022年提出了一個基于神經網絡的框架，用于多視圖數據的層次聚類。該框架包括兩個步驟：通過重構損失、不同視圖之間的對比學習和正例與挖掘的硬負例之間的加權三元組損失來提高表示質量，然后應用Chami等人的雙曲層次聚類框架。Lin等人應用這種方法對各種多視圖圖像數據集進行多視圖聚類。

自監督學習也在雙曲空間中得到了探索?；谌M損失的方法包括Hsu等人在2021年提出的學習3D生物醫學圖像片段級表示的方法。他們擴展了Mathieu等人的雙曲VAE架構，使用3D卷積編碼器和解碼器以及旋轉平面卷積層。為了學習好的表示，他們提出了一種層次自監督損失，捕捉3D生物醫學圖像的隱含層次結構。給定一個父片段μp，他們取一個子片段μc（父片段的子片段）和一個負片段μn（與父片段不重疊），然后定義層次自監督損失為邊際三元組損失。這鼓勵子片段的表示成為主片段表示的子代或后代，而遠離的片段（可能包含不同結構）位于層次表示的其他分支上。這種策略對合成生物數據和3D腦腫瘤MRI掃描的無監督分割都很有效。

Weng等人在2021年提出利用圖像內物體的層次結構進行弱監督長尾實例分割。為了捕捉這種層次結構，他們學習了由幾種雙曲自監督損失監督的雙曲表示。第一個自監督損失鼓勵對象的表示與完整對象圖像的表示相似，并遠離對象背景的表示。第二個損失是需要采樣正例和負例的三元組損失。第三個損失類似于Hsu等人的層次三元組損失，只是以原點代替負樣本。最后，表示通過雙曲k均值聚類進行聚類。與Hsu等人不同，計算均值時，他們將表示從龐加萊圓盤映射到雙曲面模型L并計算Law等人提出的（加權）雙曲面中點。與Frechet均值相比，這種均值具有閉式公式的優勢，計算效率更高。Weng等人發現他們的方法改進了LVIS長尾分割數據集上的其他部分監督方法。

對比學習方法也已經在雙曲空間中提出。Surs等人在2021年提出學習視頻動作預測的雙曲表示，因為它們能夠結合表示層次和提供不確定性度量。Surs等人學習了一個動作層次，更抽象的動作接近龐加萊圓盤的原點，更細粒度的動作接近邊緣。如果前面的視頻幀模棱兩可，這種層次表示允許預測更一般的父類動作，而不必預測更細粒度的子類動作。兩個動作的父代計算為它們雙曲表示的雙曲均值，Surs等人將其計算為連接兩個表示的測地線的中點。Surs等人提出了一個兩階段框架，包括對比預訓練雙曲表示，然后凍結表示并訓練用于動作預測的線性分類器。自監督預訓練的前提任務是預測未來幀的表示，通過對比損失進行監督，鼓勵正對有相似的表示，同時將預測從所有負例的表示中推開。在不確定性存在時，該損失通過預測連接a和b的測地線上的中點來最小化，這等同于在層次結構中上移一級到a和b的父代。

Ge等人在2022年提出通過場景-物體層次來改進對比學習。Ge等人使用MoCo架構的雙曲版本，稱為HCL。與以往的視覺對比學習工作不同，HCL要求從輸入圖像中提取對象區域。雙曲分支采用場景區域u和作為場景u子區域的對象區域v，以及不作為場景u子區域的負對象Nu = {n1， …， nk}，通過以雙曲距離為相似度度量的對比損失進行訓練。這種損失鼓勵表示形成場景-物體層次結構，場景具有最高范數（在龐加萊球D的邊緣），物體具有最小范數（在D的中心）。該論文發現他們的方法比原始MoCo和使用邊界框信息增強的MoCo略有改進。他們還使用他們的方法檢查了上下文之外的物體的表示，發現它們與場景圖像的距離通常更高。

Yue等人在2023年提出了一種基于SimCLR的不同雙曲對比學習方法。與Ge等人一樣，Yue等人將對比損失的點積相似度替換為雙曲距離，但他們只有一個雙曲分支，而不保留歐幾里得分支。Yue等人還提出擴展受監督對比學習方法SupCon，并訓練對抗性魯棒對比學習器，擴展Robust Contrastive Learning方法到雙曲空間。與Ge等人一樣，Yan等人發現雙曲對比學習通常比其歐幾里得對應物略有改進。

未竟之路

雙曲視覺學習雖已取得令人矚目的進展，但這條路上仍有眾多挑戰與機遇。前路漫漫，我們需要共同努力才能充分釋放雙曲幾何在計算機視覺中的潛力。

全雙曲學習是一個重要的研究方向。目前，大多數雙曲學習論文在計算機視覺中采用混合方法：在歐幾里得空間中進行特征學習，然后將輸出嵌入轉換到雙曲空間進行最終的學習階段。神經科學的研究表明，對于神經網絡的早期層，雙曲空間也可以發揮重要作用。例如，Zhang等人在2023年發現海馬體中的空間關系比歐幾里得更具雙曲性。

在雙曲空間中構建完全的深度網絡，需要重新思考所有層，從卷積到自注意力和歸一化。在撰寫本文時，已有兩項工作在這個方向上邁出了步伐。Bdeir等人在2023年引入了Lorentz模型中的雙曲卷積網絡，概述了如何執行卷積、批歸一化和殘差連接。同時，van Spengler等人在2023年引入了龐加萊ResNet，包括龐加萊球模型中的卷積、殘差、批歸一化和更好的網絡初始化。

這些工作為全雙曲學習奠定了基礎，但仍有許多未解決的問題。哪個模型最適合全雙曲學習？或者不同的層在不同的模型中效果最好？全雙曲學習如何擴展到ImageNet及更大的數據集？網絡的每個階段是否應該具有相同的曲率？與歐幾里得網絡相比，雙曲網絡在所有可能的任務中能達到多高的效果？回答這些問題還需要大量研究。

計算挑戰也是需要解決的重要問題。在雙曲空間中進行基于梯度的學習，改變了網絡的優化方式和參數行為。與歐幾里得對應物相比，雙曲網絡和嵌入在數值上可能更不穩定，在球的邊界處存在問題，梯度消失等。此外，雙曲操作可能更復雜，計算量更大，導致網絡效率降低。這些計算挑戰與雙曲學習的所有領域都相關，需要廣泛關注。

開源社區的建設對推動雙曲學習的發展至關重要?，F代深度學習庫以歐幾里得幾何為中心。任何雙曲學習的新研究者，都難以快速實現網絡和層來獲得對其工作的直覺理解。任何新的進展都必須從頭實現或從其他論文的代碼庫導入。缺少的是一個開源社區和共享代碼庫，收錄計算機視覺雙曲學習的各種進展。這樣的社區和代碼庫對于獲得進一步的吸引力并吸引廣泛的受眾（包括從業者）至關重要。無論是作為現有庫的一部分還是作為單獨的庫，持續開發開源雙曲學習代碼對該領域的未來至關重要。

大規模和多模態學習是另一個重要方向。在計算機視覺和人工智能領域，學習大規模數據和多模態數據（如圖像-文本或視頻-音頻模型）的趨勢越來越明顯。因此，達到雙曲基礎模型是該領域的自然愿望。雖然早期工作已表明，使用雙曲嵌入進行大規模和/或多模態學習是可行的，如Desai等人在2023年的研究，但雙曲基礎模型的形成需要解決上述所有開放問題，從穩定的全雙曲學習到持續的開源開發。

回顧雙曲深度學習在計算機視覺中的現狀，我們可以確定四個主要的改進軸線：層次學習、少樣本學習、魯棒學習和低維學習。

雙曲空間與層次數據的內在聯系已為人所知。許多研究已利用雙曲學習改進計算機視覺中的層次目標。雙曲空間支持以最小的失真嵌入復雜的樹結構，這一特性使得它能夠更自然地表示圖像分類中的語義層次，為零樣本泛化提供了可能性。

在少樣本學習方面，雙曲嵌入和原型一致顯示出性能改進，無論是否有層次知識。這表明雙曲空間可以從更少的樣本中泛化，在樣本稀缺的領域有潛力。這在無監督領域已經顯現，當處理受限的數據源時，雙曲空間中的生成學習更有效。

雙曲學習在多個方面表現出更強的魯棒性。雙曲嵌入改進了分布外檢測，提供了自然的不確定性量化方式，能夠發現無監督上下文外樣本，并可以提高對抗性攻擊的魯棒性。魯棒性和不確定性是深度學習中的關鍵挑戰，雙曲深度學習提供了使網絡更魯棒的自然解決方案。

對于許多應用來說，網絡和嵌入空間需要受到限制，例如在嵌入式設備上學習或可視化數據時。在無監督領域，當使用較小的嵌入空間時，雙曲學習一致優于歐幾里得學習。同樣，在監督問題中，雙曲空間中的嵌入維度可以大幅減少，同時保持下游性能。因此，雙曲學習有潛力實現壓縮和嵌入式領域的學習。

雙曲學習已經在計算機視覺中產生了影響，并展示了許多有前途的道路。然而，該領域仍處于早期階段，面臨許多挑戰和機遇。需要共同努力才能充分釋放雙曲幾何在計算機視覺中的潛力。

參考資料

1. Mettes， P.， Atigh， M. G.， Keller-Ressel， M.， Gu， J.， &； Yeung， S. （2023）. Hyperbolic Deep Learning in Computer Vision: A Survey. arXiv:2305.06611v1.

2. Ganea， O.， Bcigneul， G.， &； Hofmann， T. （2018）. Hyperbolic Neural Networks. Advances in Neural Information Processing Systems.

3. Khrulkov， V.， Mirvakhabova， L.， Ustinova， E.， Oseledets， I.， &； Lempitsky， V. （2020）. Hyperbolic Image Embeddings. Computer Vision and Pattern Recognition.

4. Ermolov， A.， Mirvakhabova， L.， Khrulkov， V.， Sebe， N.， &； Oseledets， I. （2022）. Hyperbolic Vision Transformers: Combining Improvements in Metric Learning. Computer Vision and Pattern Recognition.

5. Ghadimi Atigh， M.， Schoep， J.， Acar， E.， van Noord， N.， &； Mettes， P. （2022）. Hyperbolic Image Segmentation. Computer Vision and Pattern Recognition.