自然子刊：高維數據如何“看清”類簇？一種可伸縮流形學習的新范式

導語

高維數據往往蘊含低維流形結構，如何在降維過程中同時保持類簇可分性、拓撲結構一致性與計算可伸縮性，是流形學習長期面臨的核心挑戰。盡管 t-SNE、UMAP 等方法已在可視化與表示學習中得到廣泛應用，但它們在大規模數據場景下仍存在類簇擁擠、拓撲失真及計算成本高等局限。

2025年9月發表于 Nature Machine Intelligence 的這項研究提出了一種采樣驅動的可伸縮流形學習方法 SUDE (Scalable manifold learning that enables Uniform and Discriminative Embedding)。該方法通過均勻地標采樣構建全局骨架，在低維空間中引入重尾概率分布以增強類簇分離，并結合約束局部線性嵌入實現非地標點的高效映射。大量合成數據、真實高維數據、生物單細胞數據及心電信號實驗表明，SUDE在類簇區分能力、結構保留與計算效率之間實現了更優平衡，為大規模流形數據分析提供了一種可擴展的新范式。

關鍵詞：流形學習（Manifold Learning）、降維、可伸縮算法（Scalability）、地標采樣（Landmark Sampling）、類簇結構發現（Cluster Structure Discovery）、多維數據可視化、重尾概率分布（Heavy-tailed Probability Distribution）

珞珈時空計算丨來源

論文題目：Sampling-enabled scalable manifold learning unveils the discriminative cluster structure of high-dimensional data 論文鏈接：https://www.nature.com/articles/s42256-025-01112-9 發表時間：2025年9月10日 論文來源：nature machine intelligence

內容概括

流形學習 (Manifold Learning) 旨在揭示高維空間中復雜非線性流形的內在低維結構，將數據嵌入到聚類友好的低維特征空間，緩解維度災難帶來的負面影響。盡管現有技術 (如t-SNE和UMAP) 已在諸多領域廣泛應用，但對于類簇的區分能力相對有限，難以保留連續的拓撲結構，且計算的可伸縮性存在不足，限制了其在大規模流形數據處理場景下的適用性。針對上述問題，論文提出一種基于均勻地標采樣與約束局部線性嵌入的可擴展流形學習方法SUDE。它通過地標采樣選取部分重要樣本作為地標點進行嵌入學習，確定高維數據在低維空間的主要骨架，再根據非地標點與地標點的局部線性關系將其快速嵌入至低維空間，極大提升了流形學習的伸縮性。此外，論文提出一種重尾低維概率分布，增強了類簇之間的分離性，并通過對非地標點嵌入施加最鄰近距離約束，緩解了欠采樣引發的臟簇問題。

研究背景

維度

英國著名小說家Edwin Abbott在他撰寫的《平面國》(Flat Land) 中構想了一個由幾何形狀構成的等級社會，居民是各種幾何圖形，比如女性是簡單的線段，士兵和底層勞動者是等腰三角形，貴族是六邊形及以上，邊數越多，等級越高，他們通過觸摸、視覺來識別彼此。主人公正方形一次機緣巧合之下遇到了一位來自三維空間的使者，得以游歷三維世界，游歷歸來后，他因為傳播三維世界的真理被當作瘋子關進監獄，可見低維生物依然是難以理解高維空間。我們以荷蘭畫家Maurits Cornelis Escher的經典畫作《蜥蜴》為例，如圖1所示，假設在二維平面空間密鋪著無數只蜥蜴，這時候存在一只三維蜥蜴，它站在一個正十二面體上，那么它該如何給二維蜥蜴描述正十二面體的幾何形態呢？

圖1 蜥蜴 (來自紀錄片《維度：數學漫步》)

第一種方法，讓三維幾何體慢慢穿過二維平面，讓蜥蜴通過穿過的截面形狀來想象它的三維結構，但是隨著這個幾何體的面數不斷增加，二維的截面形狀也越來越復雜，對于三維結構的理解變得愈加困難。

圖2 根據幾何體穿透二維平面的截面理解幾何形態

第二種方法，通過球極投影把三維幾何體的面投影到二維平面，并通過滾動球體來觀察投影的變化，從而理解高維幾何體結構。因此，投影是用于理解高維數據分布結構的重要降維方法。

圖3 利用球極投影理解三維幾何體形態

維度災難

降維除了用于高維數據可視化之外，還是解決維度災難(Curse of Dimensionality) 問題的主要途徑之一。維度災難指的是模型的分類或聚類精度隨著數據維度的增加呈現先上升后下降的趨勢 (圖4)。導致維度災難的一個主要原因在于數據在高維特征空間的分布存在嚴重的稀疏性，這使得模型表征能力不足，而容易引發過擬合問題。同時，聚類與分類任務中常用的相似性度量存在距離趨同(Distance Concentration) 現象，即距離隨著維度增長逐漸趨于相同取值，丟失了相似性度量的可區分性，使得相似性度量失效。此外，高維數據往往呈流形分布，流形效應(Manifold Effect) 使得一些常見的聚類模式 (如邊界模式和內部模式) 在高維空間失效，而且大量的冗余特征不僅影響聚類精度，也極大地增加存儲和計算成本。

圖4 維度災難問題

流形

高維數據往往呈現流形分布，即數據的內在維度低于特征維度。在數學上，流形指的是局部同胚于歐式空間的豪斯多夫空間，局部具有歐氏幾何性質 (圖5)。同胚可以想象為“彈性變形”，允許空間被拉伸、彎曲或壓縮，但不允許切割或粘連。一卷衛生紙就是一種流形，把它展開可以平攤成一個二維平面空間，而不影響它原先的拓撲結構。對于高維數據點而言，它們往往分布在復雜的非線性流形上，彼此交織纏繞在一起，直接在高維空間對其進行分類或者聚類難度較大。

圖5 流形示意圖

流形學習

為了實現降維，傳統線性降維方法如PCA通過對數據進行線性變換提取主要特征，雖然計算高效但無法有效捕捉非線性結構。流形學習通過保持數據間的局部幾何關系 (如鄰接拓撲結構或測地距離) 實現非線性降維。2000年在《Science》上背靠背發表的等距特征映射Isomap和局部線性嵌入LLE兩種方法是流形學習的開山之作。前者用測地距離替代歐氏距離進行映射，后者通過局部線性重構關系保留鄰域結構，但這兩種方法無法保證類簇間的分離性，造成低維嵌入的擁擠問題。

圖6 t-SNE原文及作者

Meta AI首席研究科學家Laurens van der Maaten與諾貝爾獎物理學獎獲得者Geoffrey Hinton教授在2008年共同提出了流形學習的革命性工作t-SNE (圖6)，采用概率逼近策略來實現數據在原始空間和嵌入空間的結構一致性，并通過兩種不同概率分布函數達到類簇分離的效果 (圖7)。由于t-SNE涉及到密集的矩陣運算，計算開銷巨大。Laurens van der Maaten將t-SNE的優化問題看作是多體 (N-body) 引力問題，采用Barnes-Hut算法來實現快速梯度計算，但是Barnes-Hut-SNE (BH-t-SNE) 算法只能實現二維或三維的嵌入。2018年提出的均勻流形近似與投影UMAP是流形學習的又一里程碑式的方法，它采用交叉熵 (Cross Entropy, CE) 代替 KL 散度作為損失函數，并通過隨機梯度下降法加速收斂過程。UMAP已成為近幾年最受歡迎的流形學習方法，在諸多領域取得成功。盡管如此，UMAP在處理復雜數據分布時依然存在擁擠問題，且計算效率仍有提升空間。

圖7 t-SNE原理示意圖

方法介紹

概述

本文提出一種基于均勻地標采樣與約束局部線性嵌入的可伸縮流形學習方法SUDE，如圖8所示，它主要由三個階段構成，即地標采樣 (Sampling)、嵌入學習 (Learning) 和非地標嵌入 (Incorporating)。在第一階段，SUDE從原始數據點中采樣部分關鍵點作為地標點，將這些地標點輸入到嵌入學習階段，通過迭代優化得到地標點的低維嵌入。最后，利用約束局部線性嵌入確定非地標點在低維空間的坐標，生成最終的低維嵌入。

圖8 SUDE總體流程圖

棗糕采樣

地標采樣的核心在于如何保證采樣得到的地標點與原始數據點的分布一致性，為此本文提出棗糕采樣 (Plum Pudding Sampling, PPS)，其命名源于PPS采樣結果神似一塊棗糕，地標點類似于“棗子”嵌入在原始數據的“蛋糕”當中。考慮到局部高密度點具有重要的拓撲信息，PPS先將所有數據點按照反向最近鄰 (Reverse Nearest Neighbors, RNN) 的大小降序排列，因為RNN能夠度量樣本點局部密度，高RNN值的點往往是數據中的樞紐點，包含重要的拓撲結構信息。如圖9所示，每次循環中，選擇RNN排序后隊列中第一個點作為地標點，新增到地標點集合當中，并將其 KNN對象從點隊列中移除，添加到非地標點集。如此循環直至隊列中沒有任何剩余點，則完成地標采樣。PPS通過唯一參數k1控制采樣率，k1越大采樣率越低。

圖9 SUDE總體流程圖

本文采用RNN的原因在于它能夠描述節點在圖網絡中的中心性，如圖10a所示，隨著維度升高，RNN與網絡的介中心性Betweenness呈現更顯著的線性相關。而之所以按照RNN降序排列采樣地標點，是因為這樣得到的地標點在RNN和Betweenness的分布上與原始數據更加一致 (圖10b,c，詳見原文附件Supplementary Note 7)。

圖10 優先選擇樞紐點作為地標的重要性

早期聚合

當類簇之間的距離較近且采樣率較低時，可能會出現欠采樣 (Undersampling) 問題。如圖11所示，隨著地標點變得稀疏，原始數據中類簇的凝聚性逐漸丟失，使得戴維森堡丁指數DBI上升且輪廓系數SC下降，意味著不同類簇的區分度下降。

圖11 欠采樣問題

為了緩解欠采樣問題，SUDE在構建高維概率時通過早期聚合 (Early Aggregation, EA) 策略維持它們在原始數據中的強關聯性。EA利用地標點在原始數據中的共享最近鄰 (Shared Nearest Neighbor, SNN) 來度量彼此的關聯程度，根據不同的關聯程度拉近它們在采樣空間的距離，以保留類簇在原始數據中的區分度。

對數低維概率分布

t-SNE和UMAP采用學生t分布構建點對之間的低維空間相似度，但是對于類簇的分離能力有限。為此，本文提出一種對數概率分布

如圖12所示，相比學生t分布，它是一種更加重尾的分布，能夠使得在高維空間距離較近的點對在低維嵌入中離得更近，而使得高維空間距離較遠的點對在低維空間被推得更遠，從而實現類簇的有效分離。通過構建的高維低維概率分布，采用動量梯度下降確定地標點的低維坐標。

圖12 對數低維概率分布

約束局部線性嵌入

在獲得地標點的低維坐標之后，需要將非地標點快速嵌入至地標點確定的低維空間。利用LLE計算非地標點與最鄰近地標點的局部線性關系可用于確定低維空間中非地標點的合適位置。然而，對于一些類簇邊界點，它們的最鄰近地標點可能屬于不同的類簇，并且彼此相隔較遠，僅通過局部線性關系往往會被嵌入到類簇之間的間隙中，形成臟簇或噪聲，這種現象在采樣率較低時尤為顯著。因此，本文提出了約束局部線性嵌入 (Constrained Locally Linear Embedding, CLLE) 算法，它利用 LLE 重構非地標點與最鄰近地標點線性權重的同時，引入了與最鄰近地標點的距離約束。

實驗分析

地標采樣有效性驗證

為了驗證PPS方法的有效性，本文在兩個人造數據集上與隨機采樣RS、剪枝生成樹PST和最大最小采樣MMS三種采樣基準進行對比實驗。如圖13a所示，PPS能夠生成分布更均勻的地標點，而且在聚類中心偏移 (Offset Distance Of Centroids, ODOC)、聚類規模一致性 (Congruence of Cluster Size, CCS) 和計算伸縮性三個維度均優于對比方法 (圖13b-d)。此外，本文還設計了一個五維數據集 (圖13e)，它由三個彼此正交的圓環構成，可以發現PPS對于數據的全局結構保留得更好，能夠獲得更高的一致性系數 (Congruence Coefficient, CC)，且隨著采樣率降低 (k1增大) 更加魯棒 (圖13f)。從圖13g的嵌入可視化結果來看，SUDE更好地保留了圓環的形態結構和彼此連接的拓撲關系。

圖13 在人造數據集驗證PPS有效性

真實高維數據集有效性驗證

本文在12個真實的高維數據集上對比了SUDE與三種傳統流形學習方法 (BH-t-SNE、UMAP和TriMap) 以及兩種深度學習方法 (TopoAE和P-UMAP) 的性能，采用五種評價指標：KNN分類精度 (knnACC)、SVM分類精度 (svmACC)、K-means聚類精度 (clusACC)、一致性系數CC和KNN召回率 (knnRec) 量化評估降維質量。

圖14 在真實高維數據集驗證SUDE有效性

如圖14a所示，SUDE在60項得分中獲得23項最高分，并且計算效率優于五種對比方法 (圖14b)。從圖14c的雷達圖來看，SUDE在knnACC、svmACC、clusACC和Scalability均排名第一，表明它在類簇分離和計算效率方面具有顯著優勢。TopoAE借助神經網絡強大的擬合能力，CC得分排名第一，能夠獲得最優的全局結構保留效果，而BH-t-SNE在knnRec分數排名第一，證明其能夠更好地恢復高維數據的局部結構。圖14d,e表明SUDE隨著數據規模和嵌入維度的增大，計算伸縮性表現最優。在圖14f中，本文將嵌入學習的方法分別替換為t-SNE和UMAP，聚類精度均低于SUDE。圖14g對比了SUDE集成三種不同低維概率分布的收斂情況，對數概率分布能夠在更少的epoch內獲得更高的聚類精度。

單細胞生物數據集有效性驗證

為了評估SUDE的適用性，本文將其應用于小鼠視網膜scRNA-seq數據集。如圖15a所示，UMAP將視錐雙極細胞 (Cone Bipolar Cells) 和無長突細胞 (Amacrine Cells)類簇過度拆分為若干子簇，而SUDE則更好地保持了兩種細胞類簇的完整性。采用CDC算法對低維嵌入進行聚類，在SUDE嵌入上的聚類精度遠優于UMAP嵌入，證明SUDE嵌入比UMAP嵌入更適合細胞類型注釋任務 (圖15b,c)。

圖15 在單細胞生物數據集驗證SUDE有效性

本文在圖15d驗證了SUDE在CyTOF生物數據集的性能，SUDE能夠更好地分離單核細胞 (Monocytes) 的細胞亞群CD11b+和CD11b-，細胞密度呈現明顯的雙峰結構 (圖15e)。圖15f顯示SUDE獲得最高的CC得分，具有更好的全局結構保留能力，且它的計算效率分別是BH-t-SNE和UMAP的6.3倍和3.0倍。為了證明SUDE對于細胞表型相似性的保留能力，本文計算了每個細胞類簇最鄰近的細胞類型，這種細胞類型鄰近關系在SUDE嵌入中的保留精度達到78.57%，優于其他兩種方法 (圖15g)。本文在圖15h-k利用SUDE嵌入來可視化B細胞的分化過程，從SUDE嵌入中推斷出來的偽時間更符合B細胞的分化過程。

心電圖數據集有效性驗證

本文還將流形學習方法應用在心電圖ECG信號的異常心跳檢測任務。圖16a是我們設計的端到端異常心跳檢測流程，先使用傅里葉同步壓縮變換來獲得信號中采樣點的時頻表示，然后將這些表示輸入到預訓練的LSTM網絡中以識別每個心跳周期的P波、QRS波和T波 (圖16b)，并從每次心跳中提取八個波形特征 (圖16c)，最后將高維特征嵌入到低維空間，并利用KNN和SVM分類器來區分正常心跳和異常心跳。在MIT-BIH心電圖數據集的四個病例樣本上，SUDE在KNN和SVM兩個分類器精度均優于PCA和UMAP，且隨著嵌入維度的變化表現出更高的穩定性 (圖16d)。如圖16e所示，在線性降維PCA嵌入中，正常心跳和異常心跳混合在一起，難以區分；而UMAP則產生了過多的小型簇，破壞了類簇完整性。

圖16 在心電圖數據集驗證SUDE有效性

降維是一個權衡的過程，將數據映射到低維空間必然會犧牲某些信息以保留其他重要特征。本文從分類精度、聚類精度、全局/局部結構保留能力和計算伸縮性等方面評估了SUDE的性能。結果表明，SUDE在類簇分離和計算效率方面具有顯著優勢。在小數據集上，SUDE在局部結構保持方面表現相對較差，但在大多數大型數據集上，除BH-t-SNE外，其性能優于其他方法。在全局結構保留方面，基于神經網絡的方法 (如TopoAE和P-UMAP) 在保持等距關系方面表現出色。用戶可以根據實際需求選擇合適的流形學習方法，當優先考慮聚類分離度和計算效率時，SUDE會是一個合適的選擇。

此外，論文附錄 (Supplementary Information) 中還包含更多討論和推導，歡迎感興趣的讀者下載閱讀：

* 為什么需要流形學習？(Supplementary Note 5)

* 為什么需要均勻采樣？(Supplementary Note 6)

* 為什么在PPS采樣中需要RNN降序排列？(Supplementary Note 7)

* 為什么對數低維概率分布是有效的？(Supplementary Note 8)

* 欠采樣會帶來哪些負面影響？(Supplementary Note 9)

* 為什么早期聚合能夠緩解欠采樣問題？(Supplementary Note 10)

* CLLE是如何規避臟簇的產生？(Supplementary Note 11)

作者介紹

彭德華：武漢大學遙感信息工程學院弘毅博士后，主要研究方向為機器學習與地理空間智能。

桂志鵬：武漢大學遙感信息工程學院教授、副院長，主要研究方時空數據挖掘及地理信息系統的理論與應用研究。

衛文章：武漢大學遙感信息工程學院25級博士生，主要研究方向為圖文匹配與多模態大模型。

栗法：德州大學奧斯汀分校助理教授，主要研究方向為野火監測與可解釋AI。

桂杰：東南大學網絡空間安全學院教授，研究方向為機器學習、模式識別與大模型。

吳華意：武漢大學測繪遙感信息工程全國重點實驗室教授，主要研究方向為地理信息服務與地學大模型。

龔健雅：中國科學院院士、武漢大學遙感信息工程學院和測繪遙感信息工程全國重點實驗室教授，主要研究方向為地理信息理論和幾何遙感基礎研究。

論文鏈接https://www.nature.com/articles/s42256-025-01112-9 代碼鏈接https://github.com/ZPGuiGroupWhu/sude

拓撲學課程：從空間直覺到系統科學

你是否曾思考過：為什么咖啡杯在數學上可以變成甜甜圈？為什么混沌系統中會出現周期軌、可約化結構和“奇怪吸引子”模式？為什么神經網絡、量子物理甚至心理結構，都可以從“拓撲”角度理解？

拓撲學不僅是數學的抽象分支，更提供了系統的思維方式，讓我們理解連續性、結構不變性乃至復雜系統的整體規律。從歐拉七橋問題到DNA的纏結，從量子場論到思維科學與腦科學，拓撲學思想正在各學科中普遍而深刻地重塑著我們的認知方式。

集智學園聯合北京大學博士金威老師開設，課程于11月23日開啟，歡迎感興趣的讀者加入。

詳情請見：

1.

2.

3.

4.

5.

6.

7.