自然·物理：復雜系統的低秩假說

導語

復雜系統通常可建模為高維非線性動力學系統，其宏觀行為由大量異質成分之間的相互作用共同決定。為了獲得可解釋的宏觀描述，研究中常隱含地假設：這些相互作用可以由一個有效低秩的網絡矩陣來刻畫，從而使系統動力學具備可降維的結構——這一假設被稱為低秩假說。

本文系統闡明了低秩假說的數學內涵，并檢驗了其在隨機網絡與真實網絡中的適用性。基于奇異值分解（SVD）的基本理論，作者一方面分析了多類隨機圖模型中低秩結構出現的機制，另一方面通過大量真實網絡數據驗證了奇異值的快速衰減現象。進一步地，文章評估了低秩結構對網絡上非線性動力學降維的影響，證明了包括循環神經網絡在內的一類動力系統可以實現精確或近似的低維描述，并揭示了高階相互作用在降維過程中自然涌現的機制。

關鍵詞：低秩假設（Low-rank hypothesis）、奇異值分解（Singular value decomposition，SVD）、維度約簡（Dimension reduction）、動力學系統、高階相互作用（Higher-order interactions）

來源：集智俱樂部

作者： 王璇

審校： 趙思怡

論文題目：The low-rank hypothesis of complex systems 論文鏈接：https://www.nature.com/articles/s41567-023-02303-0 發表時間：2024 年 1 月 10 日 論文來源：Nature Physics

目錄

引言

網絡模型假說的證據

真實網絡假說的驗證

誘導的低維假說

高階相互作用的涌現

結論與展望

方法

真實網絡數據集

引言

理解復雜系統中的涌現行為，關鍵在于建立微觀相互作用與宏觀集體現象之間的聯系。與其試圖窮盡系統中所有組成成分的細節，降維方法關注的是能否找到一組有限的宏觀變量，使其既足以描述系統行為，又不會掩蓋關鍵動力學機制。

然而，這一目標在復雜系統中尤為困難?，F實系統往往具有極高的維度，其動力學狀態空間隨系統規模迅速膨脹，這種現象通常被稱為維數災難[1-3]。在許多領域中，如何在保留系統本質行為的同時實現有效降維，仍是一個懸而未決的問題。

在多者異也（More is different）的思想框架下，試圖用簡潔模型刻畫復雜系統，表面上看似矛盾。然而，簡化結構并不意味著行為簡單。許多低維或規則明確的模型，同樣可以展現出混沌、突變等高度復雜的動力學現象。

這表明，關鍵不在于系統的形式是否簡單，而在于所選描述是否抓住了主導動力學的核心自由度。正是在這一意義上，低秩結構為理解復雜系統提供了一種可能的橋梁。

在網絡科學中，復雜系統組成成分之間相互作用的拓撲結構通常被簡化為圖，由一組頂點和一組邊定義 (Figs. 1a-b)。這種表示法有助于提取復雜網絡的主導特性，例如其模塊化組織結構[13]。目前正在發生的一種范式轉變是使用超圖或單純復形（simplicial complex）來代替圖，以考慮在某些真實系統中觀察到的重要高階相互作用[14, 15]。除了尋找描述復雜系統的合適維度，人們還需要揭示其相互作用的階數。正如后文所示，這兩個問題是相互交織的。

一個圖總可以表示為一個矩陣，這一事實為利用線性代數刻畫網絡結構提供了最基本、也最有力的切入點。基于這種表示，譜理論（spectral theory）通過對矩陣進行分解，使人們能夠識別網絡中起主導作用的結構成分。長期以來，特征值分解被廣泛用于提取圖的關鍵性質，例如網絡不變量[16]、模塊化結構[17]、節點中心性[18]，以及網絡上動力系統的分岔行為[19]。

然而，如何將譜理論有效推廣到有向、加權以及帶符號（如興奮–抑制）等更一般的網絡，仍然是網絡科學中的一項關鍵挑戰。在這些情形下，特征值分解往往會產生復特征值和復特征向量，從而在解釋和應用上帶來困難。更重要的是，從數學上講，網絡的矩陣表示甚至并不總是可對角化的。例如，僅由一條有向邊連接的最簡單有向圖，或任何其（實）矩陣表示W為矩形矩陣的網絡（如關聯矩陣、多層網絡中的層間耦合矩陣），都不存在特征值分解意義下的對角化表示。

然而，矩陣 WW? 和 W?W 總是方陣且對稱，因此是可對角化的，這為奇異值分解（singular value decomposition, SVD）奠定了基礎。有趣的是，SVD 對任何矩陣都存在，奇異向量是實值的，奇異值 σ1,...,σN 是非負實數。值得注意的是，非零奇異值的個數等于W的秩。此外，SVD 繼承了特征值分解的許多定理[20]，例如 Weyl 定理[21, 22]，但它也產生新的基本結果。特別地，SVD 是降維的核心工具：Schmidt-Eckart-Young-Mirsky 定理保證，截斷 SVD 能給出一個矩陣的最佳低秩近似 (Fig. 1c 和引理 S13)。

圖 1：真實網絡低秩假設的實驗驗證。

SVD的顯著特性及其與矩陣（有效）秩之間的密切關系，在網絡科學和譜圖理論中尚未得到充分的認識，相比之下，它在數據科學（例如矩陣補全[23]、動態模式分解[24]和最優奇異值收縮[25]）、控制理論（例如Kalman準則[26, 27]）、隨機矩陣理論（例如Marcenko-Pastur's定律[28]）以及線性代數（例如矩陣范數[20]）等領域卻極為常見。在許多網絡科學或譜圖理論的主要入門教材中，甚至都沒有提及SVD。

在整個論文中，利用SVD的關鍵屬性來定義和評估復雜系統的低秩假設的影響。在處理復雜系統作為高維非線性動力系統的情況之前，首先揭示了隨機圖假設的理論證據，然后對真實網絡的假設進行了經驗驗證。

網絡模型假說的證據

首先，考慮隨機圖是頗具啟發性的。隨機圖通常由一組頂點及其間連接的概率分布構成，這些概率依賴于諸如頂點度、模塊結構或頂點在度量空間中的距離等屬性。從數學上講，任意隨機圖的權重矩陣都可以表示為

W=〈W〉+R

其中〈W〉是期望權重矩陣，R 是均值為 0 的隨機矩陣。

通過研究眾多廣泛使用的隨機圖，發現其期望矩陣包含低秩矩陣。實際上，強調了一個通常隱含的假設，即〈W〉等于低秩矩陣L的函數Φ（圖 2a，方法部分表 I）。在很多情況下，Φ(L)=L，因此很容易看出〈W〉的低秩，因為它可以寫成秩分解的形式。一個特定的魏爾不等式已經確立了該假設的一個預期但重要的結果：一個較小的隨機部分R確保W的每個奇異值都接近〈W〉的奇異值，即

對于所有 i∈{1,...,N}，其中 σi(A) 表示矩陣 A 的第 i 個奇異值，||·||2 表示譜矩陣范數（見定理 S10 和推論 S12）。將 W=〈W〉+R，其中 〈W〉=L 且 rank(L)=r 視為一個帶尖峰的隨機矩陣[29-33]，能提供一個更精確的視角。對于此類矩陣，奇異值存在一個與 R 的奇異值相關的“主體”，并且奇異值的異常值的產生或消失在漸近意義上由 Baik-Ben Arous-Peche（BBP）相變[34]來表征。值得注意的是，W中存在 p≤r 個奇異值異常值僅取決于 W 的主導奇異值的閾值，即 σ1(〈W〉),...,σr(〈W〉）[32]。因此，〈W〉的低秩 r 以及溫和的閾值條件意味著 W 的最大奇異值位于σ1(〈W〉),...,σr(〈W〉）附近，這是低秩假設的一個初步指標。

然而，〈W〉的低秩并非總是顯而易見的，比如在有向軟配置模型及其加權版本的情況中。實際上，它們的預期權重矩陣是秩為 1 的矩陣的非線性函數（見方法部分）。利用Weyl不等式，證明了這兩種模型中〈W〉的奇異值均被一個指數遞減項所上界（見方法部分中的定理 1，圖 2e 和 2i）。圖 2b - 2i 展示了在四種不同的加權隨機圖和兩種噪聲條件下，W的奇異值如何繼承了〈W〉主奇異值的遞減趨勢，而次主奇異值則與R相關。W 的主奇異值的迅速遞減暗示了網絡的近似低秩，從而構成了低秩假設的第二個關鍵指標。

然而，“迅速下降”和“接近低秩”這兩個屬性仍需進行量化。為此，本文引入了有效秩的概念。例如，穩定秩衡量了平方奇異值相對于 的相對重要性（見方法部分，表 II）。在圖 2j - 2m 中，展示了其隨著噪聲水平的增加在四個隨機圖中的持續性。通過 N→ ∞ 時的有效秩的漸近行為，可以更好地理解一個隨機圖的有效秩“低”的程度（見方法部分）。不同的奇異值下降會導致有效秩的漸近行為不同，從常數 O(1) 和次線性增長 O(N1-?)（其中?∈ (0，1]）到線性增長 O(N)。值得注意的是，次線性增長意味著有效秩與維度的比率在漸近情況下會下降到 O(N-?) 的形式：因此，研究者將說一個有效秩如果其增長最多是次線性的，那么這個有效秩就是低的。例如，文章證明了任何具有指數遞減特征值的擴展網絡模型（例如軟配置模型）都會導致穩定秩以及另外兩個有效秩的漸近行為達到最低值 O(1)（見方法部分，推論 2）。然而，在處理隨機圖的單個實例或真實網絡時，應保持 N 的值不變，上述漸近觀點就不適用了。不過，可以針對“到底低到什么程度？”這一問題給出一個更微妙、分級的回應，即通過有效秩與維度比值來回答：比值遠小于 1 的值表明在 SVD 中只有少數特征值有顯著貢獻，這意味著 W 可以很好地近似為低秩矩陣。因此，具有較小的有效秩與維度比值是低秩假設的第三個指標，這次是定量的。綜上所述，對于隨機圖，低秩假設已通過三個指標進行了描述。第二個指標，即特征值的快速遞減，是該假設的核心指標：第一個指標是導致遞減的理論原因，第三個指標是其結果。第二和第三個指標并不依賴于任何理論模型，可以應用于任何類型的網絡數據。因此，本文采用了以下通用且可行的低秩假設定義：即假設網絡權重矩陣的奇異值迅速降低，這意味著其有效秩較低?，F在將這一假設進行驗證。

綜上所述，低秩假設在隨機圖中用三個指標進行了描述。第二個指標，即奇異值的迅速下降，是該假設的核心指標：第一個指標是導致其下降的理論原因，第三個指標則是其結果。第二個和第三個指標與任何類型的網絡數據無關，并且可以應用于此類數據中。因此，研究者采用了以下關于低秩假設的一般且可行的定義：它是假設網絡權重矩陣的奇異值迅速下降，這意味著有效秩較低?，F在研究者將對這一假設進行檢驗。

真實網絡假說的驗證

盡管低秩假說經常被使用——通常是隱含的，但有時也非常明確[35, 36]——但對于各種類型的真實網絡，仍需通過實驗來驗證。

實驗表明，真實網絡中奇異值的快速衰減是普遍現象。作為一個例子，在圖 1d 中展示了黑腹果蠅連接組的奇異值分布圖。圖 1e 展示了來自 10 個不同來源的 679 個真實網絡的奇異值分布的綜合視圖。為了幫助理解衰減趨勢，繪制了一條通用的奇異值包絡線，所有網絡 95% 的奇異值都位于該包絡線之下。

有了奇異值包絡線的顯式形式，就可以將穩定秩解釋為曲線下的面積，進而找到一個理論界限，大多數網絡的穩定秩都低于此界限（見方法部分，定理3）。在圖 1f 中，展示了真實網絡的穩定秩以及高于 96% 網絡的理論界限，這表明穩定秩通常預期小于頂點數N的 10%。

為了確保這一觀察結果不僅限于穩定秩，在圖 1g - 1m 中報告了其他有效秩的類似觀察結果（見方法部分）。對于 m 均值秩和 e 均值秩而言，其值大于 frank 是意料之中的事。實際上，很容易證明 frank≤nrank≤erank≤rank（見方法部分）。與有效秩不同的是，實網絡的秩通常與其維度相當（圖 1n）。這一觀察結果是合理的，特別是對于具有真實權重的加權網絡而言，因為不可逆矩陣構成了測度為 0 的集合。

所考慮的數據集均為具有固定節點數 N 的真實網絡，但這些網絡的有效秩的漸近行為仍可以像存在一個相關的不斷增長的圖那樣進行評估，即當 N 增大時，該圖的奇異值仍處于實驗奇異值范圍之內。通過這種方法，研究者證明了如圖 1e 中所示的奇異值范圍對于 Frank、nrank 和 crank 來說具有恒定和次線性增長（見方法部分）。

總之，研究者表明許多實際網絡的奇異值呈迅速遞減趨勢，從而導致有效秩較低。有趣的是，這種觀察結果似乎在大數據矩陣中普遍存在[37-39]，但這一現象仍令人困惑。特別是，這些觀察結果對于網絡上的高維非線性動態的影響尚待厘清，這將在下一節中進行探討。

圖 2：隨機圖低秩假設的三個指標。

誘導的低維假說

從直覺上講，認為具有低（有效）秩的網絡使得這些網絡上的動態過程能夠進行維度縮減?？紤]完整的動態方程，其中 11是在時間 t 時系統的狀態，是一個連續可微的向量場，而 W 是一個 N×N 的權重矩陣描述了該網絡（圖 3a - 3b）。更具體地說，給定和 W （此時x(t)未知），研究動態方程的子類，其中 y=W。

考慮這個動力學子類已經突出了低秩假說的一個重要含義。g 中的線性函數 具有非常特殊的作用：即使 x 屬于一個N維流形，當 W 的秩較低時，其像空間中的向量也將屬于一個低維子流形。即使 W 是滿秩的，研究者在圖 1 中的實驗觀察表明，它很可能具有低的有效秩。因此，研究者可以說 Wx 將屬于一個有效低維的子流形。

正如一些隨機圖模型是由低秩矩陣L的非線性函數Φ構造而成一樣，向量場 g 非線性地依賴于 Wx，這使得評估 g(x,y) 的低維性具有挑戰性。盡管最近有所進展[40, 41]，但對于復雜網絡上的非線性動力學，如何選擇降維后的維度以及如何量化降維誤差仍然不清楚。

對動力系統的降維處理可以理解為將低維向量場與高維對應場進行對齊的問題（圖 3c ）。這涉及選擇一個 n×N的降維矩陣 M，它將整個系統的元素映射到降維系統中，同時還需要一個向量場 F，用于描述一組可觀測量 在 中的演化過程。在 中，對于 x∈處的對齊誤差，記為 ，可以定義為向量場 M o f 與 F o M 之間的誤差（見方法部分）。

通常情況下，要將對齊誤差降至最低以找到最優的配對方案 (M,F) 是一項極具挑戰性的任務（參見附錄 III.1），而最佳選擇則取決于建模者的具體目標。例如，選擇 M 以確保 F 的時間演變在任何時候都具有可解釋性（例如，同步可觀測量 [41]），這可能會使優化問題變得更加復雜。

圖 3：復雜系統的低秩假設以及更高階相互作用的出現。

先專注于確定 F 的值，暫時不考慮 M 。通過最小二乘法，證明了 在中能最小化一種對齊誤差，其中 +$ 表示偽逆（見方法部分）。這樣做能夠證明，對于 ，由最小二乘向量場引起的對齊誤差 滿足

其中 和是雅可比矩陣 (方法)。

有趣的是，上述不等式提出了一種非任意選擇降維矩陣的方法。實際上，

該方法將與系統中相互作用相關的因子 ||W(I-M+M)||2 降至最低，從而通常能使每個可觀測量 Xμ 成為全局量，即包含關于大多數頂點的信息（見方法部分說明）。

在式（3）中所做出的選擇促使研究者推導出另一個不等式，該不等式揭示了網絡奇異值對對齊誤差的貢獻（見方法部分，定理 4）：

其中 。值得注意的是，該不等式為精確的維度縮減提供了一個判據：若（其中 且 n = rank(W），則上界會趨于零，此時維度縮減就是精確的（見方法部分）。

圖 4：在真實復雜網絡上進行非線性動力學分析時的維度縮減誤差與它們的奇異值和有效秩的關系。

因此，一類通用的動力學模型，包括RNN和Wilson-Cowan神經動力學模型，都可以被精確地簡化（見方法部分部分）。上限（4）旨在具有直觀性（不一定嚴格）：它將網絡奇異值的迅速衰減與維度縮減誤差聯系起來。作為一個基本的例子，對于線性系統 ，相對對齊誤差 只能簡單地用 來上界表示，這意味著網絡矩陣 W 的奇異值的迅速減小（無論其權重如何）都會直接導致對齊誤差的迅速減小。

圖 4a - d 展示了隨著參數 n 的變化，對齊誤差的降低情況——后者與上界值和奇異值的迅速衰減相一致——在四個真實網絡的動態系統中均有體現。研究者展示了如何通過調整 n 來預測流行病在流行病學動態中的情況（圖 4e）、神經元動態中的滯后現象（圖 4f）、微生物動態中的穩定分支（圖 4g）或RNN中的極限循環（圖 4h）。雖然有效秩有助于選擇合適的維度 n 來描述集體現象，但僅將其用作一種指示： n 應根據模型者對定性（例如，滯后現象是否保持不變？）或定量（例如，預測的轉變是否準確？）誤差的容忍度來選擇。因此，很明顯，描述復雜網絡的低（有效）秩矩陣為這些網絡上的非線性動態的降維提供了基礎。

簡化后的系統類似于發生在一個更小結構上的低維動力學，該結構的性質仍有待明確（見圖 3c ）。將在下一節展示，降維最終導致了高階相互作用的涌現，如圖 3d 所示。

高階相互作用的涌現

關于各種復雜系統中存在更高階相互作用的理論和實驗證據已有報道，其結果——例如對爆發性轉變[42]或介觀定位[43]的影響——也已得到了廣泛研究[44]。然而，這些相互作用的起源仍在積極研究之中，特別是對于振蕩系統[45，46]。

使用研究者的框架，一個簡單的例子很容易提供對高階交互出現的見解。用i∈{1,...,N}考慮流行病學動態，其中xi為頂點i被感染的概率，y=Wx而di和γ分別為頂點i的恢復率和感染率。簡化后的動力學由

對于所有 μ∈{1,...,n}，其中 是一個具有 n×n 規模的簡化恢復率矩陣，其 D = diag(d1，...，dN}，而 是一個具有 n×n 規模的簡化權重矩陣。

讓研究者更仔細地研究一下式（5）中的最后一項。為了簡化計算，假設 M+=M?，即 M 的各行是正交的。那么，Mμi 表示頂點 i 對第 μ 個可觀測值的影響，是第 ν 個可觀測值對其在頂點 i 上的依賴程度的加權影響，而 是第 κ 個可觀測值對其連接到頂點 i 的頂點的依賴程度的加權影響。總之，這些因素形成了可觀測值 Xμ、Xν 和 Xκ 之間的三階相互作用，通過將式（5）重新排列可以更清晰地體現這一點：

其中三階相互作用被編碼在一個三階張量 中，其元素為

對于所有 μ, ν, κ∈ {1,...,n} 。因此，簡化系統所形成的結構是一個具有 n 個頂點的超圖（圖 3c-d），該超圖通常是有向的[47]、加權的、帶符號的，并由 和 構成。

除了諸如權重矩陣W 等動態參數的影響之外，式（7）還強調了縮減矩陣 M 在塑造高階相互作用方面所起的關鍵作用。實際上， M部分決定了超圖的有向、加權和有符號性質。此外，如果可觀測量分別取決于不相交的頂點組，即 ，其中δ是克羅內克符號， s 將每個頂點 i 映射到其所屬的組，那么式（7）中元素構成的張量可以精確地映射為一個矩陣。換句話說，在流行病學動態中，高階相互作用源自取決于頂點重疊組的可觀測量（例如，一般情況下）。有趣的是，這種重疊是復雜網絡（如社交網絡）中非常常見的特征[48]。

這些觀察結果促使研究者去探尋這種涌現現象的通用條件。對于 （其中 對于所有 i∈{1,...，N} 都是一個解析標量場），證明了最小二乘最優向量場取決于可觀測量 X1，...，Xn 之間的高階相互作用（見方法部分，命題 5）。然后推導出了兩個富有啟發性的結論。首先，如果標量場在 xi 和 yi上是 xi 和 yi 的總次數為 δ 的多項式，那么簡化系統的超圖具有最高階 δ+1 的相互作用（見方法部分，推論 S70）。其次，具有分別依賴于不同組頂點的可觀測量并不足以避免一般情況下的高階相互作用： yi 中的非線性也起到了作用（見方法部分，推論 S71）。微生物和振蕩器動力學的其他計算示例在擴展數據表 1 中給出，以補充之前關于流行病學動力學的觀察結果。

總之，研究者的研究結果表明，許多高階相互作用的情況可能是由于選擇了低維（宏觀）表示來模擬各種復雜系統所導致的副產品。這些結果闡明了描述維度以及原始系統的非線性在塑造后續簡化系統中的相互作用方面所起的關鍵作用。

結論與展望

在本文中，闡述了低秩假設在復雜系統中的普遍性及其所產生的影響，涵蓋了從網絡上高維非線性動態的降維處理到更高階相互作用的產生等方面的內容。

實驗結果表明，低秩假設或許不僅是一種假設，而且可能是許多真實復雜系統所固有的特性。發現暗示了某些涌現的集體現象可能是由遠少于先驗預期的變量所導致的，這得益于其復雜網絡的低秩特性。然而，低秩假設的使用應當非常謹慎：實際網絡的有效秩通常在 N 的相當大的比例范圍內，若不加留意地采用低秩假設，可能會導致對給定復雜系統的一種過于簡化的模型。因此，基于實際網絡的觀測奇異值來設計新的隨機圖似乎是很有意義的。網絡的奇異值并非僅僅是譜理論的抽象：就像度、聚類系數或互惠性一樣，它們具有直觀的解釋，可作為復雜網絡/系統的有效維度的指標。

理論框架還表明，從較粗粒度分辨率下觀測到的時間序列中推斷復雜系統中的相互關系（例如，大腦中的局部場電位[49] 或植物群落中的豐度[50]），很可能會揭示出顯著的高階相互作用。研究者推測，通過實驗在不同尺度上監測復雜系統將有助于闡明測量所處維度對高階相互作用出現的作用。對高階網絡上的動態進行維度縮減[14, 51] 也是值得探索的方向，或許可以通過塔克分解[52] 來實現。

然而，確定驅動復雜系統行為的主要可觀測量的確切形式仍是一個未解決的問題。盡管關注的是線性可觀測量，但可能存在一組適用于特定高維動態的少量非線性可觀測量[53]。然而，找到合適的、直觀的非線性可觀測量要困難得多[54]。研究者對真實網絡的有效秩的觀察也促使研究者進一步研究從時間序列中推斷出可解釋的低秩模型的課題[55]。

最后，尚未探討的復雜系統的一個關鍵特性是其適應能力[56]。研究者的初步研究結果表明，復雜網絡的低有效秩在控制[57, 58]以及評估復雜適應系統的恢復能力方面起著核心作用[59]。此外，有跡象表明成熟或學習能夠降低網絡的有效秩[60]。

方法

隨機圖

一個隨機圖可以用一個隨機矩陣描述為

其中 〈W〉 是期望權重矩陣，R 是零均值隨機矩陣。即使在典型模型中，單個實例通常是滿秩 N 的，期望權重矩陣〈W〉也常被定義為一個低秩矩陣 L 的逐元素函數，即

其中 φ 是一個實變量的實值函數。這是對正文中 〈W〉=Φ(L) 的另一種等價寫法。在表 1 中，研究者列出了一些經典隨機圖的例子及其對應的低秩矩陣。

表 I：低秩矩陣 L，其表征了具有 N 個頂點的不同隨機圖的預期鄰接矩陣。SBM：隨機塊模型，CL：鐘-盧模型，MD：元度模型，DSCM：有向軟配置模型，RDPG：隨機點積圖，RGM：隨機幾何模型，RPG：秩擾動高斯模型，DCSBM：度校正隨機塊模型，縮寫前的“W”表示“加權”。對于 SD RGM，L 的秩更確切地說是 D、D + 1 或 D + 2，這是由參考文獻 [61， 定理 7] 以及不等式 rank(A o B) ≤ rank(A) rank(B) 所導致的。參數q、r、d 和 D 通常假定與 N 相比很小。

評估 L 的低秩是簡單的，但當 φ 是非線性時，評估〈W〉的低秩則更困難。例如，在有向軟配置模型中，Φ=ΦFD，是一個費米-狄拉克分布；在其加權版本中，Φ=ΦBE，是一個Bose-Einstein分布。對于這兩個模型，下面的定理表明它們期望權重矩陣的奇異值被一個指數衰減項從上界限制。

在圖 2 中，展示了 RPG、DCSBM、S1 RGM 和 WDSCM 中 W、〈W〉和 R 的奇異值。圖 2e 和 i 中顯示的上界由公式 (10) 給出，該公式通過累加常數 n_{i+1}>..."},"displayMode":"inline","viewType":"inline"}}">ni>ni+1>.. 直到 ni 小于 10-12 來計算。對于 RPG，向量 mμ 和 nμ 是不同高斯分布的實例，且 r=5。使用截斷帕累托分布的實例來生成期望度（DCSBM 和 S1 RGM）以及 （WDSCM）。DCSBM 的塊數 q 設為 5，并且定義期望邊數的塊矩陣 ∧，使得塊內的期望邊數多于塊間。為了獲得隨機權重矩陣中隨機部分 R 的范數（RPG 除外，其 R 已設為均值為 0 的高斯分布），研究者生成了 100 個 W 的實例，計算了每個實例的 R=W-〈W〉 及其范數。通過改變 RPG 中 R 各高斯元素的方差、DCSBM 中的期望邊數、S1 RGM 中的溫度 1/β 以及 WDSCM 中 和 的最小值，來增加 R 的譜范數。

表 II: 維度為 N×N、秩為 r 的矩陣的不同有效秩，以其奇異值 σ1≥ ... ≥σN 表示。對于 energy，常數 Τ 是一個需在 0 到 1 之間設置的閾值。對于 thrank，σmed 是中位數奇異值，μmed 是 Mar?enko-Pastur 概率密度函數的中位數 [62]。對于 shrank，s* 表示一個最優奇異值收縮函數 [25, 63]。

有效秩

從矩陣分解中提取顯著分量數量這一想法是一個古老的主題（例如，在因子分析[64,65]或主成分分析[66-71]中），但仍在隨機矩陣理論、數據科學[29,62]以及網絡科學（其中超幾何幾何[57]和信息理論[68]被使用）等領域有著新的有趣發展。由于SVD與秩有著密切的關系，許多有效的秩是通過奇異值來定義的。直觀地說，這些有效的秩是表示在分解矩陣時哪些奇異值是顯著的數字。表 2 展示了所整理的不同有效秩的列表。有效秩 thrank 和 shrink 是從諸如 Refs. [65,66,25] 中介紹的矩陣去噪技術中定義的，這些技術依賴于無限隨機矩陣的譜理論[32]來確定收縮奇異值的最優方法。在圖 11 中，使用了弗羅貝尼烏斯范數來獲得收縮，并且在圖 1j 中使用了能量比的閾值為 0.9 。

動力系統的降維

高維非線性動力學的降維是獲得復雜系統分析和數值見解的基本方法。低維動力學可以通過優化問題獲得，在一組約束下最小化某種誤差，以保留原始系統的顯著特性。對于動力系統，一個自然的優化變量是簡化向量場 F 本身，它被選擇來近似表示完整的向量場 f。然而，找出不同向量場誤差之間的關系以及哪一個可以解析地最小化是相當令人困惑的。

動力學的積分與性質

圖 4 中展示的真實網絡上的動力學軌跡是使用 scipy.integrate 的 solve_ivp 獲得的。使用了后向微分公式（BDF），這是一種具有可變步長和階數的隱式方法，已知非常適合剛性問題，例如腸道微生物組上的微生物動力學。研究者觀察到，對于完整的微生物動力學，相對容差 rtol=10-8 和絕對容差 atol=10-12（對于簡化動力學為 rtol=10-6 和 atol=10-10）在合理的積分時間內給出了可靠的結果，并且與最近的基準測試結果一致。此外，研究者按照 solve_ivp 文檔對 BDF 方法的建議，向積分器提供了完整和簡化動力學的雅可比矩陣。研究者還使用相對容差 10-8 和絕對容差 10-12 的 BDF 方法積分了其他動力學。

對于流行病學動力學，出現了臨界慢化現象，但可以通過在跨臨界分岔點附近增加時間步數來輕松處理，正如在圖 4e 插圖中所做的那樣。注意，增加維度可以提高對更高感染率的預測。在圖 4f 中，觀察到神經元動力學的全局可觀測量相對于突觸權重存在滯回現象。在圖 4e-f 中，均方根誤差（RMSE）簡單地計算為完整動力學和簡化動力學在不同 n 下的全局平衡點之間的誤差。

如圖 4g 所示，微生物動力學的全局可觀測量出現了多個穩定的平衡點分支。按照以下步驟進行，以獲得一個僅涉及部分平衡點分支的簡化圖景。專注于使用從 0 到 1 的均勻分布中采樣的初始條件 x0 獲得的一個前向分支，并在圖 4g 中展示了當逐漸增加微生物相互作用權重時其穩定性的喪失。為了獲得一個后向分支，從 0 到 z 的均勻分布中采樣初始條件 x0，其中 z 是 1 到 15 之間的隨機整數，然后積分動力學以獲得平衡點，接著降低微生物相互作用權重，并將最后一個平衡點用作下一次積分的初始條件，重復最后這兩個步驟，直到達到最小耦合值。重復所有這些步驟 100 次以生成不同的初始條件和穩定分支。在每次迭代中，確保在平衡點處評估的向量場得到的向量其元素低于容差 10-7，并且平衡點是正的。在這種情況下，RMSE 計算為完整動力學和簡化動力學的平均上分支和下分支之間的誤差。

對于（有限尺寸的）RNN，與參考文獻[71]結論中的觀察類似，在較低耦合時零點是穩定平衡點，增加耦合最終會導致復雜性增加的極限環。研究者展示了當維度n 接近學習網絡的秩時，完整動力學中這個高維極限環的 3 維投影，以及簡化動力學中的極限環。RMSE 計算為完整循環神經動力學的極限環上的點與簡化動力學極限環上最近點之間的誤差。

真實網絡數據集

本節列出本文使用的真實網絡，并給出兩幅補充圖。 表中所有網絡都來自 Netzschleuder，只有其中 31 個例外，列在下面。

? ‘celegans signed’：該網絡由開源數據庫 EleganSign [284] 的連接組 NT+R 方法預測結果補全得到，補全時遵循 Dale 原則（見 GitHub 倉庫中的 graphs/get real networks.py，函數 get connectome weight matrix）。

? ‘drosophila’：取自文獻 [12]。

? ‘cintestinalis’：Ciona intestinalis 的連接組來自文獻 [285]，并保存在研究者的 Github 倉庫：graphs/graph data/connectome/ciona intestinalis lavaire elife-16962-fig16-data1-v1 modified.xlsx。

? ‘pdumerilii neuronal’：Platynereis dumerilii 的神經連接組來自文獻 [286]。 該版本為更新版，由作者 G. Jékely 私下分享給 V. Thibeault。 連接組文件在研究者的 Github 倉庫：graphs/graph data/connectome/pdumerilii neuronal.xml。

? ‘pdumerilii desmosomal’：Platynereis dumerilii 的橋粒（desmosomal）連接組來自文獻 [287]。 該版本為更新版，由作者 G. Jékely 私下分享給 V. Thibeault。 連接組文件在研究者的 Github 倉庫：graphs/graph data/connectome/pdumerilii desmosomal.xml。

? ‘mouse meso’：小鼠介觀（mesoscopic）連接組來自文獻 [288]，并保存在研究者的 Github 倉庫：graphs/graph data/connectome/mouse connectome-Oh Nature 2014.csv。

? ‘zebrafish meso’：斑馬魚介觀連接組由文獻 [202] 改編得到，處理過程見本文 GitHub 倉庫 low-rank-hypothesis-complex-systems。

? ‘mouse voxel’：體素（voxel）尺度的小鼠連接組可在 Mendeley 數據集 mouse connectome voxelwise [289] 獲取。

? ‘mouse control rnn’、‘mouse rnn’、‘zebrafish rnn’：來自 Hadjiabadi 等人 [281] 的遞歸神經網絡。

? ‘fully connected layer cnn XXXXX’（其中 XXXXX ∈ {00100, 00200, ..., 01000}）：來自倉庫 NWS [183] 中卷積神經網絡的全連接層[183]。

? ‘gut’：人類腸道微生物組網絡來自文獻 [282]，其構造方式與文獻 [58] 的補充材料一致（見 GitHub 倉庫 graphs/get real networks.py 中的函數 get microbiome weight matrix）。

? ‘AT 2008’、‘CY 2015’、‘EE 2010’、‘PT 2009’、‘SI 2016’：來自文獻 [290] 的經濟網絡。

? ‘financial institution07-Apr-1999’、‘non financial institution04-Jan-2001’、‘households 04-Sep-1998’、‘households 09-Jan-2002’：Dryad 上文獻 [291] 的經濟網絡。

從 Github 提取各網絡的代碼在 graphs/get real networks 中。 關于數據集里真實網絡的更多信息，也可在 Github 倉庫 low-rank-hypothesis-complex-systems 中找到。 具體來說，可以查看 graphs/graph data 中的 real networks and their effective ranks.pdf，以獲得每個網絡的來源信息；或等價地查看補充表 1（supplementary table 1 real networks.pdf）。 需要說明的是，在計算有效秩之前，研究者做過一次預處理：為避免某些網絡類型被過度代表，研究者從包含 1145 個網絡的更大數據集中刪去了許多 Netzschleuder 網絡（例如 ‘board directors net1m...’、‘edit wikibooks...’、‘ego social gplus...’）。

研究者針對不同的奇異值衰減形式，給出了圖模型有效秩的漸近結果。 這些結果展示了多種可能行為：從常數增長 O(1），到次線性增長 O(N1-?}（其中 0 <?<1< pan>），再到線性增長 O(N）（當 N→∞）。 雖然研究者并不期望用單一圖模型來描述數據集中所有網絡（否則就能做統一的漸近分析），但研究者仍然可以問：有效秩如何隨網絡規模 N 分布。 在圖 S11 中，研究者給出了這樣的分布并做了非線性回歸。 回歸結果提示：隨著 N 增大，有效秩呈現次線性上升。 正如 II E 小節所說，進一步研究增長圖與真實增長網絡中的有效秩行為，將有助于驗證這種次線性增長是否普遍存在。

此外，許多真實網絡與合成網絡都呈現稀疏矩陣結構。 在 II C 小節研究者也指出，稀疏矩陣模型會給出較低的穩定秩。 但是圖 S12 表明：真實網絡的有效秩與權重矩陣的密度反而呈現負相關。 這暗示，研究者在圖 1 中觀察到的有效秩現象，更關鍵的原因可能是奇異值的快速衰減，而不是單純的稀疏性。

參考文獻

[1] R. Bellman, Dynamic Programming (Princeton University Press, Princeton, 1957).

[2] S. Ganguli and H. Sompolinsky, "Compressed sensing, sparsity, and dimensionality in neuronal information processing and data analysis," Annu. Rev. Neurosci. 35, 485 (2012).

[3] L. F. Abbott et al., "The Mind of a Mouse," Cell 182, 1372 (2020).

[4] P. W. Anderson, "More is different," Science 177, 393 (1972).

[5] S. Strogatz, S. Walker, J. M. Yeomans, C. Tarnita, E. Arcaute, M. De Domenico, O. Artime, and K.-I. Goh, "Fifty years of 'More is different'," Nat. Rev. Phys. 4, 508 (2022).

[6] R. M. May, "Simple mathematical models with very complicated dynamics," Nature 261, 459 (1976).

[7] J. von Neumann, "The general and logical theory of automata," in John von Neumann Collected Work, Vol. V, edited by A. H. Taub (Bergamon Press, 1963) p. 288.

[8] S. Wolfram, "Cellular automata as models of complexity," Nature 311, 419 (1984).

[9] G. Parisi, "Statistical Physics and biology," Phys. World 6, 42 (1993).

[10] D. L. Stein and C. M. Newman, Spin Glasses and Complexity (Princeton University Press, New Jersey, 2013).

[11] K. I. Funahashi and Y. Nakamura, "Approximation of dynamical systems by continuous time recurrent neural networks," Neural Netw. 6, 801 (1993).

[12] L. K. Scheffer et al., "A connectome and analysis of the adult Drosophila central brain," eLife 9, 1 (2020).

[13] S. Fortunato and M. E. J. Newman, "20 years of network community detection," Nat. Phys. 18, 848 (2022).

[14] G. Bianconi, Higher-Order Networks (Cambridge University Press, Cambridge, 2021).

[15] F. Battiston, E. Amico, A. Barrat, G. Bianconi, G. F. de Arruda, B. Franceschiello, I. Iacopini, and S. Kéfi, "The physics of higher-order interactions in complex systems," Nat. Phys. 17, 1093 (2021).

[16] H. S. Wilf, "The eigenvalues of a graph and its chromatic number," J. Lond. Math. Soc. 1, 330 (1967).

[17] W. E. Donath and A. J. Hoffman, "Lower Bounds for the Partitioning of Graphs," IBM J. Res. Dev. 17, 420 (1973).

[18] P. Bonacich, "Factoring and weighting approaches to status scores and clique identification," J. Math. Sociol. 2, 113 (1972).

[19] J. G. Restrepo, E. Ott, and B. R. Hunt, "Onset of synchronization in large networks of coupled oscillators," Phys. Rev. E 71, 036151 (2005).

[20] R. A. Horn and C. R. Johnson, Matrix Analysis (Cambridge University Press, 2013).

[21] H. Weyl, "Das asymptotische Verteilungsgesetz der Eigenwerte linearer partieller Differentialgleichungen (mit einer Anwendung auf die Theorie der Hohlraumstrahlung)," Math. Ann. 71, 441 (1912).

[22] K. Fan, "Maximum properties and inequalities for the eigenvalues of completely continuous operators," Proc. Natl. Acad. Sci. U.S.A. 37, 760 (1951).

[23] J.-F. Cai, E. J. Candès, and Z. Shen, "A singular value thresholding algorithm for matrix completion," SIAM J. Optim. 46, 1956 (2010).

[24] J. N. Kutz, S. L. Brunton, and B. W. Brunton, Dynamic Mode Decomposition (SIAM, 2016).

[25] M. Gavish and D. L. Donoho, "Optimal Shrinkage of Singular Values," IEEE Trans. Inf. Theory 63, 2137 (2017).

[26] R. E. Kalman, "On the general theory of control systems," in 1st International IFAC Congress on Automatic and Remote Control (1960) p. 491; "Contributions to the theory of time-optimal control," Bol. Soc. Mat. Mex. 5, 102 (1960).

[27] G. Yan, P. E. Vértes, E. K. Towlson, Y. L. Chew, D. S. Walker, W. R. Schafer, and A.-L. Barabási, "Network control principles predict neuron function in the Caenorhabditis elegans connectome," Nature 550, 519 (2017).

[28] V. A. Mar?enko and L. A. Pastur, "Distribution of eigenvalues for some sets of random matrices," Math. USSR-Sbornik 1, 457 (1967).

[29] D. Féral and S. Péché, "The largest eigenvalue of rank one deformation of large wigner matrices," Commun. Math. Phys. 272, 185 (2007).

[30] M. Capitaine, C. Donati-Martin, and D. Féral, "The largest eigenvalues of finite rank deformation of large wigner matrices: convergence and nonuniversality of the fluctuation," Ann. Probab. 37, 1 (2009).

[31] F. Benaych-Georges and R. R. Nadakuditi, "The eigenvalues and eigenvectors of finite, low rank perturbations of large random matrices," Adv. Math. 227, 494 (2011).

[32] F. Benaych-Georges and R. R. Nadakuditi, "The singular values and vectors of low rank perturbations of large rectangular random matrices," J. Multivar. Anal. 111, 120 (2012).

[33] A. Pizzo, D. Renfrew, and A. Soshnikov, "On finite rank deformations of wigner matrices," in Ann. I. H. Poincaré - PR, Vol. 49 (2013) p. 64.

[34] J. Baik, G. Ben Arous, and S. Péché, "Phase transition of the largest eigenvalue for nonnull complex sample covariance matrices," Ann. Probab. 33, 1643 (2005).

[35] E. Valdano and A. Arenas, "Exact rank reduction of network models," Phys. Rev. X 9, 031050 (2019).

[36] M. Beiran, A. Dubreuil, A. Valente, F. Mastrogiuseppe, and S. Ostojic, "Shaping dynamics with multiple populations in low-rank recurrent networks," Neural Comput. 33, 1572 (2021).

[37] P. Gao and S. Ganguli, "On simplicity and complexity in the brave new world of large-scale neuroscience," Curr. Opin. Neurobiol. 32, 148 (2015).

[38] B. Beckermann and A. Townsend, "On the singular values of matrices with displacement structure," SIAM J. Matrix Anal. Appl. 38, 1227 (2017).

[39] M. Udell and A. Townsend, "Why are big data matrices approximately low rank?" SIAM J. Math. Data Sci. 1, 14459 (2019).

[40] J. Gao, B. Barzel, and A.-L. Barabási, "Universal resilience patterns in complex networks," Nature 530, 307 (2016); C. Tu, J. Grilli, F. Schuessler, and S. Suweis, "Collapse of resilience patterns in generalized Lotka-Volterra dynamics and beyond," Phys. Rev. E 95, 062307 (2017); J. Jiang, Z.-G. Huang, T. P. Seager, W. Lin, C. Grebogi, A. Hastings, and Y.-C. Lai, "Predicting tipping points in mutualistic networks through dimension reduction," Proc. Natl. Acad. Sci. U.S.A. 115, E639 (2018); E. Laurence, N. Doyon, L. J. Dubé, and P. Desrosiers, "Spectral dimension reduction of complex dynamical networks," Phys. Rev. X 9, 011042 (2019); M. Vegué, V. Thibeault, P. Desrosiers, and A. Allard, "Dimension reduction of dynamics on modular and heterogeneous directed networks," PNAS Nexus, pgad150 (2023); P. Kundu, H. Kori, and N. Masuda, "Accuracy of a one-dimensional reduction of dynamical systems on networks," Phys. Rev. E 105, 024305 (2022).

[41] V. Thibeault, G. St-Onge, L. J. Dubé, and P. Desrosiers, "Threefold way to the dimension reduction of dynamics on networks: An application to synchronization," Phys. Rev. Research 2, 043215 (2020).

[42] C. Kuehn and C. Bick, "A universal route to explosive phenomena," Sci. Adv. 7, 1 (2021).

[43] G. St-Onge, V. Thibeault, A. Allard, L. J. Dubé, and L. Hébert-Dufresne, "Social confinement and mesoscopic localization of epidemics on networks," Phys. Rev. Lett. 126, 098301 (2021).

[44] F. Battiston, G. Cencetti, I. Iacopini, V. Latora, M. Lucas, A. Patania, J.-G. Young, and G. Petri, "Networks beyond pairwise interactions: Structure and dynamics," Phys. Rep. 874, 1 (2020).

[45] M. H. Matheny, J. Emenheiser, W. Fon, A. Chapman, A. Salova, M. Rohden, J. Li, M. Hudoba De Badyn, M. Pósfai, L. Duenas-Osorio, M. Mesbahi, J. P. Crutchfield, M. C. Cross, R. M. D'Souza, and M. L. Roukes, "Exotic states in a simple network of nanoelectromechanical oscillators," Science 363, 1057 (2019).

[46] E. Nijholt, J. L. Ocampo-Espindola, D. Eroglu, I. Z. Kiss, and T. Pereira, "Emergent hypernetworks in weakly coupled oscillators," Nat. Commun. 13, 4849 (2022).

[47] G. Gallo, G. Longo, S. Pallottino, and S. Nguyen, "Directed hypergraphs and applications," Discret. Appl. Math. 42, 177 (1993).

[48] G. Palla, I. Derényi, I. Farkas, and T. Vicsek, "Uncovering the overlapping community structure of complex networks in nature and society," Nature 435, 814 (2005).

[49] S. Yu, H. Yang, H. Nakahara, D. Plenz, G. S. Santos, and D. Nikolic, "Higher-order interactions characterized in cortical activity," J. Neurosci. 31, 17514 (2011).

[50] M. M. Mayfield and D. B. Stouffer, "Higher-order interactions capture unexplained complexity in diverse communities," Nat. Ecol. Evol. 1, 1 (2017).

[51] G. Ferraz de Arruda, M. Tizzani, and Y. Moreno, "Phase transitions and stability of dynamical processes on hypergraphs," Commun. Phys. 4, 24 (2021).

[52] L. Qi and Z. Luo, Tensor analysis (SIAM, 2017).

[53] S. Watanabe and S. H. Strogatz, "Constants of motion for superconducting Josephson arrays," Physica D 74, 197 (1994).

[54] S. L. Brunton, M. Budi?i?, E. Kaiser, and J. N. Kutz, "Modern Koopman theory for dynamical systems," SIAM Rev. 64, 229 (2022).

[55] A. Valente, J. W. Pillow, and S. Ostojic, "Extracting computational mechanisms from neural data using low-rank RNNs," (Curran Associates, Inc., 2022, 2022) p. 24072.

[56] J. H. Holland, Hidden Order: How Adaptation Builds Complexity (Addison-Wesley, 1995).

[57] A. N. Montanari, C. Duan, L. A. Aguirre, and A. E. Motter, "Functional observability and target state estimation in large-scale networks," Proc. Natl. Acad. Sci. U.S.A. 119, e2113750119 (2022).

[58] H. Sanhedrai, J. Gao, A. Bashan, M. Schwartz, S. Havlin, and B. Barzel, "Reviving a failed network through microscopic interventions," Nat. Phys. 18, 338 (2022).

[59] P. Desrosiers and X. Roy-Pomerleau, "One for all," Nat. Phys. 18, 238 (2022).

[60] C. H. Martin and M. W. Mahoney, "Implicit self-regularization in deep neural networks: Evidence from random matrix theory and implications for learning," J. Mach. Learn. Res. 22, 1 (2021).

[61] J. Gower, "Properties of Euclidean and non-Euclidean distance matrices," Linear Algebra Appl. 67, 81 (1985).

[62] M. Gavish and D. L. Donoho, "The optimal hard threshold for singular values is 4/√3," IEEE Trans. Inf. Theory 60, 5040 (2014).

[63] D. Donoho, M. Gavish, and I. Johnstone, "Optimal shrinkage of eigenvalues in the spiked covariance model," Ann. Statis. 46, 1742 (2018).

[64] E. R. Malinowski, "Theory of error in factor analysis," Anal. Chem. 49, 606 (1977).

[65] E. Sánchez and B. R. Kowalski, "Generalized rank annihilation factor analysis," Anal. Chem. 58, 496 (1986).

[66] H. Abdi and L. J. Williams, "Principal component analysis," WIREs Comput. Stat. 2, 433 (2010).

[67] P. Almagro, M. Bogu?á, and M. Angeles Serrano, "Detecting the ultra low dimensionality of real networks," Nat. Commun. 13, 6096 (2022).

[68] C. W. Lynn and D. S. Bassett, "Compressibility of complex networks," Proc. Natl. Acad. Sci. U.S.A. 118, e2023473118 (2021).

[69] P. O. Perry, Cross-Validation for Unsupervised Learning, Ph.D. thesis, Stanford University (2009).

[70] P. St?dter, Y. Sch?lte, L. Schmiester, J. Hasenauer, and P. L. Stapor, "Benchmarking of numerical integration methods for ODE models of biological systems," Sci. Rep. 11, 2696 (2021).

[71] H. Sompolinsky, A. Crisanti, and H.-J. Sommers, "Chaos in random neural networks," Phys. Rev. Lett. 61, 259 (1988).

[72] E. Schmidt, "Zur Theorie der linearen und nichtlinearen Integralgleichungen," Math. Ann. 63, 433 (1907).

[73] C. Eckart and G. Young, "The approximation of one matrix by another of lower rank," Psychometrika 1, 211 (1936).

[74] G. W. Stewart, "On the early history of singular value decomposition," SIAM Rev. 35, 551 (1993).

[75] S. L. Brunton and J. N. Kutz, Data-Driven Science and Engineering: Machine Learning, Dynamical Systems, and Control (Cambridge University Press, 2019).

[76] J. J. Gerbrands, "On the relationships between SVD, KLT and PCA," Pattern Recognit. 14, 375 (1981).

[77] H. Hotelling, "Analysis of a complex of statistical variables into principal components," J. Educ. Psych. 24, 417 (1933).

[78] H. Hotelling, "Analysis of a complex of statistical variables into principal components," J. Educ. Psych. 24, 498 (1933).

[79] S. Wold, K. Esbensen, and P. Geladi, "Principal component analysis," Chemom. Intell. Lab. Syst. 2, 37 (1987).

[80] L. Ferré, "Selection of components in principal component analysis: A comparison of methods," Comput. Stat. Data Anal. 19, 669 (1995).

[81] I. M. Johnstone and D. Paul, "PCA in High Dimensions: An Orientation," Proc. IEEE 106, 1277 (2018).

[82] R. D. Cook, "A slice of multivariate dimension reduction," J. Multivar. Anal. 188, 104812 (2022).

[83] K. Karhunen, Uber lineare Methoden in der Wahrscheinlichkeitsrechnung, Ph.D. thesis, University of Helsinki (1947).

[84] M. Loève, Probability theory: foundations, random sequences (Springer, 1955).

[85] R. Everson and L. Sirovich, "Karhunen-Loève procedure for gappy data," J. Opt. Soc. Am. A 12, 1657 (1995).

[86] G. Kerschen, J.-C. Golinval, A. F. Vakakis, and L. A. Bergman, "The method of proper orthogonal decomposition for dynamical characterization and order reduction of mechanical systems: An overview," Nonlinear Dyn. 41, 147 (2005).

[87] S. Volkwein, "Proper Orthogonal Decomposition: Theory and Reduced-Order Modelling," (2013).

[88] E. Lorenz, Empirical Orthogonal Functions and Statistical Weather Prediction, Tech. Rep. (Massachusetts Institute of Technology, 1956).

[89] A. H. Monahan, J. C. Fyfe, M. H. P. Ambaum, D. B. Stephenson, and G. R. North, "Empirical orthogonal functions: The medium is the message," J. Clim. 22, 6501 (2009).

[90] H. Bourlard and Y. Kamp, "Auto-association by multilayer perceptrons and singular value decomposition," Biol. Cybern. 59, 291 (1988).

[91] H. Bourlard and S. H. Kabil, "Autoencoders reloaded," Biol. Cybern. 116, 389 (2022).

[92] Z. Bai and J. W. Silverstein, Spectral Analysis of Large Dimensional Random Matrices, 2nd ed. (Springer, New York, 2010).

[93] T. Tao, Topics in Random Matrix Theory, Vol. 132 (American Mathematical Society, 2012).

[94] T. Tao and V. Vu, "Random covariance matrices: Universality of local statistics of eigenvalues," Ann. Probab. 40, 1285 (2012).

[95] A. Bloemendal and B. Virág, "Limits of spiked random matrices ii," Ann. Probab. 44, 2726 (2016).

[96] P. J. Forrester, Log-Gases and Random Matrices (Princeton University Press, 2010).

[97] R. A. Horn and C. R. Johnson, Topics in matrix analysis (Cambridge University Press, 1991).

[98] A. W. Marshall, I. Olkin, and B. C. Arnold, Inequalities: Theory of Majorization and its Application, 2nd ed. (Springer, 2011).

[99] H. Wittmeyer, "Einflu? der ?nderung einer Matrix auf die L?sung des zugeh?rigen Gleichungssystems, sowie auf die charakteristischen Zahlen und die Eigenvektoren," Z. Angew. Math. Mech. 16, 287 (1936).

[100] L. Mirsky, "Symmetric gauge functions and unitarily invariant norms," Q. J. Math. 11, 50 (1960).

[101] A. Ben-Israel and T. N. E. Greville, Generalized Inverses: Theory and Applications, 2nd ed. (Springer, New York, 2003).

[102] A. C. Antoulas, Approximation of Large-Scale Dynamical System (SIAM, 2005).

[103] G. H. Golub and C. F. Van Loan, Matrix Computations, 4th ed. (John Hopkins University Press, 2013).

[104] I. Markovsky, Low-Rank Approximations: Algorithms, Implementation, Applications, 2nd ed. (Springer, 2019).

[105] N. Harvey, "Low-rank approximation of matrices," (2011), Lecture 15, Section 1, University of British Columbia.

[106] R. Penrose, "Generalized inverse matrices," Math. Proc. Camb. Philos. Soc. 51, 406 (1955).

[107] R. Vershynin, High-Dimensional Probability: An Introduction with Applications in Data Science (Cambridge University Press, New York, 2018).

[108] M. Rudelson and R. Vershynin, "Sampling from large matrices: An approach through geometric functional analysis," J. ACM 54, 1 (2007).

[109] M. B. Cohen, J. Nelson, and D. P. Woodruff, "Optimal approximate matrix product in terms of stable rank," in 43rd Int. Colloq. Autom. Lang. Program. (ICALP 2016), Vol. 55 (2016) p. 11.

[110] B. Désy, P. Desrosiers, and A. Allard, "Dimension matters when modeling network communities in hyperbolic spaces," arXiv:2209.09201 (2023).

[111] A. Kyrillidis, M. Vlachos, and A. Zouzias, "Approximate matrix multiplication with application to linear embeddings," IEEE Int. Symp. Inf. Theory, 2182 (2014).

[112] I. Gutman, "The energy of a graph: Old and new results," Algebr. Comb. Appl., 196 (2001).

[113] V. Nikiforov, "The energy of graphs and matrices," J. Math. Anal. Appl. 326, 1472 (2007); B. Nica, A Brief Introduction to Spectral Graph Theory (European Mathematical Society, Zurich, 2018).

[114] A. A. Shabalin and A. B. Nobel, "Reconstruction of a low-rank matrix in the presence of Gaussian noise," J. Multivar. Anal. 118, 67 (2013).

[115] O. Roy and M. Vetterli, "The effective rank: A measure of effective dimensionality," in Eur. Signal Process. Conf. (2007) p. 606.

[116] R. Cangelosi and A. Goriely, "Component retention in principal component analysis with application to cDNA microarray data," Biol. Direct 2, 1 (2007).

[117] O. Alter, P. O. Brown, and D. Botstein, "Singular value decomposition for genome-Wide expression data processing and modeling," Proc. Natl. Acad. Sci. U.S.A. 97, 10101 (2000).

[118] L. L. Campbell, "Minimum coefficient rate for stationary random processes," Inf. Control 3, 360 (1960).

[119] W. Leeb, "Optimal singular value shrinkage for operator norm loss: Extending to non-square matrices," Stat. Probab. Lett. 186, 109472 (2022).

[120] M. W. Mahoney, "Randomized algorithms for matrices and data," Found. Trends Mach. Learn. 3, 123 (2011).

[121] P. D. Killworth and H. R. Bernard, "Informant accuracy in social network data," Hum. Organ. 35, 269 (1976).

[122] T. P. Peixoto, "Reconstructing networks with unknown and heterogeneous errors," Phys. Rev. X 8, 041011 (2018).

[123] M. E. J. Newman, "Network structure from rich but noisy data," Nat. Phys. 14, 542 (2018).

[124] J.-G. Young, G. T. Cantwell, and M. E. Newman, "Bayesian inference of network structure from unreliable data," J. Complex Netw. 8, 1 (2020).

[125] J.-G. Young, F. S. Valdovinos, and M. E. J. Newman, "Reconstruction of plant–pollinator networks from observational data," Nat. Commun. 12, 1 (2021).

[126] Z. Füredi and J. Komlós, "The eigenvalues of random symmetric matrices," Combinatorica 1, 233 (1981).

[127] P. Bonacich, "Power and Centrality: A Family of Measures," Am. J. Sociol. 92, 1170 (1987); F. Chung, Spectral Graph Theory (CBMS, Rhode Island, 1994).

[128] F. Chung, L. Lu, and V. Vu, "Spectra of random graphs with given expected degrees," Proc. Natl. Acad. Sci. U.S.A. 100, 6313 (2003).

[129] S. N. Dorogovtsev, A. V. Goltsev, J. F. F. Mendes, and A. N. Samukhin, "Spectra of complex networks," Phys. Rev. E 68, 046109 (2003).

[130] P. Van Mieghem, Graph Spectra for Complex Networks (Cambridge University Press, 2011).

[131] F. Chung and M. Radcliffe, "On the spectra of general random graphs," Electron. J. Comb. 18, P215 (2011).

[132] R. R. Nadakuditi and M. E. J. Newman, "Graph Spectra and the Detectability of Community Structure in Networks," Phys. Rev. Lett. 108, 188701 (2012).

[133] T. P. Peixoto, "Eigenvalue Spectra of Modular Networks," Phys. Rev. Lett. 111, 098701 (2013).

[134] C. Castellano and R. Pastor-Satorras, "Topological determinants of complex networks spectral properties: structural and dynamical effects," Phys. Rev. X 7, 041024 (2017).

[135] M. E. J. Newman, X. Zhang, and R. R. Nadakuditi, "Spectra of random networks with arbitrary degrees," Phys. Rev. E 99, 042309 (2019).

[136] A. Athreya, J. Cape, and M. Tang, "Eigenvalues of stochastic blockmodel graphs and random graphs with low-rank edge probability matrices," Sankhya A 84, 36 (2022).

[137] E. Estrada and P. Knight, A first course on network science (Oxford University Press, 2015); A.-L. Barabási, Network science (Cambridge University Press, 2016); V. Latora, V. Nicosia, and G. Russo, Complex Networks: Principles, Methods and Applications (Cambridge University Press, 2017); M. E. J. Newman, Networks (Oxford University Press, 2018).

[138] D. M. Cvetkovic, M. Doob, and H. Sachs, "Spectra of graphs. Theory and application," (1980).

[139] R. Solomonoff and A. Rapoport, "Connectivity of random nets," Bull. Math. Biophys. 13, 59 (1951).

[140] E. N. Gilbert, "Random graphs," Ann. Math. Stat. 30, 1141 (1959).

[141] P. Erd?s and A. Rényi, "On the evolution of random graphs," Publ. Math. Inst. Hung. Acad. Sci 5, 17 (1960).

[142] M. E. J. Newman, "The structure and function of complex networks," SIAM Rev. 45, 167 (2003).

[143] A. Guionnet, "Bernoulli Random Matrices," arXiv:2112.05506 (2021).

[144] A. Perry, A. S. Wein, A. S. Bandeira, and A. Moitra, "Optimality and sub-optimality of PCA I: Spiked random matrix models," Ann. Statis. 46, 2416 (2018).

[145] P. W. Holland, K. B. Laskey, and S. Leinhardt, "Stochastic blockmodels: First steps," Soc. Netw. 5, 109 (1983).

[146] J.-G. Young, G. St-Onge, P. Desrosiers, and L. J. Dubé, "Universality of the stochastic block model," Phys. Rev. E 98, 032309 (2018).

[147] F. Chung and L. Lu, "Connected Components in Random Graphs with Given Expected Degree Sequences," Ann. Comb. 6, 125 (2002).

[148] F. Chung and L. Lu, "The average distances in random graphs with given expected degrees," Proc. Natl. Acad. Sci. U.S.A. 99, 15879 (2002).

[149] W. Wang, M. Tang, E. H. Stanley, and L. A. Braunstein, "Unification of theoretical approaches for epidemic spreading on complex networks," Rep. Prog. Phys. 80, 036603 (2017).

[150] S. N. Dorogovtsev, A. V. Goltsev, and J. F. F. Mendes, "Critical phenomena in complex networks," Rev. Mod. Phys. 80, 1275 (2008).

[151] D. Krioukov, F. Papadopoulos, M. Kitsak, A. Vahdat, and M. Boguná, "Hyperbolic geometry of complex networks," Phys. Rev. E 82, 036106 (2010).

[152] A. Allard, M. A. Serrano, and M. Bogu?á, "Geometric description of clustering in directed networks," arXiv:2302.09055 (2023).

[153] A.-L. Barabási and R. Albert, "Emergence of scaling in random networks," Science 289, 509 (1999).

[154] D. de Solla Price, "A general theory of bibliometric and other cumulative advantage processes," J. Am. Soc. Inf. Sci. 27, 292 (1976).

[155] C. Aicher, A. Z. Jacobs, and A. Clauset, "Learning latent block structure in weighted networks," J. Complex Netw. 3, 221 (2015).

[156] T. L. J. Ng and T. B. Murphy, "Weighted stochastic block model," Statistical Methods & Applications 30, 1365 (2021).

[157] U. Brandes, J. Lerner, U. Nagel, and B. Nick, "Structural trends in network ensembles," in Complex Networks: Results of the 2009 International Workshop on Complex Networks (CompleNet 2009) (2009) p. 83.

[158] M. Porfiri, D. J. Stilwell, and E. M. Bollt, "Synchronization in random weighted directed networks," IEEE Transactions on Circuits and Systems I 55, 3170 (2008).

[159] K. Rajan and L. F. Abbott, "Eigenvalue spectra of random matrices for neural networks," Phys. Rev. Lett. 97, 188104 (2006).

[160] J. Kadmon and H. Sompolinsky, "Transition to chaos in random neuronal networks," Phys. Rev. X 5, 041030 (2015).

[161] T. Tao and V. Vu, "Random matrices: the circular law," Communications in Contemporary Mathematics 10, 261 (2008).

[162] F. G?tze and A. Tikhomirov, "The circular law for random matrices," Ann. Probab. 38, 1444 (2010).

[163] K. P. Costello and V. Vu, "On the rank of random sparse matrices," Combinatorics, Probability and Computing 19, 321 (2010).

[164] P. M. Wood, "Universality and the circular law for sparse random matrices," Ann. Appl. Probab. 22, 1266 (2012).

[165] N. Cook, "The circular law for random regular digraphs with random edge weights," Random Matrices: Theory and Applications 6, 1750012 (2017).

[166] A. Allard, M. A. Serrano, G. García-Pérez, and M. Bogu?á, "The geometric nature of weights in real complex networks," Nat. Commun. 8, 14103 (2017).

[167] B. Karrer and M. E. J. Newman, "Stochastic blockmodels and community structure in networks," Phys. Rev. E 83, 016107 (2011).

[168] T. P. Peixoto, "Nonparametric weighted stochastic block models," Phys. Rev. E 97, 012306 (2018).

[169] A. Athreya, D. E. Fishkind, M. Tang, C. E. Priebe, Y. Park, J. T. Vogelstein, K. Levin, V. Lyzinski, Y. Qin, and D. L. Sussman, "Statistical inference on random dot product graphs: A survey," J. Mach. Learn. Res. 18, 1 (2018).

[170] D. Garlaschelli and M. I. Loffredo, "Generalized bose-fermi statistics and structural correlations in weighted networks," Phys. Rev. Lett. 102, 038701 (2009).

[171] D. Garlaschelli, "The weighted random graph model," New J. Phys. 11, 073005 (2009).

[172] M. A. Serrano and M. Bogu?á, "Weighted configuration model," in AIP conference proceedings, Vol. 776 (American Institute of Physics, 2005) p. 101.

[173] D. J. Watts and S. H. Strogatz, "Collective dynamics of 'small-world' networks," Nature 393, 440 (1998).

[174] D. Sherrington and S. Kirkpatrick, "Solvable model of a spin-glass," Phys. Rev. Lett. 35, 1792 (1975).

[175] P. Desrosiers and P. Forrester, "Asymptotic correlations for Gaussian and Wishart matrices with external source," Int. Math. Res. Not. 2006, 27395 (2006).

[176] A. Bloemendal and B. Virág, "Limits of spiked random matrices i," Probab. Theory Relat. Fields 156, 795 (2013).

[177] J. J. Hopfield, "Neural networks and physical systems with emergent collective computational abilities," Proc. Natl. Acad. Sci. U.S.A. 79, 2554 (1982).

[178] M. Luko?evi?ius and H. Jaeger, "Reservoir computing approaches to recurrent neural network training," Comput. Sci. Rev. 3, 127 (2009).

[179] D. Sussillo and L. F. Abbott, "Generating coherent patterns of activity from chaotic neural networks," Neuron 63, 544 (2009).

[180] F. Mastrogiuseppe and S. Ostojic, "Linking Connectivity, Dynamics, and Computations in Low-Rank Recurrent Neural Networks," Neuron 99, 609 (2018).

[181] F. Schuessler, A. Dubreuil, F. Mastrogiuseppe, S. Ostojic, and O. Barak, "Dynamics of random recurrent networks with correlated low-rank structure," Phys. Rev. Research 2, 013111 (2020).

[182] F. Schuessler, F. Mastrogiuseppe, A. Dubreuil, S. Ostojic, and O. Barak, "The interplay between randomness and structure during learning in RNNs," in Adv. Neural Inf. Process. Syst. 34 (2020) p. 1.

[183] G. Eilertsen, D. J?nsson, T. Ropinski, J. Unger, and A. Ynnerman, "Classifying the classifier: dissecting the weight space of neural networks," Proceedings of the European Conference on Artificial Intelligence (ECAI 2020) 325, 1119 (2020).

[184] E. T. Jaynes, "Information Theory and Statistical Mechanics," The Phys. Rev. 106, 620 (1957).

[185] J. Park and M. E. J. Newman, "Statistical mechanics of networks," Phys. Rev. E 70, 066117 (2004).

[186] G. Bianconi, "Entropy of network ensembles," Phys. Rev. E 79, 036114 (2009).

[187] T. Squartini and D. Garlaschelli, Maximum-Entropy Networks: Pattern Detection, Network Reconstruction and Graph Combinatorics (Springer, 2017).

[188] G. Cimini, T. Squartini, F. Saracco, D. Garlaschelli, A. Gabrielli, and G. Caldarelli, "The statistical physics of real-world networks," Nat. Rev. Phys. 1, 58 (2019).

[189] C. Carathéodory, "The beginning of research in the calculus of variations," Osiris 3, 224 (1937).

[190] G. Giorgi and T. H. Kjeldsen, eds., Traces and emergence of nonlinear programming (Birkhauser, New York, 2014).

[191] C. Carathéodory, Calculus of Variations and Partial Differential Equations of the first order, 3rd ed. (Chelsea Publishing Company, 1989).

[192] B. H. Pourciau, "Modern Multiplier Rules," Am. Math. Mon. 87, 433 (1980).

[193] E. K. P. Chong and S. H. Zak, An Introduction to Optimization, 4th ed. (Wiley, New Jersey, 2013).

[194] DLMF, "NIST Digital Library of Mathematical Functions," https://dlmf.nist.gov/, Release 1.1.9 of 2023-03-15, f. W. J. Olver, A. B. Olde Daalhuis, D. W. Lozier, B. I. Schneider, R. F. Boisvert, C. W. Clark, B. R. Miller, B. V. Saunders, H. S. Cohl, and M. A. McClain, eds.

[195] J. Gao, Y. Cao, and J.-M. Lee, "Principal component analysis of 1/fα noise," Phys. Lett. A 314, 392–400 (2003).

[196] M. Sánchez-Islas, J. C. Toledo-Roy, and A. Frank, "Criticality in a multisignal system using principal component analysis," Phys. Rev. E 103, 042111 (2021).

[197] C. Stringer, M. Pachitariu, N. Steinmetz, M. Carandini, and K. D. Harris, "High-dimensional geometry of population responses in visual cortex," Nature 571, 361 (2019).

[198] C. Stringer, M. Pachitariu, N. Steinmetz, C. B. Reddy, M. Carandini, and K. D. Harris, "Spontaneous behaviors drive multidimensional, brainwide activity," Science 364, eaav7893 (2019).

[199] N. C. L. Kong, E. Margalit, J. L. Gardner, and A. M. Norcia, "Increasing neural network robustness improves match to macaque v1 eigenspectrum, spatial frequency preference and predictivity," PLoS Comput. Biol. 18, e1009739 (2022).

[200] J. M. Kleinberg, "Authoritative sources in a hyperlinked environment," in SODA '98: Proceedings of the ninth annual ACM-SIAM symposium on Discrete algorithms (1998) p. 668.

[201] M. E. J. Newman, Networks (Oxford University Press, 2018).

[202] M. Kunst, E. Laurell, N. Mokayes, A. Kramer, F. Kubo, A. M. Fernandes, D. F?rster, M. Dal Maschio, and H. Baier, "A Cellular-Resolution Atlas of the Larval Zebrafish Brain," Neuron 103, 21 (2019).

[203] M. Mitchell, Complexity: A Guided Tour (Oxford University Press, 2009).

[204] D. Witvliet, B. Mulcahy, J. K. Mitchell, Y. Meirovitch, D. R. Berger, Y. Wu, Y. Liu, W. X. Koh, R. Parvathala, D. Holmyard, R. L. Schalek, N. Shavit, A. D. Chisholm, J. W. Lichtman, A. D. T. Samuel, and M. Zhen, "Connectomes across development reveal principles of brain maturation," Nature 596, 257 (2021).

[205] K. Fujimoto, "What are singular values of nonlinear operators?" in 43rd IEEE Conf. Decis. Control (2004) p. 1623.

[206] O. Koch and C. Lubich, "Dynamical low-rank approximation," SIAM J. Matrix Anal. Appl. 29, 434 (2007).

[207] P. Holme and J. Saram?ki, "Temporal networks," Phys. Rep. 519, 97 (2012).

[208] V. Thibeault, G. St-Onge, L. J. Dubé, and P. Desrosiers, "Threefold way to the dimension reduction of dynamics on networks: An application to synchronization," Phys. Rev. Research 2, 043215 (2020).

[209] V. Thibeault, Réduire la dimension des systèmes complexes : un regard sur l'émergence de la synchronisation, Master's thesis, Université Laval (2020).

[210] X. Wang and I. H. Sloan, "Why are high-dimensional finance problems often of low effective dimension?" SIAM J. Comput 27, 159 (2005).

[211] P. Espa?ol, "Statistical Mechanics of Coarse-graining," in Nov. Methods Soft Matter Simulations, Vol. 140, edited by M. Karttunen, I. Vattulainen, and A. Lukkarinen (Springer, Berlin, 2003) p. 69.

[212] P. Castiglione, M. Falcioni, A. Lesne, and A. Vulpiani, Chaos and Coarse Graining in Statistical Mechanics (Cambridge University Press, 2008).

[213] Y. S. Cho, T. Nishikawa, and A. E. Motter, "Stable chimeras and independently synchronizable clusters," Phys. Rev. Lett. 119, 084101 (2017).

[214] L. D. Smith and G. A. Gottwald, "Model reduction for the collective dynamics of globally coupled oscillators: From finite networks to the thermodynamic limit," Chaos 30, 093107 (2020).

[215] J. Wei and J. C. W. Kuo, "A lumping analysis in monomolecular reaction systems: Analysis of the exactly lumpable system," Ind. Eng. Chem. Fundamen. 8, 114 (1969).

[216] J. Tóth, G. Li, H. Rabitz, and A. S. Tomlin, "The effect of lumping and expanding on kinetic differential equations," SIAM J. Appl. Math. 57, 1531 (1997).

[217] I. Z. Kiss, J. C. Miller, and P. L. Simon, Mathematics of epidemics on networks: From exact to approximate models (Springer, Cham, 2017).

[218] B. B. Machta, R. Chachra, M. K. Transtrum, and J. P. Sethna, "Parameter Space Compression Underlies Emergent Theories and Predictive Models," Science 342, 604 (2013).

[219] T. Hoefler, D. Alistarh, T. Ben-Nun, N. Dryden, and A. Peste, "Sparsity in Deep Learning : Pruning and growth for efficient inference and training in neural networks," J. Mach. Learn. Res. 23, 1 (2021).

[220] F. Forni and R. Sepulchre, "Differential Dissipativity Theory for Dominance Analysis," IEEE Trans. Autom. Control 64, 2340 (2019).

[221] M. Faccin, M. T. Schaub, and J. C. Delvenne, "State Aggregations in Markov Chains and Block Models of Networks," Phys. Rev. Lett. 127, 078301 (2021).</...