自然-物理評論：非線性動力學的生成學習

摘要

現代生成式機器學習模型能夠創造出遠超其訓練數據的逼真內容，如照片級藝術品、精確的蛋白質結構或流暢的對話文本。這些成功表明，生成式模型能有效參數化并從任意復雜的分布中采樣。半個世紀前，非線性動力學領域的基礎性工作也曾出于類似目的，運用信息論工具從真實世界的時間序列中推斷混沌吸引子的屬性。近期發表在《自然 · 物理評論》上的一篇觀點性文章，旨在將這些經典理論與大規模生成式統計學習的新興主題聯系起來。文章特別聚焦于兩個經典問題：一是如何根據部分測量重構動力學流形，這與現代的潛變量方法異曲同工；二是如何從復雜數據集中推斷出最小的動力學系統的“基礎單元”，這與當下對“黑箱”模型的可解釋性探索不謀而合。

關鍵詞：非線性動力學，生成式學習，混沌系統，吸引子重構，潛變量模型

曾利丨作者

周莉丨審校

論文題目：Generative learning for nonlinear dynamics 論文地址：https://www.nature.com/articles/s42254-024-00688-2 發表時間：2025年8月7日 論文來源：Nature Review Physics

混沌即生成：從物理定律到AI創造

一個奇異吸引子的分形幾何結構，只有通過長時間觀察混沌系統的演化才能盡收眼底。因此，混沌系統在持續不斷地產生信息，以越來越精細的尺度揭示其內在結構。物理學家約翰·惠勒（John Archibald Wheeler）曾提出一個著名的論斷——“萬物皆比特”（It from bit），即物理理論的本質最終編碼了計算的基本單元。

與惠勒的思想相呼應，動力系統領域的開創性工作早已將混沌系統的信息產生過程形式化。從湍流到星體軌道，自然界中的混沌系統就像一臺臺模擬計算機，其信息處理速率可以通過佩辛公式（Pesin's formula）來量化：一個系統的熵產生率（即信息產生率）與其李雅普諾夫指數之和成正比。李雅普諾夫指數衡量了鄰近軌跡在吸引子上不同方向的發散速率。簡而言之，一個系統越“混沌”，它揭示其自身結構的速度就越快。

巧合的是，現代機器學習，特別是生成式模型，也在做著類似的事情。它們通過學習訓練數據的分布，來生成全新的、逼真的樣本。在采樣過程中，為了高效探索高維數據空間，模型通常采用類似馬爾可夫鏈蒙特卡洛（MCMC）的方法，每一步都基于當前樣本的局部幾何信息（如協方差矩陣）來采樣出下一個樣本。這一過程中的信息增益，同樣與數據分布的局部幾何特性緊密相關。

正如混沌系統沿著不穩定的方向（李雅普諾夫指數）發散一樣，復雜的數據分布也存在一些“平坦”的局部方向，主導著數據的多樣性。這種動力學與采樣之間的深刻聯系，促使我們重新審視“萬物皆比特”的理念，將新興的統計學習置于混沌系統信息處理的經典框架之中。

圖 1. 混沌作為一個生成過程 a、一個奇異吸引子的自然測度μ(x)，它由一個隨時間t演化的確定性混沌系統f(x(t))產生。示意圖表示了一組初始條件的發散，這由李雅普諾夫指數λ1和λ2控制。b、由變分自編碼器學習到的蛋白質序列概率分布p(x)，以及一個簡化的馬爾可夫鏈蒙特卡洛采樣方案。提議步長的分布N取決于局部協方差矩陣Σ；σ1和σ2表示沿主軸的標準差。

管中窺豹：從部分觀測重構完整動力學

大型統計學習模型的成功，很大程度上依賴于一個被稱為“流形假設”的經驗法則：高維數據通常聚集在低維流形附近。對于時間序列數據而言，這意味著看似復雜的動態過程，可能源于一個嵌入在高維測量空間中的低維吸引子。如果我們能找到并參數化這個吸引子，那么復雜性就可以被“變換掉”。

這正是動力系統領域的經典問題——吸引子重構。早在幾十年前，塔肯斯定理（Takens' theorem）就為我們提供了一種強大的工具：時間延遲嵌入。該方法指出，即便我們只有一個變量的時間序列（如流體中某一點的速度），通過將其與它在過去不同時刻的值組合成一個新的高維向量，我們就能重構出一個與原始動力系統吸引子在拓撲上等價的流形。這一驚人的結論意味著，盡管測量過程會丟失信息，但只要底層動力學具有良好結構（即存在吸引子），我們就能從“局部”恢復出“全局”。時間延遲嵌入的早期成功之一，便是在實驗中證實了流體向湍流過渡時存在一個低維奇異吸引子。

如今，這種思想在現代時間序列模型中得到了新生。比如編碼器（Autoencoders）、循環神經網絡（Recurrent Neural Networks, 即RNNs）和Transformer等模型，在預測時間序列時，都會將觀測數據編碼到一個低維的“潛空間”（Latent Space），在這個空間中傳播動力學，然后再解碼回觀測空間。這個潛空間，正扮演著經典理論中“重構吸引子”的角色。

近年來，研究人員將自編碼器應用于高維動態數據（如湍流視頻），發現其學習到的潛空間動力學清晰地揭示了系統的內在結構，甚至對應于流體力學方程的精確解。這表明，看似復雜無序的動態背后，隱藏著低維且有序的潛過程。這種通過增加表示的維度來簡化動力學復雜性的思想，即“提升”（Lifting）技術，也催生了諸如動態模態分解（DMD）和庫普曼算子（Koopman operator）等前沿方法，它們通過將非線性系統變換到更高維空間，使其動力學行為近似線性，從而變得更易于分析和預測。

圖 2. 潛空間動力學重訪經典吸引子重構 a、一個代表流體徑向速度的單變量時間序列，在三個不同雷諾數（R）下的時間延遲嵌入。當雷諾數達到臨界值Rc時，系統進入湍流。每個嵌入下方展示了其龐加萊截面。b、一個在弱湍流（R=40）數據上訓練的自編碼器神經網絡的潛空間。潛狀態使用t-SNE方法進一步嵌入到二維空間中進行可視化。顏色深淺表示功率耗散，相連的狀態點則表示由于底層對稱性而等效的流體構型。

圖 3. 狀態空間模型生成復雜動力學 a、一個通用狀態空間模型的組成部分。b、一個采用非線性動力學稀疏辨識（Sparse Identification of Nonlinear Dynamics，縮寫為SINDY）的自編碼器。多層感知機將高維觀測數據確定性地轉換到一個低維潛空間，在該空間中，動力學通過從已知函數庫中稀疏回歸學到的解析微分方程進行傳播。c、通過動力學系統進行潛在因子分析（Latent Factor Analysis via Dynamical Systems，縮寫為LFADS）。神經元發放的時間序列被確定性地編碼為潛在的初始條件，這些條件由第二個循環神經網絡演化，然后解碼為潛在因子時間序列。這些潛在因子參數化了一個非均勻泊松過程的隨機發放率。d、流形插值最優傳輸流（Manifold Interpolating Optimal-Transport Flows，縮寫為MIOFlow）。高維基因表達測量值被編碼到一個保留流形擴散距離的潛在分布中，然后通過最優傳輸來傳播這個潛在測度。

大道至簡：尋找復雜系統背后的“最小生成器”

潛空間表示揭示了動力學的復雜性可能取決于我們的“視角”。然而，混沌的某些方面是不可約減的。佩辛公式告訴我們，混沌系統必然會產生熵。一個核心問題隨之而來：撇開表示形式的差異，不同的動力學系統是否存在功能上的等價性？我們能否將一個復雜的系統“壓縮”到其最核心的計算單元？

這便是經典“符號動力學”（Symbolic Dynamics）的初衷。通過對連續的相空間進行粗粒化劃分，我們可以將一個連續的軌跡轉化為一串離散的符號序列。分析這個符號序列的計算特性，可以揭示系統的本質。例如，著名的“倍周期分岔”通向混沌的路徑，在符號動力學視角下，可以被看作一個簡單的雙狀態自動機，其內存需求在每次分岔時翻倍，最終在混沌邊緣發散。

這種“化繁為簡”的追求，與當前對大型機器學習模型的壓縮、蒸餾和可解釋性研究形成了有趣的呼應。盡管我們趨向于構建越來越大的模型，但我們同樣渴望理解這些“黑箱”的內在邏輯。

許多現代時間序列模型，如隱馬爾可夫模型（Hidden Markov Models，即HMM）和切換線性模型，通過將連續觀測映射到離散的內部狀態，來近似復雜的非線性動力學。這種潛在的離散化不僅提高了模型的可解釋性（例如，在動物行為分析中，離散狀態可以對應不同的行為模式），還有助于大型生成模型避免“后驗坍縮”等問題。

更有趣的是，通過分析訓練好的神經網絡的潛在動態，我們可以反向工程出其內部的“語法”或“計算原語”，這呼應了符號動力學尋找“最小生成器”的目標。新興的神經-符號方法甚至嘗試將可微分的神經網絡與精確的符號邏輯（如算術或邏輯運算）相結合，力求在保持模型強大擬合能力的同時，賦予其可解釋和可驗證的內在結構。

圖 4. 潛空間離散化與可解釋性 a、一個自適應近似算法的連續階段，該算法將局部線性動力學擬合到一個混沌系統的相空間各部分。不同顏色表示不同近似水平下的離散聚類。b、一個連續值學習模型，它從一個連續的睡眠記錄時間序列（左）中，創建了一個離散的、潛在的自組織映射（右）。連續空間中的星號對應于相似數據點的質心，每個質心都與圖中的一個離散節點相關聯。c、在一系列混沌和周期性狀態下，對一個動力學映射擬合出的概率自動機的拓撲復雜性，與其時間序列熵的關系圖。結構最復雜的自動機出現在動力學熵處于中等水平時。

意義與未來展望

從混沌理論中汲取靈感，不僅為現代生成式學習提供了新的視角，也可能為未來的算法設計帶來富有成效的“歸納偏置”。例如，動態模態分解等方法已經廣泛應用于科學問題，而動力系統的其他深刻見解，如“哈密頓流形假設”，也可能指導下一代模型的構建。

經典理論還探討了系統的熵（隨機性）與其底層表示的“復雜度”之間的關系。一個系統的行為可以在完全有序（如固定點）和完全隨機之間變化，而最具計算能力的系統，可能正處于這個被稱為“混沌邊緣”（Edge of Chaos）的臨界區域。這一思想為我們理解現代大型學習模型的容量和泛化能力提供了新的思路。

隨著生成式模型的規模和性能不斷提升，動力學理論或許能幫助我們建立一種新的“偏見-方差”權衡關系，它不僅關乎模型參數，更關乎模型所能學習的動力學結構的復雜性。這無疑是對惠勒“萬物皆比特”思想的現代詮釋——在數字化的學習系統中，重新發現物理世界的深刻規律。

參考文獻

Gilpin, W. Generative learning for nonlinear dynamics. Nat Rev Phys6, 194–206 (2024). https://doi.org/10.1038/s42254-024-00688-2

報名讀書會：「非線性動力學與混沌」

集智俱樂部聯合北京師范大學張江科研組聯和南信大李春彪科研組師生共同發起，由師生共同領讀《非線性動力學與混沌》，以分章節精讀的方式，帶領大家系統學習非線性動力學的基本理論與典型模型，結合洛倫茲系統、Kuramoto模型等經典案例，深入探討混沌的起源、分形與奇異吸引子等前沿問題。

本讀書會不僅讀書，還會系統化地梳理本書中的重要概念，并整理為百科詞條。也就是說，讀完本書，我們會梳理出一套非線性動力學與混沌相關的百科詞條，這才是重點。

我們也會通過梳理詞條的方式，讓學員組成學習小組進行比賽，最終會評出優秀學習小組獲得復雜科學知識卡、汪小帆簽名的《非線性動力學與混沌》、張江簽名的《規模法則》、以及譯者簽名的《復雜-誕生于混沌與秩序邊緣的科學》以及特色集智文化衫！

詳情請見：

拓撲學課程：從空間直覺到系統科學

你是否曾思考過：為什么咖啡杯在數學上可以變成甜甜圈？為什么混沌系統中會出現周期軌、可約化結構和“奇怪吸引子”模式？為什么神經網絡、量子物理甚至心理結構，都可以從“拓撲”角度理解？

拓撲學不僅是數學的抽象分支，更提供了系統的思維方式，讓我們理解連續性、結構不變性乃至復雜系統的整體規律。從歐拉七橋問題到DNA的纏結，從量子場論到思維科學與腦科學，拓撲學思想正在各學科中普遍而深刻地重塑著我們的認知方式。

集智學園聯合北京大學博士金威老師開設，課程將于11月23日開啟，現在加入可享早鳥價格。

詳情請見：

-一年一度特惠-

1.

2.

3.

4.

5.

6.