自然通訊·物理:機器學習新框架助力破解復雜系統的動力學奧秘

摘要

識別非線性動力系統的控制方程，對于理解一個動力學系統的物理特征以及構建其精確動力學模型至關重要，多數情況下，非線性動力系統僅可獲得部分數據的特性，使得研究人員在處理非線性動力系統帶來了困難，對此，作者團隊發展出了一種適用于部分觀測系統辨識問題的一種機器學習框架。

關鍵詞：部分觀測非線性動力系統 、系統識別、機器學習、可解釋符號模型

王亦理丨作者

趙思怡丨審校

論文題目：Discovering sparse intertable dynamics from partial observations 論文鏈接：https://www.nature.com/articles/s42005-022-00987-z 發表時間: 2022年8月12日 發表期刊：Nature Communications:Physics

挑戰與困境

在部分觀測條件下研究非線性動力系統，研究人員不僅需識別并建模潛在的動力學行為，還必須重構系統中隱藏或未被觀測的狀態變量，這構成了系統辨識中的核心挑戰。

一方面，傳統線性系統辨識方法在處理非線性系統時性能受限；另一方面，盡管深度學習模型在系統辨識中表現出強大擬合能力，但其“黑箱”特性限制了模型的可解釋性，難以揭示系統的物理機制。這些方法學上的局限，進一步加劇了部分觀測非線性系統辨識的難度。

針對上述難題，MIT物理系的研究團隊提出了一種全新的機器學習框架，該框架創新性地結合了全系統狀態重構編碼器與稀疏符號模型——后者直接學習系統控制方程，通過匹配符號模型的高階時間導數完成訓練，該方法可通過將已知的物理約束條件融入編碼器架構和符號模型設計，可輕松適應特定的非線性動力系統，為系統辨識與狀態重構構建了靈活和高效的框架。

特別地，作者在實現這種框架時開發了一種算法技巧，使得標準自動微分方法能夠計算高階符號時間導數。（代碼鏈接見文末“補充信息”一節)

部分觀測非線性系統的機器學習識別

問題形式

考慮一個由一階常微分方程定義的動力系統：

其中，觀測到的狀態由已知投影函數xv =g(x)給出，而隱藏狀態xh需要通過聚合函數a(·,·)構造，要求xv,xh,a(·,·)滿足條件a(xv,xh) =x。

研究的目標是：在重構隱藏狀態xh的同時，確定描述系統動力學的控制方程F。

當缺乏關于動力系統結構的先驗知識時，通常假設可見狀態xv = (x1,x2,…,xk)作為完整狀態x= (x1,x2,…,xk,xk+1,…,xn)的一個子集，此時g是x在子集xv上的投影，其余分量xh=(xk+1,xk+2,…,,xn)構成隱藏狀態，而聚合函數a只是簡單的對xh,xv的拼接。

若具備系統相關先驗信息，就可以相應地選擇合適的g和聚合函數a，以更好地反映動力學結構。

框架構成

該機器學習框架包含兩個核心組件：編碼器和可解釋符號模型。編碼器通過可見狀態重建對應的隱藏狀態xh，而符號模型則用于表征動力系統的控制方程F。

圖1：機器學習方法框架的構成及訓練策略

圖2：機器學習方法框架的構成:編碼器與稀疏符號模型

編碼器eη通常采用具有可學習參數η的神經網絡架構，以可見狀態的序列為輸入，重構得到的隱藏狀態序列為輸出。

根據塔肯斯嵌入定理（Takens’ embedding theorem），只要隱藏狀態與可見狀態充分耦合時，上述重構是可行的。此后，通過聚合函數就能獲得完整狀態的重構結果。重構狀態可用于計算由對應控制方程的符號模型
定義的符號時間導數:

其中：θ1,θ2…,θm為可學習系數，f1,f2…fm 為預定義項。當系統狀態的維度未知時，研究團隊指出可通過將預定義項視為一個超參數，以調整該超參數的方式來實現高精度與簡潔性之間的最優平衡。

訓練策略

優化目標：在訓練過程中，優化目標是均方誤差（mean squared error， MSE）損失函數。該損失函數考慮了不同階數時間導數的貢獻，并在其中引入了經驗方差（empirical variance）和權重超參數（hyperparameter），實現了對不同階數的有限差分校準進行適當加權，以確保訓練的有效性和準確性。

圖3：聯合訓練策略 符號時間導數、有限差分時間導數、MSE 損失

訓練目標的損失函數形式為：

其中表示第p階有限差分導數，ap是決定損失函數中各階導數重要性的超參數。

僅使用部分觀測數據聯合訓練編碼器和符號模型的意圖體現在損失函數中的項

其中是可見狀態的高階符號時間導數，同樣由符號模型隱式定義。是數據中的有限差分估計。

符號模型稀疏化:為實現符號模型的稀疏性，研究團隊采用了一種在稀疏線性回歸（sparse linear regression）中常用的閾值方法：在訓練過程中定期檢查可學習系數θi，若某系數的絕對值低于設定閾值，則將其置零為。

數值實驗結果

為檢驗該機器學習框架的性能，研究團隊設計了三種系統的數值實驗測試該框架的性能。

常微分方程系統的數值實驗

常微分方程系統實驗的實驗對象是兩個經典的混沌非線性動力系統——羅塞爾系統（R?ssler system）和洛倫茲系統（Lorenz system）。

實驗結果表明，該框架能夠準確識別出這兩個系統的控制方程，同時成功重構隱藏狀態 ，充分顯示了框架在常微分方程系統下的高精度建模能力。

圖4：ODE實驗， 羅塞爾系統，u,v為可見變量，w 為隱藏變量——三維動力學軌跡、可見狀態(u,v)上的投影，真實狀態（藍色）與重建狀態（綠色虛線）的隱藏狀態w隨時間變化的軌跡被呈現出來，并通過綠色散點圖直接對比展示

圖5：ODE實驗，洛倫茲系統，(u,v)為可見變量，w 為隱藏變量——三維動力學軌跡、可見狀態(u,v)上的投影，真實狀態（藍色）與重建狀態（綠色虛線）的隱藏狀態w隨時間變化的軌跡被呈現出來，并通過綠色散點圖直接對比展示

偏微分方程系統實驗

研究團隊研究團隊進一步在偏微分方程系統上測試，包括：帶有指數衰減源項的二維擴散系統（2D diffusion system)，和二維擴散型洛特卡 - 沃爾泰拉捕食者 - 獵物系統（2D diffusive Lokta–Volterra predator–prey system)。

實驗結果表明，該框架在這兩個偏微分方程系統中均能準確識別控制方程并重構隱藏組分，表明該框架在偏微分方程系統這類復雜場景下依然具有良好的適應性。

圖6：PDE實驗，二維擴散系統 ，u為可見變量，v為隱藏變量——內容包括可見狀態u隨時間變化的快照，t = 0時刻同步呈現真實狀態v與重構狀態v，真實狀態v與重建狀態v的對比圖

圖7：PDE實驗，擴散型洛特卡 - 沃爾泰拉系統 ，u為可見變量，v為隱藏變量——內容包括可見狀態u隨時間變化的快照，t = 0 時刻同步呈現真實狀態v與重構狀態v，真實狀態v與重建狀態v的對比圖

一維非線性薛定諤方程的相位重構實驗

研究團隊還考慮了一維非線性薛定諤方程的相位重構（phase reconstruction）問題。在此實驗中，僅利用可見的振幅數據，識別潛在的動力學規律并重構隱藏的相位。基于先驗知識，作者假設投影函數，聚合函數。

由于局部時空編碼器難以直接實現相位重構，作者為每個時空點學習其對應的相位參數。為緩解由此帶來的訓練困難，引入了編碼器正則化項：，來確保訓練過程中符號時間導數與重構狀態的一致性。

實驗結果顯示，該方法成功識別出了非線性薛定諤方程數據的控制方程，并大致捕捉到了正確的相位分布。此外，研究團隊還指出，利用該方法提取的控制方程，后續可以采用其他更專業的非線性相位恢復算法作為后處理步驟，這也為該框架在實際應用中的拓展提供了思路。

圖8：線性薛定諤系統的系統識別與相位重建 ——a.文章的方法正確識別了正確的非線性薛定諤方程；b.可見變量，波函數的模|ψ|，c.需要被重構的隱藏變量相位φ=arg (ψ) ;d.相位的空間導數及重建結果

討論與展望：優勢、局限及未來方向

該研究提出了一種基于機器學習的框架，能夠在部分觀測條件下，同時識別稀疏可解釋的動力學規律并重構隱藏狀態。該方法結構簡潔、使用靈活，與依賴顯式積分的方法相比，計算效率更高，為部分觀測非線性系統的建模提供了有效新途徑。然而，由于依賴數據中高階有限差分時間導數的估計，該方法對噪聲較為敏感。

研究團隊表示，未來團隊將致力于現有框架中融入能夠同時識別動力學規律和提取噪聲概率分布的新方法和適用于符號回歸任務（symbolic regression tasks）、具有多層可組合單元的符號模型，以進一步提升方法在噪聲環境下的性能，增強框架的實用性。

補充信息

點擊鏈接可訪問本文作者的開源代碼https://github.com/peterparity/symder

報名讀書會：「非線性動力學與混沌」

集智俱樂部聯合北京師范大學張江科研組聯和南信大李春彪科研組師生共同發起，由師生共同領讀《非線性動力學與混沌》，以分章節精讀的方式，帶領大家系統學習非線性動力學的基本理論與典型模型，結合洛倫茲系統、Kuramoto模型等經典案例，深入探討混沌的起源、分形與奇異吸引子等前沿問題。

本讀書會不僅讀書，還會系統化地梳理本書中的重要概念，并整理為百科詞條。也就是說，讀完本書，我們會梳理出一套非線性動力學與混沌相關的百科詞條，這才是重點。

我們也會通過梳理詞條的方式，讓學員組成學習小組進行比賽，最終會評出優秀學習小組獲得復雜科學知識卡、汪小帆簽名的《非線性動力學與混沌》、張江簽名的《規模法則》、以及譯者簽名的《復雜-誕生于混沌與秩序邊緣的科學》以及特色集智文化衫！

詳情請見：

拓撲學課程：從空間直覺到系統科學

你是否曾思考過：為什么咖啡杯在數學上可以變成甜甜圈？為什么混沌系統中會出現周期軌、可約化結構和“奇怪吸引子”模式？為什么神經網絡、量子物理甚至心理結構，都可以從“拓撲”角度理解？

拓撲學不僅是數學的抽象分支，更提供了系統的思維方式，讓我們理解連續性、結構不變性乃至復雜系統的整體規律。從歐拉七橋問題到DNA的纏結，從量子場論到思維科學與腦科學，拓撲學思想正在各學科中普遍而深刻地重塑著我們的認知方式。

集智學園聯合北京大學博士金威老師開設，課程將于11月23日開啟，現在加入可享早鳥價格。

詳情請見：

1.

2.

3.

4.

5.

6.