打開神經網絡的“黑箱”：費舍信息揭示深度學習的極限

摘要

在物理測量中，從實驗數據中估計連續參數的精度受限于系統所攜帶的費舍信息（FI）——它刻畫了未知參數在觀測數據中的可辨識度。隨著人工神經網絡被廣泛引入實驗測量與反演分析，理解它們在內部如何處理、傳遞并保留這些與參數相關的信息，成為一個關鍵問題。本文提出了一種方法，用于監測費舍信息在神經網絡中的流動過程，從輸入層到輸出層進行追蹤。研究表明，當網絡達到最優估計性能時，FI傳輸達到最大；若繼續訓練，信息反而開始損失，對應過擬合的出現。該工作不僅揭示了神經網絡學習的物理機制，還提出了一種基于FI的“模型無關早?！睖蕜t，為深度學習的高效與可解釋訓練提供了新思路。

關鍵詞：費舍信息（Fisher Information, FI），人工神經網絡（Artificial Neural Networks, ANNs），信息流（Information Flow），模型無關的早停準則（model-free stopping criterion），參數估計（Parameter Estimation）

來源：集智俱樂部

作者：趙思怡

論文題目：Fisher Information Flow in Artificial Neural Networks 論文鏈接：https://journals.aps.org/prx/abstract/10.1103/kn3z-rmm8 發表時間：2025年9月16日 論文來源：Physical Review X

費舍信息視角下的神經網絡：

信息流動的物理圖景

在現代科學研究中，人工神經網絡（ ANNs）已成為從實驗數據中提取規律、估計參數的重要工具。無論是在光學成像、量子測量，還是復雜材料建模中，神經網絡都展現出超越傳統算法的強大表現。然而，研究者們提出了一個極具洞察力的問題：

當神經網絡學習估計一個物理參數時，信息是如何在層與層之間流動、損失或被壓縮的？

近期，來自維也納工業大學、格拉斯哥大學、魯爾大學波鴻和法國格勒諾布爾大學的研究團隊提出了一種全新的分析框架，利用費舍信息（FI）來定量追蹤神經網絡中與待估參數相關的信息流動。他們發現，網絡的學習過程可被視為費舍信息逐步守恒的演化過程；當信息傳輸達到最大化時，網絡也恰好實現最優的估計性能。相關成果為深度學習提供了一個具有物理意義的解釋路徑，并提出了無需驗證集的“信息早?！睖蕜t。

從互信息到費舍信息：

量化信息流的新方法

傳統的信息論研究通常依賴互信息（Mutual Information, MI）衡量輸入與輸出之間共享的信息量，但在高維連續空間中，互信息的計算往往極其困難，并可能在確定性映射中出現發散。相比之下，FI關注的是系統對未知連續參數的響應靈敏度，直接與參數估計的精度極限——克拉美–羅下界（Cramér–Rao Lower Bound, CRLB）相關。

本研究的出發點在于：不僅僅考察網絡參數的不確定性，而是追蹤輸入數據中關于物理參數的信息在網絡內部的傳輸過程。為此，研究團隊提出了一個可計算的近似指標——線性費舍信息（Linear Fisher Information, LFI）。LFI只依賴樣本的均值與協方差即可估計信息量，無需顯式知道數據的概率分布，從而能夠在復雜的深度網絡中高效計算并逐層追蹤信息變化。

實驗驗證：

在噪聲主導的光學成像中追蹤信息流

為驗證理論框架，研究團隊設計了一個具有代表性的物理實驗：在光學顯微鏡下，對一個印有“Space Invader”圖案的微小物體進行水平位移測量（如圖1）。實驗條件被刻意設置為極低信噪比（約 13%），以模擬在噪聲主導環境下的極限參數估計問題。

圖1：左側光源發出的光束照射在刻有“space invader”圖案的玻璃載片上。透過物鏡到達相機的光場強度包含關于目標水平位置 θ 的FI。實驗所得圖像被輸入ANN進行訓練，用于預測參數。神經網絡需盡可能保留FI，才能實現對 θ 的高精度估計。

在這一任務中，神經網絡被訓練來預測物體的水平位置參數 θ。研究者在訓練過程中實時計算各層的LFI，以監測信息在網絡中的傳播規律。結果表明：

• 在訓練初期，隨機初始化的權重導致大量費舍信息在非線性層中損失；

• 隨著訓練的推進，網絡逐步優化內部映射，使得信息傳輸效率顯著提升；

• 當模型性能達到最優時，輸出層的FI接近輸入層，表明網絡幾乎保留了輸入數據中關于參數的全部有效信息。

在模擬數據中，這種“信息守恒”關系幾乎完美成立；而在真實實驗數據中，約有80%的信息得以保留，主要受限于實驗噪聲和參數取值范圍（如圖2）。

圖2：數值模擬數據的LFI最大化過程。曲線顯示LFI在連續高維嵌入下的變化趨勢。虛線為理論計算的真實FI，用于驗證算法收斂性。

信息約束下的最優訓練：

無需驗證集的早停準則

深度學習中，判斷訓練何時結束是一項長期存在的挑戰。通常做法依賴驗證集監控誤差變化，但這一經驗性方法缺乏理論依據。本文基于FI框架提出了一個物理意義明確的早停判據：當模型的均方誤差（MSE）達到由FI決定的克拉美–羅下限CRLB時，網絡已提取完全部可用信息。此時若繼續訓練，網絡將開始擬合噪聲，導致過擬合現象。

這一條件可通過簡單的乘積形式：MSE × I ≈ 1來檢驗。實驗表明，該準則預測的最佳停止時刻與驗證集誤差最小點高度一致，但無需額外數據集即可實現訓練控制，為信息驅動的模型優化提供了實用工具（如圖3）。

圖3：歸一化均方誤差（MSE）隨訓練歷元的變化。 (a) 為帶高斯噪聲的模擬數據，(b) 為實驗數據。深色曲線為驗證損失，淺色曲線為訓練損失。虛線表示 MSE×I=1的位置，對應訓練的最佳停止點。

意義與前景：

以信息流為核心的神經網絡理解

這項研究為理解深度學習的內部機制提供了新的定量化視角。通過追蹤費舍信息在神經網絡中的傳播路徑，研究者揭示了一個可能的普遍規律：神經網絡的學習過程可被理解為費舍信息逐步趨于守恒的過程。

這一觀點不僅有助于解釋網絡在不同訓練階段的表現差異，也為模型結構設計提供了新的啟發。未來，研究者計劃將這一框架擴展至帶有殘差連接的ResNet結構、物理神經網絡（Physical Neural Networks）及更廣泛的實驗數據分析任務中。

在更宏觀的意義上，這項工作展示了信息論與深度學習、實驗物理的融合潛力。當信息流動被視為科學系統的共同約束原則，我們或許能夠在人工智能與自然智能之間，找到一種更深層次的對應關系。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。