圖靈獎得主LeCun團隊連發三文：從稀疏表征到梯度規劃，世界模型技術棧再進階

來源：PaperWeekly

針對世界模型落地難題，LeCun 團隊連發三文，給出從算法到工程的全棧最優解。

Rectified LpJEPA：回歸稀疏表征

為解決這一問題，研究團隊提出了Rectified LpJEPA。

RDMReg 與 RGG 分布

〓 Rectified LpJEPA 架構示意及特征分布對比

稀疏性與性能的權衡

傳統觀點認為，增加稀疏性約束會導致信息損失，進而降低模型性能。Rectified LpJEPA 的實驗打破了這一成見：稀疏性與性能完全可以共存。

在 ImageNet-100 的線性評估實驗中，該模型展示了顯著的去冗余能力：

〓 特征稀疏度隨分布參數變化的控制曲線

〓 ImageNet-100 實驗結果：在特定配置下，模型在保持較低激活率的同時，維持了具有競爭力的分類準確率。

實驗數據表明，通過切片 Wasserstein 距離（Sliced Wasserstein Distance）匹配分布，RDMReg 有效迫使模型學習統計上更獨立、解耦的特征表示。

這種稀疏表征降低了特征間干擾，為后續規劃任務提供了更優的狀態空間結構。

GRASP：基于梯度的軌跡優化

針對這些挑戰，論文提出了GRASP(Gradient Relaxed Stochastic Planner)，通過兩項關鍵技術創新，實現了穩定的梯度規劃。

從“串行推導”到“并行配置”

傳統規劃通常采用串行方式，GRASP 則采用了配置點范式，將整個時間窗口內的所有狀態 視為獨立的優化變量。

這種方法將序列推理轉化為一個約束優化問題，其核心目標函數如下：

通過最小化這一動力學違反誤差，GRASP 實現了計算并行化，并大幅縮短了梯度傳播路徑。

梯度截斷機制

這種受控的隨機性允許規劃器在狀態空間進行探索，有效避免了陷入次優解。

在 PointMaze 迷宮導航等長程任務中，GRASP 展現了顯著優于 CEM 等傳統采樣方法的性能。

〓 PointMaze 和 Push-T 任務上的規劃成功率對比曲線

EB-JEPA：輕量化工程實現

模塊化與單卡訓練

EB-JEPA 的設計原則是輕量級和模塊化。它將 JEPA 的核心組件——編碼器、預測器和代價函數（如 VICReg/SIGReg）——完全解耦，支持研究者靈活替換。

〓EB-JEPA 庫支持的三種核心架構示意

該庫對所有示例（包括視頻預測任務）進行了計算優化，僅需數小時即可在單張 GPU（如 V100 16GB）上完成訓練。

這一設計使得能源導向的自監督學習能夠被更廣泛的研究群體所訪問。

核心：動作條件視頻預測

EB-JEPA 不僅僅是圖像表征庫，它還提供了Action-Conditioned Video-JEPA的完整實現。

〓 EB-JEPA 訓練循環偽代碼/代碼片段

這是構建世界模型的基石：模型需要根據當前狀態和控制輸入，預測未來的潛在狀態。

在 CIFAR-10 和 Moving MNIST 上的基準測試表明，即便在輕量級設置下，EB-JEPA 依然能學習到高質量表征（CIFAR-10 線性評估準確率達 91%）。

這為學術界提供了標準化的實驗平臺，低成本驗證新正則化方法（如 Rectified LpJEPA）或規劃算法（如 GRASP）成為可能。

結語

從底層原理到上層應用，這三項工作完成了 JEPA 世界模型技術棧的閉環構建。

Rectified LpJEPA 證明了修正目標分布可顯著提升表征的稀疏性與解耦度；GRASP 驗證了長程規劃任務中利用梯度信息的優越性；而 EB-JEPA 則通過模塊化代碼，讓這一技術路線在通用計算資源上落地生根。

這些工作將非生成式世界模型的關注點，從架構有效性的初步驗證，推進到了對表征效率、控制精度及系統可擴展性的深度優化階段。這為后續研究提供了具備明確數學原理和工程參考價值的技術基線。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。