智譜公開GLM-5技術細節：四大創新推動編程范式轉變

GLM-5推動編程范式從“Vibe Coding”轉向了“Agentic Engineering”。

本文為IPO早知道原創

作者｜Stone Jin

據IPO早知道消息，從Pony Alpha神秘模型引發全球開發者熱議起，智譜在過去兩三周的時間內無疑是全球最受關注的大模型企業。

硅谷頂級風投機構a16z近日又發布了一組數據：開源大模型和頂級閉源模型之間的能力差距，正在以肉眼可見的速度快速收窄。這次被正面對標的正是智譜的開源模型 GLM-5以及閉源天花板之一的Claude Opus 4.6。

從模型本身來看，GLM-5的發布某種程度上可被視為正推動編程范式從“Vibe Coding”（氛圍編程）轉向了“Agentic Engineering”（智能體工程）

2月22日，智譜發布《GLM-5技術報告：技術細節全公開》并闡述稱，GLM-5 在前代模型 GLM-4.5 的智能體、推理與編程（Agentic, Reasoning and Coding, ARC）能力基礎上，采用稀疏注意力（DeepSeek Sparse Attention，DSA）以大幅降低推理成本，同時保持長上下文能力無損。同時，為了讓模型更好地與各類任務對齊，智譜構建了一套新型異步強化學習（RL）基礎設施，通過將生成過程與訓練過程解耦，從而大幅提升了后訓練的迭代效率。此外，智譜還提出了全新的異步 Agent 強化學習算法，進一步提升強化學習的效果，使模型能夠更有效地從復雜、長程交互中學習。基于上述創新，GLM-5 在主流的開放基準測試中實現了 SOTA 性能。最關鍵的是，GLM-5 在真實世界編程任務中展現出前所未有的能力，在處理端到端軟件工程挑戰方面超越了此前所有開源基線。

總體而言，GLM-5 能夠實現性能的大幅躍升，主要得益于以下四大技術創新：

1、引入 DSA 稀疏注意力機制（DeepSeek Sparse Attention, DSA）。這一全新架構極大降低了訓練與推理成本。此前的 GLM-4.5 依賴標準 MoE 架構提升效率，而 DSA 機制則使 GLM-5 能夠根據 Token 的重要性動態分配注意力資源。在不折損長上下文理解和推理深度的前提下，算力開銷得以大幅削減。得益于此，智譜將模型參數規模成功擴展至 744B（7440 億），同時將訓練 Token 規模提升至 28.5T（28.5 萬億）。

2、構建全新的異步 RL 基礎設施。基于 GLM-4.5 時期 slime 框架“訓練與推理解耦”的設計，智譜的新基建進一步實現了“生成與訓練”的深度解耦，將 GPU 利用率推向極致。該系統支持模型開展大規模的智能體（Agent）軌跡探索，大幅減緩了以往拖慢迭代速度的同步瓶頸，讓 RL 后訓練流程的效率實現了質的飛躍。

3、提出全新的異步 Agent RL 算法。該算法旨在全面提升模型的自主決策質量。GLM-4.5 曾依靠迭代自蒸餾和結果監督來訓練 Agent；而在 GLM-5 中，智譜研發的異步算法使模型能夠從多樣化的長周期交互中持續學習。這一算法針對動態環境下的規劃與自我糾錯能力進行了深度優化，這也正是 GLM-5 能夠在真實編程場景中表現卓越的底層邏輯。

4、全面擁抱國產算力生態。從模型發布伊始，GLM-5 就原生適配了中國 GPU 生態。智譜已完成從底層內核到上層推理框架的深度優化，全面兼容七大主流國產芯片平臺：華為昇騰、摩爾線程、海光、寒武紀、昆侖芯、天數智芯與燧原。

另外同樣需要注意的是，智譜繼續使用 slime 作為 GLM-5 統一的后訓練訓練框架，實現大規模端到端 RL。GLM-5 充分利用了 slime 的能力：一方面通過靈活的 rollout 定制化接口和服務化（server-based）的推理方案擴大訓練任務的覆蓋面；另一方面通過混合精度訓練 / rollout 以及多 token 預測（MTP）和預填充-解碼（PD）分離大幅降低延遲，特別是在多輪 RL 工作負載下的端到端延遲；并使用基于心跳的容災和生命周期管理提升穩定性。

此外，GLM-5 在 slime 中進行了延遲導向的性能優化和調度：采用多節點推理部署（如跨 8 節點的 EP64 配合 DP64）以提供充足的 KV 緩存；使用 FP8 精度進行推理以降低每個 token 的解碼延遲；利用 MTP 來在 RL 中典型的小批次解碼場景下獲得顯著性能收益；通過 PD 分離確保在多輪交互的訓練任務中解碼速度的穩定，從而顯著改善長程 Agent RL 訓練中的長尾問題，提升訓練效率