倪亞宇：面向端側智能應用，國科微打造更高效的NPU與工具鏈

4月1日，在2026中國IC領袖峰會“邊緣AI與算力芯片”垂直技術論壇上，國科微AI算法部部長倪亞宇發表題為《FlashAttention-4：新一代大模型推理NPU流水線范式設計》的主題演講。

隨著大模型加速走向產業落地，推理效率、內存帶寬與系統功耗成為端側部署的關鍵瓶頸。尤其在Transformer與大型語言模型持續演進的背景下，注意力機制（Attention）的高效實現，已成為芯片架構與工具鏈優化的重要突破口。

倪亞宇表示，國科微正聚焦FlashAttention等前沿技術在NPU平臺上的落地探索，推動構建更適合端側量產部署的NPU架構與工具鏈，為自動駕駛、邊緣計算、智能終端及AIGC等場景提供高效能算力支撐。

NPU部署“滿血版”FlashAttention仍面臨挑戰

作為大模型中的核心計算結構之一，注意力機制在實際運行中普遍面臨訪存開銷高、流水線效率受限等問題。FlashAttention的提出，為解決這一問題提供了新的路徑。

FlashAttention是由斯坦福大學Tri Dao等人于2022年提出的一種快速且內存高效的精確注意力算法。它通過對注意力計算過程進行等價重構，通過分塊計算、在線Softmax、重計算與異步流水等方式，將中間計算過程保留在片上緩存中，減少外部存儲訪問帶寬壓力，顯著提升推理效率。

在剛剛過去的3月中旬，FlashAttention 4.0版本正式發布。倪亞宇指出，FlashAttention從1.0演進至4.0，在并行性、長序列支持、低精度計算及異步執行等方面持續增強。但相較GPU，當前NPU在向量單元算力、異步流水排布、動態調度及超長上下文等能力上仍存差距。倪亞宇指出，要實現“滿血版”FlashAttention，需圍繞計算流水線、數據復用與系統帶寬進行協同設計。

國科微NPU 4.0：構建更高效的推理單元

自2020年起，國科微持續投入NPU自主研發，形成從GKNPU 1.0到4.0的演進路線，產品能力向更高算力、更廣模型覆蓋與更優能效比升級。目前，國科微AI視覺與車載AI系列芯片已搭載3.0版本NPU，支持0.5T至8T算力，支持視覺、音頻、時序等AI模型在端側芯片應用落地。

在GKNPU 4.0架構設計中，國科微提出面向高效注意力計算的增強型脈動陣列架構，針對性擴展矩陣和向量計算能力，強化對大模型注意力機制中的關鍵操作的支持，壓縮數據搬運路徑與流水線開銷，增強片上閉環計算能力。該設計旨在減少對外部帶寬的依賴，提升推理鏈路執行效率，有效應對大模型推理中的帶寬瓶頸、激活值碎片化及超長上下文的內存壓力。

強化工具鏈，推動高效規?；渴?/strong>

在NPU架構演進的同時，國科微持續強化工具鏈能力。新一代GKToolchain 3.0面向端側異構算力場景，重點提升硬件感知編譯、自動分塊、自動向量化、異步數據讀寫與計算流水編排能力，推動模型部署從“可適配”邁向“高效率、可規?；?。

同時，工具鏈圍繞動態內存管理、投機推理加速等前沿方向持續演進，增強對長上下文管理及復雜推理流程的支撐能力，助力客戶高效完成從模型到芯片的部署閉環。

隨著AI應用從訓練側走向推理側、從云端走向終端，產業對算力平臺的要求正從“高峰值性能”轉向“高能效、可量產、易部署”的綜合能力。NPU在端側規?；涞刂芯邆滹@著的成本與功耗優勢。

倪亞宇表示，國科微將持續堅持算法與硬件協同創新，圍繞大模型推理核心瓶頸，不斷完善NPU架構、產品能力與工具鏈體系，推動端側智能計算平臺向更高性能、更低功耗、更強工程可落地方向演進，為客戶提供更具競爭力的算力方案。