推理成本太高、算力不夠用？單純堆卡沒用，得靠極致的“壓縮”與“調度” | AICon

大模型落地最痛的領悟是什么？是模型訓練出來了，但推不起。

在實際應用中，推理成本高昂、算力需求巨大，直接制約了業務的廣泛落地。大模型在實際應用中面臨的挑戰不僅是“快不快”，更是“省不省”。本專題將跳出表面的參數微調，系統性地探討從知識蒸餾、模型量化等壓縮方法，到 PagedAttention 等高效推理算法，再到邊緣設備上的低延遲部署實踐。

為了確保技術方案的可落地性，在12 月 19 日 -20 日 AICon 全球人工智能開發與應用大會（北京站）上，我們特邀阿里云資深技術專家劉崢擔任本專題出品人。劉崢是 CCF 系統軟件專委會委員，曾參與 Mooncake 開源項目的籌建，并在 SOSP、ASPLOS 等頂會發表多篇論文。在他對“AI 基礎設施”與“下一代數據中心系統軟件”的深厚理解下，本專題將為您呈現一套從云端到邊緣、從算法到系統軟件的可量化 TCO 優化方案。

ModelTC 開源社區：大模型生產太貴？你需要一套“工業級”工具鏈

大模型時代的模型生產成本令人咋舌：模型尺寸大、并行規模大、服務并發高。對于企業而言，如果沒有一套體系化的工具鏈，模型的迭代效率和研發成本將成為不可承受之重。ModelTC 開源社區負責人龔睿昊帶來的分享，正是為了解決這一核心痛點——如何構建一套覆蓋訓練、壓縮到推理部署的全流程工業級工具鏈。

作為商湯科技研究院大模型工具體系團隊負責人，龔睿昊將深入解析 Light 系列推理工具生態背后的系統實現原理。面對視頻、圖像、語音等多模態挑戰，他將介紹如何利用多進程架構實現模態的伸縮與擴展。在最關鍵的“模型瘦身”環節，他將詳細拆解團隊在多維度壓縮方法上的探索，包括量化、Token Pruning、稀疏化以及 Cache 復用技術，這些技術組合拳旨在在不損失精度的前提下極致降低資源消耗。

更具意義的是，針對當前火熱的視頻生成場景，龔睿昊將分享高質量 4 步蒸餾技術的工程實踐。同時，針對大規模服務的實時彈性需求，他將展示動態擴縮容設計的架構細節。

阿里巴巴：以 KVCache 為中心，重構云上 LLM 推理軟件棧

在大模型推理中，成本、吞吐與長上下文管理始終是核心瓶頸。特別是隨著 PD 分離架構的普及，如何處理不同階段帶來的資源特性差異，成為了云原生環境下的新難題。阿里巴巴高級技術專家馬騰博士將深度復盤開源項目 Mooncake（4K Star），揭秘如何構建一個以 KVCache 為核心的云上推理軟件棧。

馬騰博士將在演講中展示 Mooncake 架構的核心邏輯：以共享 KVCache 為中心，實現上下文復用與內存池化，從而避免重復計算。他將詳細介紹 Transfer Engine、KVCache Store 與分層上下文緩存等組件，是如何將 PD 分離、異構并行與零拷貝傳輸（RDMA/GPUDirect）有機結合的。這套架構在真實業務中展現了驚人的效能：QPS 提升超 3 倍，GPU 利用率從不足 40% 提升至約 75%，同時內存占用下降約 40%。

為了解決云原生環境下的部署與運維難題，馬騰博士還將重點剖析 RBG 與 AIGW 的協同機制。RBG 提供了基于“角色”的聲明式編排、DAG 啟動順序與精細擴縮容能力，確保復雜多角色集群能實現無感變更；而 AIGW 則提供了緩存感知的全局路由與過載保護，實現了請求級的 KVCache 親和與多租戶 QoS 保障。這是一套已經接入 vLLM、SGLang 等主流社區，并能在大規模生產環境中將 PD 分離的性能優勢穩定轉化為可運維產能的完整工程方案。

OPPO：把大模型裝進手機，端側化算法的“瘦身”魔法

近兩年，雖然小規模模型的性能飛速發展，端側算力也在不斷增強，但要將多模態大模型真正部署在手機等移動設備上，依然面臨著算力受限、功耗控制與更新迭代慢的巨大挑戰。OPPO AI 中心大模型算法部端側化算法組負責人宋曉輝將分享 OPPO 從 0 到 1 建立的大模型端側化算法技術棧，揭秘支撐 OPPO 端側智慧語音與 AI 搜索等線上業務背后的黑科技。

宋曉輝將在演講中展示 OPPO 最新的端側化技術路線圖，其核心突破在于自研的 QALFT 端側量化感知訓練框架。傳統的離線量化（PTQ）往往會有精度損失，而 QALFT 支持端到端的量化損失訓練，能夠直接繞過 PTQ 步驟，與芯片平臺的量化格式徹底打通，為業務解耦優化和高效 OTA 升級提供了堅實支持。

在具體的性能指標上，宋曉輝將分享他們在稀疏化與編解碼加速方面的領先實踐。通過這一整套技術棧，OPPO 在端側實現了對最高 128k 超長上下文的支持，以及在通用場景下高達 240token/s 的解碼速度。

清程極智：跨越 CUDA 限制，面向多算力平臺的量化推理突圍

隨著大模型加速落地，企業面臨著算力需求爆發與多樣性的雙重壓力。一方面是硬件異構化嚴重，GPU、NPU、DCU 與 CPU 并存；另一方面是精度演進迅速，從 FP16 到 FP8 再到 FP4，適配難度呈指數級上升。且海外主流推理引擎高度依賴 NVIDIA 生態，導致國產算力適配極其困難。清程極智 CEO 湯雄超博士將在演講中介紹赤兔推理引擎如何通過“算法 + 引擎 + 算子”的聯合優化，打破這一困局。

湯雄超博士將深入解析赤兔引擎的設計哲學，即從傳統的“m×n 優化爆炸”轉向高效的“m+n 復用”設計。赤兔選擇了從聯合優化出發，突破 CUDA native 的限制，構建了國產算力、引擎與模型的閉環。他將重點介紹赤兔在精度優化上的創新，包括 Soft Float8 在線轉換機制以及將 FP8 方案擴展至 FP4 的技術路徑，這使得在國產 GPU、NPU 等多平臺上實現通用高效推理成為可能。

在系統架構層面，湯雄超博士將拆解赤兔推理引擎的模塊化設計，包括算力抽象層、量化優化層與推理執行層。聽眾將深入了解 Layout as a Type、融合算子分發機制以及混合 KV Cache 管理等核心技術細節，以及引擎對 EP+DP+TP+PP 多并行模式的支持。

結語

從 ModelTC 對工業級工具鏈的體系化建設，到阿里巴巴對云上 KVCache 資源的極致調度；從 OPPO 在手機端側的量化瘦身，到清程極智在異構算力平臺上的通用突圍。這四場演講，覆蓋了從云端大規模集群到邊緣移動設備，從通用 GPU 到國產異構算力的推理優化版圖。

對于致力于降低 AI 落地成本、提升系統響應速度的技術決策者而言，這四份來自一線的工程實踐，提供了從算法壓縮到系統調度的全套解決方案。在這里，我們將一起見證大模型如何從“昂貴的玩具”變成“普惠的生產力”。