推理成本打到1元/百萬token，浪潮撬動Agent規模化“最后一公里”

允中 發自 凹非寺
量子位 | 公眾號 QbitAI

當前全球AI產業已從模型性能競賽邁入智能體規模化落地的“生死競速”階段，“降本”不再是可選優化項，而是決定AI企業能否盈利、行業能否突破的核心命脈。

在此大背景下，浪潮信息推出元腦HC1000超擴展AI服務器，將推理成本首次擊穿至1元/每百萬token

這一突破不僅有望打通智能體產業化落地“最后一公里”的成本障礙，更將重塑AI產業競爭的底層邏輯。

浪潮信息首席AI戰略官劉軍強調：

• 當前1元/每百萬token的成本突破僅是階段性勝利，面對未來token消耗量指數級增長、復雜任務token需求激增數十倍的必然趨勢，現有成本水平仍難支撐AI的普惠落地。

未來，AI要真正成為如同 “水電煤” 般的基礎資源，token成本必須在現有基礎上實現數量級跨越，成本能力將從“核心競爭力”進一步升級為“生存入場券”，直接決定AI企業在智能體時代的生死存亡。

△浪潮信息首席AI戰略官劉軍

智能體時代，token成本就是競爭力

回顧互聯網發展史，基礎設施的“提速降費”是行業繁榮的重要基石。

從撥號上網以Kb計費，到光纖入戶后百兆帶寬成為標配，再到4G/5G時代數據流量成本趨近于零——每一次通信成本的顯著降低，都推動了如視頻流媒體、移動支付等全新應用生態的爆發。

當前的AI時代也處于相似的臨界點，當技術進步促使token單價下滑之后，企業得以大規模地將AI應用于更復雜、更耗能的場景，如從早期的簡短問答，到如今支持超長上下文、具備多步規劃與反思能力的智能體……

這也導致單任務對token的需求已呈指數級增長。如果token成本下降的速度跟不上消耗量的指數增長，企業將面臨更高的費用投入，這昭示著經濟學中著名的“杰文斯悖論”正在token經濟中完美重演。

（杰文斯悖論是1865年經濟學家威廉·斯坦利·杰文斯提出的悖論：指當技術進步提高了效率，資源消耗不僅沒有減少，反而激增。例如，瓦特改良的蒸汽機讓煤炭燃燒更加高效，但結果卻是煤炭需求飆升。）

來自多方的數據也有力佐證了token消耗量的指數級增長趨勢。

• 火山引擎最新披露的數據顯示，截至今年12月，字節跳動旗下豆包大模型日均token使用量突破50萬億，較去年同期增長超過10倍，相比2024年5月剛推出時的日均調用量增長達417倍；
• 谷歌在10月披露，其各平臺每月處理的token用量已達，相當于日均43.3萬億，而一年前月均僅為9.7萬億。

△谷歌公布其token處理量變化

當使用量達到“百萬億token/月”的量級時，哪怕每百萬token成本只下降1美元，也可能帶來每月1億美元的成本差異。

對此，劉軍認為：

• token成本就是競爭力，它直接決定了智能體的盈利能力。要讓AI真正進入規模化普惠階段，token成本必須在現有基礎上繼續實現數量級的下降。

深挖token成本“暗箱”：架構不匹配是核心瓶頸

當下，全球大模型競賽從“盲目堆算力”轉向“追求單位算力產出價值”的新階段。

單位算力產出價值受到能源價格、硬件采購成本、算法優化、運營成本等多種因素的影響，但不可否認的是，現階段token成本80%以上依然來自算力支出。

而阻礙成本下降的核心矛盾，在于推理負載與訓練負載截然不同，沿用舊架構會導致算力、顯存與網絡資源難以同時最優，造成嚴重的“高配低效”。

一是算力利用率（MFU）的嚴重倒掛

訓練階段MFU可達50%以上，但在推理階段，特別是對于追求低延遲的實時交互任務，由于token的自回歸解碼特性，在每一輪計算中，硬件必須加載全部的模型參數，卻只為了計算一個token的輸出，導致昂貴的GPU大部分時間在等待數據搬運，實際MFU往往僅為5%-10%。這種巨大的算力閑置是成本高企的結構性根源。

二是“存儲墻”瓶頸在推理場景下被放大

在大模型推理中，隨著上下文長度的增加，KV Cache呈指數級增長。這不僅占用了大量的顯存空間，還導致了由于訪存密集帶來的高功耗。

這種存算分離不僅帶來數據遷移功耗和延遲，還必須配合使用價格高昂的HBM，已經成為阻礙token成本下降的重要瓶頸。

三是網絡通信與橫向擴展代價愈發高昂

當模型規模突破單機承載能力時，跨節點通信成為新瓶頸。傳統RoCE或InfiniBand網絡的延遲遠高于芯片內部的總線延遲，通信開銷可能占據總推理時間的30%以上，導致企業被迫通過堆砌更多資源來維持響應速度，推高了總擁有成本（TCO）。

對此，劉軍指出，降低token成本的核心不是“把一臺機器做得更全”，而是圍繞目標重構系統

把推理流程拆得更細，支持P/D分離、A/F分離、KV并行、細粒度專家拆分等計算策略，讓不同計算模塊在不同卡上按需配置并發，把每張卡的負載打滿，讓“卡時成本”更低、讓“卡時產出”更高。

基于全新超擴展架構，元腦HC1000實現推理成本首次擊破1元/每百萬token

當前主流大模型的token成本依然高昂。以輸出百萬token為例，Claude、Grok等模型的價格普遍在10-15美元，國內大模型雖然相對便宜，也多在10元以上。

在天文數字級別的調用量下，如此高的token成本讓大規模商業化應用面臨嚴峻的ROI挑戰。

因此，要打破成本僵局，必須從計算架構層面進行根本性重構，從而大幅提升單位算力的產出效率。

△主流LLM的百萬token價格

為此，浪潮信息推出元腦HC1000超擴展AI服務器

該產品基于全新設計的全對稱DirectCom極速架構，采用無損超擴展設計，可高效聚合海量本土AI芯片，支持極大推理吞吐量，推理成本首次擊破1元/每百萬token，為智能體突破token成本瓶頸提供極致性能的創新算力系統。

△元腦HC1000超擴展AI服務器

對此，劉軍表示：

• 我們看到原來的AI計算是瞄著大而全去建設的，五臟俱全，各種各樣的東西都在里面。但是當我們聚焦降低token成本這一核心目標之后，我們重新思考系統架構設計，找到系統瓶頸，重構出一個極簡設計的系統。

元腦HC1000創新設計了DirectCom極速架構，每計算模組配置16顆AIPU，采用直達通信設計，解決傳統架構的協議轉換和帶寬爭搶問題，實現超低延遲；計算通信1:1均衡配比，實現全局無阻塞通信；全對稱的系統拓撲設計，可以支持靈活的PD分離、AF分離方案，按需配置計算實例，最大化資源利用率。

△全對稱DirectCom極速架構

同時，元腦HC1000支持超大規模無損擴展，DirectCom架構保障了計算和通信均衡，通過算網深度協同、全域無損技術實現推理性能1.75倍提升，并且通過對大模型的計算流程細分和模型結構解耦，實現計算負載的靈活按需配比，單卡MFU最高可提升5.7倍。

△超大規模無損擴展

此外，元腦HC1000通過自適應路由和智能擁塞控制算法，提供數據包級動態負載均衡，實現KV Cache傳輸和All to All通信流量的智能調度，將KV Cache傳輸對Prefill、Decode計算實例影響降低5-10倍。

劉軍強調，當前“1元/每百萬token”還遠遠不夠，面對未來token消耗量的指數級增長，若要實現單token成本的持續、數量級下降，需要推動計算架構的根本性革新。

這也要求整個AI產業的產品技術創新，要從當前的規模導向轉為效率導向，從根本上重新思考和設計AI計算系統，發展AI專用計算架構，探索開發大模型芯片，推動算法硬件化的專用計算架構創新，實現軟硬件深度優化，這將是未來的發展方向。