(全球TMT2025年12月25日訊)浪潮信息推出元腦HC1000超擴展AI服務器,將推理成本首次擊穿至1元/每百萬token。這一突破不僅有望打通智能體產業化落地“最后一公里”的成本障礙,更將重塑AI產業競爭的底層邏輯。
![]()
火山引擎最新披露的數據顯示,截至今年12月,字節跳動旗下豆包大模型日均token使用量突破50萬億,較去年同期增長超過10倍,相比2024年5月剛推出時的日均調用量增長達417倍;谷歌在10月披露,其各平臺每月處理的token用量已達1300萬億,相當于日均43.3萬億,而一年前月均僅為9.7萬億。當使用量達到“百萬億token/月”的量級時,哪怕每百萬token成本只下降1美元,也可能帶來每月1億美元的成本差異。
浪潮信息推出的元腦HC1000超擴展AI服務器,基于全新設計的全對稱DirectCom極速架構,采用無損超擴展設計,可高效聚合海量本土AI芯片,支持極大推理吞吐量,推理成本首次擊破1元/每百萬token。DirectCom極速架構,每計算模組配置16顆AIPU,采用直達通信設計,實現超低延遲;計算通信1:1均衡配比,實現全局無阻塞通信;全對稱的系統拓撲設計,可以按需配置計算實例,最大化資源利用率。DirectCom架構還保障了計算和通信均衡,推理性能1.75倍提升,單卡MFU最高可提升5.7倍。此外,元腦HC1000通過自適應路由和智能擁塞控制算法,提供數據包級動態負載均衡,實現KV Cache傳輸和All to All通信流量的智能調度,將KV Cache傳輸對Prefill、Decode計算實例影響降低5-10倍。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.