推理新范式：動態(tài)效能算法讓算力資源實現(xiàn)最大化

智東西
作者 陳駿達(dá)
編輯 漠影

過去兩年，全行業(yè)都在為大模型訓(xùn)練瘋狂堆GPU、建算力中心。但當(dāng)視角進(jìn)入2025年，真正決定企業(yè)競爭力的主戰(zhàn)場，已經(jīng)迅速從訓(xùn)練轉(zhuǎn)向推理。

推理時代的算力不再是單一物理資源，而是一個跨地域、跨架構(gòu)、跨屬權(quán)的綜合體系：一個企業(yè)的AI服務(wù)或許部署在自建IDC，同時又依賴外部云GPU；模型推理與模型訓(xùn)練并行存在；開發(fā)測試與生產(chǎn)流量共處一套資源；多業(yè)務(wù)、多租戶同時爭搶不同規(guī)格的GPU。這意味著算力要實時、動態(tài)、按業(yè)務(wù)優(yōu)先級調(diào)度。而傳統(tǒng)調(diào)度做不到。

傳統(tǒng)算力調(diào)度平臺誕生于傳統(tǒng)云的集群運維背景，其核心目標(biāo)是讓硬件更易管理、更少出故障、更好利用。它們的能力止步于服務(wù)器視角：節(jié)點是否在線、顯存是否足夠、任務(wù)是否分配成功、權(quán)限是否隔離，在面向大模型的AI推理時代，卻難以回答更重要的問題——推理延遲是否達(dá)標(biāo)？模型吞吐是否最優(yōu)？算力成本與業(yè)務(wù)收入是否動態(tài)平衡？在新范式轉(zhuǎn)換下，系統(tǒng)需要重構(gòu)。

這些問題在推理時代被迅速放大。過去算力用于訓(xùn)練，以“跑成”模型為目標(biāo)；如今算力直接承載真實業(yè)務(wù)，算力調(diào)度被迫承擔(dān)更多職責(zé)——必須從IT運維邏輯升級為AI業(yè)務(wù)邏輯。但挑戰(zhàn)也隨之而來：模型結(jié)構(gòu)差異巨大、推理鏈路時延瓶頸、業(yè)務(wù)波峰波谷并發(fā)變化…每一次算力分配，都可能影響一筆業(yè)務(wù)成交、一位用戶體驗，甚至一個產(chǎn)品的增長曲線。

GPU不再是靜態(tài)資源，而成為可運營、可定價、可持續(xù)經(jīng)營的資產(chǎn)。

為了支撐這場范式轉(zhuǎn)移，國內(nèi)AI基座平臺技術(shù)公司矩量無限重新定義了算力的基本單元，不再是“服務(wù)器/GPU卡”，而是圍繞業(yè)務(wù)目標(biāo)進(jìn)行抽象的、可度量和可調(diào)度的算力單元，并基于此構(gòu)建了完整的技術(shù)基座，形成了覆蓋算力、模型、服務(wù)到商業(yè)回報的全鏈路平臺矩陣。

在技術(shù)創(chuàng)新層面，矩量無限的開物算力調(diào)度系統(tǒng)深度融合了Kubernetes動態(tài)資源分配（DRA）技術(shù) ，通過“異構(gòu)GPU自適應(yīng)調(diào)度與分配方法及系統(tǒng)”實現(xiàn)了突破性的算力管理能力：

技術(shù)特點：通過具備自學(xué)習(xí)能力的算力適配器，將異構(gòu)國產(chǎn)GPU間的靜態(tài)硬件資源單元抽象并轉(zhuǎn)化為動態(tài)標(biāo)準(zhǔn)化的“算力能力單元”（CU）以實現(xiàn)精準(zhǔn)調(diào)度和分配 。

產(chǎn)生效果：實現(xiàn)了基于任務(wù)實際需求的“目標(biāo)導(dǎo)向”按需調(diào)度，極大地簡化了用戶對異構(gòu)硬件結(jié)構(gòu)和組成的關(guān)注，顯著提高了集群資源利用率和運行穩(wěn)定性。

達(dá)成形式：在各廠商設(shè)備信息上報的基礎(chǔ)上，通過自學(xué)習(xí)算力適配器基于歷史推理記錄持續(xù)優(yōu)化動態(tài)折算因子，并將統(tǒng)一的算力容量重發(fā)布為Kubernetes動態(tài)資源分配（DRA）ResourceSlice實現(xiàn)資源的精準(zhǔn)綁定與分配 。

以上能力目前已在國產(chǎn)GPU卡上得到規(guī)模驗證。矩量無限已在壁仞、天數(shù)、希姆等國產(chǎn)GPU的千卡級混合集群上完整跑通算力單元化與跨架構(gòu)推理調(diào)度，同時相關(guān)平臺已落地全國多個千卡智算中心，并服務(wù)于工信部工業(yè)互聯(lián)網(wǎng)研究院、多家頭部行業(yè)客戶、高校科研機構(gòu)等。