從靈衢協(xié)議，看懂AI計(jì)算3.0

公元前219年，秦始皇的南征大軍卡在了五嶺之間。

糧草運(yùn)不上去，士兵困在山中，前方百越未平，后方補(bǔ)給線幾近斷裂。

長江水系與珠江水系被群山隔斷，水不通，路難行，再強(qiáng)的軍隊(duì)也寸步難移。

兩千多年后，中國乃至全球的AI工程師們，竟站在了相似的十字路口。

大模型參數(shù)動(dòng)輒千億萬億，數(shù)據(jù)如洪流奔涌，但算力卻像被困在“五嶺”之間的秦軍。單張GPU算得再快，也扛不住全局需求；堆疊上千張卡組成集群，又陷入通信擁堵、調(diào)度混亂、能耗飆升的泥潭。卡再多，資源也無法高效流動(dòng)。

正是在這相似的困局中，人們開始重新思考：如何不靠蠻力開山，而用巧思引水？如何讓算力如活水，而非死湖？

答案悄然指向一條古老智慧的回響——靈渠。

讓我們先從最基本的計(jì)算單元說起。

現(xiàn)代GPU就像一艘性能卓越的獨(dú)木舟。以NVIDIA H100為例，F(xiàn)P16算力達(dá)1979 TFLOPS，內(nèi)存帶寬3.35 TB/s。如果只是處理圖像分類、語音識(shí)別這些傳統(tǒng)任務(wù)，它就像在平靜湖面航行的輕舟，游刃有余。

這一階段可以稱為AI計(jì)算1.0，單卡主體時(shí)代。

那個(gè)時(shí)代，算力集中在單芯片上。算法優(yōu)化的核心是挖掘單卡潛力，算子融合、內(nèi)核優(yōu)化、顯存復(fù)用，所有技術(shù)手段都圍繞如何讓這一張卡跑得更快展開。但模型規(guī)模受限于顯存，模型參數(shù)必須能完整地放入單卡顯存中，顯存容量就是模型規(guī)模的天花板，并且擴(kuò)展方式簡單粗暴。當(dāng)單卡不夠用時(shí)，解決方案直截了當(dāng)——換更大的卡。從V100到A100，再到H100，每一代新品都帶來顯存和算力的雙重提升。

那是一個(gè)摩爾定律依然有效的美好時(shí)代，硬件的迭代速度跟得上算法的增長需求。

然而，2020年之后，風(fēng)向變了。

大模型訓(xùn)練不再是湖面泛舟，而是橫渡太平洋。以GPT-4級(jí)別的模型為例，參數(shù)量約1.8萬億，是GPT-3的10倍以上；訓(xùn)練數(shù)據(jù)超過13萬億token，需要處理的知識(shí)量相當(dāng)于人類全部書面記錄的數(shù)倍；訓(xùn)練周期長達(dá)數(shù)月，消耗的計(jì)算資源相當(dāng)于數(shù)萬個(gè)GPU年的工作量。

模型參數(shù)量暴漲到萬億級(jí)別，單卡已經(jīng)難以承載AI訓(xùn)練的需求。一方面，GPT-4級(jí)別的模型僅權(quán)重就需要約3.6TB顯存空間，單卡連完整模型的一角都無法承載。另一方面，萬億參數(shù)模型的前向傳播和反向傳播涉及海量矩陣運(yùn)算，單卡算力再強(qiáng)，一次完整的訓(xùn)練周期也以年為單位，而這顯然滯后于市場。

獨(dú)木舟再快，也載不動(dòng)智能時(shí)代的萬噸巨輪。那么，既然一艘船不夠，能否組建一支龐大的艦隊(duì)，齊頭并進(jìn)？

既然獨(dú)木舟不行，那就組建船隊(duì)。

現(xiàn)代AI超算中心動(dòng)輒部署成千上萬張GPU。Meta的RSC集群擁有6080張A100，微軟為OpenAI構(gòu)建的Azure AI超算據(jù)信集成上萬張H100。這標(biāo)志著AI計(jì)算2.0，以大規(guī)模GPU集群為主體的時(shí)代到來。

把算力堆到足夠大，就能訓(xùn)練更大的模型，這聽起來很美好。理論上，萬卡集群的算力應(yīng)該是單卡的萬倍，訓(xùn)練時(shí)間應(yīng)該線性縮短。

但現(xiàn)實(shí)卻是，所有船只都堵在了幾個(gè)狹窄的閘口。實(shí)際算力利用率往往不到一半，剩下的資源都在等待、同步、重試中白白消耗。

問題出在哪里？

當(dāng)集群規(guī)模達(dá)到萬卡級(jí)別時(shí)，系統(tǒng)復(fù)雜度呈指數(shù)級(jí)增長。每一張GPU都是一個(gè)計(jì)算節(jié)點(diǎn)，節(jié)點(diǎn)之間需要頻繁交換梯度、參數(shù)、激活值，通信量隨著卡數(shù)增加而成倍放大。

一張卡出問題可能拖累整個(gè)訓(xùn)練任務(wù)，一個(gè)網(wǎng)絡(luò)擁塞可能讓上千張卡空轉(zhuǎn)等待。擴(kuò)展效率隨著規(guī)模擴(kuò)大而顯著下降，從百卡到千卡的效率損失可能是20%，從千卡到萬卡的損失可能超過50%。

這就是分布式訓(xùn)練中的擴(kuò)展性墻，規(guī)模越大，每增加一張卡帶來的收益越小。

通信木桶短板效應(yīng)同樣致命。集群的整體速度不取決于最快的節(jié)點(diǎn)，而受制于最慢的那個(gè)。

一張GPU溫度過高降頻、一條網(wǎng)絡(luò)鏈路帶寬波動(dòng)、一個(gè)交換機(jī)端口延遲抖動(dòng)，都可能成為整個(gè)集群的瓶頸。在同步訓(xùn)練中，所有節(jié)點(diǎn)必須等待最慢的那個(gè)完成當(dāng)前步驟才能繼續(xù)。

這就像古代漕運(yùn)，千艘糧船齊發(fā)，卻共用幾座狹窄船閘，沒有統(tǒng)一水位調(diào)控，沒有智能分流機(jī)制，船越多，堵得越死。算力的“五嶺”并未消失，只是從單卡轉(zhuǎn)移到了集群內(nèi)部。

顯然，單純?cè)黾哟唬℅PU卡）的數(shù)量，無法根治航道（通信與調(diào)度）的擁堵問題。

既然堆數(shù)量解決不了流通問題，我們是否該換一種思路。不是造更多船，而是修一條能貫通南北的水道？

兩千年前，秦人修靈渠，打通湘水與漓水，首次實(shí)現(xiàn)長江與珠江水系貫通。此舉非為造更多船，而是重構(gòu)水的流動(dòng)方式，讓資源自然匯聚、高效流轉(zhuǎn)。

今天，靈衢協(xié)議以同樣的思路帶我們走向了AI計(jì)算3.0——超節(jié)點(diǎn)時(shí)代。

超節(jié)點(diǎn)是指由多個(gè)計(jì)算節(jié)點(diǎn)通過高速互聯(lián)組成的邏輯上像一臺(tái)計(jì)算機(jī)的計(jì)算系統(tǒng)。

這一思路最早可以追溯到英偉達(dá)的NVLink技術(shù)。

NVLink的核心突破在于重新定義了芯片間的距離。傳統(tǒng)PCIe互聯(lián)帶寬有限、延遲較高，如同鄉(xiāng)間小路，難以承載海量數(shù)據(jù)流通。NVLink則如同在芯片之間修建高速公路，讓GPU之間的通信效率大幅提升。通過NVLink Switch的引入，跨服務(wù)器通信效率得以改善，數(shù)百張GPU可以緊密互聯(lián)，在軟件層面呈現(xiàn)為單一計(jì)算實(shí)體。

NVLink的演進(jìn)證明了高速互聯(lián)的價(jià)值，為超節(jié)點(diǎn)概念奠定了技術(shù)基礎(chǔ)。但隨著集群規(guī)模繼續(xù)擴(kuò)張，一些局限也逐漸顯現(xiàn)。協(xié)議相對(duì)封閉，主要在自家生態(tài)內(nèi)部優(yōu)化；跨廠商兼容性有限，異構(gòu)設(shè)備接入成本較高。

用戶若采用NVLink，通常需全面采用英偉達(dá)的GPU、軟件棧等，對(duì)單一廠商依賴較深。在擴(kuò)展規(guī)模上，如NVL72超節(jié)點(diǎn)最大支持72張GPU卡，超大規(guī)模擴(kuò)展時(shí)需結(jié)合InfiniBand或以太網(wǎng)等其他技術(shù)。

當(dāng)集群規(guī)模從百卡走向萬卡，企業(yè)不愿被單一供應(yīng)商鎖定時(shí)，行業(yè)對(duì)開放互聯(lián)標(biāo)準(zhǔn)的呼聲便自然浮現(xiàn)。技術(shù)演進(jìn)的邏輯向來如此，一種方案解決了舊問題，也會(huì)帶來新局限，而后繼者便在縫隙中生長。

靈衢協(xié)議的出現(xiàn)正是對(duì)這一需求的回應(yīng)。

靈衢協(xié)議是華為自主研發(fā)的面向超節(jié)點(diǎn)的互聯(lián)協(xié)議，旨在解決大規(guī)模計(jì)算資源連接的互聯(lián)技術(shù)難題。萬卡超節(jié)點(diǎn)，一臺(tái)計(jì)算機(jī)，也就是說，通過該互聯(lián)協(xié)議，把數(shù)萬規(guī)模的計(jì)算卡，聯(lián)接成一個(gè)超節(jié)點(diǎn)，能夠像一臺(tái)計(jì)算機(jī)一樣工作、學(xué)習(xí)、思考、推理。

靈衢的突破體現(xiàn)在對(duì)集群時(shí)代痛點(diǎn)的逐一化解。

顯存不夠，就構(gòu)建統(tǒng)一內(nèi)存池、統(tǒng)一編址，讓多個(gè)GPU的顯存池化。萬億參數(shù)模型可以像存放在單一大內(nèi)存中那樣被訪問，無需感知底層的分布式架構(gòu)。這如同靈渠將兩條水系連通，水位統(tǒng)一，船只自然暢行。

通信太慢，就用高速互聯(lián)協(xié)議突破帶寬時(shí)延瓶頸。靈衢采用總線級(jí)互聯(lián)設(shè)計(jì)，讓跨服務(wù)器通信效率接近片內(nèi)通信。對(duì)等協(xié)作的架構(gòu)讓各計(jì)算單元處于平等地位，能夠動(dòng)態(tài)分配任務(wù)和負(fù)載，避免單點(diǎn)瓶頸拖累整體進(jìn)度。

高可靠性方面，單卡故障自動(dòng)遷移，訓(xùn)練不中斷。數(shù)千張GPU連續(xù)運(yùn)行數(shù)周，硬件故障幾乎成為必然事件。靈衢協(xié)議確保故障發(fā)生時(shí)，任務(wù)可以無縫遷移到其他節(jié)點(diǎn)，確保大規(guī)模算力系統(tǒng)的穩(wěn)定運(yùn)行，就像漕運(yùn)中的備用航道，一處阻塞，立刻分流，糧船不至滯留。

并且，基于靈衢協(xié)議支持光電混合互聯(lián)，Atlas 950 SuperPoD支持8192卡無收斂全互聯(lián)，這一規(guī)模是NVL72的百倍有余。這意味著，原本需要層層網(wǎng)絡(luò)轉(zhuǎn)換、多協(xié)議疊加的萬卡集群，現(xiàn)在可以通過一套統(tǒng)一的互聯(lián)協(xié)議直接打通。

簡言之，流通的關(guān)鍵是讓水系變得更智慧，AI計(jì)算的突破往往來自對(duì)連接的重新理解。

水流淌了兩千年，依舊滋養(yǎng)大地。算力奔涌在芯片間，終將孕育智能。當(dāng)困在技術(shù)的五嶺之間時(shí)，不妨回頭看看歷史，答案可能就在身后的古老智慧里。

水之道，即算之道。通則達(dá)，阻則滯。此理千古不易，無論湘漓之水，還是0與1之流。