什么樣的智算網(wǎng)絡(luò)方案，才是客戶真正想要的？

隨著AI熱潮的不斷發(fā)展，業(yè)界已經(jīng)充分意識到：除了算力卡之外，智算網(wǎng)絡(luò)也是決定算力集群性能的重要因素之一。智算網(wǎng)絡(luò)就像算力集群內(nèi)部的“神經(jīng)脈絡(luò)”。如果它不能高效工作，哪怕肌肉和大腦再發(fā)達(dá)，整體的能力都會受到限制。

這些年，圍繞智算網(wǎng)絡(luò)技術(shù)方案，業(yè)界逐漸形成了兩大主流方向：一種是以“GPU + Infiniband（IB）”為代表的私有方案流派；還有一種，是以“魔改”高性能以太網(wǎng)（RoCEv2）為代表的開放方案流派。與此同時，國內(nèi)算力需求持續(xù)快速增長，國產(chǎn)算力生態(tài)加速崛起，形態(tài)更加多元，出現(xiàn)了更多不同品牌的 GPU、網(wǎng)卡和整機(jī)系統(tǒng)。在這種多元化背景下，行業(yè)對于“更開放、更易演進(jìn)、可持續(xù)”的網(wǎng)絡(luò)底座需求也變得愈發(fā)迫切。

正因如此，“魔改以太網(wǎng)”開放方案的陣營正在不斷擴(kuò)大。這條技術(shù)路線不僅保持了成本、生態(tài)方面的固有優(yōu)勢，在性能、可靠性、兼容性等關(guān)鍵指標(biāo)上持續(xù)逼近乃至趕超IB。對于國內(nèi)目前如火如荼的智算基礎(chǔ)設(shè)施建設(shè)來說，這無疑是一個重大利好。

前段時間，新華三推出了一個很有特色的創(chuàng)新架構(gòu)智算方案，名字叫做DDC，吸引了整個行業(yè)的關(guān)注。這個方案，就屬于剛才說的開放方案流派。

說到DDC，可能很多專業(yè)讀者會首先想到業(yè)界最早提出的“分布式解耦機(jī)框（Disaggregated Distributed Chassis）”。如果它是DDC 1.0，那么新華三推出的DDC架構(gòu)，則是在DDC 1.0基礎(chǔ)上的演進(jìn)升級，全稱叫Diversified Dynamic-Connectivity，多元動態(tài)聯(lián)接。它同樣屬于分布式解耦機(jī)框的技術(shù)路線，但引入了多項關(guān)鍵技術(shù)創(chuàng)新，在傳輸性能、連接規(guī)模、開放解耦、運維簡化等方面都有了巨大的改進(jìn)提升。

接下來，我們就詳細(xì)看看，新華三的DDC方案，到底有哪些黑科技。

●高帶寬+大規(guī)模

新華三的DDC方案包括NCP（網(wǎng)絡(luò)處理單元）和NCF（網(wǎng)絡(luò)交換單元）兩層，通過Spine-Leaf葉脊架構(gòu)進(jìn)行全連接。NCP相當(dāng)于業(yè)務(wù)線卡，NCF相當(dāng)于交換網(wǎng)板，都是獨立工作的盒型形態(tài)。

方案對應(yīng)到新華三的具體產(chǎn)品，是H3C S12500AI系列交換機(jī)。NCF有一款H3C S12500AI-NCFN。NCP有兩款，分別是H3C S12500AI-18EP20EP-NCPN、H3C S12500AI-36DH20EP-NCPN。

產(chǎn)品的外型和端口數(shù)如下圖所示：

NCP和NCF的端口都支持800G，完全可以滿足當(dāng)前主流網(wǎng)卡形態(tài)的接入需求，帶寬妥妥夠。

規(guī)模方面，也很容易計算。單POD組網(wǎng)（DDC單集群）下，800G信元端口可以分為兩個400G，也就是支持40個NCF和256個NCP，總共支持256（接入設(shè)備）*36（接入端口）=9216個端口（400G）。如果是800G的話，就是4608個端口。

這個端口數(shù)量，足夠支撐國內(nèi)絕大多數(shù)的智算集群應(yīng)用。如果要搞萬卡集群，就可以采用多POD組網(wǎng)（DDC多集群），最大可支持8個POD，也就是73728個400G端口（或36864個800G端口）。

●零擁塞+零波動

接下來，我們來看最關(guān)鍵的無損傳輸。也就是說，當(dāng)智算網(wǎng)絡(luò)處于高流量負(fù)荷狀態(tài)的時候，會不會出現(xiàn)丟包、抖動和擁塞。

眾所周知，AIGC大模型訓(xùn)練業(yè)務(wù)對網(wǎng)絡(luò)丟包極為敏感，輕則導(dǎo)致吞吐效率降低，重則將使訓(xùn)練任務(wù)中斷。無論是哪一種，都會嚴(yán)重影響算力集群的訓(xùn)練周期和成本。

新華三DDC方案是如何確保實現(xiàn)零波動、零擁塞的呢？

答案就是以信元轉(zhuǎn)發(fā)為核心的負(fù)載均衡機(jī)制，以及基于“VoQ（Virtual Output Queueing，虛擬輸出隊列）+Credit”的確定性擁塞控制機(jī)制。

大模型訓(xùn)練場景的流量特點，概括來說，就是大而且雜。因為訓(xùn)練包括多種方式（例如DP數(shù)據(jù)并行、PP流水并行、TP張量并行、EP專家并行），每種方式的流量模型不一樣。有的帶寬高（低），有的流數(shù)多（少），還經(jīng)常會高并發(fā)、突發(fā)。

傳統(tǒng)的ECMP（等價多路徑路由）等負(fù)載均衡機(jī)制根本無法應(yīng)對這種復(fù)雜流量特征，流量容易被哈希到同一鏈路，產(chǎn)生擁塞。

新華三DDC方案的做法，是網(wǎng)卡（GPU）側(cè)的數(shù)據(jù)流進(jìn)入NCP后，切割為等長字節(jié)的信元。然后，將這些信元動態(tài)、均衡地噴灑到內(nèi)部交換網(wǎng)絡(luò)（NCF）的所有鏈路上。在信元到達(dá)出口NCP時，再進(jìn)行重組。

這就是以信元轉(zhuǎn)發(fā)為核心的負(fù)載均衡機(jī)制。

再看看確定性擁塞控制機(jī)制。

下圖，是傳統(tǒng)非DDC的RoCE方案的擁塞案例，基于PCF（優(yōu)先級流控制）+ECN（顯性擁塞通知）機(jī)制。

具體來說，當(dāng)Spine1到Leaf9之間的鏈路（黃色線）出現(xiàn)擁塞時，Spine1會逐層向上反壓，向Leaf1發(fā)PFC幀。這就會導(dǎo)致Leaf1和Spine1之間端口的相關(guān)隊列全部被壓住。這就會影響Spine1到其它Leaf（例如綠色線）的流量。這就是線頭阻塞問題。

在DDC方案里，就不存在這種情況。

DDC方案的VoQ，是在入口設(shè)備上基于不同出端口維護(hù)的隊列。當(dāng)Spine1到Leaf9之間的鏈路出現(xiàn)擁塞時，只影響基于Leaf9的VoQ隊列。其它VoQ隊列（例如Leaf1到Leaf8）并不受影響。這就避免了線頭阻塞的問題，實現(xiàn)了精準(zhǔn)反壓。

這有點像餐廳排號，大桌、中桌、小桌分開排隊，互不影響。

VoQ解決了線頭阻塞問題。那么確定性的擁塞控制，又是如何實現(xiàn)的呢？這就需要Credit授權(quán)控制轉(zhuǎn)發(fā)機(jī)制的配合。

可以將Credit理解為令牌。當(dāng)入向要往出向進(jìn)行轉(zhuǎn)發(fā)時，會先發(fā)授權(quán)請求。當(dāng)出向的帶寬可以保證報文轉(zhuǎn)發(fā)的時候，出口NCP才會給入口NCP發(fā)Credit授權(quán)回應(yīng)，允許流量推送。

Credit有點像餐廳的叫號系統(tǒng)。只有叫號了，才允許進(jìn)入，就可以避免擁塞。

在以信元轉(zhuǎn)發(fā)為核心的負(fù)載均衡機(jī)制和基于“Credit + VoQ”的確定性擁塞控制機(jī)制的共同加持下，新華三DDC方案能夠?qū)崿F(xiàn)鏈路利用率100%的負(fù)載均衡效果，且充分吸收突發(fā)流量，徹底消除DDC網(wǎng)絡(luò)內(nèi)部的擁塞。

經(jīng)權(quán)威機(jī)構(gòu)測試驗證，新華三DDC方案的帶寬利用率絲毫不亞于InfiniBand網(wǎng)絡(luò)。

在8臺服務(wù)器64張英偉達(dá)H20 GPU卡，進(jìn)行NCCL-Test對比測試。All Reduce場景下，DDC性能與IB基本持平。16G數(shù)據(jù)時，DDC比IB提升了0.27%。All-to-All場景下，256M以下數(shù)據(jù)對比IB無提升效果。1G以上數(shù)據(jù)時，DDC性能提升明顯。16G數(shù)據(jù)時，比IB提升了21.74%。這說明，數(shù)據(jù)量越大，DDC的優(yōu)勢越明顯。

●網(wǎng)卡解耦+多元異構(gòu)

新華三DDC作為分布式機(jī)框，實現(xiàn)了“物理上的分體、邏輯上的整體”。它就像一個“超級交換機(jī)”，前面提到的信元切割、重組，還有VoQ+Credit技術(shù)，都是在其內(nèi)部完成的，不需要網(wǎng)卡的參與。

也就是說，DDC實現(xiàn)了與網(wǎng)卡和GPU的完全解耦。

此外，DDC基于信元的擁塞管理和負(fù)載均衡是獨立于IP轉(zhuǎn)發(fā)域的。DDC對不同的流量模型和特征都不敏感。設(shè)備接入DDC后，網(wǎng)卡側(cè)也不需要進(jìn)行專門的調(diào)優(yōu)。

這就意味著，基于DDC架構(gòu)的智算網(wǎng)絡(luò)，可以接入多元算力，兼容性和靈活性更強。對任意流量模型，DDC方案都可以達(dá)到最佳負(fù)載均衡效果。

正如本文開頭所說，能夠承接多元算力生態(tài)，是目前國內(nèi)發(fā)展智算網(wǎng)絡(luò)技術(shù)的剛性需求。新華三DDC方案可以很好地兼容各個廠商的算卡，給用戶組建多元異構(gòu)算力集群創(chuàng)造了條件，也可以幫助用戶降低成本開支。這為國內(nèi)AI智算集群建設(shè)提供了一個更理想的選項。

●極簡部署+極簡運維

新華三DDC方案需要聯(lián)接海量設(shè)備和異構(gòu)算力，業(yè)務(wù)流量大，流量特征復(fù)雜。這給整個系統(tǒng)的運維帶來了很大的挑戰(zhàn)。

對此，新華三推出了AD-DC智算版智能管控分析平臺。該平臺預(yù)設(shè)了DDC開局模板，具備一鍵自動上線功能，設(shè)備即插即用，無需復(fù)雜調(diào)優(yōu)，從而大幅簡化部署流程，可以實現(xiàn)天級快速交付。

通過平臺，還可以對整個DDC網(wǎng)絡(luò)進(jìn)行可視化管理，直接掌控全網(wǎng)架構(gòu)。平臺也可以自動檢測設(shè)備間的鏈路狀態(tài)，如果發(fā)現(xiàn)斷連、錯連等異常，就會及時告警，實現(xiàn)可視化定位。

AD-DC智算版智能管控分析平臺引入了AI算法進(jìn)行運維。系統(tǒng)會實時采集設(shè)備端口流量、Pause幀等關(guān)鍵指標(biāo)，結(jié)合AI算法進(jìn)行深度分析，精準(zhǔn)識別網(wǎng)絡(luò)擁塞、異常流量等潛在故障。

在芯片丟包、光模塊故障等方面，AD-DC都有快速診斷能力，可以大幅降低系統(tǒng)運行風(fēng)險，減少對訓(xùn)練任務(wù)造成的影響。

▉開放生態(tài)，共建產(chǎn)業(yè)標(biāo)準(zhǔn)

最后，我們再來看看DDC的生態(tài)。

行業(yè)里的智算網(wǎng)絡(luò)方案分為封閉（私有閉源）和開放兩種。業(yè)界有一些可提供GPU和網(wǎng)絡(luò)方案的廠商，就會通過集合通信庫（CCL）將二者進(jìn)行捆綁，迫使客戶只能選擇整套解決方案。

新華三在設(shè)計DDC架構(gòu)之初，就選擇了“生態(tài)開放”的路線。

DDC的控制平面使用標(biāo)準(zhǔn)的BGP EVPN協(xié)議，不但實現(xiàn)網(wǎng)元之間自協(xié)商、自組網(wǎng)，降低了配置復(fù)雜程度，更能支持不同廠商的NCP/NCF實現(xiàn)異構(gòu)組網(wǎng)。

這幾年，新華三一直堅持這個路線沒動搖。2024年，他們攜手合作伙伴，發(fā)布了OSF（Open Schedule Fabric，開放調(diào)度網(wǎng)絡(luò)）協(xié)議網(wǎng)絡(luò)架構(gòu)，分別在需求場景分析、方案框架定義、技術(shù)方案落地等三個方面提交了多篇標(biāo)準(zhǔn)議案，得到了IETF組織的認(rèn)可。這個架構(gòu)將調(diào)度式網(wǎng)絡(luò)架構(gòu)與傳統(tǒng)以太網(wǎng)絡(luò)結(jié)合，能夠達(dá)到均衡利用網(wǎng)絡(luò)資源、故障快速切換等優(yōu)化目標(biāo)。

正如前面所說，國內(nèi)的智算建設(shè)具有多元化的特點。所以，開放生態(tài)顯然更適合當(dāng)下的發(fā)展趨勢。往小了說，開放生態(tài)對用戶有利，降低了使用智算算力的技術(shù)難度，也減少了成本投入。往大了說，我們國家智算基礎(chǔ)設(shè)施的建設(shè)布局，以及整個智算產(chǎn)業(yè)和生態(tài)的健康發(fā)展，都會隨之受益。

▉結(jié)語

好啦，寫到這里，相信大家對新華三的DDC方案已經(jīng)有了充分的了解。

智算中心的總投資中，智算網(wǎng)絡(luò)投資占比僅為10%。10%的智算網(wǎng)絡(luò)投資將會撬動30%以上算力效能提升。這是一個非常劃算的買賣。

這充分說明，在智算時代，網(wǎng)絡(luò)已不再是單純的“聯(lián)接”。它與計算深度融合，可以發(fā)揮“算力×聯(lián)接”的倍增效應(yīng)。

新華三開了一個好頭，通過DDC架構(gòu)創(chuàng)新，解決了智算網(wǎng)絡(luò)在超大規(guī)模、極致性能與生態(tài)適配方面的難題，不僅為國產(chǎn)化方案樹立了標(biāo)桿，也為全球用戶提供了新的選項。