青年團隊攻堅算力底座：79 天駐機房，只為實現 0.1% 效率提升

智算科技萬卡集群攻堅團隊合影。 （受訪者供圖）

隨著風扇持續轟鳴，上萬張GPU（圖形處理器）與幾十萬根高速網絡線纜在約30個模塊化機房里交織運轉——在位于松江的儀電智算中心，記者直觀感受到萬卡集群的龐大。

萬卡集群的背后，是一支平均年齡僅32歲的青年攻堅團隊——上海智能算力科技有限公司智算科技萬卡集群突擊隊。他們所搭建的，不只是算力基礎設施，更是支撐未來智能世界運轉的底座。

把上萬張GPU變成“一個大腦”

算力作為數字經濟的重要底座，主要分為通用算力、智能算力和超算算力。其中，智能算力依托GPU，為AI訓練和推理提供核心支撐。所謂“萬卡集群”，就是將一萬張甚至更多頂級GPU，通過高速網絡與軟硬件系統連接起來，形成一個統一調度的“超級AI計算大腦”。但真正的難點，并不在“堆數量”，而在“做協同”——讓不同架構、不同代際、不同廠商的GPU，在極端規模下像一個人一樣高效協同。

建設萬卡集群時，機房基礎環境、網絡、單機可靠性、調度系統等都是需要逐一攻破的痛點。“以機房為例，散熱、供電、冷卻、潔凈度，任何一個環節失守，都可能讓集群無法運行。一粒細小的灰塵進入光模塊，造成的后果都難以想象。”上海儀電集團旗下上海智能算力科技有限公司系統工程中心總監、團隊負責人胡寶群告訴記者，從冷熱通道設計、下沉式地板到天花板回風系統，每一處細節都經過精密計算。供電系統不僅要夠用，更要實現負載均衡與多重冗余，即便單路故障也不影響整體運行。冷卻系統則需反復測算，確保極端負載下溫度依然可控。

網絡側同樣是一項“精密工程”。團隊采用Spine-Leaf架構，持續優化交換機配置與通信協議，追求極致的低延遲與無損傳輸。每一根光纖、每一個端口都需全覆蓋測試，確保NCCL等通信庫運行效率達到極限。此外，每批服務器上線前都要經歷高強度“鐵血壓測”，模擬真實訓練場景中的計算、內存與I/O壓力，提前暴露隱患。如今，團隊已建立起快速故障診斷與預測性維護機制，將單機故障率壓降至最低。

應對調度與穩定性的極限挑戰

如果說“建起來”只是第一步，那么，“穩運行”才是真正的難關。“AI算力芯片的故障率遠高于傳統IT設備。在大模型訓練過程中，哪怕1分鐘的中斷，都可能導致數十小時的訓練成果付諸東流。”胡寶群表示，在萬卡集群中，算力調度的復雜程度，堪比讓上萬架無人機在同一片空域高速飛行且不發生碰撞。任何微小偏差，都可能帶來系統級影響。

為此，智算科技系統平臺部負責人翟雨佳帶領團隊，把不同廠商、不同代際，甚至國產和進口卡全部拉進同一個集群，讓它們像一個整體一樣協同工作。他們首創的“動態感知調度方案”，使訓練效率飆升，實現混合架構萬卡集群調度技術的自主可控。

為了0.1%的效率提升，團隊甚至曾連續79天駐守機房，吃住一體，反復打磨代碼、優化算法。在緊急任務中，他們打破傳統線性流程，采用“并行施工+邊測邊調”的方式，爭分奪秒推進項目進度。最終，集群實現99.99%的高可用性，相當于全年故障時間減少378小時。這一穩定能力，已支撐多模態大模型訓練達到國際領先水平，同時保障自動駕駛模型每日100萬公里虛擬路測，以及氣象大模型提前7天預警極端天氣。

翟雨佳表示，為了更高效運維萬卡集群，團隊目前也在研發AI智能體，讓萬卡集群相互協作配合，快速預測問題，做到底層算力保障。“我們現在基本上可以做到分鐘級甚至秒級定位故障，在5分鐘內恢復業務。核心目標是讓底層算力基礎設施像水電煤一樣穩定供給。”

要做下一代工程師

在這座“數字發電站”的背后，是一支成立于2023年的百余人團隊，平均年齡僅32歲。團隊中，七成成員來自互聯網大廠，六成為碩士及以上學歷，還有多位海外歸來的技術專家。

“我們要做下一代工程師，而不是當代工程師。”胡寶群這樣定義團隊的方向——持續自我革新，從工具鏈到生產方式，再到價值創造路徑，都要不斷被重構。目前，這支隊伍已完成數十萬張高性能算力卡的部署，適配多款國產GPU。

萬卡集群是近幾年隨著大模型發展而提出的新需求，這支隊伍正是在攻堅實戰中鍛煉出來的。智算科技董事長、總經理、黨支部書記孫躍表示：“作為一家平臺型的鏈主企業，我們不光要建萬卡集群，更要賦能國產大模型及AI+應用，包括國家戰略任務的實施和推動。我們要牽引產業鏈上的國產軟硬件廠商、GPU和網絡交換設備企業，帶動上下游共同發展。”

團隊小傳

上海智能算力科技有限公司智算科技萬卡集群攻堅團隊，一支百余人組成的青年尖兵，平均年齡僅32歲。承擔上海市多項智算集群建設任務，提供GPU算力資源與智能調度平臺，服務重點大模型企業及頂尖研究機構。2025年獲全國科技創新青年突擊隊崗位建功競賽特等獎。