DeepSeek與字節(jié)跳動踏進同一條河

本文系基于公開資料撰寫，僅作為信息交流之用，不構成任何投資建議

新年前夕，DeepSeek發(fā)表了一篇聚焦神經(jīng)網(wǎng)絡架構創(chuàng)新的核心論文，梁文鋒以通訊作者身份署名。論文提出了流形約束超連接（manifold-constrained HyperConnection, mHC）架構，直指大規(guī)模模型訓練中的穩(wěn)定性難題。

這一工作為硬件受限的中國 AI 企業(yè)開辟了一條兼顧性能與效率的路徑，也與字節(jié)跳動早前在殘差流優(yōu)化上的探索形成關鍵呼應，二者均瞄準殘差連接這一模型基礎架構進行改造。

DeepSeek的研究，恰恰是對字節(jié)跳動“超連接”技術短板的系統(tǒng)性補位。這一成果不僅為大模型底層架構的工業(yè)化落地提供了新方案，再度印證了硬件約束可轉化為創(chuàng)新動力的產(chǎn)業(yè)演進邏輯。

自2016年ResNet 提出以來，殘差連接已成為深度學習的骨架式設計。其通過“捷徑連接”繞過層層非線性變換，從根本上緩解了梯度消失或爆炸的難題，支撐起越來越深的模型結構。

長期以來，業(yè)界創(chuàng)新多集中于注意力機制、MoE（混合專家）等模塊，殘差流本身處于一種“靜默的穩(wěn)定”中，直至2024 年字節(jié)跳動以超連接（HyperConnection）技術打破這一局面。

字節(jié)跳動的超連接通過拓寬殘差流寬度、構建多路并行信號流，并讓模型學習流間的交互模式，顯著提升了模型表達能力。然而，該技術在規(guī)模化訓練中暴露出致命短板：信號發(fā)散。

DeepSeek的測試顯示，在270億參數(shù)模型的訓練中，約12000步后梯度范數(shù)劇烈波動，訓練崩潰；更嚴重的是，信號強度在第60層膨脹至輸入值的3000倍。問題的核心在于，超連接為追求表達力，放棄了殘差連接原有的恒等映射約束——小規(guī)模下尚可調(diào)參掩蓋，但在大規(guī)模訓練中，這一缺陷被急劇放大。

mHC的核心創(chuàng)新，是將可學習的變換矩陣約束在雙重隨機矩陣（doubly stochastic matrix）構成的流形上。這相當于為信號傳播設立“剛性預算”：矩陣每行、每列元素之和均為1且非負，確保輸出信號強度嚴格介于輸入信號的最大最小值之間，從而杜絕信號爆炸。

更關鍵的是，雙重隨機矩陣具有組合不變性——多層疊加后仍保持穩(wěn)定。實驗表明，在超連接出現(xiàn)3000倍信號放大的同一場景中，mHC的信號放大峰值僅為1..6倍。為控制計算開銷，DeepSeek 采用Sinkhorn-Knopp 迭代進行投影，僅需20輪迭代即可收斂，額外訓練成本被壓制在6.7%。

硬件約束倒逼的不只是算法創(chuàng)新，更是全鏈路的系統(tǒng)級優(yōu)化。超連接拓寬殘差流后，每層數(shù)據(jù)讀寫量倍增，在A800/A100的有限互聯(lián)帶寬下，芯片極易陷入“等待數(shù)據(jù)遠多于計算”的效率陷阱。DeepSeek通過三項關鍵技術破局：

1.算子融合：將內(nèi)存訪問模式相近的操作合并為單一GPU內(nèi)核，減少數(shù)據(jù)搬運；

2.反向傳播重計算：不存儲中間激活值，改為實時重算，以計算換內(nèi)存；

3.流水線并行優(yōu)化：重疊跨GPU通信與本地計算，用計算掩蓋通信延遲。

這些優(yōu)化將原本隨層數(shù)線性增長的內(nèi)存開銷，轉化為可由模塊大小控制的有界開銷。配合基于 TileLang 編寫的混合精度內(nèi)核（bfloat16 為主，float32 保關鍵精度），實現(xiàn)了全參數(shù)規(guī)模下的穩(wěn)定性能提升。測試中，30億至270 億參數(shù)模型搭載mHC后均表現(xiàn)優(yōu)異，270億模型在BIG-Bench Hard復雜推理任務上提升 2..1%，在 DROP閱讀理解任務上提升2.3%。

此前，V3架構論文對應V3模型，R1推理論文對應R1模型；本次mHC論文在 2026 年春節(jié)前三周發(fā)布，外界普遍預期下一代旗艦模型（R2）即將亮相。

這種“論文先行”的策略，既通過同行評議建立技術公信力，又在復雜地緣環(huán)境中為原創(chuàng)性留下時間戳，更向全球傳遞一個明確信息：中國 AI 企業(yè)的核心競爭力，并非依賴尖端算力芯片。

DeepSeek選擇通過arXiv、Hugging Face等開放平臺而非傳統(tǒng)期刊發(fā)布成果，雖犧牲部分學術聲望，卻換來了技術傳播的速度與可達性。這種開放模式加速了知識擴散，也對同行構成直接競爭壓力：當 mHC 的性能增益可量化、實現(xiàn)可復現(xiàn)時，西方實驗室要么跟進類似技術，要么必須論證自身路徑的優(yōu)越性。

此前R1 型已觸發(fā)推理模型研發(fā)熱潮，mHC架構很可能推動殘差流優(yōu)化進入新一輪迭代。更重要的是，這一模式向技術管制者傳遞了清晰信號：硬件限制并未扼殺創(chuàng)新，反而迫使中國 AI 企業(yè)走向“從數(shù)學根源解決問題”的最本質路徑。

字節(jié)跳動與 DeepSeek，先后踏入同一條“突破傳統(tǒng)殘差流”的創(chuàng)新之河。前者率先探路，卻止步于規(guī)模化瓶頸；后者在硬件約束的倒逼下，憑借數(shù)學約束與系統(tǒng)級優(yōu)化，架起了一座可通航的技術之橋。

距離2026年春節(jié)僅剩六周，R2模型的發(fā)布將檢驗mHC架構的工業(yè)化成色。無論最終基準測試結果如何，這條“在約束中創(chuàng)新”的路徑已具備里程碑意義——它清晰證明，AI 競賽不只有“燒錢堆算力”這一條賽道。硬件限制從不是創(chuàng)新的絆腳石，而是催生真正核心突破的催化劑。

轉載開白 | 商務合作 | 內(nèi)容交流
請?zhí)砑游⑿牛簀induan008
添加微信請備注姓名公司與來意