DeepSeek V4報(bào)告太詳盡了！484天換代之路全公開(kāi)

• henry 發(fā)自 凹非寺
  量子位 | 公眾號(hào) QbitAI

DeepSeek V4“遲到”半年，但發(fā)布后的好評(píng)如潮還在如潮。

中外熱搜上了一整圈，科技媒體的版面今天都讓給了它，OpenAI也成了它的陪襯。

大家驚嘆于DeepSeek在有限條件下作出重大突破的創(chuàng)造力，也佩服其在2026年，還能堅(jiān)定選擇開(kāi)源路線(xiàn)的決心。

可以說(shuō)，一時(shí)間信息多的有些超載，但多歸多，主線(xiàn)就兩條。

第一條，百萬(wàn)token上下文全面開(kāi)源，KVcache大幅縮減。

V4-Pro和V4-Flash，1.6萬(wàn)億參數(shù)/2840億參數(shù)上下文都是1M。1M場(chǎng)景下，V4-Pro的單token FLOPs只有V3.2的27%，KV cache只有10%。

亞馬遜硬件師GPD表示，這意味著DeepSeek可能解決當(dāng)前的HBM短缺問(wèn)題。

第二條，國(guó)產(chǎn)芯片適配，已經(jīng)支持華為算力，預(yù)計(jì)下半年昇騰950超節(jié)點(diǎn)批量上市。

此外，大家最關(guān)心的，還莫過(guò)于在過(guò)去四個(gè)月中，DeepSeek陸續(xù)放出了幾篇「可能進(jìn)V4」的論文，今天技術(shù)報(bào)告開(kāi)源了，可以對(duì)一下賬。

• mHC（流形約束超連接）：2025年12月31日上傳arXiv，梁文鋒掛名。進(jìn)了V4。
• Engram（條件記憶模塊）：1月DeepSeek聯(lián)合北大發(fā)布。沒(méi)進(jìn)V4，但在未來(lái)方向里被點(diǎn)名，留給V5。
• DualPipe：V3老伙計(jì)。繼續(xù)用，針對(duì)mHC做了調(diào)整。
• Muon優(yōu)化器：從Kimi那邊借的。V4把AdamW替了，接管絕大多數(shù)參數(shù)的訓(xùn)練。

四個(gè)預(yù)期，三個(gè)落地，一個(gè)給下一代。

整體架構(gòu)

V4這一代，是DeepSeek系列里動(dòng)刀最多的一版。相比V3，V4在三個(gè)地方做了升級(jí)。

第一，引入mHC（Manifold-Constrained Hyper-Connections）強(qiáng)化殘差連接。

第二，設(shè)計(jì)hybrid attention架構(gòu)，CSA和HCA交替疊加，解決長(zhǎng)文效率問(wèn)題。

第三，采用Muon作為主優(yōu)化器。

MoE部分仍然用DeepSeekMoE，MTP（Multi-Token Prediction）模塊跟V3保持一致。

一些細(xì)節(jié)微調(diào)包括，affinity score的激活函數(shù)從Sigmoid換成了Sqrt(Softplus(·))，去掉了routing target nodes的數(shù)量約束，前幾層dense FFN換成了用Hash routing的MoE層。

接下來(lái)，我們一個(gè)個(gè)看。

mHC，給殘差連接加一層約束

殘差連接是何愷明2016年在ResNet里提出來(lái)的，十年沒(méi)怎么變過(guò)。模型一層一層堆，梯度沿著殘差往回傳，這是深度學(xué)習(xí)能work的前提。

但模型越來(lái)越深、參數(shù)越來(lái)越多之后，傳統(tǒng)殘差開(kāi)始露怯，信號(hào)傳遞不穩(wěn)，訓(xùn)練容易崩。

先說(shuō)Hyper-Connections（HC），這是Kimi團(tuán)隊(duì)之前提出的想法。核心是把殘差流從一維變成n_hc條并行通道，每層之間通過(guò)一個(gè)矩陣B來(lái)混合。

A、B、C是三個(gè)線(xiàn)性映射。想法很優(yōu)雅，相當(dāng)于給殘差流增加了一個(gè)新的scaling維度。但DeepSeek在堆多層時(shí)發(fā)現(xiàn)，HC經(jīng)常出現(xiàn)數(shù)值不穩(wěn)定，訓(xùn)練說(shuō)崩就崩。

V4的做法叫mHC，把矩陣B約束到「雙隨機(jī)矩陣」的流形上（數(shù)學(xué)上叫Birkhoff polytope），行和列都?xì)w一化為1。這個(gè)約束帶來(lái)兩個(gè)好處。

• 矩陣的譜范數(shù)天然不超過(guò)1，殘差傳播套上硬上限，爆不起來(lái)。
• 這種矩陣在乘法下是封閉的，堆很多層也穩(wěn)。

輸入映射A和輸出映射C則通過(guò)Sigmoid函數(shù)保證非負(fù)且有界，避免信號(hào)互相抵消。

實(shí)現(xiàn)上用Sinkhorn-Knopp迭代，交替做行歸一化和列歸一化，迭代20次收斂。整個(gè)過(guò)程對(duì)每一層都跑一遍。

聽(tīng)起來(lái)貴，但DeepSeek做了fused kernel，再配合選擇性recomputation，實(shí)測(cè)mHC帶來(lái)的wall-time開(kāi)銷(xiāo)控制在overlapped pipeline的6.7%。

技術(shù)判斷上，mHC不是那種讓人眼前一亮的架構(gòu)創(chuàng)新，更像是一個(gè)「穩(wěn)得住大模型」的工程補(bǔ)丁。但隨著模型深度和參數(shù)量繼續(xù)往上推，這種補(bǔ)丁會(huì)變成剛需。

混合注意力機(jī)制

這是全篇論文最厚的一塊，也是「百萬(wàn)token效率」的核心魔法所在。

V4的注意力層不是一種，是兩種交替使用的結(jié)構(gòu)，CSA（Compressed Sparse Attention）和HCA（Heavily Compressed Attention）。

CSA做兩件事，先壓縮，再稀疏選擇

第一步，KV壓縮。每m個(gè)token的KV entries，通過(guò)一個(gè)帶學(xué)習(xí)權(quán)重的attention-like機(jī)制壓成一個(gè)。

第二步，lightning indexer + top-k選擇。這部分繼承自V3.2的DSA。對(duì)每個(gè)query token，用一個(gè)輕量的indexer計(jì)算它和每個(gè)壓縮KV塊的相關(guān)性分?jǐn)?shù)。

第三步，core attention。在選中的這top-k壓縮KV塊上做Multi-Query Attention，得到注意力輸出。

第四步，grouped output projection。因?yàn)閂4把head dimension c設(shè)成了512（比V3.2的128大得多），如果直接把所有head的輸出投影回d維會(huì)很貴，所以做了分組投影，把n_h個(gè)head分成g組，每組先投影到一個(gè)中間維度d_g，最后再合并投影回d。

整個(gè)CSA等于做了兩層壓縮。第一層是序列長(zhǎng)度壓縮，n變成n/m。第二層是稀疏選擇，n/m變成top-k。對(duì)1M token的序列，原本需要attend 1M個(gè)token，現(xiàn)在只需要attend 1024個(gè)壓縮塊。

HCA的思路更簡(jiǎn)單粗暴，壓得更狠，但不做稀疏。

壓縮率m’=128，每128個(gè)token壓成一個(gè)。壓縮過(guò)程也沒(méi)有CSA那樣的overlap，直接每m’個(gè)一組壓。然后對(duì)所有壓縮后的KV做dense attention。

論文里沒(méi)有長(zhǎng)篇大論地解釋CSA和HCA為什么要配對(duì)使用，但讀完整個(gè)architecture章節(jié)，能看出它們的分工。

CSA的壓縮溫和、靠稀疏把關(guān)，適合做token-level的精細(xì)檢索。HCA的壓縮兇猛、保持dense，適合做長(zhǎng)距離的全局信號(hào)匯總。

V4把兩者層層交替。Pro有61層，F(xiàn)lash有43層，CSA和HCA一層一層往上疊。既不漏細(xì)節(jié)，也不被細(xì)節(jié)拖住。

此外，論文還透露了幾個(gè)trick。

Q/KV normalization。CSA和HCA在core attention之前，都對(duì)query和KV entries做一次RMSNorm，防止attention logits爆炸。

Partial RoPE。只對(duì)query和KV entries的最后64維施加旋轉(zhuǎn)位置編碼，其余維度不動(dòng)。

因?yàn)镵V entries既做key又做value，naive的RoPE會(huì)讓輸出帶上絕對(duì)位置信息，所以在output端也對(duì)應(yīng)施加一個(gè)位置為-i的RoPE來(lái)抵消，只保留相對(duì)位置信息。這是個(gè)巧妙的工程處理。

Sliding window attention作為輔助分支。

因?yàn)閴嚎s注意力保證嚴(yán)格因果性，一個(gè)query token看不到自己壓縮塊內(nèi)其他token的信息。為了補(bǔ)償近距離依賴(lài)，V4額外加了一個(gè)sliding window分支，每個(gè)query除了看壓縮KV之外，還能看最近128個(gè)token的uncompressed KV。

Attention sink。借鑒OpenAI和StreamingLLM的trick，在attention分母上加一個(gè)learnable sink logit，允許attention score總和不等于1。

這在長(zhǎng)序列里尤其有用，能避免模型被迫把注意力均攤。

Muon優(yōu)化器

V4訓(xùn)練中絕大多數(shù)參數(shù)優(yōu)化用的不是AdamW，是Muon。

Muon是前幾年Keller Jordan那批人（他現(xiàn)在在OpenAI）在小模型上驗(yàn)證過(guò)的優(yōu)化器，基于矩陣正交化。

它只優(yōu)化2D參數(shù)矩陣，其他參數(shù)（embedding、prediction head、RMSNorm權(quán)重、mHC的靜態(tài)偏置等）還是走AdamW。

Muon在LLM規(guī)模上的第一次大規(guī)模驗(yàn)證是Kimi K2。 2025年，Moonshot用Muon（加上他們自己的QK-Clip變種，合稱(chēng)MuonClip）訓(xùn)了一個(gè)1T參數(shù)的MoE，15.5T token，全程零崩潰。

現(xiàn)在DeepSeek也用上了。不過(guò)他們做了自己的版本，hybrid Newton-Schulz迭代，10步分兩段。

• 前8步用激進(jìn)系數(shù)，快速把奇異值推向1附近。
• 后2步用溫和系數(shù)，精確地把奇異值穩(wěn)定在1。

這里有個(gè)細(xì)節(jié)值得注意。Kimi用Muon需要QK-Clip來(lái)防止attention logits爆炸，DeepSeek沒(méi)用這招。他們的理由是，V4的注意力架構(gòu)允許直接對(duì)query和KV做RMSNorm，從源頭把爆炸的可能壓住了。

兩家公司，同一個(gè)優(yōu)化器，解決同一個(gè)問(wèn)題，走的是兩條路。這種跨團(tuán)隊(duì)的技術(shù)共享和各自演化，是2026年開(kāi)源社區(qū)最有意思的一面。

模型訓(xùn)練

DeepSeek-V4系列在預(yù)訓(xùn)練數(shù)據(jù)量上實(shí)現(xiàn)了翻倍。

對(duì)比V3僅用14.8T Token訓(xùn)練，V4-Flash 與 V4-Pro 的數(shù)據(jù)消耗量分別達(dá)到了32T和33T。訓(xùn)練數(shù)據(jù)量整整翻了一倍多（增長(zhǎng)約 1.2 倍）

數(shù)據(jù)構(gòu)成上，長(zhǎng)文檔數(shù)據(jù)單獨(dú)curate，優(yōu)先收錄科學(xué)論文和技術(shù)報(bào)告這類(lèi)有學(xué)術(shù)價(jià)值的長(zhǎng)材料。tokenizer仍用V3的128K詞表。

在模型架構(gòu)上，V4-Flash，43層，隱藏維度4096。

MoE用1個(gè)shared expert + 256個(gè)routed experts，每token激活6個(gè)?？倕?shù)284B，激活13B。

V4-Pro，61層，隱藏維度7168。MoE用1個(gè)shared expert + 384個(gè)routed experts，每token激活6個(gè)?？倕?shù)1.6T，激活49B。

訓(xùn)練調(diào)度上，序列長(zhǎng)度走四段，4K → 16K → 64K → 1M。sparse attention不是從頭打開(kāi)，前1T token用dense attention做warmup，擴(kuò)到64K時(shí)才introduce sparsity。

論文表示，訓(xùn)練中間出過(guò)一次嚴(yán)重的loss spike，DeepSeek摸到兩個(gè)土辦法，Anticipatory Routing和SwiGLU Clamping。論文原話(huà)非常誠(chéng)實(shí)，這兩個(gè)trick work，但底層機(jī)理仍是open question。

一個(gè)訓(xùn)練了兩個(gè)萬(wàn)億參數(shù)MoE的團(tuán)隊(duì)公開(kāi)承認(rèn)「我們不知道為什么這兩個(gè)trick管用」，在2026年已經(jīng)是一件挺稀罕的事。

在后訓(xùn)練階段，V4這一代做了一次方法論替換，傳統(tǒng)的mixed RL階段被On-Policy Distillation（OPD）完全替代。

流程分兩步。

第一步，訓(xùn)domain specialist。

數(shù)學(xué)、代碼、agent、指令跟隨四個(gè)領(lǐng)域，各自獨(dú)立訓(xùn)一個(gè)expert。先SFT打底，再用GRPO做domain-specific RL。V4還引入了三檔reasoning effort mode，Non-think、Think High、Think Max，每檔輸出長(zhǎng)度不同。

第二步，OPD合并。

十幾個(gè)expert通過(guò)on-policy distillation合進(jìn)一個(gè)統(tǒng)一的student。student自己rollout，最小化reverse KL向?qū)?yīng)領(lǐng)域的expert對(duì)齊。數(shù)學(xué)任務(wù)向數(shù)學(xué)expert靠，編程任務(wù)向編程expert靠。

方法論聽(tīng)起來(lái)很優(yōu)雅。但工程上裝不下，十幾個(gè)teacher每個(gè)都是萬(wàn)億級(jí)，vocab size超過(guò)10萬(wàn)。

V4的做法是teacher權(quán)重offload到分布式存儲(chǔ)按需加載，只緩存hidden states不materialize logits，按teacher排序樣本保證每個(gè)mini-batch只加載一個(gè)teacher head。

一套看似優(yōu)雅的后訓(xùn)練方法論，背后是一堆「不這樣做就裝不下」的工程妥協(xié)。

實(shí)驗(yàn)結(jié)論

在實(shí)驗(yàn)部分，有三件最值得說(shuō)的事。

開(kāi)源領(lǐng)先。

SimpleQA-Verified上V4-Pro-Max拿到57.9，K2.6是36.9，GLM-5.1是38.1。領(lǐng)先所有開(kāi)源模型20個(gè)百分點(diǎn)。

匹敵閉源。

Codeforces rating 3206，超過(guò)了GPT-5.4的3168和Gemini-3.1-Pro的3052，在人類(lèi)選手榜單上排名第23。開(kāi)源模型匹敵閉源頭部，這次是真的匹敵了。

差距仍在。

HLE上V4-Pro-Max 37.7，Gemini-3.1-Pro 44.4，Claude-Opus-4.6-Max 40.0。1M MRCR上V4優(yōu)于Gemini但明顯不如Claude。知識(shí)類(lèi)和最前沿的推理任務(wù)仍有3-6個(gè)月的gap。

論文中，DeepSeek表示：

• DeepSeek-V4-Pro-Max在標(biāo)準(zhǔn)推理benchmark上優(yōu)于GPT-5.2和Gemini-3.0-Pro，但略落后于GPT-5.4和Gemini-3.1-Pro。這表明其發(fā)展軌跡大約落后最前沿閉源模型3到6個(gè)月。

Flash-Max可能是這篇論文最被低估的一部分。

V4-Flash-Max只激活13B參數(shù)，推理任務(wù)上能打平GPT-5.2和Gemini-3.0-Pro，代碼和數(shù)學(xué)甚至超過(guò)K2.6-Thinking。

如果只看激活參數(shù)量，這是目前效率最極致的推理模型之一。

現(xiàn)實(shí)任務(wù)里最值得提的是內(nèi)部R&D代碼benchmark，V4-Pro-Max 67%，接近Claude Opus 4.5的70%。

85人的內(nèi)部開(kāi)發(fā)者調(diào)研里，91%表示V4-Pro可以作為主力coding模型。

在官方的推文中，也側(cè)面印證了這個(gè)說(shuō)法：

• 目前DeepSeek-V4已成為公司內(nèi)部員工使用的Agentic Coding模型，據(jù)評(píng)測(cè)反饋使用體驗(yàn)優(yōu)于Sonnet 4.5，交付質(zhì)量接近Opus 4.6非思考模式，但仍與Opus 4.6思考模式存在一定差距。

在論文的最后，DeepSeek也表示：

• 為了追求極致的長(zhǎng)文效率，V4系列采取了一個(gè)相對(duì)激進(jìn)的架構(gòu)設(shè)計(jì)。為了降低風(fēng)險(xiǎn)，我們保留了許多已經(jīng)驗(yàn)證過(guò)的組件和trick，這讓架構(gòu)變得相對(duì)復(fù)雜。在未來(lái)的迭代中，我們將進(jìn)行更全面、更有原則的研究，把架構(gòu)精簡(jiǎn)到最本質(zhì)的部分。

未來(lái)方向幾條，探索新維度的sparsity（點(diǎn)名了Engram那條線(xiàn)）、低延遲架構(gòu)、長(zhǎng)時(shí)程多輪agentic任務(wù)、多模態(tài)、更好的數(shù)據(jù)curation。

有個(gè)蠻有意思的小細(xì)節(jié)，在形式化數(shù)學(xué)評(píng)測(cè)中，DeepSeek也皮了一下友商：

• 我們?cè)贙2.6和GLM-5.1的部分條目留空了，因?yàn)樗鼈兊腁PI太忙，沒(méi)法及時(shí)返回我們查詢(xún)的結(jié)果。

太火了，就是說(shuō)。

總結(jié)

把V4放回DeepSeek的完整路徑里看，它不是在追趕frontier。

過(guò)去三年的趨勢(shì)非常清晰。閉源大廠追求的是能力上限，誰(shuí)家的模型能在HLE上拿更高分。DeepSeek追求的一直是另一條線(xiàn)，同樣能力下的成本下限。

V4把這件事推到了百萬(wàn)token。一個(gè)1M的上下文，在V3.2的成本結(jié)構(gòu)下是不可持續(xù)的，KV cache會(huì)把顯存吃光。V4把它壓到V3.2的10%，成本曲線(xiàn)突然打直了。

那結(jié)果會(huì)怎樣呢。一個(gè)很長(zhǎng)的agent會(huì)話(huà)，一份反復(fù)回讀的技術(shù)文檔，一次跨多倉(cāng)庫(kù)的重構(gòu)，這些過(guò)去要切窗口、要加retrieval、要精心管理上下文的場(chǎng)景，在V4這里變成了「全塞進(jìn)去看看再說(shuō)」。

DeepSeek這幾年做的事，底層動(dòng)作很清晰，一直在刪。從V2的MLA開(kāi)始，每一代都在刪KV cache、刪激活參數(shù)、刪注意力計(jì)算量。

刪到V4，單token推理FLOPs砍到四分之一，KV cache砍到十分之一。

百萬(wàn)token不是一個(gè)新的能力，是同一個(gè)上下文窗口被壓到可以承擔(dān)的成本。

One more thing

論文的結(jié)尾有一份長(zhǎng)長(zhǎng)的貢獻(xiàn)者名單。

梁文鋒在其中。

其中有不少帶星號(hào)的名字，是已經(jīng)離開(kāi)團(tuán)隊(duì)、但仍然對(duì)V4做出過(guò)重要貢獻(xiàn)的研究者。

過(guò)去這一年，關(guān)于DeepSeek人才流失的消息傳過(guò)好幾輪。但這份名單把他們的名字和V4這個(gè)大家等了整整一年多的模型，綁在了同一張紙上。

每一個(gè)人都算數(shù)，每一天也都算數(shù)。

V4發(fā)布當(dāng)天，DeepSeek研究員陳德里在x上轉(zhuǎn)發(fā)并寫(xiě)道：

DeepSeek-V3：2024年12月26日。

DeepSeek-V4：2026年4月24日。

484天后，我們謙卑地分享這份愛(ài)心的勞動(dòng)。

一如既往，我們始終堅(jiān)持長(zhǎng)期主義和全民開(kāi)源。

AGI屬于每個(gè)人。

[1]https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

[2]https://arxiv.org/pdf/2512.24880