DeepSeek-V3.2｜技術(shù)報(bào)告解讀

這是一篇報(bào)告解讀，原文是《DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models》

DS-V3.2獲得這份報(bào)告

先說結(jié)論

DeepSeek-V3.2
在推理能力上追平 GPT-5-High，在部分指標(biāo)上超越

DeepSeek-V3.2-Speciale（高算力版）
在 2025 年 IMO 和 IOI 拿了金牌，推理能力接近 Gemini-3.0-Pro

圖1｜核心基準(zhǔn)對(duì)比。DeepSeek-V3.2-Speciale 在數(shù)學(xué)和編程上已經(jīng)和 Gemini-3.0-Pro 打平 怎么做到的？三件事

DSA（DeepSeek Sparse Attention）
一種稀疏注意力機(jī)制，大幅降低長(zhǎng)上下文的計(jì)算成本

后訓(xùn)練加碼
把后訓(xùn)練的計(jì)算預(yù)算提到預(yù)訓(xùn)練的 10% 以上

大規(guī)模合成數(shù)據(jù)
生成了 1,800 個(gè)環(huán)境、85,000 個(gè)任務(wù)，全是合成的

下面一個(gè)一個(gè)說

DSA：把注意力從 O(L2) 降到 O(Lk)

傳統(tǒng)的 Transformer 注意力機(jī)制是 O(L2) 復(fù)雜度，L 指的是序列長(zhǎng)度

簡(jiǎn)單說一下 計(jì)算機(jī)領(lǐng)域，通常用 O(x) 來說明復(fù)雜度：比如 O(L) 的含義是隨著 L 增加，則復(fù)雜度線性增加；而 O(L2) 的意思是按長(zhǎng)度的平方倍增加。 文本長(zhǎng)度翻 2 倍，計(jì)算量翻 4 倍；長(zhǎng)度翻 10 倍，計(jì)算量翻 100 倍

這長(zhǎng)上下文場(chǎng)景中，這個(gè)復(fù)雜度就成了大問題，推理慢，后訓(xùn)練也很難做
所以你很少會(huì)見到超過 128k 的上下文（ GPT-3.5 最早默認(rèn) 4k 上下文）

DeepSeek 的解決方案是 DSA，核心思路是：
并非每個(gè) token 都看全部上下文，只看最相關(guān)的 k 個(gè) token

這樣計(jì)算量就變成 O(Lk)，k 是個(gè)固定值（2048），不再隨文本長(zhǎng)度爆炸式增長(zhǎng)

圖2｜DSA 架構(gòu)。Lightning Indexer 快速篩選，Top-k Selector 精選 2048 個(gè) token 做注意力計(jì)算

具體實(shí)現(xiàn)分兩步：

第一步：Lightning Indexer

一個(gè)輕量級(jí)的打分器，給每個(gè)歷史 token 打分，決定哪些值得關(guān)注

這個(gè)打分器用 ReLU 激活函數(shù)，可以跑在 FP8 精度，算力開銷很小

第二步：Fine-grained Token Selection

根據(jù) Lightning Indexer 的打分，只選 top-k 個(gè) token 做真正的注意力計(jì)算

在 DeepSeek-V3.2 里，k =2048

雖然 Lightning Indexer 本身還是 O(L2)，但它比主注意力輕很多，整體效率大幅提升

DSA 訓(xùn)練的兩個(gè)階段 階段一：Dense Warm-up

先凍住主模型，只訓(xùn)練 Lightning Indexer

訓(xùn)練目標(biāo)是讓 Indexer 的輸出分布對(duì)齊主注意力的分布

用 KL 散度做 loss

只訓(xùn)練了 1000 步，共 2.1B tokens

階段二：Sparse Training

放開所有參數(shù)，讓模型適應(yīng)稀疏注意力模式

繼續(xù)用 KL 散度對(duì)齊 Indexer 和主注意力

訓(xùn)練了 15000 步，共 943.7B tokens

圖3｜推理成本對(duì)比。V3.2 在長(zhǎng)序列場(chǎng)景下成本幾乎是平的，V3.1 是線性增長(zhǎng) 效果怎么樣？

在 128K 長(zhǎng)度的 prefilling 階段，V3.2 的成本基本不隨位置增長(zhǎng)，V3.1-Terminus 是線性增長(zhǎng)

并且：性能沒降

在 ChatbotArena 的 Elo 評(píng)分上，V3.2-Exp 和 V3.1-Terminus 基本持平

在獨(dú)立的長(zhǎng)上下文評(píng)測(cè)（AA-LCR、Fiction.liveBench）上，V3.2-Exp 甚至更好

后訓(xùn)練加碼：預(yù)算超過預(yù)訓(xùn)練的 10%

過去，開源模型的后訓(xùn)練投入普遍不足，這限制了它們?cè)陔y任務(wù)上的表現(xiàn)

DeepSeek 的做法是：大力出奇跡

具體數(shù)字是：后訓(xùn)練的計(jì)算預(yù)算超過預(yù)訓(xùn)練成本的 10%

這是很激進(jìn)的配置

后訓(xùn)練流程分兩步 第一步：專家蒸餾（Specialist Distillation）

為每個(gè)任務(wù)領(lǐng)域訓(xùn)練一個(gè)專門的「專家模型」
六個(gè)領(lǐng)域：數(shù)學(xué)、編程、通用邏輯推理、通用智能體、代碼智能體、搜索智能體

每個(gè)領(lǐng)域都支持 thinking 和 non-thinking 兩種模式
每個(gè)專家都用大規(guī)模 RL 訓(xùn)練

訓(xùn)練好之后，用專家模型生成領(lǐng)域數(shù)據(jù)，給最終模型用

第二步：混合 RL 訓(xùn)練（Mixed RL Training）

把推理、智能體、人類對(duì)齊三類任務(wù)合并成一個(gè) RL 階段

用 GRPO（Group Relative Policy Optimization）算法

這樣做的好處是：避免多階段訓(xùn)練的災(zāi)難性遺忘

GRPO 的幾個(gè)關(guān)鍵改進(jìn)

論文詳細(xì)說了四個(gè)穩(wěn)定化技巧：

1. Unbiased KL Estimate

原來的 K3 estimator 在某些情況下會(huì)給低概率 token 分配過大的梯度權(quán)重，導(dǎo)致訓(xùn)練不穩(wěn)定

DeepSeek 用重要性采樣修正了這個(gè)問題

Off-Policy Sequence Masking

把偏離當(dāng)前策略太遠(yuǎn)的負(fù)樣本 mask 掉

直覺是：從自己的錯(cuò)誤里學(xué)比從不相關(guān)的錯(cuò)誤里學(xué)更有效

Keep Routing

MoE 模型的專家路由在推理和訓(xùn)練時(shí)可能不一致

DeepSeek 保存推理時(shí)的路由路徑，訓(xùn)練時(shí)強(qiáng)制復(fù)用

Keep Sampling Mask

Top-p 采樣時(shí)的截?cái)?mask 也保存下來，訓(xùn)練時(shí)復(fù)用

保證采樣策略和訓(xùn)練策略一致

大規(guī)模智能體數(shù)據(jù)合成

泛化能力，是大模型在智能體場(chǎng)景的另一個(gè)短板

原因很簡(jiǎn)單：沒有足夠多樣的訓(xùn)練環(huán)境

DeepSeek 的解決方案是：自己合成

表1｜智能體任務(wù)分布。50275 個(gè)搜索任務(wù)、24667 個(gè)代碼任務(wù)、4417 個(gè)通用任務(wù)、5908 個(gè)代碼解釋任務(wù)

具體數(shù)據(jù) 代碼智能體 24,667 個(gè)任務(wù)（真實(shí)環(huán)境，提取的提示） 搜索智能體 50,275 個(gè)任務(wù)（真實(shí)環(huán)境，合成的提示） 通用智能體 4,417 個(gè)任務(wù)（合成環(huán)境，合成提示） 代碼解釋器 5,908 個(gè)任務(wù)（真實(shí)環(huán)境，提取的提示）

1. 
   

   1. 給定一個(gè)任務(wù)類型（比如旅行規(guī)劃），agent 先用 bash 和搜索工具從網(wǎng)上拉數(shù)據(jù)，存到沙箱數(shù)據(jù)庫(kù)

2. 2. Agent 合成一套任務(wù)相關(guān)的工具函數(shù)

3. 3. Agent 先提出一個(gè)簡(jiǎn)單任務(wù)，寫好解決方案和驗(yàn)證函數(shù)

4. 4. 迭代增加任務(wù)難度，同時(shí)更新解決方案和驗(yàn)證函數(shù)

5. 5. 如果現(xiàn)有工具不夠用，agent 會(huì)自動(dòng)擴(kuò)展工具集

最終得到了1,827個(gè)環(huán)境，4,417個(gè)任務(wù)

合成任務(wù)示例：三天旅行規(guī)劃。約束條件復(fù)雜，驗(yàn)證容易，搜索空間大——典型的「難解易驗(yàn)」問題

有個(gè) Trip Planning 的例子 從杭州出發(fā)的三天旅行，要求不重復(fù)城市/酒店/餐廳/景點(diǎn)，第二天的預(yù)算有復(fù)雜的條件約束...

任務(wù)很難解，但驗(yàn)證很簡(jiǎn)單——只要檢查所有約束是否滿足

這類「難解易驗(yàn)」的任務(wù)特別適合 RL

合成數(shù)據(jù)真的有用嗎？

論文做了消融實(shí)驗(yàn)
用 V3.2-SFT 只在合成的通用智能體數(shù)據(jù)上做 RL，測(cè)試在Tau2Bench、MCP-Mark、MCP-Universe上的效果

結(jié)果是：顯著提升

作為對(duì)照，只在代碼和搜索環(huán)境上做 RL，這三個(gè) benchmark 上沒有提升

簡(jiǎn)而言之，這么做，確實(shí)帶來了泛化能力

圖5｜合成數(shù)據(jù) RL 效果，藍(lán)線是 RL-Synthetic-Data Thinking in Tool-Use

讓推理和工具調(diào)用融合，是 v3.2 在工程上的關(guān)鍵設(shè)計(jì)

DeepSeek-R1 證明了「thinking」對(duì)解決復(fù)雜問題很有幫助

但 R1 的策略是：第二輪消息到來時(shí)，丟棄之前的推理內(nèi)容

這在工具調(diào)用場(chǎng)景下很浪費(fèi)——每次工具返回結(jié)果，模型都要重新推理一遍

圖4｜Thinking 保留機(jī)制。只有新用戶消息到來時(shí)才丟棄推理內(nèi)容，工具結(jié)果不觸發(fā)丟棄

DeepSeek-V3.2 的設(shè)計(jì)是：

• ? 只有新的用戶消息到來時(shí)才丟棄推理內(nèi)容

• ? 如果只是工具返回結(jié)果，保留推理內(nèi)容

• ? 丟棄推理內(nèi)容時(shí)，工具調(diào)用歷史保留

注意 Roo Code、Terminus 這類用「用戶消息」模擬工具交互的框架，無法享受這個(gè)優(yōu)化；論文建議這類框架用 non-thinking 模式

怎么讓模型學(xué)會(huì)「邊推理邊調(diào)工具」，這個(gè)能力需要教

DeepSeek 的做法是設(shè)計(jì)專門的 system prompt：

• ? 告訴模型可以在 標(biāo)簽內(nèi)多次調(diào)用工具

• ? 最多 20 次

• ? 最終答案不能包含工具調(diào)用

雖然這樣訓(xùn)練出來的模式一開始不太穩(wěn)定，但偶爾能產(chǎn)生正確的軌跡

有了這些種子數(shù)據(jù)，后續(xù)的 RL 就能持續(xù)優(yōu)化

結(jié)果對(duì)比

到這里，我們看一下模型的性能，自己看圖，不贅述了

這個(gè)是DeepSeek-V3.2的

表2｜完整基準(zhǔn)對(duì)比。DeepSeek-V3.2-Thinking 與 GPT-5-High 基本持平，Speciale 版本在數(shù)學(xué)上超越

這個(gè)是DeepSeek-V3.2-Speciale的競(jìng)賽成績(jī)

表4｜競(jìng)賽成績(jī)。IOI 2025 第10名，ICPC WF 2025 第2名。這是通用模型，不是專門為競(jìng)賽訓(xùn)練的

需要說明的是：Token 效率，是 DeepSeek-V3.2 的一個(gè)短板

舉個(gè)例子，在 Codeforces 中，Gemini-3.0-Pro 用 22k tokens 拿 2708 分，DeepSeek-V3.2 用 42k tokens 才拿 2386 分，Speciale 版本用 77k tokens 拿 2701 分

Speciale 版本為了達(dá)到更高性能，輸出 token 數(shù)明顯更多

具體的看這張圖

表3｜各個(gè)模型的 token 效率 其他：上下文管理策略

搜索智能體場(chǎng)景有個(gè)問題：經(jīng)常撞到 128K 的上下文限制

DeepSeek 試了幾種策略：

1. 1.Summary：超限后總結(jié)軌跡，重新開始

2. 2.Discard-75%：丟棄前 75% 的工具調(diào)用歷史

3. 3.Discard-all：丟棄所有工具調(diào)用歷史（類似 Anthropic 的 new context tool）

4. 4.Parallel-fewest-step：并行采樣多個(gè)軌跡，選步數(shù)最少的

結(jié)果有點(diǎn)反直覺：
最簡(jiǎn)單的 Discard-all 效果最好，BrowseComp 從 53.4% 提升到 67.6%
Summary 效率最低，雖然也能提升性能

還差什么

DeepSeek 團(tuán)隊(duì)坦誠(chéng)說了三個(gè)局限：

1. 世界知識(shí)不夠豐富
訓(xùn)練算力有限，知識(shí)廣度不如 Gemini-3.0-Pro
計(jì)劃未來擴(kuò)大預(yù)訓(xùn)練規(guī)模

2. Token 效率低
達(dá)到同樣輸出質(zhì)量，需要生成更多 token
需要優(yōu)化推理鏈的「智能密度」
這個(gè)上文提了

3. 最難的任務(wù)還有差距
在最頂尖的復(fù)雜任務(wù)上，和 Gemini-3.0-Pro 還有差距

我覺得吧，這三個(gè)局限其實(shí)指向同一個(gè)問題：算力
預(yù)訓(xùn)練算力不夠，知識(shí)就不夠廣
后訓(xùn)練算力不夠，token 效率就上不去
基礎(chǔ)模型能力不夠，最難的任務(wù)就做不好

但反過來說，DeepSeek 在有限算力下能做到這個(gè)程度，也或許說明...技術(shù)路線是對(duì)的？

總結(jié)

這篇論文，大致說了這三件事兒

• ?DSA 解決了效率問題，讓大規(guī)模后訓(xùn)練成為可能

• ?大規(guī)模后訓(xùn)練，帶來了更高的訓(xùn)練回報(bào)

• ?大規(guī)模合成數(shù)據(jù)，讓智能體能力的泛化成為可能

三件事串起來，讓 DeepSeek v3.2，在推理能力上追平了 GPT-5