剛剛，DeepSeek悄悄測試新模型：百萬token上下文、V4要來了？

春節(jié)假期還沒到，DeepSeek 就先把禮物拆了一半。

2 月 11 日，多位用戶發(fā)現(xiàn) DeepSeek 的 App 端和網(wǎng)頁端已經(jīng)悄然開始灰度測試一項(xiàng)重大升級：上下文窗口長度從此前 V3.1 版本的 128K token 直接拉到了 1M（百萬）token。DeepTech 驗(yàn)證后確認(rèn)，無論 App 還是網(wǎng)頁端，模型自述的上下文長度均為“1M”。

與此同時，知識截止日期也從此前的版本更新到了 2025 年 5 月，在不聯(lián)網(wǎng)的情況下已經(jīng)能夠準(zhǔn)確回答 2025 年 4 月的新聞事件。不過，這個新版本目前仍然是一個純文本模型，不支持視覺輸入，也不具備多模態(tài)識別能力。

（來源：DeepTech）

以往 DeepSeek V3 系列僅 128K 的上下文容量是一個相當(dāng)大的短板，本次提升至 1M 級別可謂進(jìn)步巨大，此前，Google 的 Gemini 系列最先將上下文推至百萬級別。DeepSeek 此次直接對標(biāo) Gemini 的上下文長度，算是在這個維度上躋身第一梯隊(duì)。

值得注意的是，就在不到一個月前，DeepSeek 的 GitHub 倉庫 FlashMLA（其自研的多頭潛在注意力解碼核心庫）更新中，社區(qū)開發(fā)者發(fā)現(xiàn)了一個代號為“Model 1”的神秘模型標(biāo)識，它在 114 個文件中出現(xiàn)了 28 次，作為獨(dú)立于當(dāng)前 V3.2 架構(gòu)的并行分支存在。

（來源：Github）

代碼層面的線索顯示，Model1 在 KV 緩存（Key-Value Cache）布局、稀疏性處理和 FP8 數(shù)據(jù)格式解碼等方面與 V3.2 存在明顯差異，指向了一次架構(gòu)層面的重大重構(gòu)，而非簡單的版本迭代。這一發(fā)現(xiàn)恰好出現(xiàn)在 DeepSeek-R1 發(fā)布一周年之際，更與此前媒體援引知情人士的報道，即 DeepSeek 計(jì)劃于 2 月中旬春節(jié)前后發(fā)布下一代旗艦?zāi)Ｐ?V4 這一消息相呼應(yīng)。

那么，今天灰度測試的這個版本，是否就是傳說中 V4 的前奏？從技術(shù)邏輯上看，有一些拼圖已經(jīng)擺上了桌面。過去一個多月里，DeepSeek 以罕見的密度連續(xù)發(fā)布了兩篇重要論文，創(chuàng)始人梁文鋒均署名參與。元旦當(dāng)天發(fā)表的 mHC（Manifold-Constrained Hyper-Connections，流形約束超連接）解決了大規(guī)模模型訓(xùn)練中的穩(wěn)定性問題。

緊接著 1 月中旬開源的 Engram 模塊則提出了“條件記憶”（Conditional Memory）這一全新稀疏性維度，用 O(1) 復(fù)雜度的哈希查找取代昂貴的神經(jīng)網(wǎng)絡(luò)計(jì)算來完成靜態(tài)知識檢索。Engram 論文中特別展示了將高達(dá) 100B 參數(shù)的嵌入表卸載到 CPU 內(nèi)存、GPU 專注推理計(jì)算的能力，額外推理延遲低于 3%。

這種“查算分離”的架構(gòu)天然適配超長上下文場景，當(dāng)上下文窗口擴(kuò)展到百萬級別時，傳統(tǒng)的全量注意力計(jì)算成本會急劇膨脹，而 Engram 結(jié)合去年 V3.2 中引入的 DSA（DeepSeek Sparse Attention）機(jī)制，理論上可以顯著降低長序列推理的計(jì)算開銷。

不過，灰度測試畢竟只是灰度測試，離正式發(fā)布還有距離。目前尚不清楚這個版本的具體參數(shù)規(guī)模（據(jù)測試，其反應(yīng)速度似乎要明顯快于 671B 的 V3 系列，有人猜測或?yàn)?200B 模型）、是否已整合 Engram 和 mHC 等新架構(gòu)組件，以及它在標(biāo)準(zhǔn)基準(zhǔn)測試上的表現(xiàn)如何，這些信息 DeepSeek 均未披露。

去年 R1 在農(nóng)歷新年前夕橫空出世，引發(fā)全球震動，英偉達(dá)市值單日蒸發(fā) 5930 億美元；而今年 DeepSeek 的故事還在慢慢展開。百萬 token 上下文的灰度測試可能只是小年夜的一道開胃菜。真正的年夜飯，或許還在后頭。

參考資料：

1.https://www.reddit.com/r/LocalLLaMA/comments/1qi06kp/one_of_the_deepseek_repositories_got_updated_with/

運(yùn)營/排版：何晨龍