Context Engineering，記憶能力對于大模型的重要性還在提升

今年AI最火的方向是什么？估計大家也都聽過，就是AI Agent，AI代理。

而Agent本質(zhì)上就是LLM做腦子，其他的部件權(quán)限能給盡量給，比如讀文件，用搜索引擎等等，但這個腦子有個非常重要的指標(biāo)：腦容量。

腦容量也就是記憶量，放在LLM里面就是context上下文長度。

這個影響非常大，因為一個agent一次任務(wù)會產(chǎn)生非常多的副產(chǎn)品，比如思考過程，中間過程等等，而這些都需要“被記住”，所以理論上來說，這個context應(yīng)該是越長越好。

今年比較火的Agent，出圈的主要就是寫代碼的。

也就是自動寫程序，甚至能生成一整個項目的，國外有cursor，國內(nèi)有字節(jié)的Trae，它倆性能最好的時候就是用了Claude-4這一代的模型。

模型對代碼任務(wù)經(jīng)過微調(diào)占主要，context window根據(jù)推測最少也到20萬token這個級別。

而這個context window的指標(biāo)，24年底的DeepSeek R1只有12.8萬。

你在看ChatGPT3.5時代的context windows，只有1.6萬+。

小的context windows有個巨大的問題，那就是它根本處理不了稍微大點的文檔，還記得最開始的ChatGPT，為了能夠讀一本《三體》，不少人專門做了切分工具，每幾千字就自動分割，扔個ChatGPT，并且還要加Prompt，類似這樣的：

你是一個AI大模型，專門讀小說的，我這里有一本書，字?jǐn)?shù)比較多，需要切分成一段段給你看，如果可以的話，我就開始發(fā)給你了，看完后請告訴我

但是在Agent時代這種做法根本不可行，稍微大點的的文檔就是萬字，甚至有些大點的項目，幾十萬字的文檔+代碼也很常見，那么現(xiàn)在的主流大模型都把Context Window默默加大了，基本上都是百萬M級別。

MiniMax M1，百萬上下文

Gemini 2.5 Pro，現(xiàn)在是百萬上下文，馬上要到兩百萬。

你會發(fā)現(xiàn)現(xiàn)在能上的了榜單的模型，context window就沒有10萬以下的，低于這個數(shù)就基本上用不了。