梁文峰參與的DeepSeek新論文，其實(shí)暗合了人類的思考原理

關(guān)于這篇論文，技術(shù)角度太復(fù)雜了，我們來(lái)通過(guò)一個(gè)日常使用中的問(wèn)題來(lái)解釋這個(gè)工作的重要性。

很多人用DeepSeek其實(shí)忽略了一點(diǎn)，那就是對(duì)話的長(zhǎng)度是有限制的，有些人會(huì)在同一個(gè)對(duì)話欄里跟DeepSeek一直對(duì)話，直到不能繼續(xù)。

出現(xiàn)這個(gè)現(xiàn)象的原因就在于Context（上下文），說(shuō)白了就是現(xiàn)如今大模型的記憶力是有限的，它的記憶力長(zhǎng)度其實(shí)是設(shè)定好的，根據(jù)DeepSeek的官方文檔，R1的長(zhǎng)度就是64K。

然后一個(gè)中文字符占0.6token。

64000/0.6 約等于 10.6萬(wàn)個(gè)中文字符。

一般來(lái)說(shuō)一個(gè)單次對(duì)話不會(huì)超過(guò)10.6字。

但是，人類的記憶是可以跨越數(shù)十年的，90歲的時(shí)候都可以回憶起小時(shí)候的某個(gè)記憶片段。

大模型也是有記憶的，不知道大家在使用DeepSeek R1模式的時(shí)候有沒(méi)有注意到它的「回憶和記憶」現(xiàn)象。

這是我首先問(wèn)的DeepSeek的一件事，就是“

吃了火鍋拉肚子怎么辦

從原理到解決方法到后續(xù)的預(yù)防，它都提到了。

重要的事情在后面，就是我接著又問(wèn)了DeepSeek一個(gè)問(wèn)題

我今天打算做一個(gè)火雞面當(dāng)晚飯，怎么做好吃？

然后你看DeepSeek的思考過(guò)程，注意劃紅線的地方。

“首先，我得回想一下用戶之前的對(duì)話歷史。之前他提到吃了火鍋后拉肚子，可能是因?yàn)樘被蛘咛湍仭Ｋ袁F(xiàn)在他要做火雞面，雖然火雞面本身也是辣的，但可能需要考慮他的腸胃狀況。不過(guò)這次他可能已經(jīng)恢復(fù)好了，或者想繼續(xù)挑戰(zhàn)辣味。但作為回答者，我可能需要提醒他注意辣度，或者給出調(diào)整辣度的建議。 用戶可能是一個(gè)喜歡辛辣食物的人，但之前因?yàn)槌曰疱亴?dǎo)致腸胃不適，所以在制作火雞面時(shí)可能需要平衡辣度和腸胃的承受能力。或者他可能已經(jīng)恢復(fù)，只是單純想要美味的做法。 同時(shí)，提醒用戶根據(jù)自身情況調(diào)整辣度，特別是考慮到之前拉肚子的情況，可能需要適量減少辣醬的使用或者搭配解辣的食物。”

你發(fā)現(xiàn)沒(méi)，它會(huì)把你之前的情況考慮的得非常周到，幾乎處處在考慮你的身體情況，這就是「上下文」帶來(lái)的記憶能力。

就跟人的記憶一樣，一個(gè)人的記憶會(huì)造成長(zhǎng)期的影響。如果你不小心胳膊骨折，那你在以后的所有相關(guān)事情上都會(huì)特別注意。

但你在DeepSeek新開(kāi)一個(gè)對(duì)話框的話，你會(huì)發(fā)現(xiàn)同樣的火雞面做法問(wèn)題，它就是單純的給你一個(gè)做法，它并不知道你拉肚子了。

記憶被截?cái)嗔恕?/strong>

新開(kāi)一個(gè)對(duì)話框就是一段全新的記憶，但實(shí)際上人不是。

而AI想要進(jìn)化到AGI，其中一個(gè)特性就應(yīng)該是盡可能長(zhǎng)的記憶，就跟人一樣，不一定將所有的細(xì)節(jié)都記住，而是將很多事情的某個(gè)片段或者重要信息記住，然后在需要的時(shí)候想起這個(gè)點(diǎn)。

然后從點(diǎn)到線，從線到面的復(fù)現(xiàn)整個(gè)過(guò)程。

而DeepSeek的新論文，說(shuō)白了就說(shuō)讓記憶提取的成本變低，只需要原本1/10的成本就可以做到性能相似的結(jié)果，這也給增大記憶留下了更多的可能性。

甚至你會(huì)發(fā)現(xiàn)NSA這個(gè)工作是暗合人類記憶能力背后原理的。

人類會(huì)將重要事情記得非常牢，而別的事情可能會(huì)通過(guò)幾件重要的事情連帶地提取出來(lái)。

而DeepSeek的工作也類似，也是將重要的事情提取出來(lái)，然后其他的暫時(shí)沉寂下去，這樣繼續(xù)優(yōu)化下去。

未來(lái)的AI大模型一定不需要那么多的對(duì)話框，只需要一個(gè)對(duì)話框，一份記憶，你的AI會(huì)跟你在長(zhǎng)久的對(duì)話中獲得不斷的提升，這種提升不一定是智力上的，而是心靈的契合程度。