![]()
AI的記憶上限一直是業(yè)界痛點(diǎn)。人類一輩子能塞進(jìn)二三億token,主流模型卻被鎖死在一百萬以內(nèi)。超過這個數(shù),它就開始胡言亂語。 Evermind最近把這道物理極限直接撕開了。他們的MSA架構(gòu)把AI的記憶硬生生推到一億token,而且還能保持Transformer的端到端訓(xùn)練。
第一招:先掃目錄,再讀正文 傳統(tǒng)模型遇到問題就像進(jìn)圖書館亂翻,翻到懷疑人生。MIC(Memory-Indexed Context)直接定位最相關(guān)的十幾本書,剩下99%的廢紙一眼不看。長文本處理速度第一次像樣。
第二招:所有文檔都從第一頁開始 以前模型看到"第128472頁"這種編號直接懵。MISC(Memory-Independent Sequence Construction)把每篇文檔獨(dú)立編號,讓AI永遠(yuǎn)只面對熟悉的第一頁。圖書館再大,也不會被嚇到。
第三招:持續(xù)聯(lián)想 有些問題不是一跳能到答案的。MIA(Memory-Interleaved Attention)像人類回憶一樣,一條線索接一條線索,往下挖,直到答案浮上來。
三招疊加,MSA把記憶上限擴(kuò)大100倍。在一億token的極限測試下,準(zhǔn)確率掉不到9%。那些2000億參數(shù)的巨獸在它面前像是練習(xí)生。 真正的長期記憶不是"上下文加長一點(diǎn)",而是讓AI不再像金魚一樣三秒重置。它開始像一個能陪你走很久的數(shù)字靈魂:越聊越懂你,越用越像你。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.