浙大讓AI大腦學(xué)會(huì)"刪繁就簡"：推理能力不減，內(nèi)存消耗暴降70%

這項(xiàng)由浙江大學(xué)聯(lián)合螞蟻集團(tuán)發(fā)表于2024年的研究論文（arXiv:2604.03679v1），為解決大型語言模型在復(fù)雜推理時(shí)的效率瓶頸提供了突破性方案。有興趣深入了解的讀者可以通過論文編號(hào)arXiv:2604.03679v1查詢完整論文。

回到十年前，當(dāng)我們使用手機(jī)時(shí)，經(jīng)常會(huì)遇到這樣的情況：打開幾個(gè)應(yīng)用程序后，手機(jī)就開始卡頓，因?yàn)閮?nèi)存不夠用了。類似地，當(dāng)今最先進(jìn)的AI語言模型在進(jìn)行復(fù)雜推考時(shí)也面臨著同樣的困擾。當(dāng)AI需要解決一個(gè)復(fù)雜的數(shù)學(xué)問題或進(jìn)行多步推理時(shí)，它會(huì)產(chǎn)生大量的"思考痕跡"，就像我們?cè)诩埳涎菟銜r(shí)會(huì)寫下很多中間步驟一樣。然而，這些思考痕跡會(huì)迅速占滿AI的"內(nèi)存空間"，導(dǎo)致推理速度變慢，成本急劇上升。

浙江大學(xué)的研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：人類在解決復(fù)雜問題時(shí)，并不會(huì)把每一個(gè)中間步驟都牢牢記在腦子里。相反，我們會(huì)把重要的結(jié)論提煉出來，暫時(shí)"忘掉"具體的計(jì)算過程，只在需要時(shí)再回憶起相關(guān)細(xì)節(jié)。基于這個(gè)觀察，研究團(tuán)隊(duì)開發(fā)了一套名為LightThinker的智能壓縮系統(tǒng)，教會(huì)AI如何像人類一樣進(jìn)行"有選擇性的記憶"。

這項(xiàng)研究的核心創(chuàng)新在于，它不是簡單地刪除AI的思考內(nèi)容，而是教會(huì)AI如何"提煉要點(diǎn)"。就像一個(gè)熟練的記者能把長篇采訪壓縮成新聞?wù)瑫r(shí)保留所有關(guān)鍵信息一樣，LightThinker能夠?qū)I冗長的推理過程壓縮成精煉的"思考精華"，在大幅減少內(nèi)存占用的同時(shí)，確保推理質(zhì)量不受影響。

實(shí)驗(yàn)結(jié)果令人印象深刻。在保持推理準(zhǔn)確性的前提下，LightThinker將AI的內(nèi)存峰值使用量減少了70%，推理時(shí)間縮短了26%。更令人驚喜的是，在一些復(fù)雜推理任務(wù)中，這種"精簡記憶"的方式實(shí)際上還提升了AI的表現(xiàn)，準(zhǔn)確率平均提高了2.42%。這就像整理房間一樣，去除雜亂物品后，不僅空間更大了，找東西也更容易了。

研究團(tuán)隊(duì)還開發(fā)了LightThinker++，這是一個(gè)更加智能的升級(jí)版本。如果說LightThinker是教AI學(xué)會(huì)"做筆記"，那么LightThinker++就是教AI學(xué)會(huì)"管理筆記本"。它不僅能壓縮信息，還能在需要時(shí)重新展開詳細(xì)內(nèi)容，就像我們能夠根據(jù)關(guān)鍵詞回憶起完整的記憶一樣。這種"可逆的壓縮"特別適合處理那些需要反復(fù)查閱前面步驟的復(fù)雜推理任務(wù)。

在長期復(fù)雜任務(wù)的測試中，LightThinker++展現(xiàn)了更加顯著的優(yōu)勢(shì)。當(dāng)普通AI模型的內(nèi)存使用量在60輪對(duì)話后急劇膨脹到10萬個(gè)詞匯單元時(shí)，LightThinker++始終保持在3-4萬個(gè)詞匯單元的穩(wěn)定水平，即使經(jīng)過80輪對(duì)話仍然游刃有余。同時(shí)，它在復(fù)雜任務(wù)中的成功率平均提升了14.8%，在最困難的任務(wù)上甚至實(shí)現(xiàn)了2.51倍的性能飛躍。

一、教AI學(xué)會(huì)"取其精華"的藝術(shù)

當(dāng)我們閱讀一本厚厚的教科書時(shí)，不會(huì)試圖記住每一個(gè)字，而是會(huì)提煉出重要概念和邏輯關(guān)系。LightThinker的核心思想正是模仿這種人類的學(xué)習(xí)方式。研究團(tuán)隊(duì)觀察到，AI在推理時(shí)產(chǎn)生的文本有兩個(gè)作用：一是確保語言流暢性，二是承載實(shí)際的推理邏輯。就像一篇文章中，有些詞語是為了讓句子讀起來順暢，有些詞語則承載著核心信息。

LightThinker的工作原理可以用編輯報(bào)紙的過程來類比。當(dāng)編輯收到一篇冗長的稿件時(shí)，他們會(huì)保留關(guān)鍵信息，刪除冗余描述，最終形成精煉的新聞報(bào)道。不同的是，LightThinker不是簡單的刪除，而是將完整的推理步驟"提煉"成一系列特殊的"概念標(biāo)記"，這些標(biāo)記雖然看起來簡短，但包含了原始推理的所有精髓。

這種壓縮過程需要AI學(xué)會(huì)判斷什么是重要的，什么是可以省略的。研究團(tuán)隊(duì)設(shè)計(jì)了一套特殊的訓(xùn)練方法，教AI識(shí)別推理過程中的關(guān)鍵節(jié)點(diǎn)。當(dāng)AI完成一個(gè)推理步驟時(shí)，系統(tǒng)會(huì)自動(dòng)將這個(gè)步驟的核心信息提取出來，存儲(chǔ)在"壓縮標(biāo)記"中，然后丟棄原始的詳細(xì)過程。接下來的推理就基于這些壓縮標(biāo)記進(jìn)行，就像我們?cè)诮忸}時(shí)會(huì)寫"由前面的結(jié)論可知..."一樣。

為了確保壓縮過程不會(huì)丟失關(guān)鍵信息，研究團(tuán)隊(duì)設(shè)計(jì)了精巧的注意力機(jī)制。這就像給AI配備了一個(gè)智能的"信息過濾器"，它能夠準(zhǔn)確識(shí)別哪些信息對(duì)后續(xù)推理是必需的，哪些只是語言表達(dá)的裝飾。通過大量訓(xùn)練，AI學(xué)會(huì)了在保持推理邏輯完整性的同時(shí)，最大化地減少存儲(chǔ)需求。

實(shí)驗(yàn)證明，這種方法在多個(gè)基準(zhǔn)測試中都表現(xiàn)出色。在數(shù)學(xué)推理任務(wù)中，LightThinker將原本需要2000多個(gè)詞匯單元的推理過程壓縮到600多個(gè)，壓縮率高達(dá)70%，而準(zhǔn)確率僅下降1%。在邏輯推理任務(wù)中，壓縮后的AI甚至表現(xiàn)得更好，這說明去除冗余信息實(shí)際上幫助AI更好地專注于核心邏輯。

二、從壓縮升級(jí)到智能記憶管理

如果說LightThinker是教AI學(xué)會(huì)"做筆記"，那么LightThinker++就是教AI學(xué)會(huì)"管理整個(gè)筆記系統(tǒng)"。研究團(tuán)隊(duì)發(fā)現(xiàn)，單純的信息壓縮在面對(duì)特別復(fù)雜的推理任務(wù)時(shí)可能會(huì)遇到瓶頸。有些時(shí)候，AI需要回到之前的詳細(xì)步驟中查找特定信息，但壓縮后的簡化版本可能不夠詳細(xì)。

這就像我們?cè)趯W(xué)習(xí)時(shí)做的思維導(dǎo)圖。剛開始，我們可能只寫下關(guān)鍵詞和簡單連接線，這對(duì)一般復(fù)習(xí)已經(jīng)足夠。但是當(dāng)需要深入研究某個(gè)概念時(shí)，我們希望能夠"展開"這個(gè)節(jié)點(diǎn)，看到更多詳細(xì)信息。LightThinker++正是實(shí)現(xiàn)了這種"可展開的記憶系統(tǒng)"。

LightThinker++引入了三種智能操作：提交(commit)、展開(expand)和折疊(fold)。當(dāng)AI完成一個(gè)推理步驟時(shí)，它可以選擇將這個(gè)步驟"提交"到記憶系統(tǒng)中，此時(shí)詳細(xì)過程被壓縮成摘要形式。當(dāng)后續(xù)推理需要回顧某個(gè)特定步驟時(shí)，AI可以"展開"那個(gè)步驟，重新獲取完整的詳細(xì)信息。使用完畢后，AI會(huì)"折疊"這個(gè)步驟，重新回到節(jié)省空間的摘要狀態(tài)。

這種設(shè)計(jì)的妙處在于，AI能夠根據(jù)推理的復(fù)雜程度動(dòng)態(tài)調(diào)整其記憶策略。在處理簡單問題時(shí)，AI主要依靠壓縮后的摘要信息，保持高效運(yùn)行。在遇到復(fù)雜瓶頸時(shí)，AI會(huì)主動(dòng)展開相關(guān)的歷史步驟，獲取解決問題所需的詳細(xì)信息。這就像我們?cè)诳荚嚂r(shí)，大部分時(shí)候依靠記憶中的要點(diǎn)答題，但在遇到難題時(shí)會(huì)仔細(xì)回憶相關(guān)的詳細(xì)知識(shí)。

為了訓(xùn)練AI掌握這些操作，研究團(tuán)隊(duì)開發(fā)了一套"協(xié)作合成"的訓(xùn)練方法。他們使用強(qiáng)大的教師模型生成高質(zhì)量的推理軌跡，這些軌跡包含了何時(shí)應(yīng)該使用哪種記憶操作的示例。通過學(xué)習(xí)這些示例，AI逐漸掌握了在什么情況下應(yīng)該壓縮信息，什么時(shí)候需要展開查看詳細(xì)內(nèi)容。

實(shí)驗(yàn)結(jié)果顯示，LightThinker++在復(fù)雜推理任務(wù)中表現(xiàn)尤為出色。在標(biāo)準(zhǔn)推理測試中，它不僅將內(nèi)存使用峰值降低了69.9%，還實(shí)現(xiàn)了2.42%的準(zhǔn)確率提升。這個(gè)看似矛盾的結(jié)果實(shí)際上反映了一個(gè)重要發(fā)現(xiàn)：經(jīng)過合理壓縮和管理的上下文信息，往往比雜亂無章的完整信息更有助于AI的推理表現(xiàn)。

三、在長期對(duì)話中展現(xiàn)真正實(shí)力

LightThinker++的真正價(jià)值在長期、復(fù)雜的對(duì)話任務(wù)中得到了最充分的體現(xiàn)。研究團(tuán)隊(duì)設(shè)計(jì)了一系列需要多輪交互的復(fù)雜任務(wù)，比如深度網(wǎng)絡(luò)搜索和信息整合。這些任務(wù)需要AI在數(shù)十輪對(duì)話中保持上下文連貫性，同時(shí)不斷積累和整合新信息。

在傳統(tǒng)方法中，隨著對(duì)話輪次的增加，AI需要處理的上下文信息呈指數(shù)級(jí)增長。就像我們的電腦在運(yùn)行多個(gè)程序時(shí)會(huì)越來越慢一樣，普通的AI模型在經(jīng)過幾十輪對(duì)話后會(huì)因?yàn)樯舷挛倪^載而性能急劇下降。研究發(fā)現(xiàn)，普通AI模型在60輪對(duì)話后，上下文長度會(huì)膨脹到10萬個(gè)詞匯單元，此時(shí)系統(tǒng)幾乎無法正常工作。

相比之下，LightThinker++展現(xiàn)了出色的"記憶管理"能力。即使經(jīng)過80輪復(fù)雜對(duì)話，它的活躍上下文始終保持在3-4萬個(gè)詞匯單元的健康水平，相當(dāng)于傳統(tǒng)方法的60-70%節(jié)省。更重要的是，這種記憶管理并沒有以犧牲性能為代價(jià)，反而帶來了顯著的性能提升。

在三個(gè)不同的復(fù)雜任務(wù)測試中，LightThinker++的平均成功率提升了14.8%。特別值得注意的是，在最具挑戰(zhàn)性的"困難"任務(wù)類別中，LightThinker++實(shí)現(xiàn)了驚人的2.51倍性能提升。這種提升主要來自于它能夠有效過濾噪音信息，讓AI專注于真正重要的推理線索。

研究團(tuán)隊(duì)通過詳細(xì)分析發(fā)現(xiàn)，LightThinker++的成功秘訣在于它的適應(yīng)性記憶策略。在處理簡單任務(wù)時(shí)，它主要依靠壓縮摘要來保持效率。在遇到復(fù)雜任務(wù)時(shí)，它會(huì)更頻繁地使用展開和折疊操作，動(dòng)態(tài)調(diào)整可見信息的詳細(xì)程度。這種適應(yīng)性使得AI能夠在保持高效運(yùn)行的同時(shí)，應(yīng)對(duì)各種復(fù)雜度的挑戰(zhàn)。

從效率角度來看，LightThinker++還顯著降低了推理成本。在相同的計(jì)算資源下，它能夠處理更多輪的對(duì)話，或者在相同的對(duì)話輪次下提供更準(zhǔn)確的結(jié)果。這對(duì)于實(shí)際應(yīng)用來說意義重大，因?yàn)樗馕吨偷倪\(yùn)營成本和更好的用戶體驗(yàn)。

四、技術(shù)創(chuàng)新的深層邏輯

LightThinker系列方法的成功并非偶然，而是基于對(duì)人類認(rèn)知過程的深刻理解。研究團(tuán)隊(duì)觀察到，人類大腦在處理復(fù)雜信息時(shí)有一個(gè)重要特征：工作記憶容量有限，但能夠通過分層組織和選擇性注意來高效處理復(fù)雜任務(wù)。

這種認(rèn)知經(jīng)濟(jì)學(xué)的原理在LightThinker的設(shè)計(jì)中得到了體現(xiàn)。傳統(tǒng)的AI模型試圖在推理過程中保留所有信息，就像一個(gè)試圖同時(shí)記住整本教科書每個(gè)細(xì)節(jié)的學(xué)生。而LightThinker則模仿了優(yōu)秀學(xué)者的學(xué)習(xí)方式：及時(shí)總結(jié)要點(diǎn)，按需查閱詳細(xì)內(nèi)容，始終保持清晰的思維框架。

從技術(shù)實(shí)現(xiàn)的角度來看，LightThinker使用了一種創(chuàng)新的"分離式"設(shè)計(jì)。在傳統(tǒng)方法中，信息壓縮和內(nèi)容生成是耦合在一起的，這就像一個(gè)人一邊做筆記一邊思考，容易產(chǎn)生混亂。LightThinker將這兩個(gè)過程分離開來：專門的"壓縮標(biāo)記"負(fù)責(zé)存儲(chǔ)精華信息，專門的"生成標(biāo)記"負(fù)責(zé)基于壓縮信息進(jìn)行推理。這種分離使得整個(gè)系統(tǒng)更加穩(wěn)定和可控。

LightThinker++進(jìn)一步引入了"顯式記憶管理"的概念。這不僅僅是技術(shù)上的改進(jìn)，更代表了AI系統(tǒng)設(shè)計(jì)哲學(xué)的轉(zhuǎn)變：從被動(dòng)的信息處理轉(zhuǎn)向主動(dòng)的知識(shí)管理。AI不再是簡單地響應(yīng)輸入，而是能夠主動(dòng)規(guī)劃自己的記憶使用策略，這使得它在處理復(fù)雜任務(wù)時(shí)更像一個(gè)有經(jīng)驗(yàn)的專家。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：經(jīng)過適當(dāng)壓縮的上下文信息往往比原始的冗長信息更有助于推理。這類似于編輯過的文章往往比初稿更清晰易懂。通過去除冗余和噪音，AI能夠更好地識(shí)別關(guān)鍵模式和邏輯關(guān)系，從而提高推理質(zhì)量。

這種"少即是多"的效果在數(shù)學(xué)推理中尤其明顯。研究發(fā)現(xiàn)，當(dāng)AI處理復(fù)雜數(shù)學(xué)問題時(shí)，保留過多的中間計(jì)算細(xì)節(jié)反而可能干擾最終的邏輯判斷。而經(jīng)過合理壓縮的關(guān)鍵步驟摘要能夠幫助AI保持清晰的解題思路，避免在細(xì)枝末節(jié)中迷失。

五、實(shí)驗(yàn)驗(yàn)證的全方位視角

為了全面驗(yàn)證LightThinker系列方法的有效性，研究團(tuán)隊(duì)設(shè)計(jì)了一套涵蓋多個(gè)維度的綜合實(shí)驗(yàn)方案。他們不僅測試了準(zhǔn)確性和效率，還深入分析了方法的適用范圍、穩(wěn)定性和可擴(kuò)展性。

在準(zhǔn)確性測試中，研究團(tuán)隊(duì)使用了四個(gè)經(jīng)典的推理基準(zhǔn)數(shù)據(jù)集：GSM8K(數(shù)學(xué)推理)、MMLU(多領(lǐng)域知識(shí))、GPQA(科學(xué)推理)和BBH(復(fù)雜邏輯)。這些數(shù)據(jù)集代表了AI推理能力的不同方面，從基礎(chǔ)計(jì)算到高級(jí)抽象思維。實(shí)驗(yàn)結(jié)果顯示，LightThinker在所有測試中都保持了與傳統(tǒng)方法相當(dāng)或更好的準(zhǔn)確性。

特別值得注意的是，在一些復(fù)雜推理任務(wù)中，LightThinker的表現(xiàn)實(shí)際上超越了傳統(tǒng)方法。研究人員分析認(rèn)為，這是因?yàn)樾畔嚎s幫助AI過濾了干擾信息，使其能夠更專注于核心推理邏輯。這就像清理雜亂的書桌能夠提高工作效率一樣。

在效率測試中，研究團(tuán)隊(duì)從多個(gè)角度評(píng)估了方法的性能提升。除了傳統(tǒng)的內(nèi)存使用和推理時(shí)間指標(biāo)，他們還引入了一個(gè)創(chuàng)新的"依賴度"指標(biāo)，用于衡量AI在生成過程中對(duì)歷史信息的整體依賴程度。這個(gè)指標(biāo)能夠更準(zhǔn)確地反映不同方法的壓縮效果。

實(shí)驗(yàn)發(fā)現(xiàn)，LightThinker將平均依賴度降低了78%，這意味著AI在推理過程中需要"回顧"的信息量大幅減少。同時(shí)，推理時(shí)間縮短了26%，內(nèi)存峰值使用量降低了70%。這些數(shù)字的背后是顯著的成本節(jié)省和用戶體驗(yàn)改善。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，分析了不同組件對(duì)整體性能的貢獻(xiàn)。他們發(fā)現(xiàn)，壓縮粒度的選擇對(duì)效果有重要影響。以"思考步驟"為單位的壓縮比以"詞匯"為單位的壓縮效果更好，這說明保持邏輯完整性比單純減少詞匯數(shù)量更重要。

在可擴(kuò)展性測試中，研究人員模擬了不同長度的推理任務(wù)，從簡單的幾步推理到復(fù)雜的數(shù)十步推理。結(jié)果顯示，隨著任務(wù)復(fù)雜度的增加，LightThinker的優(yōu)勢(shì)變得更加明顯。這印證了該方法特別適合處理長期、復(fù)雜的推理任務(wù)。

六、從理論突破到實(shí)用價(jià)值

LightThinker系列方法的意義不僅在于技術(shù)上的創(chuàng)新，更在于它為AI應(yīng)用的實(shí)用化開辟了新的可能性。當(dāng)前許多AI應(yīng)用因?yàn)橛?jì)算成本過高而難以大規(guī)模部署，LightThinker提供的效率提升使得更復(fù)雜的AI服務(wù)變得經(jīng)濟(jì)可行。

在教育領(lǐng)域，這種技術(shù)可以讓AI導(dǎo)師在長時(shí)間的個(gè)性化教學(xué)過程中保持高效響應(yīng)。AI導(dǎo)師可以在與學(xué)生的多輪對(duì)話中不斷積累對(duì)學(xué)生學(xué)習(xí)狀況的理解，同時(shí)通過智能壓縮避免信息過載。學(xué)生可以隨時(shí)詢問之前討論過的概念，AI能夠準(zhǔn)確回憶相關(guān)內(nèi)容而不會(huì)因?yàn)樯舷挛倪^長而出現(xiàn)混亂。

在客戶服務(wù)領(lǐng)域，LightThinker++的記憶管理能力可以顯著改善用戶體驗(yàn)。客服AI可以在長期對(duì)話中記住用戶的問題歷史和偏好，提供更加個(gè)性化和連貫的服務(wù)。當(dāng)用戶提到"之前討論的那個(gè)問題"時(shí)，AI能夠準(zhǔn)確定位并展開相關(guān)信息。

在科研輔助方面，這種技術(shù)可以幫助研究人員處理大量的文獻(xiàn)和數(shù)據(jù)。AI可以在分析過程中動(dòng)態(tài)壓縮和管理信息，始終保持對(duì)研究主線的清晰把握，同時(shí)能夠在需要時(shí)深入特定的細(xì)節(jié)。這就像給研究人員配備了一個(gè)永不疲倦、記憶超群的研究助手。

從更廣闊的角度來看，LightThinker代表了AI系統(tǒng)設(shè)計(jì)思路的重要轉(zhuǎn)變：從追求更大的模型和更多的計(jì)算資源，轉(zhuǎn)向更智能的信息管理和更高效的資源利用。這種轉(zhuǎn)變對(duì)于AI技術(shù)的可持續(xù)發(fā)展具有重要意義，因?yàn)樗峁┝艘粭l在不顯著增加計(jì)算成本的前提下提升AI能力的道路。

研究團(tuán)隊(duì)指出，隨著AI模型規(guī)模的不斷增長，傳統(tǒng)的"堆疊式"擴(kuò)展方式將面臨越來越嚴(yán)重的效率瓶頸。LightThinker提供的"智能壓縮"思路為解決這一挑戰(zhàn)開辟了新的方向。未來的AI系統(tǒng)可能會(huì)更多地采用類似的認(rèn)知經(jīng)濟(jì)學(xué)原理，在保持強(qiáng)大功能的同時(shí)實(shí)現(xiàn)更高的效率。

說到底，這項(xiàng)研究最令人興奮的地方在于，它讓我們看到了一種更加"智能"的智能系統(tǒng)。這些系統(tǒng)不僅能夠處理復(fù)雜任務(wù)，還能夠智能地管理自己的認(rèn)知資源，就像一個(gè)經(jīng)驗(yàn)豐富的專家知道如何在繁重的工作中保持清晰思維一樣。這種能力的獲得，標(biāo)志著AI系統(tǒng)向著真正的智能化又邁進(jìn)了重要一步。

隨著技術(shù)的進(jìn)一步發(fā)展和完善，我們有理由期待看到更多基于這種"認(rèn)知經(jīng)濟(jì)學(xué)"原理的AI創(chuàng)新。這不僅會(huì)讓AI系統(tǒng)變得更加高效和實(shí)用，也會(huì)讓我們對(duì)人類智能本身有更深入的理解。畢竟，最好的AI往往是那些能夠從人類智慧中汲取靈感，然后以自己獨(dú)特的方式實(shí)現(xiàn)這些智慧的系統(tǒng)。

Q&A

Q1：LightThinker是如何做到既壓縮信息又保持推理準(zhǔn)確性的？

A：LightThinker采用了類似"做筆記提要"的方法，它不是簡單刪除信息，而是將AI的冗長推理過程提煉成包含核心邏輯的"壓縮標(biāo)記"。這些標(biāo)記雖然短小，但保留了推理的精華內(nèi)容。就像我們看筆記要點(diǎn)就能回憶起完整知識(shí)一樣，AI可以基于這些壓縮標(biāo)記繼續(xù)準(zhǔn)確推理。

Q2：LightThinker++的記憶管理功能具體是怎么工作的？

A：LightThinker++引入了三種智能操作：提交、展開和折疊。AI可以將推理步驟"提交"壓縮存儲(chǔ)，在需要詳細(xì)信息時(shí)"展開"查看完整內(nèi)容，使用完畢后再"折疊"回節(jié)省空間的狀態(tài)。這就像智能管理筆記本，平時(shí)看要點(diǎn)，需要時(shí)查詳情，用完再收起來。

Q3：這種壓縮技術(shù)能帶來多大的效率提升？

A：實(shí)驗(yàn)顯示LightThinker將內(nèi)存峰值使用量減少了70%，推理時(shí)間縮短了26%，而且在某些復(fù)雜任務(wù)中準(zhǔn)確率還提升了2.42%。在長期對(duì)話中，當(dāng)普通AI的內(nèi)存使用量膨脹到10萬詞匯單元時(shí)，LightThinker++始終保持在3-4萬的穩(wěn)定水平。