香港中文大學(xué)等團隊破解智能體"健忘癥"

這項由香港中文大學(xué)裴澤華、潘信陵和于貝等學(xué)者，聯(lián)合華為諾亞方舟實驗室任慧玲、柯世雄、王云鶴、袁明軒等研究人員共同完成的研究，于2024年12月在預(yù)印本論文平臺發(fā)表，論文編號為arXiv:2512.15374v1。感興趣的讀者可以通過該編號查詢完整論文內(nèi)容。

在現(xiàn)實生活中，當(dāng)我們反復(fù)犯同樣的錯誤時，通常會被說成"不長記性"。現(xiàn)在的AI智能體也面臨著相似的問題。當(dāng)前的AI助手就像一個健忘的學(xué)徒，即使剛剛因為操作錯誤而失敗，下一次遇到類似情況時仍然會重復(fù)相同的錯誤。這種現(xiàn)象在AI領(lǐng)域被稱為"靜態(tài)提示詞"問題，就好比給學(xué)徒一份永遠(yuǎn)不變的工作手冊，無論遇到多少新情況或犯了多少錯誤，手冊內(nèi)容永遠(yuǎn)不會更新。

研究團隊發(fā)現(xiàn)了一個令人震驚的現(xiàn)象：當(dāng)前最先進的AI智能體系統(tǒng)雖然能夠獲取大量的上下文信息，卻缺乏有效管理這些信息的機制。這就像一個擁有世界上最大圖書館鑰匙的人，卻不知道如何找到需要的書籍一樣。通過分析超過150萬行的AI執(zhí)行日志，研究人員識別出兩種主要的失敗模式。第一種是"糾正性失敗"，AI在收到明確的錯誤信息后，仍然將其視為普通警報而非可操作的反饋。第二種是"增強性失敗"，即使在沒有明顯錯誤的情況下，AI也錯過了優(yōu)化機會，固守低效的策略。

為了解決這一根本性問題，研究團隊開發(fā)了一個名為SCOPE的革命性框架，全稱為"通過提示詞進化實現(xiàn)自進化上下文優(yōu)化"。這個系統(tǒng)的核心思想是讓AI的指令系統(tǒng)能夠像生物進化一樣不斷完善自己。SCOPE將上下文管理轉(zhuǎn)化為一個在線優(yōu)化問題，通過分析執(zhí)行軌跡來自動合成指導(dǎo)原則，讓智能體的提示詞能夠自動進化。

SCOPE系統(tǒng)的工作原理可以用一個不斷改進的烹飪食譜來類比。傳統(tǒng)的AI智能體就像嚴(yán)格按照一份固定食譜做菜的廚師，即使發(fā)現(xiàn)某種調(diào)料會讓菜變苦，下次做菜時仍會加入同樣的調(diào)料。而SCOPE系統(tǒng)則像一個聰明的廚師，會在食譜的空白處記錄每次的經(jīng)驗教訓(xùn)。當(dāng)發(fā)現(xiàn)某種調(diào)料會讓菜變苦時，會在食譜上寫下"避免使用X調(diào)料"。當(dāng)發(fā)現(xiàn)某種搭配特別美味時，會記錄下"嘗試使用Y和Z的組合"。

這個系統(tǒng)引入了雙流路由機制，能夠平衡戰(zhàn)術(shù)特異性和戰(zhàn)略通用性。戰(zhàn)術(shù)流專門處理當(dāng)前任務(wù)的具體問題，就像在食譜上臨時記錄"今天的鹽比較咸，要少放一些"。戰(zhàn)略流則負(fù)責(zé)提取長期有效的通用原則，如"在潮濕天氣里，面粉的吸水性會增強，需要適當(dāng)減少液體用量"。

除了雙流機制，SCOPE還采用了視角驅(qū)動探索策略，同時維護多個具有不同優(yōu)化視角的并行提示詞。這就像同時培訓(xùn)兩個不同風(fēng)格的廚師，一個專注于效率，追求快速出菜，另一個專注于精致，確保每道菜品都達(dá)到完美水準(zhǔn)。在面對不同類型的"客戶"時，系統(tǒng)能夠選擇最適合的"廚師"來處理任務(wù)。

在實際測試中，SCOPE展現(xiàn)出了令人矚目的效果。在專業(yè)級別的HLE基準(zhǔn)測試中，這個系統(tǒng)將任務(wù)成功率從14.23%提升到了38.64%，幾乎實現(xiàn)了三倍的性能提升。在GAIA基準(zhǔn)測試中，成功率從32.73%躍升至56.97%。這種改善不是一次性的突破，而是隨著指導(dǎo)原則的積累而持續(xù)改進的過程。

研究團隊深入分析了超過150萬行執(zhí)行日志后，發(fā)現(xiàn)了兩種截然不同的失敗模式。糾正性失敗通常發(fā)生在AI收到明確錯誤信號時。比如，當(dāng)系統(tǒng)提示"找不到final_answer工具"并明確列出可用工具列表時，AI卻繼續(xù)嘗試使用錯誤的工具名稱。這就像一個人明明看到門上寫著"拉"，卻還在那里拼命推門一樣。更嚴(yán)重的情況下，AI甚至?xí)跓o法獲取真實數(shù)據(jù)時編造信息，這種行為在部署到真實環(huán)境中可能帶來嚴(yán)重的安全風(fēng)險。

增強性失敗則更加微妙，它發(fā)生在沒有明顯錯誤的情況下。AI可能采用了技術(shù)上正確但效率極低的策略。例如，在搜索棒球相關(guān)信息時，AI只使用"walks"這個詞，而錯過了更專業(yè)的術(shù)語"base on balls"或縮寫"BB"。這就像用最原始的方法解決問題，雖然最終可能成功，但過程極其低效。

SCOPE的指導(dǎo)原則合成過程采用了創(chuàng)新的最佳N選擇機制。系統(tǒng)首先生成多個候選指導(dǎo)原則，然后通過專門的選擇器來挑選最優(yōu)方案，這個過程類似于舉辦一場內(nèi)部創(chuàng)意比賽，讓多個方案競爭，最終選出最實用的指導(dǎo)原則。

在分類和路由階段，SCOPE使用專門的分類器來評估每個指導(dǎo)原則的通用性并分配置信度得分。高置信度的通用原則會被添加到戰(zhàn)略記憶中，在多個任務(wù)間保持有效。低置信度或任務(wù)特定的原則則被分配到戰(zhàn)術(shù)記憶中，僅在當(dāng)前任務(wù)中有效。這種設(shè)計確保了系統(tǒng)既能學(xué)到長期有效的智慧，又不會被過于具體的臨時經(jīng)驗所困擾。

記憶優(yōu)化是SCOPE的另一個重要特性。當(dāng)戰(zhàn)略記憶中的指導(dǎo)原則數(shù)量超過預(yù)設(shè)閾值時，系統(tǒng)會自動觸發(fā)優(yōu)化流程。這個過程包括沖突解決、包含性修剪和整合三個步驟。沖突解決負(fù)責(zé)處理相互矛盾的指導(dǎo)原則，包含性修剪會移除被更通用原則覆蓋的具體規(guī)則，整合則將相似的指導(dǎo)原則合并為更全面的規(guī)則。

視角驅(qū)動探索機制讓SCOPE能夠同時維護多個優(yōu)化視角。效率視角專注于減少延遲和計算成本，傾向于快速失敗和工具切換策略。完整性視角則優(yōu)先考慮準(zhǔn)確性和全面性，更傾向于嘗試多種方法和深度驗證。實驗結(jié)果顯示，這兩個視角在不同類型的任務(wù)上各有優(yōu)勢，它們的交集僅占33.94%，意味著約23%的解決方案是某個特定視角獨有的。

在具體實現(xiàn)上，研究團隊構(gòu)建了一個分層多智能體系統(tǒng)作為基礎(chǔ)測試平臺。這個系統(tǒng)包含一個規(guī)劃智能體作為頂層協(xié)調(diào)者，以及多個專門的子智能體，包括網(wǎng)絡(luò)搜索、分析和瀏覽器智能體。每個智能體都配備了特定領(lǐng)域的工具，使用不同的語言模型以發(fā)揮各自的優(yōu)勢。

實驗結(jié)果顯示，SCOPE在多個維度上都表現(xiàn)出色。在專業(yè)知識密集型領(lǐng)域，如生物醫(yī)學(xué)和化學(xué)，系統(tǒng)的改進最為顯著。在生物醫(yī)學(xué)領(lǐng)域，準(zhǔn)確率從14.9%提升至43.2%，在化學(xué)領(lǐng)域從14.1%躍升至50.3%。這些領(lǐng)域通常涉及專門的工具使用和復(fù)雜的協(xié)議，SCOPE的領(lǐng)域特定指導(dǎo)原則能夠有效幫助智能體恢復(fù)和優(yōu)化。

研究團隊還發(fā)現(xiàn)了一個反直覺的現(xiàn)象：將指導(dǎo)原則放置在系統(tǒng)提示詞中比放置在用戶提示詞中效果更好。系統(tǒng)提示詞放置方式實現(xiàn)了46.06%的準(zhǔn)確率，而用戶提示詞放置方式僅達(dá)到41.21%。分析表明，系統(tǒng)提示詞作為隱性背景指導(dǎo)，允許智能體將指導(dǎo)原則內(nèi)化并保持探索靈活性。相比之下，用戶提示詞中的指導(dǎo)原則被視為顯式命令，導(dǎo)致過度順從，智能體變得過于保守，提前終止任務(wù)而非持續(xù)探索。

在模型選擇方面，研究發(fā)現(xiàn)SCOPE的有效性與具體的元智能體模型選擇無關(guān)。無論使用GPT-4.1還是Gemini-2.5-Pro作為指導(dǎo)原則生成器，系統(tǒng)都能實現(xiàn)相似的性能表現(xiàn)，差異僅在1.2%以內(nèi)。這一發(fā)現(xiàn)簡化了部署過程，允許實踐者根據(jù)成本或延遲需求而非準(zhǔn)確性需求來選擇模型。

通過對指導(dǎo)原則分布的詳細(xì)分析，研究團隊發(fā)現(xiàn)增強型指導(dǎo)原則占所有合成指導(dǎo)原則的61%，這表明SCOPE主要是一個優(yōu)化器而非僅僅是錯誤調(diào)試工具。這種主動優(yōu)化的特性解釋了為什么SCOPE在錯誤率較低的情況下仍能持續(xù)改進，因為它能夠編碼成功模式來預(yù)防潛在失敗。

研究還揭示了一個重要的合規(guī)性現(xiàn)象：智能體確實會遵循合成的指導(dǎo)原則。通過語言采用分析，研究團隊發(fā)現(xiàn)智能體在SCOPE合成指導(dǎo)原則后，會在后續(xù)輸出中逐字采用相關(guān)措辭。例如，當(dāng)系統(tǒng)合成了建議使用"合理標(biāo)簽同義詞和短語變體"的指導(dǎo)原則后，智能體的后續(xù)輸出會直接包含這一確切措辭。這種直接的語言轉(zhuǎn)移提供了強有力的證據(jù)，證明指導(dǎo)原則被積極整合到智能體的決策制定過程中。

現(xiàn)代智能體系統(tǒng)的復(fù)雜性為這種動態(tài)優(yōu)化創(chuàng)造了獨特的機會。成功的GAIA軌跡平均需要16.4個步驟，復(fù)雜任務(wù)甚至超過30輪交互。系統(tǒng)由專門的子智能體組成，如瀏覽器和分析器，各自具有不同的失敗模式。這種異構(gòu)性意味著優(yōu)化必須是智能體特定的。研究結(jié)果顯示，瀏覽器智能體積累了最多的指導(dǎo)原則，主要集中在應(yīng)對網(wǎng)絡(luò)特定挑戰(zhàn)的效率指導(dǎo)上，而規(guī)劃智能體的指導(dǎo)原則則專注于工具使用，反映了其協(xié)調(diào)角色。

SCOPE框架的理論基礎(chǔ)在于將智能體的提示詞視為可進化的參數(shù)。與傳統(tǒng)的梯度優(yōu)化不同，由于提示詞空間是離散的，系統(tǒng)無法直接計算梯度。相反，SCOPE從執(zhí)行軌跡中合成自然語言指導(dǎo)原則，將離散優(yōu)化問題轉(zhuǎn)化為可操作的文本更新過程。這種方法使得每次智能體調(diào)用都成為應(yīng)用學(xué)習(xí)指導(dǎo)原則的機會。

在安全性和可靠性方面，研究發(fā)現(xiàn)基礎(chǔ)智能體在面臨不確定性時存在編造信息的嚴(yán)重傾向。當(dāng)遇到無法讀取的文件或無法訪問的網(wǎng)址時，智能體經(jīng)常生成假設(shè)性分析，然后基于這些完全虛構(gòu)的數(shù)據(jù)產(chǎn)生看似合理的最終答案。SCOPE通過提供明確的不確定性處理指導(dǎo)原則，顯著減少了這種危險行為。

這項研究的意義遠(yuǎn)遠(yuǎn)超出了技術(shù)層面的改進。它展示了一種新的AI發(fā)展范式，從靜態(tài)的、手工制作的指令轉(zhuǎn)向動態(tài)的、自適應(yīng)的智能系統(tǒng)。這種方法不僅提高了性能，還為AI系統(tǒng)的持續(xù)學(xué)習(xí)和改進開辟了新的可能性。隨著AI技術(shù)在各個領(lǐng)域的應(yīng)用日益廣泛，這種能夠從經(jīng)驗中學(xué)習(xí)并自我改進的能力將變得越來越重要。

值得注意的是，SCOPE的成功不僅在于技術(shù)創(chuàng)新，還在于對AI智能體認(rèn)知局限性的深刻理解。通過識別和解決糾正性失敗和增強性失敗這兩種根本性問題，研究團隊為整個AI領(lǐng)域提供了寶貴的見解。這種對問題本質(zhì)的深入分析，結(jié)合創(chuàng)新的解決方案，使得SCOPE不僅是一個有效的技術(shù)工具，更是AI發(fā)展方向上的重要里程碑。

實驗驗證的廣度和深度也值得贊揚。研究團隊在多個具有挑戰(zhàn)性的基準(zhǔn)測試上驗證了SCOPE的有效性，從專業(yè)級別的HLE測試到通用AI助手的GAIA評估，再到深度搜索的DeepSearch基準(zhǔn)。這種全面的評估確保了研究結(jié)果的可靠性和普適性。

從實用角度來看，SCOPE的模型無關(guān)性使其能夠輕松集成到現(xiàn)有的AI系統(tǒng)中，無需對底層架構(gòu)進行重大修改。這種設(shè)計哲學(xué)確保了研究成果能夠快速轉(zhuǎn)化為實際應(yīng)用，為AI技術(shù)的產(chǎn)業(yè)化提供了有力支持。

總體而言，SCOPE代表了AI智能體技術(shù)發(fā)展的一個重要轉(zhuǎn)折點。它不僅解決了當(dāng)前系統(tǒng)的關(guān)鍵問題，還為未來更加智能、自適應(yīng)的AI系統(tǒng)奠定了基礎(chǔ)。隨著這一技術(shù)的進一步發(fā)展和應(yīng)用，我們有望看到AI助手在各個領(lǐng)域發(fā)揮更大的作用，真正成為人類的得力助手。

Q&A

Q1：SCOPE系統(tǒng)如何幫助AI智能體避免重復(fù)犯錯？

A：SCOPE通過動態(tài)更新AI的指令系統(tǒng)來解決這個問題。就像給AI提供一本會自動更新的工作手冊，每當(dāng)AI犯錯或找到更好的解決方法時，系統(tǒng)會自動在"手冊"中添加相應(yīng)的指導(dǎo)原則。比如AI第一次因為工具名稱錯誤而失敗后，SCOPE會自動生成"使用正確工具名稱"的指導(dǎo)原則，確保下次不會犯同樣錯誤。

Q2：雙流路由機制是什么，為什么需要區(qū)分戰(zhàn)術(shù)和戰(zhàn)略指導(dǎo)？

A：雙流機制類似于區(qū)分"臨時筆記"和"長期經(jīng)驗"。戰(zhàn)術(shù)流處理當(dāng)前任務(wù)的具體問題，如"今天網(wǎng)絡(luò)很慢，要多等幾秒"，這種指導(dǎo)只對當(dāng)前任務(wù)有用。戰(zhàn)略流則提取通用原則，如"網(wǎng)絡(luò)請求失敗時應(yīng)該重試三次"，這種經(jīng)驗可以在多個任務(wù)中重復(fù)使用。這樣既能解決當(dāng)前問題，又能積累長期智慧。

Q3：視角驅(qū)動探索為什么要同時維護效率和完整性兩種視角？

A：這就像同時培訓(xùn)一個快手廚師和一個精工廚師。效率視角追求快速解決問題，適合處理時間緊迫的簡單任務(wù)。完整性視角注重準(zhǔn)確性和全面性，更適合復(fù)雜的專業(yè)任務(wù)。實驗顯示，約23%的成功案例是某個特定視角獨有的，這意味著單一視角會錯過很多解決方案，只有結(jié)合兩種視角才能應(yīng)對各種不同類型的挑戰(zhàn)。