新加坡國立大學團隊發布深度研究AI評測新標準

深度研究人工智能系統已經成為科技界的熱門話題，但如何評判這些AI系統的研究能力一直是個難題。想象一下，如果我們要評估一位研究員的能力，僅僅看他最終寫出的報告是遠遠不夠的——我們更需要了解他是如何搜集信息、分析證據、處理沖突觀點，以及整個思考過程的邏輯性。然而，目前大多數AI評測方法就像只看考試成績而不關心答題過程的老師，這顯然無法全面衡量AI的研究能力。

這項由新加坡國立大學MiroMind團隊主導的研究發表于2026年3月，論文編號為arXiv:2603.28407v1。研究團隊不僅來自新加坡國立大學，還包括南洋理工大學的學者，他們共同開發了一套名為MiroEval的全新評測框架，這套系統就像為AI研究員設計了一場全方位的"能力測試"。

傳統的AI評測方法存在四個主要問題，就像用錯誤的尺子量身高一樣不準確。首先，現有評測只關注最終報告的質量，完全忽略了研究過程——這就好比只看菜品擺盤而不管廚師的烹飪技藝。其次，多模態評測能力嚴重不足，大多數評測都局限于文字內容，而現實中的研究往往需要處理圖表、PDF文檔、電子表格等各種格式的材料。第三，評測任務過于人工化，缺乏真實用戶需求的復雜性。最后，這些評測標準一旦制定就固定不變，無法跟上知識更新的步伐。

MiroEval的創新之處在于它不再是簡單的"閱卷機器"，而更像一個全方位的研究能力診斷專家。這套系統包含100個精心設計的研究任務，其中70個是純文本任務，30個是多模態任務。所有任務都源自真實用戶需求，通過兩條并行的流水線生成：一條專門收集和改寫真實用戶的研究需求，另一條則根據網絡熱點趨勢自動生成任務。這種設計就像為AI準備了一套既有經典題目又有最新熱點的綜合性考試。

更重要的是，MiroEval不只是看AI寫出了什么報告，而是像一個經驗豐富的導師一樣，從三個維度全面審視AI的研究能力。第一個維度是"綜合報告質量評估"，這就像評判一篇論文的寫作水平和內容組織能力。第二個維度是"智能事實核查"，系統會像一個嚴格的事實檢查員一樣，逐條驗證AI報告中的每個聲明是否有可靠證據支持。第三個維度是"研究過程評估"，這是最具創新性的部分，系統會深入分析AI是如何搜索信息、如何推理分析、如何處理矛盾證據的整個思考軌跡。

研究團隊測試了13個主流的深度研究AI系統，結果揭示了許多有趣的發現。不同AI系統在三個評估維度上的表現差異巨大，就像不同專業的研究員各有所長一樣。有些AI擅長寫出優美的報告，但在事實準確性上存在明顯缺陷；有些AI搜集信息很全面，但分析深度不夠；還有些AI雖然最終報告看起來不錯，但研究過程混亂無序，缺乏邏輯性。

特別值得關注的是，研究過程的質量竟然可以很好地預測最終結果的質量。這就像通過觀察廚師的烹飪過程就能預判菜品的好壞一樣。那些在搜索、分析、推理過程中表現出色的AI系統，往往也能產出更高質量的研究報告。這個發現顛覆了傳統的評測思路，證明了過程評估的重要價值。

另一個令人驚訝的發現是，多模態任務對所有AI系統都構成了巨大挑戰。當需要處理圖片、表格、PDF文檔等多種格式的材料時，大部分系統的表現都明顯下降，分數普遍下滑3到10分。這反映出當前AI在多媒體信息整合方面還存在顯著不足，就像一個只會看文字材料的研究員突然被要求分析復雜圖表時的手足無措。

在所有被測試的系統中，MiroThinker系列表現最為均衡，其中MiroThinker-H1在綜合評估中名列前茅。這個系列的突出特點是在三個評估維度上都表現出色，沒有明顯的短板，就像一個全能型的研究專家。相比之下，其他系統往往在某一方面表現突出，但在其他方面存在明顯弱點。

研究團隊還進行了大量的穩定性測試，邀請專家對評測結果進行人工驗證。結果顯示，這套評測系統的準確率達到92%，專家評估與自動評測的一致性高達91%，證明了這套評測框架的可靠性和實用性。

這項研究的意義遠不止于提出了一個新的評測標準。它為深度研究AI的發展指明了方向，讓我們認識到僅僅關注最終輸出是不夠的，研究過程的質量同樣重要。就像培養學生不能只看考試成績，還要關注學習方法和思維過程一樣，評估AI研究能力也需要更全面、更深入的視角。

隨著AI技術在金融分析、醫學研究、法律調查等高風險領域的應用越來越廣泛，用戶不僅需要AI提供準確的結論，更需要了解這些結論是如何得出的。MiroEval提供的過程透明度評估，為解決AI可信度問題提供了新的思路。當我們能夠清楚地看到AI的"思考過程"時，就能更好地判斷其結論的可靠性。

這套評測框架還有一個重要特點就是能夠持續更新。由于采用了雙路徑的任務生成機制，既可以根據用戶需求變化調整測試內容，也可以根據網絡熱點更新知識背景，確保評測始終跟上時代發展的步伐。這就像一個會自我升級的考試系統，始終保持對AI能力的準確評估。

說到底，MiroEval的出現標志著AI評測進入了一個新時代。它不再滿足于表面的文字游戲，而是深入到AI的"思維內核"，全方位審視AI的研究能力。這種評測理念的轉變，必將推動深度研究AI向更加可靠、更加智能的方向發展。對于普通用戶而言，這意味著未來我們將擁有更加值得信賴的AI研究助手，它們不僅能給出正確答案，還能清晰地展示推理過程，讓我們真正放心地把復雜的研究任務交給AI來完成。

當前這套評測系統還有一些限制，比如需要AI系統公開其推理過程，這對于完全封閉的商業系統來說可能存在困難。此外，在處理相互沖突的信息源時，系統目前只能識別沖突而無法判斷哪個信息源更可信。不過研究團隊表示，他們計劃利用可更新的任務生成機制，定期發布新版本的評測集，確保這套標準始終與時俱進，為AI研究能力的準確評估提供持續的支持。

Q&A

Q1：MiroEval與傳統AI評測方法有什么不同？

A：MiroEval不只看AI寫出的最終報告，還會深入分析AI的整個研究過程，包括如何搜索信息、如何分析證據、如何處理矛盾觀點等。傳統方法就像只看菜品擺盤不管烹飪技藝，而MiroEval更像全方位的研究能力診斷專家，從報告質量、事實準確性和研究過程三個維度全面評估。

Q2：為什么多模態任務對AI系統挑戰這么大？

A：多模態任務要求AI同時處理文字、圖片、表格、PDF等多種格式的材料，就像讓只會看文字的研究員突然分析復雜圖表一樣困難。測試顯示，大部分AI系統在處理多模態任務時分數都下降3到10分，反映出當前AI在多媒體信息整合方面存在顯著不足。

Q3：MiroEval評測結果的可靠性如何？

A：研究團隊邀請專家進行了大量驗證工作，結果顯示系統準確率達到92%，專家評估與自動評測的一致性高達91%。同時還進行了多輪穩定性測試和不同評估模型的對比驗證，確保評測結果的可靠性和一致性。