美國馬里蘭大學發現ChatGPT等AI難以理解人類認知障礙

這項由美國馬里蘭大學的李明博士領導，聯合卡內基梅隆大學和紐約州立大學布法羅分校的研究團隊完成的研究，發表于2025年12月的《計算語言學》期刊（論文編號：arXiv:2512.18880v1）。該研究專門探討了一個看似簡單卻極為重要的問題：當ChatGPT等大語言模型面對一道題目時，它們能否準確判斷這道題對普通學生來說有多難？

回到我們最熟悉的考試場景。當一位經驗豐富的老師拿到一份試題時，她往往能憑借多年的教學經驗迅速判斷出哪道題會讓學生頭疼不已，哪道題學生能輕松應對。這種能力對于教育工作者來說至關重要——它幫助設計合適難度的考試，編制循序漸進的教材，甚至為不同水平的學生提供個性化的學習建議。然而，當我們把同樣的任務交給ChatGPT、GPT-4這些強大的人工智能時，會發生什么呢？

研究團隊就像是一群好奇的偵探，決定徹底調查這個問題。他們收集了超過20個不同的大語言模型，包括我們熟知的GPT系列、Claude系列，以及一些專門針對推理任務優化的模型。這些模型就像是一個龐大的"人工智能考試委員會"，研究團隊要測試它們能否像人類老師一樣準確評估題目難度。

為了確保實驗的嚴謹性，研究團隊精心選擇了四個截然不同的領域：醫學知識考試（USMLE）、英語閱讀理解（劍橋考試）、SAT數學以及SAT閱讀寫作。這些考試涵蓋了從專業知識到基礎技能的各個方面，而且最關鍵的是，所有題目的難度標準都有真實學生的考試數據作為支撐——就像有成千上萬的學生已經"試水"過這些題目，留下了珍貴的難度評估數據。

研究團隊設計了兩種截然不同的測試方式。第一種方式把AI當作"旁觀者"——給它們看題目和標準答案，然后問："如果讓學生來答這道題，你覺得有多難？"這就好比讓一個圍棋高手看著棋譜，評估普通棋手在某個局面下會有多困難。第二種方式則讓AI"親自上場"——直接回答這些題目，通過它們的答題表現來推測題目的實際難度。

當實驗結果出爐時，研究團隊發現了一個令人意外的現象。這些在各種任務中表現卓越的人工智能，在評估題目難度這件事上卻表現得相當糟糕。具體來說，它們的難度評估與真實學生表現的相關性普遍很低，平均只有0.28的斯皮爾曼相關系數——這個數字意味著AI的判斷和學生的實際表現之間只有很微弱的聯系。

更有趣的是，研究團隊發現了一個"機器共識"現象。雖然這些AI模型都不太能準確預測學生的困難，但它們彼此之間的評估卻相當一致。這就像是一群從未下過廚的美食評論家，雖然他們的評價與普通食客的感受相差甚遠，但彼此之間卻形成了一套自成體系的評判標準。

為了深入理解這種偏差的根源，研究團隊引入了項目反應理論（IRT）這一心理測量學的經典工具。簡單來說，就是通過分析每個AI模型在不同題目上的表現，推算出從"機器視角"看每道題的難度。結果發現，AI眼中的難題和人類學生眼中的難題之間存在著巨大的鴻溝。

最典型的例子出現在醫學考試中。有超過70%被學生認為最困難的題目，竟然被90%以上的AI模型輕松答對。這種現象被研究團隊形象地稱為"知識的詛咒"——當你掌握了太多知識時，反而難以理解初學者的困惑。就像一個數學教授很難理解為什么小學生會覺得分數運算困難一樣，這些"博學"的AI模型也無法真正體會學生在學習過程中遇到的認知障礙。

研究團隊還嘗試了一個巧妙的實驗：讓AI模型"角色扮演"不同水平的學生。他們給模型下達指令："現在你要扮演一個英語水平較低的學生"或"請以一個數學基礎薄弱的學生身份來答題"。然而，實驗結果顯示，這種角色扮演的效果微乎其微。AI模型就像是戴著面具的演員，雖然試圖表演不同的角色，但骨子里的"超能力"卻無法真正隱藏起來。

這種現象背后隱藏著更深層的問題：缺乏內省能力。研究團隊設計了一個測試，檢驗AI模型能否預測自己會在哪些題目上犯錯。結果發現，幾乎所有模型在這方面的表現都接近隨機猜測的水平。這意味著，當AI對一道題給出高難度評估時，它并不意味著AI本身也會在這道題上遇到困難。換句話說，AI的難度判斷與其自身能力之間存在著明顯的脫節。

這個發現對教育技術的發展具有重要啟示。目前，許多教育科技公司正在開發基于AI的智能教學系統，希望能夠自動生成適合不同學生水平的題目。然而，這項研究表明，僅僅依靠大語言模型的"直覺"來判斷題目難度是遠遠不夠的。

研究團隊還發現，隨著模型規模的增大和性能的提升，這種偏差問題并沒有得到改善，有時甚至會變得更加嚴重。這打破了人們常有的一種假設——認為更強大的AI自然會更好地理解人類的認知過程。實際上，問題求解能力的提升和對人類學習困難的理解是兩個完全不同的維度。

在不同學科領域中，這種偏差的程度也不盡相同。在數學推理任務中，AI的評估相對更接近學生的實際表現，相關性能達到0.41。而在醫學知識領域，這個數字卻降至0.13。這種差異反映了不同類型知識結構的特點：數學問題往往有清晰的邏輯步驟，而醫學知識則更多依賴于經驗積累和復雜的概念理解。

研究團隊嘗試通過集成多個模型的預測來改善評估效果，類似于"三個臭皮匠頂個諸葛亮"的思路。然而，實驗結果表明，這種方法的改善效果受限于參與集成的最弱模型。當團隊中有表現較差的模型時，它們會拖累整體表現，而不是貢獻互補的見解。

另一個有趣的發現是，不同角色扮演指令對模型性能的影響呈現出高度的隨機性。有時讓模型扮演"低水平學生"會提高難度評估的準確性，有時反而會降低準確性，而且這種變化在不同模型和不同領域中都表現得相當不穩定。不過，當研究團隊將所有角色扮演的結果取平均值時，確實能獲得一定程度的改善，特別是在一些先進的模型如GPT-5中，這種改善可以達到13%。

這種現象揭示了當前AI技術的一個根本局限：雖然這些模型能夠生成關于"學生困難"的合理表述，但這些表述更像是基于文本模式的統計推斷，而非真正的認知建模。它們缺乏對人類學習過程的深層理解，無法模擬學習者在接觸新知識時的真實體驗。

從實際應用的角度來看，這些發現對當前的教育AI發展提出了重要挑戰。許多自動化題目生成系統、自適應學習平臺以及智能教學助手都依賴于準確的難度評估。如果AI無法可靠地判斷題目對學生的難度，這些系統的有效性就會大打折扣。

然而，這項研究也為未來的發展方向指明了道路。研究團隊建議，真正有效的教育AI系統需要結合學生的實際反饋數據，而不是僅僅依賴模型的內在判斷。此外，開發專門針對教育場景訓練的模型，以及建立更精確的認知建模機制，都是值得探索的方向。

研究還揭示了一個更廣泛的哲學問題：理解一個問題和理解解決這個問題的困難是兩回事。正如一個成年人可以輕松完成數學運算，但可能很難理解孩子在學習乘法表時的困惑一樣，AI模型的高性能并不自動轉化為對人類學習困難的敏感性。

這種"能力-理解悖論"在許多領域都有體現。經驗豐富的醫生不僅要會診斷疾病，還要能理解患者的恐懼和困惑；優秀的教練不僅要掌握高超的技能，還要能體察運動員的訓練困難。同樣，未來的教育AI如果要真正發揮作用，就必須學會"換位思考"，真正理解學習者的認知過程。

研究團隊通過大量的數據分析發現，當前的大語言模型在處理不同類型的認知挑戰時表現出系統性的盲點。它們往往低估了概念理解的困難，高估了機械計算的困難。這種偏差模式反映了這些模型訓練過程中的特點——它們更多接觸的是結構化的知識表述，而缺乏對知識獲得過程的理解。

從技術實現的角度來看，這項研究也為模型評估提供了新的維度。傳統的AI評估往往關注準確性、流暢性等直接性能指標，而這項研究提出了"認知對齊"這一全新的評估維度。未來的AI開發可能需要專門設計測試來評估模型對人類認知過程的理解能力。

說到底，這項研究揭示了一個深刻的事實：技術能力的進步并不等同于認知理解的提升。當我們驚嘆于AI在各種任務中的卓越表現時，也要認識到它們在理解人類思維過程方面仍然存在根本性的局限。這種認識對于我們合理期待和有效利用AI技術具有重要意義，特別是在教育這樣直接關系到人類認知發展的關鍵領域。

未來的教育AI發展可能需要采用混合式的方法，將AI的強大計算能力與人類教師的認知洞察相結合。AI可以處理大量數據分析和個性化內容生成，而人類教師則提供對學生認知困難的深度理解和情感支持。這種人機協作的模式可能是實現真正智能化教育的關鍵所在。

Q&A

Q1：大語言模型在評估題目難度方面表現如何？

A：表現相當糟糕。研究發現，包括ChatGPT在內的20多個大語言模型，在評估題目對學生難度時與真實學生表現的相關性平均只有0.28，這意味著AI的判斷與學生實際困難程度只有很微弱的聯系。特別是在醫學考試中，有70%被學生認為最難的題目卻被90%以上的AI輕松解答。

Q2：為什么AI模型無法準確判斷題目對學生的難度？

A：主要原因是"知識的詛咒"現象。AI模型掌握了大量知識，反而難以理解初學者的困惑，就像數學教授很難理解小學生覺得分數運算困難一樣。此外，AI缺乏內省能力，無法預測自己會在哪些題目上犯錯，它們的難度判斷與自身能力之間存在明顯脫節。

Q3：讓AI扮演不同水平的學生能改善難度評估嗎？

A：效果非常有限且不穩定。研究發現，讓AI扮演"低水平學生"或"高水平學生"的指令效果高度隨機，有時會提高準確性，有時反而會降低。雖然將所有角色扮演結果取平均能獲得一定改善（如GPT-5提高13%），但AI就像戴著面具的演員，無法真正隱藏自己的"超能力"。