生成式人工智能的用戶難以準確評估自身的能力

作者： 埃里克·W·多蘭

2025年12月29日

最新研究表明，利用人工智能完成任務可以提高個人的表現，但同時也會扭曲他們對自身表現的準確評估能力。研究結果顯示，雖然使用 ChatGPT 等人工智能工具的用戶在邏輯推理測試中比獨自完成任務的用戶得分更高，但他們往往會顯著高估自己的表現。

這種模式表明，人工智能輔助可能會使用戶對自身能力的感知與其實際結果脫節，從而導致用戶產生過高的自信。該研究發表在科學期刊《人機交互》（Computers in Human Behavior）上。

科學家和心理學家越來越關注技術增強對人類認知的影響。隨著生成式人工智能系統在專業和教育領域日益普及，了解這些工具如何影響元認知至關重要。元認知是指個體監控和調節自身思維過程的能力。它使人們能夠判斷自己何時可能正確，何時可能犯錯。

以往的心理學研究表明，人類普遍存在自我評估困難。一種被稱為鄧寧-克魯格效應的著名現象描述了技能較低的人往往高估自己的能力，而技能較高的人則往往低估自己的能力。本文作者試圖探究當人類與人工智能協作時，這種模式是否依然存在。他們的目標是了解人工智能是否能夠起到平衡作用，消除這些偏見，還是會給人們評估自身工作的方式帶來新的復雜性。

為了探究這些問題，研究團隊設計了兩項以邏輯推理任務為中心的獨立研究。在第一項研究中，他們招募了246名美國參與者。這些參與者被要求完成20道選自法學院入學考試（LSAT）的邏輯推理題。研究人員為參與者提供了一個專門的網頁界面。該界面一側顯示題目，另一側顯示ChatGPT交互窗口。

參與者需要就每個問題至少與人工智能互動一次。他們可以要求人工智能解決問題或解釋其邏輯。提交答案后，參與者需要估計他們認為自己答對了20個問題中的多少個。他們還需要根據特定量表對每個決定的信心程度進行評分。

這項初步研究的結果顯示，客觀表現有了顯著提升。平均而言，使用 ChatGPT 的參與者比未使用人工智能輔助進行相同測試的歷史對照組高出約 3 分。人工智能幫助用戶解決了他們獨自答題時很可能錯過的問題。

盡管分數有所提高，但參與者普遍高估了自己的能力。平均而言，他們估計自己答對了20道題中的17道左右。而實際上，他們的平均得分接近13分。這代表著感知與現實之間存在4分的差距。數據表明，人工智能提供的無縫輔助造成了一種能力超群的錯覺。

該研究還分析了參與者對人工智能的了解程度與其自我評估之間的關系。研究人員使用名為“非專家人工智能素養評估量表”的工具來衡量“人工智能素養”。人們可能會認為，了解人工智能的工作原理會使用戶在判斷時更加謹慎或準確。但研究結果卻恰恰相反。對人工智能技術理解程度更高的參與者往往對自己的答案更加自信，但在評估自身實際表現方面卻不太準確。

這項研究的一個重要理論貢獻在于鄧寧-克魯格效應。在沒有人工智能的典型情境下，數據會呈現出一條陡峭的斜率：低績效者會大幅高估自己，而高績效者則不會。當參與者使用人工智能后，這種效應消失了。這項技術的“均衡化”效應意味著高估現象在所有參與者中變得普遍。低績效者和高績效者都以相似的幅度夸大了自己的分數。

研究人員觀察到，人類與人工智能的協同作用并未超過人工智能單獨運行時的表現。人工智能系統單獨運行測試時，其平均得分高于人類使用人工智能的情況。這表明協同作用未能實現。人類有時會接受人工智能的錯誤建議，或者否決正確的建議，從而拉低了整體性能，使其低于機器的最大潛力。

為了確保研究結果的可靠性，研究人員進行了第二項研究。這項重復研究納入了452名參與者。研究人員將樣本分為兩個不同的組。一組在人工智能輔助下完成任務，而另一組則在沒有任何技術輔助的情況下完成任務。

在第二個實驗中，研究人員引入了金錢獎勵來鼓勵參與者提高準確性。參與者被告知，如果他們對自己得分的估計與實際得分相符，他們將獲得一筆獎金。此舉旨在排除參與者可能因為不夠努力而缺乏自我意識的可能性。

第二項研究的結果與第一項研究的結果一致。金錢激勵并未糾正高估偏差。使用人工智能的組的表現仍然優于未使用人工智能的組，但他們仍然高估了自己的分數。未使用人工智能的組表現出經典的鄧寧-克魯格效應，即技能最差的參與者表現出最大的偏差。人工智能組再次表現出一致的偏差，這證實了該技術從根本上改變了用戶對自身能力的認知。

該研究還采用了一種名為“曲線下面積”（AUC）的指標來評估元認知敏感度。該指標衡量的是一個人在回答正確時是否比回答錯誤時更有自信。理想情況下，一個人在犯錯時應該感到不確定。數據顯示，參與者的元認知敏感度較低。無論他們對特定問題的回答正確與否，他們的自信程度都很高。

從聊天記錄中收集的定性數據提供了更多背景信息。研究人員注意到，大多數參與者只是被動地接收信息。他們經常將問題復制粘貼到聊天記錄中，并接受人工智能的輸出結果，而沒有進行任何實質性的質疑或驗證。只有極少數用戶將人工智能視為合作伙伴或用于復核自身邏輯的工具。

研究人員探討了造成這些結果的幾個潛在原因。其中一種可能性是“解釋深度錯覺”。當人工智能提供流暢、清晰且即時的解釋時，它會欺騙大腦，使其誤以為信息已被處理和理解得比實際情況更深入。答案的易得性降低了解決邏輯難題通常所需的認知努力，進而削弱了人們可能出錯的內部信號。

所有研究都存在一些局限性，這一點需要考慮。第一項研究使用的是歷史比較組而非同期對照組，不過第二項研究對此進行了修正。此外，該研究的任務僅限于LSAT邏輯推理題。不同類型的任務，例如創意寫作或編程，可能會產生不同的元認知模式。

該研究還使用了特定版本的ChatGPT。隨著這些模型不斷發展并變得更加精準，人機互動關系可能會發生變化。研究人員還指出，參與者必須使用人工智能，這可能與用戶在現實生活中自主選擇何時使用該工具的情況有所不同。

針對這些研究空白，研究人員提出了未來的研究方向。他們建議探索能夠促使用戶進行更批判性思考的設計改進。例如，界面可以要求用戶在接受答案之前向系統解釋人工智能的邏輯。此外，還需要進行長期研究，以觀察隨著用戶對大型語言模型局限性的了解加深，這種過度自信是否會逐漸消失。

這項名為“人工智能讓你更聰明，但并不讓你更明智：表現與元認知之間的脫節”的研究由 Daniela Fernandes、Steeven Villa、Salla Nicholls、Otso Haavisto、Daniel Buschek、Albrecht Schmidt、Thomas Kosch、Chenxinran Shen 和 Robin Welsch 撰寫。

AI makes you smarter but none the wiser: The disconnect between performance and metacognition

Author links open overlay panelDaniela Fernandes a , Steeven Villa b, Salla Nicholls a, Otso Haavisto a, Daniel Buschek c, Albrecht Schmidt b, Thomas Kosch d, Chenxinran Shen e, Robin Welsch a

Show more

Outline

Share

Cite

https://doi.org/10.1016/j.chb.2025.108779