開放數據研究所發現大語言模型在公共服務信息上不可靠

開放數據研究所（ODI）的一項研究發現，主流大語言模型無法為醫療、稅務和福利等關鍵公共服務提供可靠信息。

研究基于超過22000個大語言模型提示進行，這些提示旨在反映人們向生成式AI聊天機器人可能提出的問題類型，例如"我如何申請全民信貸？"。研究結果引發了對聊天機器人能否被信任提供準確政府服務信息的擔憂。

該研究發布時正值英國政府宣布與Meta和Anthropic建立合作關系，開發用于導航公共服務的AI智能體。

ODI研究主任埃琳娜·辛珀爾表示："如果大語言模型要在面向公民的服務中安全使用，我們需要了解這項技術在哪些方面可以信任，在哪些方面不能信任。"

研究將包括Anthropic的Claude-4.5-Haiku、Google的Gemini-3-Flash和OpenAI的ChatGPT-4o等模型的回答與官方政府來源直接比較。

結果顯示許多回答正確，但質量存在顯著差異，特別是對于專業或不常見的查詢。研究還顯示，聊天機器人很少承認不知道問題答案，即使回答不完整或錯誤，也會嘗試回答每個查詢。

掩埋關鍵事實

聊天機器人還經常提供冗長的回答，掩埋關鍵事實或超出政府網站提供的信息范圍，增加了不準確的風險。

Meta的Llama 3.1 8B聲稱，在孩子的出生證明上添加前伴侶姓名需要法院命令。如果遵循這一建議，將導致不必要的壓力和經濟成本。

ChatGPT-OSS-20B錯誤地建議，照顧父母已故兒童的人只有在成為已故兒童的監護人時才有資格獲得監護人津貼。它還錯誤地聲明，如果申請人為該兒童接受其他福利，則不符合條件。

辛珀爾表示，對于公民而言，研究強調了AI素養的重要性，而對于設計公共服務的人員來說，"考慮到技術發展速度，建議在匆忙采用大型或昂貴模型時保持謹慎，這些模型強調供應商鎖定的必要性。我們還需要更多獨立基準、更多公共測試，以及更多關于如何使這些系統產生精確可靠答案的研究。"

2月3日發布的第二份國際AI安全報告對AI智能體系統可靠性得出了類似結論。報告指出，雖然自2025年安全報告以來，在回憶事實信息方面有所改進，"但即使是領先模型仍以顯著比例給出自信但錯誤的答案"。

遵循錯誤建議

報告還發現用戶普遍傾向于遵循自動化系統（包括聊天機器人）的錯誤建議，"因為他們忽略了錯誤信號，或者認為自動化系統比自己的判斷更優秀"。

ODI的研究還挑戰了更大、更資源密集的模型總是更適合公共部門的觀念，在許多情況下，較小模型以比ChatGPT等大型閉源模型更低的成本提供了相當的結果。

辛珀爾警告政府應避免在模型在價格或基準測試中暫時超越彼此時鎖定長期合同。

在ODI研究發布活動上，Full Fact AI負責人安德魯·達德菲爾德評論說，由于政府立場是支持創新的，監管目前圍繞原則而非詳細規則制定。

"英國采用AI的速度可能比學會如何使用它的速度更快，特別是在問責制方面，"他說。

可信度

達德菲爾德指出，這項工作引人注目的原因在于它關注真實用戶需求，但可信度需要從依賴信息的人的角度評估，而不是從展示技術能力的角度。

"真正的風險不僅是幻覺，還有人們對聽起來合理的回答的信任程度，"她說。

在同一活動中被問及政府應該構建自己的系統還是依賴商業工具時，貝內特公共政策學院研究員理查德·波普說，政府需要"對依賴性和主權保持謹慎"。

"AI項目應該從小規模開始，逐步發展并分享他們學到的東西，"他說，并補充說公共部門項目應該優先考慮學習和開放性，而不是快速擴張。

辛珀爾強調，AI創造了為不同語言或理解水平定制信息的潛力，但這些機會"需要被塑造，而不是任其自然發展"。

隨著每周都有新的AI模型發布，2026年1月的Gartner研究發現，AI系統產生的大量未驗證和低質量數據對大語言模型的可靠性構成了明顯且現實的威脅。

大語言模型使用從網絡、書籍、研究論文和代碼庫抓取的數據進行訓練。雖然許多這些來源已經包含AI生成的數據，但按照目前的擴張速度，它們可能都會被AI生成的內容填充。

Gartner強調，隨著AI生成數據量的增長，未來的大語言模型將越來越多地使用當前模型的輸出進行訓練，存在模型在自身幻覺和不準確現實累積重壓下完全崩潰的風險。

管理副總裁萬慧嬋表示，組織不能再隱含地信任數據，或假設數據甚至是人類生成的。

萬慧嬋補充說，隨著AI生成數據變得更加普遍，許多地區對驗證"AI無關"數據的監管要求將會加強。

Q&A

Q1：大語言模型在提供公共服務信息方面存在什么問題？

A：開放數據研究所研究發現，主流大語言模型無法為醫療、稅務和福利等關鍵公共服務提供可靠信息。模型回答質量存在顯著差異，特別是對專業或不常見查詢，且很少承認不知道答案，即使回答錯誤也會嘗試回答每個問題。

Q2：聊天機器人提供政府服務信息時會出現哪些具體錯誤？

A：研究顯示聊天機器人經常提供冗長回答掩埋關鍵事實，或超出政府網站信息范圍。例如Meta的Llama模型錯誤聲稱添加前伴侶姓名到出生證明需要法院命令，ChatGPT模型對監護人津貼申請條件給出錯誤建議。

Q3：如何應對大語言模型在公共服務中的可靠性問題？

A：專家建議政府在采用AI技術時保持謹慎，避免鎖定長期合同，需要更多獨立基準和公共測試。AI項目應從小規模開始逐步發展，優先考慮學習和開放性。同時強調AI素養的重要性，用戶需要從依賴信息者角度評估可信度。