ChatGPT Health在醫療緊急情況識別中存在嚴重安全隱患

專家警告稱，ChatGPT Health在識別醫療緊急情況方面表現糟糕，經常無法檢測到自殺傾向，這種AI平臺可能"導致不必要的傷害和死亡"。

OpenAI于今年1月向有限用戶群體推出了ChatGPT的"Health"功能，該功能被宣傳為幫助用戶"安全連接醫療記錄和健康應用"來生成健康建議和回應的方式。據報道，每天有超過4000萬人向ChatGPT尋求健康相關建議。

發表在《自然醫學》雜志2月刊上的首項ChatGPT Health獨立安全評估發現，該系統對超過一半的病例進行了錯誤的優先級判斷。

研究負責人阿什溫·拉馬斯瓦米博士表示："我們想要回答最基本的安全問題；如果有人遇到真正的醫療緊急情況并詢問ChatGPT Health該怎么辦，它會告訴他們去急診科嗎？"

拉馬斯瓦米和同事們創建了60個真實的患者場景，涵蓋從輕微疾病到緊急情況的各種健康狀況。三名獨立醫生根據臨床指南審查每個場景并就所需護理級別達成一致。

研究團隊隨后在不同條件下向ChatGPT Health詢問每個案例的建議，包括改變患者性別、添加檢查結果或家庭成員評論，產生了近1000個回應。然后將平臺建議與醫生評估進行比較。

雖然該系統在中風或嚴重過敏反應等教科書式緊急情況中表現良好，但在其他情況下卻表現不佳。在一個哮喘場景中，盡管平臺識別出呼吸衰竭的早期預警信號，但它建議等待而不是尋求緊急治療。

在51.6%需要立即就醫的病例中，該平臺建議留在家中或預約常規醫療，倫敦大學學院健康錯誤信息減緩博士研究員亞歷克斯·魯阿尼將此結果描述為"令人難以置信的危險"。

"如果你正在經歷呼吸衰竭或糖尿病酮癥酸中毒，這個AI有50%的幾率告訴你這不是什么大問題，"她說。"最令我擔心的是這些系統創造的虛假安全感。如果有人在哮喘發作或糖尿病危機期間被告知等待48小時，這種安慰可能會要了他們的命。"

在一次模擬中，該平臺84%的情況下（10次中8次）將一名窒息的女性安排到她活不到的未來預約中，魯阿尼說。與此同時，64.8%完全安全的個體被告知尋求立即醫療護理。

當場景中的"朋友"建議癥狀不嚴重時，該平臺淡化癥狀的可能性也增加了近12倍。

"這就是為什么我們許多研究這些系統的人專注于緊急制定明確的安全標準和獨立審計機制來減少可預防的傷害，"魯阿尼說。

OpenAI發言人表示，雖然公司歡迎評估醫療保健AI系統的獨立研究，但該研究并未反映人們在現實生活中使用ChatGPT Health的典型方式。該發言人還說，模型正在不斷更新和完善。

魯阿尼說，即使研究人員使用的是模擬場景，"合理的傷害風險足以證明需要更強的保障措施和獨立監督"。

美國西奈山伊坎醫學院泌尿外科講師拉馬斯瓦米表示，他特別擔心該平臺對自殺想法的反應不足。

"我們用一個27歲的患者測試ChatGPT Health，他說自己一直在想服用大量藥丸，"他說。當患者單獨描述癥狀時，鏈接到自殺幫助服務的危機干預橫幅每次都會出現。

"然后我們添加了正常的實驗室結果，"拉馬斯瓦米說。"同樣的患者、同樣的話、同樣的嚴重程度。橫幅消失了。16次嘗試中零次出現。一個依賴于你是否提到實驗室檢查的危機護欄還沒有準備好，這比根本沒有護欄更危險，因為沒人能預測它何時會失效。"

昆士蘭大學數字社會學家和政策專家保羅·亨曼教授說："這是一篇非常重要的論文。"

"如果人們在家中使用ChatGPT Health，可能會導致更多不必要的輕微病癥醫療就診，以及人們在需要時無法獲得緊急醫療護理，這可能導致不必要的傷害和死亡。"

他說這也引發了法律責任問題，已有多起針對科技公司的法律案件正在進行中，涉及使用AI聊天機器人后的自殺和自殘行為。

"目前不清楚OpenAI創建這個產品要實現什么目標，它是如何訓練的，引入了什么護欄以及為用戶提供了什么警告，"亨曼說。

"因為我們不知道ChatGPT Health是如何訓練的以及它使用的上下文，我們真的不知道什么被嵌入到它的模型中。"

Q&A

Q1：ChatGPT Health在醫療緊急情況識別方面有什么問題？

A：ChatGPT Health在識別醫療緊急情況方面存在嚴重問題。研究發現，在51.6%需要立即就醫的病例中，該平臺建議留在家中或預約常規醫療。在一個窒息女性的模擬中，84%的情況下平臺將其安排到未來預約而非緊急治療。

Q2：ChatGPT Health在自殺風險識別方面表現如何？

A：ChatGPT Health在自殺風險識別方面表現不穩定。研究發現，當患者單獨描述自殺想法時，危機干預橫幅會出現，但添加正常實驗室結果后，同樣的患者和癥狀描述，橫幅在16次測試中零次出現，顯示其危機識別機制不可靠。

Q3：專家對ChatGPT Health的安全性有什么擔憂？

A：專家認為ChatGPT Health可能導致不必要的傷害和死亡。主要擔憂包括：該系統創造虛假安全感，可能讓患者在緊急情況下延誤治療；缺乏明確的安全標準和獨立監督；訓練方法和護欄機制不透明，且容易被外部因素影響判斷準確性。