![]()
(來源:麻省理工科技評論)
AI 健康發(fā)展正盛。近日,微軟在旗下產(chǎn)品 Copilot 中推出了子模塊 Copilot Health,用戶可以在這個(gè)新板塊中接入自己的醫(yī)療記錄,并就健康問題進(jìn)行提問;幾天前,亞馬遜宣布此前僅限 One Medical 會(huì)員使用的 Health AI 將向公眾全面開放;同時(shí),這些產(chǎn)品加入了 OpenAI 今年 1 月發(fā)布的 ChatGPT Health 以及 Anthropic 的 Claude 的行列。
面向大眾的健康 AI 已經(jīng)正式成為一股趨勢,市場對提供健康建議的聊天機(jī)器人有明確的需求,因?yàn)楹芏嗳穗y以通過現(xiàn)有醫(yī)療體系獲得幫助;一些研究也表明,當(dāng)前的大語言模型能夠給出安全且有用的建議。但研究人員表示,這些工具應(yīng)當(dāng)在大范圍發(fā)布之前接受獨(dú)立專家更嚴(yán)格的評估。
在健康這樣的高風(fēng)險(xiǎn)領(lǐng)域,信任公司自行評估自家產(chǎn)品可能并不明智,尤其是當(dāng)這些評估結(jié)果沒有公開供外部專家審查時(shí)。即使公司確實(shí)在做高質(zhì)量、嚴(yán)謹(jǐn)?shù)难芯浚鼈內(nèi)匀豢赡艽嬖诿^(qū),需要更廣泛的研究界來補(bǔ)充。
“在你始終需要更多醫(yī)療服務(wù)的前提下,我認(rèn)為我們確實(shí)應(yīng)該追求每一條可行的路徑,”牛津互聯(lián)網(wǎng)研究所的博士生安德魯·比恩(Andrew Bean)說,“在我看來,這些模型完全有可能已經(jīng)到了值得推廣的水平。”
“但是,”他補(bǔ)充道,“評估必須非常嚴(yán)格。”
![]()
龐大的市場需求
在開發(fā)者看來,這些健康產(chǎn)品之所以現(xiàn)在推出,是因?yàn)榇笳Z言模型確實(shí)已經(jīng)達(dá)到了能有效提供醫(yī)療建議的水平。微軟 AI 健康業(yè)務(wù)副總裁、前外科醫(yī)生多米尼克·金(Dominic King)將 AI 能力的進(jìn)步列為公司組建健康團(tuán)隊(duì)以及 Copilot Health 問世的核心原因。“我們看到生成式 AI 在回答健康問題、給出優(yōu)質(zhì)回復(fù)方面取得了巨大進(jìn)步,”他說。
另一個(gè)關(guān)鍵因素是需求。在 Copilot Health 推出前不久,微軟發(fā)布了一份報(bào)告和配套博文,詳細(xì)說明了人們?nèi)绾问褂?Copilot 獲取健康建議。微軟表示,每天收到 5000 萬個(gè)健康相關(guān)問題,健康是 Copilot 移動(dòng)端應(yīng)用上最熱門的討論話題
其他 AI 公司也注意到了這一趨勢并做出了回應(yīng)。“甚至在我們推出健康產(chǎn)品之前,就已經(jīng)看到人們使用 ChatGPT 咨詢健康問題的速度在飛快增長,”O(jiān)penAI 健康 AI 團(tuán)隊(duì)負(fù)責(zé)人卡蘭·辛格爾(Karan Singhal)說。(OpenAI 和微軟有長期合作關(guān)系,Copilot 由 OpenAI 的模型驅(qū)動(dòng)。)
人們可能只是更喜歡向一個(gè) 24 小時(shí)在線、不帶評判的機(jī)器人傾訴自己的健康問題。但很多專家從當(dāng)前醫(yī)療體系的現(xiàn)狀來解讀這一現(xiàn)象。“這些工具的存在和它們在整個(gè)格局中的定位是有原因的,”西奈山醫(yī)療系統(tǒng)的首席 AI 官吉里什·納德卡尼(Girish Nadkarni)說,“因?yàn)楂@取醫(yī)療服務(wù)很難,對某些人群來說尤其難。”
面向消費(fèi)者的健康聊天機(jī)器人的理想愿景在于,它們可以在改善用戶健康的同時(shí),減輕醫(yī)療系統(tǒng)的壓力。這可能包括幫助用戶判斷自己是否需要就醫(yī),這項(xiàng)任務(wù)被稱為分診。如果聊天機(jī)器人的分診功能有效,那些需要急救的患者可能比原本更早地尋求治療,而癥狀較輕的患者則可能安心地在家根據(jù)聊天機(jī)器人的建議管理癥狀,而不是給急診室和診所增加不必要的負(fù)擔(dān)。
但納德卡尼和西奈山其他研究人員最近發(fā)表的一項(xiàng)廣受討論的研究發(fā)現(xiàn),ChatGPT Health 有時(shí)會(huì)對輕癥建議過度治療,同時(shí)未能識(shí)別緊急情況。雖然辛格爾和其他一些專家認(rèn)為該研究的方法論可能無法全面反映 ChatGPT Health 的能力,但這項(xiàng)研究引發(fā)了人們對這些工具在面向公眾發(fā)布前缺乏外部評估的擔(dān)憂。
為本文接受采訪的大多數(shù)學(xué)術(shù)專家都認(rèn)為,考慮到一些人獲取醫(yī)療服務(wù)的渠道多么有限,健康聊天機(jī)器人確實(shí)可能帶來實(shí)際好處。但六位專家全部表達(dá)了擔(dān)憂:這些工具在沒有經(jīng)過獨(dú)立研究者安全評估的情況下就上線了。這些工具的一些用途相對無害,比如推薦鍛煉計(jì)劃或建議用戶向醫(yī)生提什么問題,但另一些用途有明顯風(fēng)險(xiǎn)。分診是其中之一,讓聊天機(jī)器人提供診斷或治療方案是另一個(gè)。
ChatGPT Health 的界面上有醒目的免責(zé)聲明,表示該工具不用于診斷或治療;Copilot Health 和亞馬遜 Health AI 的發(fā)布公告中也包含類似警告。但這些警告很容易被忽略。“我們都知道人們會(huì)拿它來做診斷和管理病情,”貝斯以色列女執(zhí)事醫(yī)療中心的內(nèi)科醫(yī)生和研究員、Google 訪問研究員亞當(dāng)·羅德曼(Adam Rodman)說。
![]()
嚴(yán)謹(jǐn)?shù)尼t(yī)學(xué)測試
這些公司表示,他們在測試聊天機(jī)器人以確保它們在絕大多數(shù)情況下提供安全回復(fù)。OpenAI 設(shè)計(jì)并發(fā)布了 HealthBench,這是一個(gè)基準(zhǔn)測試,評估大語言模型在模擬真實(shí)健康對話中的表現(xiàn)。去年 GPT-5 發(fā)布時(shí)(GPT-5 同時(shí)驅(qū)動(dòng) ChatGPT Health 和 Copilot Health),OpenAI 公布了該模型的 HealthBench 得分:它大幅優(yōu)于此前的 OpenAI 模型,但整體表現(xiàn)遠(yuǎn)非完美。
但 HealthBench 這類評估存在局限性。比恩和同事上月發(fā)表的一項(xiàng)研究發(fā)現(xiàn),即使大語言模型能獨(dú)立從虛構(gòu)的書面場景中準(zhǔn)確識(shí)別出一種疾病,一個(gè)沒有醫(yī)學(xué)背景的用戶拿到同樣的場景后借助 LLM 輔助判斷,可能只有三分之一的時(shí)間能得出正確結(jié)論。如果用戶缺乏醫(yī)學(xué)知識(shí),他們可能不知道場景中哪些信息(或自身真實(shí)經(jīng)歷中哪些信息)對提問來說是重要的,也可能誤讀大語言模型給出的信息。
比恩說,這個(gè)表現(xiàn)差距對 OpenAI 的模型來說可能意義重大。在最初的 HealthBench 研究中,OpenAI 報(bào)告其模型在需要向用戶追問更多信息的對話中表現(xiàn)相對較差。如果情況確實(shí)如此,那些缺乏足夠醫(yī)學(xué)知識(shí)、無法一開始就為健康聊天機(jī)器人提供所需信息的用戶,可能會(huì)收到無用甚至不準(zhǔn)確的建議。
OpenAI 的辛格爾指出,公司當(dāng)前的 GPT-5 系列模型在最初的 HealthBench 研究進(jìn)行時(shí)尚未發(fā)布,這一代模型在主動(dòng)追問信息方面比前代有很大改進(jìn)。不過 OpenAI 也報(bào)告稱,當(dāng)前的旗艦?zāi)P?GPT-5.4 在主動(dòng)獲取上下文方面實(shí)際上不如早期版本 GPT-5.2。
比恩認(rèn)為,理想情況下,健康聊天機(jī)器人應(yīng)該像他的研究那樣,在發(fā)布前先經(jīng)過有真人用戶參與的對照測試。這可能是一項(xiàng)艱巨的任務(wù),尤其考慮到 AI 領(lǐng)域的發(fā)展速度和人類研究所需的時(shí)間。比恩自己的研究用的還是將近一年前發(fā)布的 GPT-4o,現(xiàn)在已經(jīng)過時(shí)了。
本月早些時(shí)候,Google 發(fā)布了一項(xiàng)符合比恩標(biāo)準(zhǔn)的研究。在這項(xiàng)研究中,患者先與 Google 的 AMIE(Articulate Medical Intelligence Explorer,一款尚未公開發(fā)布的醫(yī)療大語言模型聊天機(jī)器人)討論醫(yī)療問題,然后再去見真人醫(yī)生。總體來看,AMIE 的診斷準(zhǔn)確率與醫(yī)生持平,研究人員也未在任何對話中發(fā)現(xiàn)重大安全隱患。
盡管結(jié)果令人鼓舞,Google 并不打算近期發(fā)布 AMIE。“雖然研究取得了進(jìn)展,但在系統(tǒng)真正應(yīng)用于診斷和治療之前,還有重大局限性需要解決,包括在公平性、公正性和安全性測試方面的進(jìn)一步研究,”Google DeepMind 的研究科學(xué)家艾倫·卡蒂克薩林加姆(Alan Karthikesalingam)在郵件中寫道。Google 最近透露,它與 CVS 合作搭建的健康平臺(tái) Health100 將包含一個(gè)由旗艦 Gemini 模型驅(qū)動(dòng)的 AI 助手,不過這個(gè)工具大概不會(huì)用于診斷或治療。
羅德曼與卡蒂克薩林加姆共同主導(dǎo)了 AMIE 研究,他并不認(rèn)為這種耗時(shí)數(shù)年的大型研究一定是評估 ChatGPT Health 和 Copilot Health 這類聊天機(jī)器人的正確方式。“臨床試驗(yàn)的范式在生成式 AI 領(lǐng)域并不總是適用,原因很多,”他說,“這就是基準(zhǔn)測試討論的意義所在。有沒有一個(gè)來自可信第三方的基準(zhǔn)測試,大家都認(rèn)可它是有意義的,各實(shí)驗(yàn)室可以用它來自我約束?”
這里的關(guān)鍵是“第三方”。無論公司對自家產(chǎn)品做了多全面的評估,要完全信任他們的結(jié)論仍然很難。第三方評估帶來的不僅是公正性,如果有多個(gè)第三方參與,還能幫助彌補(bǔ)盲區(qū)。
OpenAI 的辛格爾表示他非常支持外部評估。“我們盡力支持學(xué)術(shù)社區(qū),”他說,“我們發(fā)布 HealthBench 的部分原因就是給學(xué)術(shù)界和其他模型開發(fā)者提供一個(gè)高質(zhì)量評估的范例。”
他說,鑒于產(chǎn)出一項(xiàng)高質(zhì)量評估的成本很高,他懷疑任何單個(gè)學(xué)術(shù)實(shí)驗(yàn)室能否做出他所說的“統(tǒng)治一切的唯一評估”。但他高度評價(jià)了學(xué)術(shù)團(tuán)體將已有評估和新評估整合成綜合評估套件的努力,比如斯坦福的 MedHELM 框架,它在各種醫(yī)療任務(wù)上對模型進(jìn)行測試。目前,OpenAI 的 GPT-5 在 MedHELM 上擁有最高分。
斯坦福大學(xué)醫(yī)學(xué)教授、MedHELM 項(xiàng)目負(fù)責(zé)人尼加姆·沙阿(Nigam Shah)說,這個(gè)框架也有局限性。它只評估聊天機(jī)器人的單輪回復(fù),但一個(gè)向聊天機(jī)器人尋求醫(yī)療建議的人可能會(huì)進(jìn)行多輪來回對話。他說自己和一些合作者正在著手構(gòu)建一個(gè)能夠評估這類復(fù)雜對話的體系,但這需要時(shí)間和資金。“你我完全沒有能力阻止這些公司發(fā)布面向健康的產(chǎn)品,它們想干嘛就干嘛,”他說,“像我們這樣的人唯一能做的就是想辦法為基準(zhǔn)測試找到資金。”
不過,醫(yī)生自己也會(huì)犯錯(cuò)——對于一個(gè)只能偶爾看到醫(yī)生的人來說,一個(gè)隨時(shí)可用但偶爾出錯(cuò)的大語言模型仍然可能比現(xiàn)狀好得多,只要它的錯(cuò)誤不會(huì)太嚴(yán)重。
但以目前的證據(jù)水平來看,我們無法確切判斷現(xiàn)有的這些工具是否真的帶來了改善,還是它們的風(fēng)險(xiǎn)超過了收益。
https://www.technologyreview.com/2026/03/30/1134795/there-are-more-ai-health-tools-than-ever-but-how-well-do-they-work/
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.