科學家故意編造了一種病，AI建議“盡快就醫”

為了驗證人工智能（ AI ）輸出的醫療信息是否靠譜，以及是否具有辨別真偽的能力，已經有科學家開始“釣魚執法”了。

2024年， 瑞典哥德堡大學研究員奧斯曼諾維奇 · 圖恩斯特倫 （ Almira Osmanovic Thunstr?m）團隊虛構了一種眼病——“ 比克索尼躁狂癥 （ Bixonimania） ”。他們一本正經地捏造了漏洞百出的論文，生怕別人看不出，團隊還在文末寫上，研究的贊助來自“指環王和銀河三巨頭大學”。

出乎意料的是，根據《自然》報道， 文章上線后的短短幾周，ChatGPT、Gemini等頂級大模型信以為真，一本正經地給人科普這個假病，還附上患病率、發病原因 等，并提醒患者： 眼睛酸痛發癢？ 可能是“ 比克索尼躁狂癥 ”。

此外，依靠 AI 搜索生成參考文獻，不少研究者還將“ 比克索尼躁狂癥 ”寫進自己的論文——但凡他們點進鏈接閱讀一下原文，就能輕易發現這是假的。

AI建議“盡快 就醫 ”

這場“辨偽實驗”始于2024年3月15日。

這天，歐美知名博客平臺Medium出現一個新賬戶，開始科普罕見眼病“ 比克索尼躁狂癥 ”。

一個半月 內，該賬號發布十余篇文章，變著花兒地介紹這個無人知曉、沒有文獻支持的疾病。

相關文章稱，該病和過度使用電子屏幕有關，發病率約為萬分之一。疾病進展分成4階段，患者會出現不同程度的眼部干澀發癢、眼瞼輕微泛紅等癥狀。

到了2024年3月和5月，在未經同行審評的預印本平臺，策劃這項試驗的 圖恩斯特倫 團隊接連發表了兩篇關于“ 比克索尼躁狂癥 ”的研究論文。他們在研究中描述道，“ 比克索尼躁狂癥 ”是一種眼部皮膚疾病， 表現為眼瞼呈粉紅色 。

“ 這個 疾病名稱 聽起來 就 很荒謬 ，我就是想讓 醫務人員都 能 清楚地 看出 ，這是一種虛構的疾病，因為任何眼部疾病都不會被稱為躁狂癥 ，那 是精神病學術語?！眻D恩斯特倫 告訴《自然》。

如果這還不夠明顯，圖恩斯特倫團隊還在文中提到， 為什么“比克索尼躁狂癥”難以診斷，因為它的特征是“虛構”的；為了探討藍光照射對疾病的影響，研究招募了50名“虛構人物”作為暴露組。

團隊還編造了主要研究者和其所在的大學，這所大學位于“ Nova City”， 一座根本不存在的城市。

此外，團隊還對 星際艦隊學院的瑪麗亞教授 表示由衷感謝，稱她提供了位于 企業號星際艦隊 上的實驗室。而對于研究在“高級欺騙”方面的工作，“戲子鮑勃教授基金會”則給予了大力的資金支持—— 鮑勃是動畫《辛普森一家》里的 經典 反派角色。

但這些再明顯不過的提示，似乎沒能起到什么作用。

在兩篇論文發布后不久，微軟、谷歌等旗下的 AI 聊天軟件開始提示用戶，“ 比克索尼躁狂癥 ”是一種罕見疾病， 由過度暴露于藍光引起的 ，建議大家及時就醫。 ChatGPT 也開始向用戶介紹這一疾病，并詢問他們的癥狀是否符合“ 比克索尼躁狂癥 ”的診斷標準。

不僅如此，這項虛構研究 的影響 還逐漸 擴散到 其他 發表的醫學 論文 中。 根據《自然》報道， 一些研究人員 開始 引用了這項研究，包括 印度學者 發表在 期刊 Cureus 上的一 篇論文。

論文援引稱，“ 比克索尼躁狂癥 ”是 一種新 型 的眼周黑變?。≒OM），與藍光照射有關 ，目前 正在對相關機制進行進一步研究。 今年3月30日，該論文被 Cureus 撤稿。

根據 《自然》 的調查 ， 僅2025年，就有數以萬計的學術論文可能包含由AI生成的無效參考文獻 ， 包括 引用 文獻 不存在，或標題 、 來源對不上號。

發明一種疾病

之所以想出這樣的“歪點子”， 圖恩斯特倫 告訴《自然》，這是源于她 對大語言模型工作原理的研究。

此前，當她向學生們講述 AI 是如何構建“知識體系”時， 圖恩斯特倫 會展示大型數據庫是如何影響 AI 系統的輸出。她還會通過實操演示，讓學生們看到，自己是如何通過輸入“提示詞”，操縱最終結果，一步步誘導 AI 產生“幻覺現象”。

因為 圖恩斯特倫 從事醫療行業，所以她決定虛構一種健康相關的疾病“試水”，并發明了“ 比克索尼躁狂癥 ”，以 測試 大語言模型 是否會接收這些虛假信息，并將其作為可靠的健康建議輸出。

研究團隊在假論文中，使用AI生成患者圖片

圖恩斯特倫 還專門聯 系了一位倫理顧問來評估 風險，并選擇虛構這種類似“黑眼圈”的低風險疾病，以減少虛假信息可能帶來的隱患?！拔蚁肟纯醋约耗?否創造出一種數據庫中不存在的疾病 ，并確保這種驗證利大于弊。” 圖恩斯特倫 告訴《自然》。從實驗效果而言， 圖恩斯特倫 無疑是成功的。

“ 這 類 問題不僅 僅 出在大語言模型上，因為 ‘ 比克索尼躁狂癥實驗 ’ 也欺騙了那些引用了虛假研究的人。 ”研究虛假健康信息的倫敦大學學院 亞歷克斯 · 魯阿尼 （Alex Ruani） 對《自然》表示，“ 我們需要像保護黃金一樣保護我們的信任，現在 的情況 真 是一 團糟?！?/p>

但隨著時間推移， 漸漸地，有明眼人提出質疑，要求看證據。頂級AI的口風變了。今年1月，Perplexity稱“ 比克索尼躁狂癥 ”是“一個新興術語” 。

ChatGPT 則在3月11日 解釋 ： “這可能是虛構的、邊緣的或偽科學的說法?！比欢鴰滋旌?，它又變了，稱這是一種新型的眶周黑變病亞型，與接觸數字屏幕的藍光等有關。

幾乎同期，Copilot提出 ， 該病 的 診斷尚未得到廣泛認可，已有新發論文和病例報告 討論稱 這是一種易誤診的良性疾病，與長期接觸屏幕藍光有關。

面對《自然》的置評請求，前述AI的母公司回應不一。Perplexity 的發言人表示： “我們并非百分百準確，但我們確實是最注重準確性的AI公司?！?/p>

OpenAI回應《自然》，當前ChatGPT的底層模型已大幅升級，在提供安全、準確的醫療信息方面表現更佳。上述實驗進行期間，底層模型是GPT-5，舊版本所犯錯誤，不會出現在當前的新版本里。

谷歌的回復也提到新舊版本差異。它還建議，醫療敏感問題應咨詢專業人士。 而 截至文章發布， 《 自然》稱， 沒有得到微軟官方回應。

虛假信息的“教科書級案例”

《自然》引用第三方評述稱， “ 比克索尼躁狂癥 研究 ” 是 “ 虛假、惡意信息傳播的教科書級案例”。

但更多人想知道：如此一眼假的內容， 難道 智能的大語言模型都瞎了嗎？

《自然》分析，答案或藏在AI模型的底層邏輯里。它 所做的 ， 是 從 海量文本中學習語言模式，預測什么樣的回答 “ 聽上去最合理 ”， 生成符合期待的語言。核實事實 從來不是它的任務項。

基于此，針對 同一個AI，問法不同，答案就 不一樣 。 比如， 用 AI引擎 搜索 “ 比克索尼躁狂癥 ” ， AI概覽可能將其視為真實病癥 。若搜索時提問“ 它 真實存在嗎？ ” 同一個AI 就 可能 說實話“并不存在” 。

可惜的是， 大多數 使用者 并不 清楚 ，AI識別虛假信息的能力， 和自己的 提問 方式有關 。 《自然》 稱 ， 新 的大語言 模型的 更新 速度 非常快 。目前沒有一套共識 或 一種方法，能自動 、有效地測評 每一個 新模型，更 不用提 完善全流程的事實核查機制。

同時 ，這 也 和AI的訓練方式、安全護欄等密不可分。主流大模型的建立 和 設計， 是 依托于巨型互聯網爬蟲數據庫。 一旦 虛假信息在互聯網留下痕跡，就可能被無差別抓取，納入數據庫，用來訓練AI。

進一步地，當這些虛假信息被包裝成學術論文等“官方來源”時， AI 更有可能將其視作“真實可靠”。

美國哈佛醫學院內科醫生 奧馬爾（ Mahmud Omar ） 曾測試過20個大語言模型，他 發現相較于社交媒體內容 ， 當內容 出現在 “ 看起來像 專業醫療文書” 的 格式 中， 比如醫院電子病歷、臨床學術論文等，AI就更可能 把它歸類為 “ 可信知識 ” ，再用同樣的權威語氣轉述給用戶 。

這正是《自然》報道所指出的核心 問題 ：格式的權威感，在AI眼中，代替了內容的真實性。

至于 圖恩斯特倫 ，她告訴《自然》，這已經不是自己第一次 “說謊” 了。

圖恩斯特倫 曾做過另一個被廣泛引用的實驗 ， 她 讓 AI 寫學術論文， 并用“ GPT-3 ”作為 第一作者正式投稿。 有 一家期刊拒了，另一家同行評審期刊 則 接收 了 。 圖恩斯特倫 當時寫道 ：“ 希望我們沒有打開潘多拉的盒子 ?！?/p>

而 這一次，她用一種不存在的病， 讓大家看到 盒子里裝著 的是 什么。

加入讀者交流群：

聯 系 我 們 ：wbfsh@staff.weibo.com