CT影像的 Aha moment | Nature 報道多中心4.4w例驗證集下穩健表現的大模型

一鍵關注，點亮星標 ?? 前沿不走丟！

認知神經科學前沿文獻分享

基本信息

Title:Merlin: a computed tomography vision–language foundation model and dataset

發表時間：2026-03-04

發表期刊:Nature

影響因子：48.5

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

全球每年進行的計算機斷層掃描（CT）約3億次，其中四分之一為腹部掃描。單次掃描往往包含超過300個切片，放射科醫師解釋每份檢查通常需要20分鐘，這種高強度的勞動負荷正導致嚴重的醫師短缺，預計到2036年短缺人數將超過1.9萬。

盡管機器學習在影像任務中初露鋒芒，但現有的醫療視覺語言模型多局限于2D影像或短報告，難以高效處理復雜的3D體積數據。此外，腹部CT常包含早期疾病的生物標志物，但往往在日常報告中被忽略。針對這一領域痛點，研究者致力于開發一種能直接學習體積影像、電子健康記錄（EHR）數據及放射報告的原生3D視覺語言基礎模型，以期在減輕診斷負擔的同時，挖掘更深層次的疾病預測價值。

實驗設計與方法邏輯

本項研究引入了Merlin模型，這是一種原生3D視覺語言基礎模型（VLM），旨在通過大規模多模態數據建立腹部CT的通用表征。Merlin采用3D ResNet152作為影像編碼器，并通過Clinical Longformer作為文本編碼器以處理超長臨床序列。

實驗范式基于多階段預訓練框架：首先利用EHR中的183萬余條結構化診斷代碼（ICD代碼）通過二元交叉熵損失進行弱監督學習；隨后結合600余萬個放射報告詞元，利用InfoNCE損失進行對比學習，實現影像與文本語義的對齊。核心技術手段還包括放射報告切分技術，即將報告按解剖區域拆分以強化局部特征學習。研究者在涉及5137個內部掃描和44098個外部掃描的大規模數據集上，對Merlin進行了包括零樣本分類、表型識別、慢性病預測及語義分割在內的752項任務測試，全面評估其在不同機構、掃描參數及患者人群中的泛化能力。

Fig. 1 | Overview of Merlin training and evaluation. 訓練和評估框架圖

核心發現

發現一：卓越的零樣本臨床診斷能力

Merlin在未經特定任務微調的情況下，能根據文本提示直接對30種常見腹部病變進行分類，其在內部驗證集上的宏平均F1分數達到0.741，在外部驗證集上達到0.647。相比之下，基于2D影像的OpenCLIP和BioMedCLIP模型表現顯著遜色。該發現揭示了Merlin在處理復雜病理特征（如胸腔積液、脾腫大等）時具備極強的語義理解力，雖然在闌尾炎等微小病灶上的表現仍具挑戰性。

Fig. 2 | Zero-shot classification of findings. Figure 2展示了零樣本分類的原理架構及Merlin與多個基準模型的量化對比，證明了原生3D架構在捕獲空間體積信息方面的決定性優勢。

發現二：高效的表型關聯與多疾病風險預測

Merlin在預測692種不同表型時表現穩健，平均AUROC達到0.812，其中在肝臟、腎臟及胃腸道系統疾病中的探測效果尤為突出。此外，模型在5年慢性病風險預測任務中，僅需10%的標注數據即可實現0.708的AUROC，表現優于完全監督的圖像專用模型，顯示出其在機會性篩查中的巨大潛力。

Fig. 3 | Phenotype classification. Figure 3繪制了前20種高患病率表型組的平均AUROC，揭示了模型性能隨訓練數據規模增長的縮放規律，驗證了大數據驅動下表征學習的深度。

發現三：強大的跨域泛化與解剖學普適性

盡管Merlin僅在腹部CT上訓練，但在處理完全不同的胸部CT數據時，其凍結編碼器的線性探測AUC表現仍比專門在胸部CT上訓練的CT-CLIP和M3FM模型高出12.3%至24.7%。這表明Merlin學習到了具備高度魯棒性的通用解剖特征，能夠有效應對不同醫療機構間的設備差異和報告習慣偏移。

Fig. 5 | External validation on abdominal and chest CT scans. Figure 5的雷達圖展示了Merlin在多個外部站點上對30種病征的分類表現，即使在分布移位的環境下，Merlin依然穩居性能曲線最外側，印證了基礎模型在多樣化臨床場景中的適配力。

省流總結

本研究推出的Merlin模型標志著3D醫學影像分析進入了基金模型時代。通過融合1.5萬例高質量CT影像、結構化診斷代碼與非結構化放射報告，Merlin不僅在零樣本診斷、跨模態檢索和器官分割等任務中打破了性能天花板，更展現出預測未來疾病風險的巨大潛力。其原生3D設計與多模態數據對齊策略，成功克服了2D模型的局限性，且在外部多站點驗證中表現出驚人的泛化性。這項工作證明，利用現有大規模臨床數據訓練的通用型AI，可以有效緩解放射科醫生的工作壓力，并為臨床決策提供深層次的預判支持。

請打分

這篇剛剛登上Nature的研究，是否實至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區分享您的深度見解。

分享人：天天

審核：PsyBrain 腦心前沿編輯部

你好，這里是「PsyBrain 腦心前沿」

專注追蹤全球認知神經科學的最尖端突破

視野直擊 Nature, Science, Cell 正刊 及 Nat Neurosci, Nat Hum Behav, Neuron, Sci Adv 等核心子刊與頂級大刊

每日速遞「深度解讀」與「前沿快訊」，為你打破信息差

科研是一場探索未知的長跑，但你無需獨行。歡迎志同道合的你加入PsyBrain 學術社群，和一群懂你的同行，共同丈量腦與心智的無垠前沿。

點擊卡片進群，歡迎你的到來

一鍵分享，讓更多人了解前沿