讓大模型理解真實醫療視頻，全球首個開源技術方案來了！

編輯｜冷貓

讓 AI 進入醫療領域，是一件需要慎之又慎的事情。

在這種事情上，總有人走得特別激進。今年 2 月，路透社發布了一篇調查報道，標題觸目驚心 ——《As AI enters the operating room, reports arise of botched surgeries and misidentified body parts》。

翻譯一下，該報道題為《當 AI 進入手術室：手術失誤及人體部位識別錯誤的報告頻發》。在美國，醫療設備廠商將不甚成熟的 AI 引入手術場景，但隨之而來的誤判案例也在不斷增加 —— 系統錯誤識別了人體部位，有機器人輔助手術中出現了本可避免的操作失誤。

醫療器械廠商正爭相將 AI 整合進其產品之中。盡管支持者堅信這項新技術將顛覆醫療領域，但監管機構收到的關于患者受傷的指控卻在持續攀升。

在這些直接應用到臨床實踐的醫學 AI 中，大部分都是以視覺和圖像（視頻）識別技術作為核心。

在學術界我們很熟悉，視頻大模型已經成為了計算機視覺領域最擁擠的賽道之一。雖說有非常大量成熟的視覺識別大模型，但幾乎都集中在通用視頻領域。當鏡頭轉向手術室，局面陡然變難。我們仍然面臨幾個巨大的問題：

通用模型無法專精于醫療領域的任務，并且醫療領域并非單一任務種類；醫療領域的相關數據缺失；大模型在醫療實際任務中的表現幾乎無法進行統一評估。

不過，讓 AI 參與到醫療領域，提高效率，減輕醫院和醫務人員的負擔，是非常有意義的。

我們看到，來自 Global Information 的《2026 年人工智慧（AI）增強型手術影像分析全球市場報告》，也預測了 AI 在醫療領域手術視頻分析的增長潛力。

基于人工智能（AI）的手術視頻分析市場發展迅速，預計將從 2025 年的 7.3 億美元增長到 2026 年的 9.1 億美元，年復合增長率（CAGR）為 24.1%。預計未來幾年，人工智能（AI）增強型手術視頻分析市場將呈指數級增長，到 2030 年市場規模將達到 21.4 億美元，年復合增長率（CAGR）為 23.8%。

令人驚喜的是，全球首個，規模最大、性能最強的醫療視頻理解領域大模型 —— 元智醫療視頻理解大模型 (uAI-NEXUS-MedVLM) 已經正式發布并開源！

這一模型直接解決了在醫療視頻領域的任務優化，數據缺失，以及無法評測的三大痛點，敲開了大模型在醫療領域大規模應用的大門。

相關研究成果已獲 IEEE 國際計算機視覺與模式識別會議（CVPR 2026）收錄。

• 論文標題：MedGRPO: Multi-Task Reinforcement Learning for Heterogeneous Medical Video Understanding
• 論文鏈接：https://arxiv.org/pdf/2512.06581
• 項目主頁：https://uii-ai.github.io/MedGRPO/
• 開源鏈接：https://github.com/UII-AI/MedGRPO-Code

把「不可解」變成「可解」

在過去，讓大模型理解真正的臨床醫療視頻，幾乎是一個「不可解」的問題。

醫療視頻不僅涉及圖像識別，還需要解決空間、時間和語義的復雜性，手術過程中的每個細節都至關重要，任何疏忽都可能帶來嚴重后果。

• 空間維度要求模型精確識別手術視頻中各個工具、器官和組織的空間位置以及它們之間的關系。
• 時間維度帶來了動態性，手術視頻不僅是靜態的圖像集合，還涉及到不同動作和步驟的時序變化。
• 語義維度則要求模型具備深厚的醫學背景知識，能夠理解手術中每個設備和動作的醫學意義。

視覺理解的無人區

「空間 — 時間 — 語義」的三重復雜性疊加，即使是 GPT-5.4 和 Gemini-3.1 這樣的通用巨頭，在面對真實手術視頻時幾乎全面潰敗。

圖 1：在 MedVidBench 8 項任務上的主要結果。

在實驗中，研究團隊比較了 2025 年和 2026 年的開箱即用基線模型（采用 one-shot 提示進行評估）、 SFT 基線，以及在 Qwen2.5VL-7B、Qwen3-VL-4B 和 Qwen3.5-4B 上的完整 MedGRPO 方法。

具體數據很能說明問題。在關鍵安全視野評估（CVS）任務上，GPT-5.4 的準確率只有 16.4%，Gemini-3.1 為 24.2%，基本上是在瞎猜。在時空動作定位（STG）任務中，預測區域與真實區域的交并比（mIoU）低到可以忽略不計。即便是看起來最「容易」的視頻摘要生成任務中，滿分 5 分的情況下，GPT-5.4 只拿到 3.976 分，Gemini-3.1 拿到 3.737 分。

聯影智能的研究團隊選擇了一條突破無人區的全新道路。方案可以概括為三件事：造一把標尺、建一套數據、發明一種訓練方法

MedVidBench：全球公共標尺

要走進廣闊的無人區，必須有勇于探索的先行者，建立起最初的標尺。

換言之，任何領域的進步都離不開統一的評測基準。在其他研究領域里，ImageNet 定義了圖像分類的標準，GLUE 奠定了自然語言理解的基礎，但在醫療視頻理解領域，長期以來連一把「標尺」都沒有。

為了探索，并能夠便于后來者的研究，研究團隊構建了MedVidBench，一個包含53 萬余條視頻 - 指令對的大規模基準數據集。它覆蓋了8 個專業醫學數據源（CholecT50、CholecTrack20、Cholec80-CVS、CoPESD、AVOS、EgoSurgery、JIGSAWS、NurViD），橫跨腹腔鏡、開放手術、機器人手術及護理操作等核心臨床場景。

圖 2：MedVidBench 概述。(a) MedVidBench 的高質量數據管理流程。研究團隊將專家知識應用于提示構建，并使用 2 個 VLM（Gemini-2.5-Flash 和 GPT-4.1）生成高質量文本。(b) MedVidBench 包含 8 個不同的數據集，總樣本量為 532k，涵蓋 4 個不同的領域。(c) 不同領域中多樣化任務示例。

更關鍵的是，MedVidBench 不只是「量大」。它包含了了8 大個不同的數據集，涵蓋三個粒度層級：

• 視頻級：理解整段視頻的全局信息，包含 VS（視頻摘要）、NAP（下一步操作預測）的任務；
• 片段級：定位和理解特定時間段的內容，包含 TAG（時間動作定位）、STG（時空定位）、DVC（密集視頻描述）的任務；
• 幀級：對單幀畫面進行精細分析，包含 RC（區域描述）、CVS（關鍵安全視野評估）、SA（技能評估）的任務

這種「視頻 — 片段 — 幀」的三層架構，完整還原了人類醫生觀看手術視頻時，由粗到細的認知過程：從整體流程出發，再聚焦關鍵步驟，最后審視細節。

數據質量方面，團隊設計了一套嚴格的質量保障流水線：專家引導式提示詞工程 + 雙模型交叉驗證（GPT + Gemini），確保每一條指令 - 響應對都經過雙重把關。數據集分為兩個版本 —— 大規模版（53 萬樣本，用于擴展實驗）和標準版（5.15 萬樣本，任務均衡，用于高效多任務學習）。

GRPO：好上加好

有了數據，下一個問題是：用什么訓練方法最好？

我們知道，在特定任務和數據集上訓練大模型，直觀的方法是通過監督微調（SFT）。

基于 Qwen2.5-VL-7B，團隊在 MedVidBench 上進行了 SFT ，結果相當驚艷。在全部 8 項任務中，模型的表現全面超越了 GPT-4.1、Gemini-2.5-Flash、GPT-5.4 和 Gemini-3.1-flash-lite。在僅 7B 參數規模下，CVS 準確率高達 89.4%，是 GPT-5.4 的近 50 倍；而在 TAG@0.3 的 mIoU 上，更是達到了 Gemini-3.1 的 3 倍之多。

但 SFT 的方法是有上限的。為了能夠更進一步，團隊希望通過引入強化學習（RL），進一步提升模型輸出的質量。

然而，標準的 RL 方法在這里遇到了一個致命問題：跨數據集獎勵尺度失衡

不同醫療視頻任務的難度差異極大。CoPESD 數據集上的 STG 任務中位 mIoU 約 0.5，而 EgoSurgery 上同樣的任務中位 mIoU 只有約 0.12。如果直接用原始獎勵信號做 RL 訓練，簡單任務的梯度會淹沒困難任務的信號，導致優化失衡甚至訓練崩潰

實驗證實了這一點：不做歸一化時，CVS 準確率從 0.894 崩塌到 0.020，STG 的 mIoU 從 0.177 掉到 0.010。

團隊的解決方案是MedGRPO，核心是兩項算法創新：

圖 3：MedGRPO 概述。（a）包含跨數據集獎勵歸一化和醫療 LLM 裁判評估的 MedGRPO 框架。（b）使用和未使用獎勵歸一化訓練的模型之間的訓練熵比較。

第一項：跨數據集獎勵歸一化（Cross-Dataset Reward Normalization）。

關鍵洞察是中位數公平性：所有數據集 - 任務對的中位性能獲得相等的歸一化獎勵，消除了梯度更新中的偏差。團隊引入 Logistic 歸一化函數，將每個數據集的中位性能統一映射到相同的獎勵值 0.5：

其中 p_50是該數據集的中位性能，IQR 是四分位距。這個設計的精妙之處在于四重保證：

• 中位公平性：所有數據集在中位性能處獲得相同獎勵，無論絕對難度如何
• 平滑梯度：Logistic 函數處處可導，不會出現梯度消失或爆炸
• 離群值魯棒性：基于 IQR 縮放，極端異常值不會扭曲整體分布
• 有界輸出：獎勵值被限制在 (0,1) 區間內，天然兼容 GRPO 的組歸一化機制

第二項：醫學 LLM 評審（Medical LLM Judge）。

這是整個工作中最具洞察力的部分。團隊發現，傳統的語義相似度指標根本無法衡量醫學描述的臨床正確性 —— 前面提到的例子就是最好的佐證：「工具在上方區域抓取組織」與「抓鉗在右上象限分離膽囊管」，語義相似度高達 0.82，但醫學準確性天壤之別。

為此，團隊設計了基于 GPT-4.1 的比較評分系統，從五個臨床維度進行評判：

• 醫學術語精確性：使用的是臨床術語還是外行語言？
• 器械與解剖結構識別：能否準確命名具體工具和人體結構？
• 描述具體性：給出的是精確細節還是籠統概括？
• 臨床上下文感知：是否理解手術流程和安全規范？
• 動作與狀態準確性：對手術動作和組織狀態的判斷是否正確？

最終評分采用混合策略：LLM 評審得分占 50%，傳統語義相似度占 50%—— 既捕捉臨床正確性，又保留整體連貫性。

實際效果

說了這么多，采用了如此完善的數據集，以及團隊創新的 SFT + RL 方法，能否徹底改變大模型在醫療視頻理解領域只會「瞎猜」的現狀呢？

答案自然是肯定的，我們在前文的圖 1 中已經能夠發現，采用完整訓練的元智醫療視頻理解大模型在各項任務中成績遠遠領先于通用大模型。

圖 4：四個模型在 MedVidBench 上 8 個任務的主要結果。

這張多維圖像把元智醫療視頻理解大模型在 8 個主要任務上的優勢表現的非常清晰，非常接近「八邊形戰士」。

以 GPT-5.4，Gemini-3.1 和 Qwen3.5-4B 為代表的前沿通用大模型表現出非常一致的「偏科」問題，但哪怕在其最擅長的視頻摘要任務中，仍然不敵元智醫療視頻理解大模型。

圖 5：uAI-NEXUS-MedVLM-1.0a-7B-RL在獎勵歸一化和 LLM 判斷上的消融研究。

比數據更能讓人直觀感受到大模型強大能力的自然是定性對比。在這里，我們選擇了畫面相對溫和的臨床護理中「青霉素皮試」操作的示例：

圖 6：臨床護理區域描述任務實驗結果

仔細看，對于大模型而言，對一個高于一分鐘時長的視頻進行內容識別和理解，尤其是涉及醫學專用術語和精準定位的任務，即使對一個未經醫學培訓的人類而言都是極具挑戰性的。

• GPT-5.4 描述的內容詳細，但出現了「排除殘留空氣」等幻覺現象。
• Gemini-3.1-Flash-lite 結果與 GPT-5.4 有些類似，但其出現了更明顯的時間標記錯誤。
• Qwen3.5-4B 則出現了典型的時間定位偏移，并出現描述兩次「進行皮內注射」的顯著錯誤。

uAI-NEXUS-MedVLM-1.0b-4B-RL 的表現產生了顯著的進化。它不僅準確識別「皮膚消毒」和「皮內注射」的時間位置，并準確描述人體前臂部位，準確表達醫療專業術語，并成功描述出細粒度操作過程。

模型輸出已經從表層動作識別，走向對護理操作邏輯的流程化的深度理解。這種提升說明，模型開始逐步建立起更接近臨床視角的視頻理解能力。

而且 MedGRPO 具備良好的泛化性，甚至在 4B 小模型 + RL 的配置下，多數任務的表現已經超過 7B 的 SFT 基線。這意味著高效的醫療視頻理解不一定需要堆參數，正確的訓練方法論同樣關鍵。

廣發「英雄帖」，共建基礎設施

通往醫療視頻理解領域的標尺已經確立，向這一領域探索有了評估基準，一切都變得有跡可循。

要想真正讓醫療領域的人工智能走向實用，就需要讓全行業都來用這把標尺，共同推進醫療領域 AI 的模型進步和基礎設施建設。

團隊上線了MedVidBench 公開排行榜（Leaderboard），面向全球開發者發出正式邀請：任何團隊都可以提交自有模型的測試結果，由系統基于這一標準自動評分，動態更新統一榜單。

這是一張「英雄帖」，是一個持續運轉的全球競技平臺，開發者提交、系統評分、榜單刷新、排名迭代，形成完整的閉環。

• 排行榜鏈接：https://huggingface.co/spaces/UII-AI/MedVidBench-Leaderboard

作為領域內首個完善的評測體系，具有深遠的意義：

構建可信的統一評測框架。在醫療這樣一個極度依賴信任的行業，「自說自話」的 benchmark 沒有說服力。只有當全球不同機構、不同技術路線的模型在同一套標準下接受檢驗時，評測框架本身才能獲得公信力。MedVidBench 的公開排行榜正是為此而生，打造一個共同認可的「行業標準」，讓所有參與者站在同一條起跑線上。

吸引全球開發者參與挑戰。排行榜天然具有競技屬性，競爭是推動領域進步的最有效引擎之一。當一家醫院的研究組、一所大學的實驗室、一家創業公司的工程師都能在同一個榜單上看到自己的排名，這種開放競技模式在大模型的經典 benchmark 和 Arena 上已被反復驗證。

提升國際影響力與信任度。從更宏觀的視角看，一個被全球開發者廣泛使用的評測基準和排行榜，意味著打造這一大模型和評測標準的聯影智能正在從「中國的一家醫療 AI 公司」轉變為「全球醫療視頻理解領域的基礎設施提供者」。

醫療 AI 走到今天，競爭焦點已經不再局限于單個模型、單項指標或某一次榜單成績，而是技術突破的背后是否具備持續連接真實臨床場景、醫學數據體系、算法研究和工程落地的綜合能力。

在醫療視頻理解大模型的領域，元智醫療視頻理解大模型首次實現里程碑式的技術突破、其背后的研發團隊，正是長期深耕 AI 領域的創新企業：聯影智能

作為聯影集團旗下獨立運營的子公司，聯影智能專注于醫療數字化和智能化方向上的技術創新與商業落地布局，致力于成為全球數智醫療創新引領者。

去年聯影智能正式發布了面向醫療垂域、多模態協同的「元智」醫療大模型（簡稱：uAI NEXUS）。該大模型由文本、影像、視覺、語音、混合五個大模型組成，作為醫療數智化體系的堅實基座，可面向不同醫療場景輸出底層智能。本次開源的視頻理解大模型正是「元智」視覺大模型的重要能力延展與關鍵組成部分，進一步拓展了其在動態醫療場景中的理解、推理與決策能力。

為什么聯影智能攻克視覺理解這一公認的技術難題？我們認為，這是一個長期的、系統性的投入，常年的技術積累與業內的綜合實力的厚積薄發，水到渠成。

第一層：真實臨床場景的長期浸潤。

聯影智能深耕醫療影像與人工智能融合領域多年，在真實臨床環境中積累了海量的多模態數據與應用經驗，并對醫院臨床需求有深刻洞察力。這種基于真實醫療體系長期沉淀的積累，讓模型從一開始就具備「臨床可用性」的基因。

第二層：頂會級算法研究的持續輸出。

聯影智能的研究團隊長期深耕計算機視覺與醫學影像分析方向，在手術視頻理解和多模態大模型等領域有深厚的技術儲備。相關成果已發表于 CVPR、NeurIPS、ICLR、ICCV、ECCV、AAAI 等國際頂級 AI 會議 —— 這意味著團隊在方法論層面始終站在領域最前沿。

第三層：從數據源頭到模型落地的完整閉環。

這是最關鍵、也最難復制的一環。團隊直接從數據源頭入手：對海量公共醫療視頻數據進行逐幀級精細標注，精確到每一幀畫面中的器械類型、空間位置、手術操作步驟、風險評估等級等核心要素。這種近乎嚴苛的高顆粒度、多維度標注模式，使模型從訓練的第一天起就建立起強大的視覺理解基礎，并逐步構建出一套覆蓋多場景的 「感知 — 推理 — 決策」 完整能力體系。

通用大模型在互聯網文本和圖像上攻城略地的同時，手術室里的那臺攝像機仍在靜靜地記錄著一切。在這里，語言的華麗毫無意義，唯有毫米級的精度和對生命的絕對嚴肅才是金標準。

未來，元智醫療視頻理解大模型也有潛力深入融合具身智能，成為打通醫療影像、臨床決策與物理執行的智能樞紐。形成「視覺感知 - 邏輯推理 - 物理執行」的完整能力閉環，推動復雜醫療操作邁向全面數字化、結構化與智能化。

醫療 AI 的落地是一場接力賽。聯影智能把模型和數據開源，把「接力棒」遞到了全行業手里。畢竟，手術刀尖上的事，只有全行業一起努力，才能讓 AI 真正從冷冰冰的論文數據，變成手術室里那盞照亮生命的「無影燈」。

https://www.reuters.com/investigations/ai-enters-operating-room-reports-arise-botched-surgeries-misidentified-body-2026-02-09/

https://www.gii.tw/report/tbrc1939265-artificial-intelligence-ai-enhanced-surgical-video.html