港大牽頭多校發布牙科大語言模型，基準測試超GPT-5三倍

圖源：OralGPT-Omni: A Versatile Dental Multimodal Large Language Model

好的牙·訊｜近日，中國香港大學牙醫學院研究團隊聯合深圳大學、中國香港科技大學（廣州）等多所院校發表論文，介紹首個牙科專用多模態大語言模型 OralGPT-Omni。

該模型可處理口內照片、根尖片、頭顱側位片、病理切片、口內視頻等8種牙科影像。覆蓋病變診斷、CVM分期預測、治療方案推薦、視頻理解和牙位定位計數5類任務。

研究團隊設計了TRACE-CoT（透明放射學分析與臨床證據）推理模式，使AI模仿放射科醫師的診斷思維過程。該推理模式包含5個步驟：影像檢查、假設生成、醫學專業知識參考、基于特征的驗證、循證結論。兩名牙醫對300個TRACE-CoT數據樣本進行質量評估，結果顯示其具有較高的質量和可靠性。

圖源：OralGPT-Omni: A Versatile Dental Multimodal Large Language Model

值得注意的是，研究團隊從31個公開數據集和1家中國香港牙科醫院收集數據，構建了包含約321萬文本詞匯、近6萬張圖像和90個視頻的大型數據集。采用四階段訓練策略：牙科知識注入、牙科概念對齊、監督微調和強化學習調優。在強化學習階段，團隊還引入了難度感知數據選擇策略和TRACE獎勵機制。

此外，研究團隊構建了MMOral-Uni基準測試，包含2809個經過專業牙醫驗證的開放式問答對，涵蓋5種影像模態和5類任務。OralGPT-Omni在該基準測試中獲得51.84分，在MMOral-OPG全景片基準測試中獲得45.31分。而對比數據顯示，GPT-5在MMOral-Uni基準測試中得分僅15.42分。

據悉，研究團隊邀請了一位擁有超過10年經驗的放射科醫師對GPT-5、Lingshu-7B和OralGPT-Omni三個模型的輸出進行了臨床有效性評估。評估結果顯示，OralGPT?Omni在準確性和臨床可用性方面獲得較高評價。

研究團隊指出，OralGPT-Omni在復雜治療方案制定方面仍存在局限性。治療方案需要考慮患者的整體健康狀況、經濟能力和治療偏好等更多個體化因素。在訓練數據中，治療方案數據僅占0.006%。此外，研究團隊表示，將公開所有代碼、數據和模型。

【特別鳴謝】如果本文有錯漏之處需要勘誤，請聯系我們的客服，屆時我們會為您準備小禮物，感謝！

【免責聲明】上述內容源于公開信息，可能存在不準確性，僅供參考。本文不構成對任何人的投資與決策建議，好的牙不對因使用本資料而導致的損失承擔任何責任，并對本內容擁有最終解釋權。

@好的牙口腔行業研究