入選ECCV 2024！浙江大合微軟亞洲研究院提出統一醫學圖像預訓練框架UniMedI，打破醫學數據異構化藩籬

AIGC動態歡迎閱讀

原標題：入選ECCV 2024！浙江大合微軟亞洲研究院提出統一醫學圖像預訓練框架UniMedI，打破醫學數據異構化藩籬
關鍵字：報告,圖像,數據,醫學,解讀
文章來源：HyperAI超神經
內容字數：0字

內容摘要：

作者：哇塞
編輯：十九，李寶珠
浙江大合微軟亞洲研究院提出了一種全新的統一醫學圖像預訓練框架 UniMedI。它利用診斷報告作為公共語義空間，可為不同模態的醫學圖像創建統一的表示，成功整合了 2D 和 3D 圖像，使復雜的醫學數據被更好地利用。讓 AI 在某些條件下具備類似人類的反應能力，從而代替人類高效地從事特定工作，是 AI 領域研究人員孜孜不倦的追求。正如在醫學圖像和人工智能的交叉領域，基于視覺語言預訓練的深度模型 (Visual-Language Pre-training, VLP) 憑借其自動化的特點，可以在大量圖像及對應文本的數據集上進行預訓練，并學會自動從新的圖像中提取相關特征，可高效地解決費時費力的人工注釋需求。
然而，盡管 VLP 在醫療領域已經取得了一定程度的成功，但在進一步擴大其應用的數據規模時，仍然面臨著諸多挑戰。
首先，現有模型訓練大多主要以單模態數據（主要是 2D 圖像，如 X 光片）為主，這與包含多模態圖像（包含 2D 和 3D 圖像，如 CT、MRI 圖像等）的真實醫學場景并不相符；其次，不同模態的醫學圖像固有的異質性也阻礙了它們的有效協作和整合。此

原文鏈接：入選ECCV 2024！浙江大合微軟亞洲研究院提出統一醫學圖像預訓練框架UniMedI，打破醫學數據異構化藩籬

聯系作者

文章來源：HyperAI超神經
作者微信：
作者簡介：