入選ECCV 2024！浙江大合微軟亞洲研究院提出統(tǒng)一醫(yī)學(xué)圖像預(yù)訓(xùn)練框架UniMedI，打破醫(yī)學(xué)數(shù)據(jù)異構(gòu)化藩籬

AIGC動(dòng)態(tài)7個(gè)月前發(fā)布 HyperAI超神經(jīng)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：入選ECCV 2024！浙江大合微軟亞洲研究院提出統(tǒng)一醫(yī)學(xué)圖像預(yù)訓(xùn)練框架UniMedI，打破醫(yī)學(xué)數(shù)據(jù)異構(gòu)化藩籬
關(guān)鍵字：報(bào)告,圖像,數(shù)據(jù),醫(yī)學(xué),解讀
文章來(lái)源：HyperAI超神經(jīng)
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

作者：哇塞
編輯：十九，李寶珠
浙江大合微軟亞洲研究院提出了一種全新的統(tǒng)一醫(yī)學(xué)圖像預(yù)訓(xùn)練框架 UniMedI。它利用診斷報(bào)告作為公共語(yǔ)義空間，可為不同模態(tài)的醫(yī)學(xué)圖像創(chuàng)建統(tǒng)一的表示，成功整合了 2D 和 3D 圖像，使復(fù)雜的醫(yī)學(xué)數(shù)據(jù)被更好地利用。讓 AI 在某些條件下具備類似人類的反應(yīng)能力，從而代替人類高效地從事特定工作，是 AI 領(lǐng)域研究人員孜孜不倦的追求。正如在醫(yī)學(xué)圖像和人工智能的交叉領(lǐng)域，基于視覺(jué)語(yǔ)言預(yù)訓(xùn)練的深度模型 (Visual-Language Pre-training, VLP) 憑借其自動(dòng)化的特點(diǎn)，可以在大量圖像及對(duì)應(yīng)文本的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并學(xué)會(huì)自動(dòng)從新的圖像中提取相關(guān)特征，可高效地解決費(fèi)時(shí)費(fèi)力的人工注釋需求。
然而，盡管 VLP 在醫(yī)療領(lǐng)域已經(jīng)取得了一定程度的成功，但在進(jìn)一步擴(kuò)大其應(yīng)用的數(shù)據(jù)規(guī)模時(shí)，仍然面臨著諸多挑戰(zhàn)。
首先，現(xiàn)有模型訓(xùn)練大多主要以單模態(tài)數(shù)據(jù)（主要是 2D 圖像，如 X 光片）為主，這與包含多模態(tài)圖像（包含 2D 和 3D 圖像，如 CT、MRI 圖像等）的真實(shí)醫(yī)學(xué)場(chǎng)景并不相符；其次，不同模態(tài)的醫(yī)學(xué)圖像固有的異質(zhì)性也阻礙了它們的有效協(xié)作和整合。此

原文鏈接：入選ECCV 2024！浙江大合微軟亞洲研究院提出統(tǒng)一醫(yī)學(xué)圖像預(yù)訓(xùn)練框架UniMedI，打破醫(yī)學(xué)數(shù)據(jù)異構(gòu)化藩籬