牛津/亞馬遜/西湖大學(xué)/騰訊等提出多模態(tài)多領(lǐng)域多語言醫(yī)學(xué)模型M3FM，可用于零樣本臨床診斷

工業(yè)與學(xué)術(shù)界的合作典范！

原標題：牛津/亞馬遜/西湖大學(xué)/騰訊等提出多模態(tài)多領(lǐng)域多語言醫(yī)學(xué)模型M3FM，可用于零樣本臨床診斷
文章來源：HyperAI超神經(jīng)
內(nèi)容字數(shù)：12573字

M3FM：多模態(tài)多領(lǐng)域多語言醫(yī)學(xué)基礎(chǔ)模型，引領(lǐng)智慧醫(yī)療新篇章

本文介紹了由牛津大學(xué)、亞馬遜、羅切斯特大學(xué)、GlaxoSmithKline、騰訊優(yōu)圖實驗室、西湖大學(xué)醫(yī)學(xué)人工智能實驗室等團隊合作研發(fā)的全新多模態(tài)多領(lǐng)域多語言醫(yī)學(xué)基礎(chǔ)模型M3FM。該模型能夠進行零樣本臨床診斷，支持疾病報告和疾病分類，在效率和準確性方面都展現(xiàn)出顯著優(yōu)勢，為智慧醫(yī)療的自動化、智能化和流程化發(fā)展提供了新的動力。

1. 醫(yī)學(xué)影像報告生成的挑戰(zhàn)與M3FM的創(chuàng)新

   傳統(tǒng)的醫(yī)學(xué)影像報告生成耗時費力，且容易出錯。現(xiàn)有方法面臨數(shù)據(jù)稀缺、尤其是非英語語言數(shù)據(jù)匱乏的挑戰(zhàn)，難以應(yīng)對罕見病或新發(fā)疾病的診斷。M3FM模型的創(chuàng)新之處在于其能夠進行零樣本多模態(tài)多領(lǐng)域多語言臨床診斷，即使在標記數(shù)據(jù)稀缺甚至完全缺失的情況下也能有效工作。

2. M3FM模型架構(gòu)與訓(xùn)練方法

   M3FM框架由MultiMedCLIP和MultiMedLM兩個主要模塊組成。MultiMedCLIP模塊學(xué)習(xí)不同語言和圖像的聯(lián)合表示，創(chuàng)建共享潛在空間以對齊不同領(lǐng)域的視覺和文本表示。MultiMedLM模塊則基于MultiMedCLIP提取的表示生成多語言報告，通過重建輸入文本進行訓(xùn)練。該模型采用對比學(xué)習(xí)和自然語言生成損失進行訓(xùn)練，并引入了隨機失活和高斯噪聲以提高訓(xùn)練穩(wěn)定性。

3. M3FM模型的性能評估與應(yīng)用

   研究人員在9個數(shù)據(jù)集上驗證了M3FM的有效性，結(jié)果表明其在疾病報告和疾病分類任務(wù)上均優(yōu)于現(xiàn)有方法。尤其是在零樣本和少樣本場景下，M3FM展現(xiàn)出顯著的優(yōu)勢，能夠生成準確的多語言報告，并有效進行疾病診斷。臨床醫(yī)生評估也證實了M3FM在實際應(yīng)用中的潛力，能夠顯著減輕醫(yī)務(wù)人員的工作負擔。

4. 西湖大學(xué)醫(yī)學(xué)人工智能實驗室的貢獻

   西湖大學(xué)醫(yī)學(xué)人工智能實驗室在該研究中做出了重要貢獻。實驗室主任鄭冶楓博士及其團隊致力于醫(yī)學(xué)影像分析、醫(yī)學(xué)自然語言理解和生物信息分析等領(lǐng)域的研究，M3FM模型是該實驗室成立后取得的重要成果之一。實驗室還開展了其他相關(guān)研究，例如基于弱標記數(shù)據(jù)的協(xié)同學(xué)習(xí)框架和緩解大型語言模型在醫(yī)療信息提取中“幻覺”現(xiàn)象的方法。

5. AI引領(lǐng)智慧醫(yī)療的未來

   M3FM模型的成功研發(fā)標志著人工智能在醫(yī)療健康領(lǐng)域的應(yīng)用邁向了新的階段。未來，人工智能技術(shù)將繼續(xù)推動醫(yī)療保健領(lǐng)域走向智慧化、智能化和自動化，為患者提供更高效、更精準的醫(yī)療服務(wù)。鄭冶楓博士預(yù)測，在未來10-15年內(nèi)，人工智能將具備與醫(yī)生相當?shù)脑\療準確率，并得到廣泛應(yīng)用。

聯(lián)系作者

文章來源：HyperAI超神經(jīng)
作者微信：
作者簡介：解構(gòu)技術(shù)先進性與普適性，報道更前沿的 AIforScience 案例