從計算機視覺走向醫(yī)療人工智能

原標題：從計算機視覺向醫(yī)療AI，上海交大謝偉迪發(fā)布多項成果，登Nature子刊/NeurIPS/CVPR等
文章來源：HyperAI超神經(jīng)
內(nèi)容字數(shù)：10029字

醫(yī)療人工智能的前沿探索

近日，上海交通大學長聘軌副教授謝偉迪在COSCon’24 AI for Science論壇上分享了其團隊在醫(yī)療人工智能領(lǐng)域的研究進展。謝教授強調(diào)，隨著AI技術(shù)的迅速發(fā)展，醫(yī)療領(lǐng)域正在迎來新的機遇和挑戰(zhàn)，尤其是在數(shù)據(jù)集構(gòu)建和模型開發(fā)方面。

1. 醫(yī)療人工智能的必要性

醫(yī)療研究對人類健康至關(guān)重要，然而醫(yī)療資源的不均衡分配始終是一個難題。謝教授指出，近年來大模型的表現(xiàn)顯著提升，例如GPT-4在醫(yī)師執(zhí)業(yè)考試中的得分達到了90分，這讓醫(yī)生們開始關(guān)注AI技術(shù)在醫(yī)療中的應(yīng)用。

2. 通用醫(yī)療人工智能系統(tǒng)的構(gòu)想

謝教授的團隊致力于構(gòu)建一個多模態(tài)通用醫(yī)療模型，能夠支持圖像、音頻和患者健康檔案等多種輸入類型。該模型希望通過提供視覺和文本兩種輸出形式，幫助醫(yī)生更好地進行診斷和治療。

3. 開源數(shù)據(jù)集的貢獻

為了解決高質(zhì)量醫(yī)療數(shù)據(jù)的稀缺問題，團隊構(gòu)建了多個開源數(shù)據(jù)集，包括文本和視覺數(shù)據(jù)。通過收集醫(yī)學書籍、論文，以及放射學影像數(shù)據(jù)，團隊已經(jīng)建立了覆蓋廣泛的醫(yī)療數(shù)據(jù)資源。

4. 語言模型與視覺-語言模型的研發(fā)

團隊推出了PMC-LLaMA等開源醫(yī)療語言模型，并在此基礎(chǔ)上進行多語言擴展。這些模型能夠快速注入醫(yī)學知識，提升醫(yī)療服務(wù)的智能化水平。此外，團隊還在視覺-語言模型方面取得了一系列成果，構(gòu)建了多個數(shù)據(jù)集和模型。

5. 知識增強與模型性能提升

謝教授強調(diào)，知識增強表征學習是提升模型性能的重要手段。通過建立知識圖譜，將醫(yī)學知識注入模型中，團隊的研究成果在多個基準測試中表現(xiàn)出色，顯示了知識增強模型的潛力和優(yōu)勢。

總結(jié)

謝偉迪教授的分享展示了醫(yī)療人工智能領(lǐng)域的前沿探索，通過構(gòu)建多模態(tài)的通用醫(yī)療模型和開源數(shù)據(jù)集，團隊致力于提升醫(yī)療服務(wù)的智能化水平，為解決醫(yī)療資源不均等問題貢獻力量。

聯(lián)系作者

文章來源：HyperAI超神經(jīng)
作者微信：
作者簡介：解構(gòu)技術(shù)先進性與普適性，報道更前沿的 AIforScience 案例