從計算機視覺向醫療AI，上海交大謝偉迪發布多項成果，登Nature子刊/NeurIPS/CVPR等

從計算機視覺走向醫療人工智能

原標題：從計算機視覺向醫療AI，上海交大謝偉迪發布多項成果，登Nature子刊/NeurIPS/CVPR等
文章來源：HyperAI超神經
內容字數：10029字

醫療人工智能的前沿探索

近日，上海交通大學長聘軌副教授謝偉迪在COSCon’24 AI for Science論壇上分享了其團隊在醫療人工智能領域的研究進展。謝教授強調，隨著AI技術的迅速發展，醫療領域正在迎來新的機遇和挑戰，尤其是在數據集構建和模型開發方面。

1. 醫療人工智能的必要性

醫療研究對人類健康至關重要，然而醫療資源的不均衡分配始終是一個難題。謝教授指出，近年來大模型的表現顯著提升，例如GPT-4在醫師執業考試中的得分達到了90分，這讓醫生們開始關注AI技術在醫療中的應用。

2. 通用醫療人工智能系統的構想

謝教授的團隊致力于構建一個多模態通用醫療模型，能夠支持圖像、音頻和患者健康檔案等多種輸入類型。該模型希望通過提供視覺和文本兩種輸出形式，幫助醫生更好地進行診斷和治療。

3. 開源數據集的貢獻

為了解決高質量醫療數據的稀缺問題，團隊構建了多個開源數據集，包括文本和視覺數據。通過收集醫學書籍、論文，以及放射學影像數據，團隊已經建立了覆蓋廣泛的醫療數據資源。

4. 語言模型與視覺-語言模型的研發

團隊推出了PMC-LLaMA等開源醫療語言模型，并在此基礎上進行多語言擴展。這些模型能夠快速注入醫學知識，提升醫療服務的智能化水平。此外，團隊還在視覺-語言模型方面取得了一系列成果，構建了多個數據集和模型。

5. 知識增強與模型性能提升

謝教授強調，知識增強表征學習是提升模型性能的重要手段。通過建立知識圖譜，將醫學知識注入模型中，團隊的研究成果在多個基準測試中表現出色，顯示了知識增強模型的潛力和優勢。

總結

謝偉迪教授的分享展示了醫療人工智能領域的前沿探索，通過構建多模態的通用醫療模型和開源數據集，團隊致力于提升醫療服務的智能化水平，為解決醫療資源不均等問題貢獻力量。

聯系作者

文章來源：HyperAI超神經
作者微信：
作者簡介：解構技術先進性與普適性，報道更前沿的 AIforScience 案例