知識是計算機視覺與醫療的最本質區別

原標題：從計算機視覺走向醫療AI，對話上海交大謝偉迪：定義問題比解決問題更重要
文章來源：HyperAI超神經
內容字數：10948字

上海交大謝偉迪教授：從計算機視覺到通用醫療AI的轉型與未來

本文總結了HyperAI超神經對上海交通大學謝偉迪教授的深度訪談，探討了他從計算機視覺轉型AI for Healthcare的經歷，以及對該領域未來發展趨勢的見解。

1. 從通信到計算機視覺，再到醫療AI的兩次轉身

謝偉迪教授本科就讀于北京郵電大學通信專業，畢業后選擇出國深造，轉入計算機視覺領域，并最終將計算機視覺的經驗應用于醫療人工智能。這期間，他經歷了專業選擇上的猶豫、攻克新領域的挑戰以及成果帶來的成就感。

2. 通用醫療AI系統的“智能涌現”

謝偉迪教授認為，開發通用醫療AI系統至關重要。他指出，通用模型能夠建立不同模態數據（如圖像、文本）之間的隱層聯系，產生“智能涌現”，這對于診斷病因不明確的疾病至關重要。專用模型雖然在特定領域精度高，但泛化能力有限。

3. 面對數據挑戰：數據收集與開源

醫療數據獲取存在倫理、安全、質量等問題。謝偉迪教授團隊借鑒計算機視覺的數據收集方法，從互聯網上爬取數據，構建了包含醫學書籍、文獻、論文、圖像等的大型數據集，并將其開源，促進學術發展，同時提升團隊處理大數據的能力。

4. 多模態通用AI醫療大模型的構想

謝偉迪教授團隊的目標是構建一個多模態通用醫療模型，融合影像、文本、基因組學、ECG信號等數據，并以影像病灶定位、文本診斷報告為基本輸出形式。醫學知識的嵌入是實現通用功能的關鍵，以實現更全面的疾病診斷和鑒別診斷。

5. “兩不管”導師下的默默積蓄

在牛津大學攻讀博士期間，謝偉迪教授在兩位導師的“放養”式指導下，探索，閱讀了大量文獻，積累了深厚的計算機視覺基礎。這段經歷雖然挑戰重重，但也讓他在畢業前夕擁有了豐富的知識儲備，為未來的研究奠定了堅實基礎。

6. 計算機視覺與醫療的本質區別：知識

謝偉迪教授認為，醫療與計算機視覺最本質的區別在于“知識”。醫學更注重尋證，擁有系統規范的知識體系，而這在醫療影像中難以直接嵌入模型。因此，他選擇從語言模型入手，將醫學知識嵌入語言模型，再與視覺模型對齊。

7. 定義問題比解決問題更重要

謝偉迪教授強調，定義有意義的研究問題至關重要。團隊選擇與上海交大醫學院合作，利用醫學專家的專業知識，確保研究方向的醫學價值，并進行數據質量的嚴格把控。

8. 可解釋性與模型性能

謝偉迪教授認為，如果AI模型的性能足夠強大，診斷準確率超越頂尖醫生，可解釋性將不再是主要問題。團隊已開發多個醫療大語言模型和視覺語言模型，部分成果已成為行業基準。

9. 未來展望：走向臨床實踐

謝偉迪教授團隊計劃構建面向臨床的super instruction，整合醫生感興趣的任務，解決實際臨床問題。他們還將研究擴展到基因組學等領域，為罕見病診斷和新藥研發提供更多可能性。

總之，謝偉迪教授的經歷和研究展現了AI for Healthcare領域的巨大潛力和挑戰。他強調“知識驅動”的重要性，并致力于開發更實用、更有效的通用醫療AI系統，為醫療健康事業做出貢獻。

聯系作者

文章來源：HyperAI超神經
作者微信：
作者簡介：解構技術先進性與普適性，報道更前沿的 AIforScience 案例