VisionFM

VisionFM – 通用眼科AI大模型，具備少樣本多種疾病診斷能力

VisionFM（伏羲慧眼）是一款先進的多模態多任務視覺基礎模型，專門為通用眼科人工智能而研發。該模型通過對340萬張來自560,457名個體的眼科圖像進行預訓練，涵蓋了多種眼科疾病、成像模式、設備和人口統計學信息。VisionFM能夠處理八種常見的眼科成像形式，如眼底攝影、光學相干斷層掃描（OCT）和熒光素眼底血管造影（FFA），并在眼科疾病檢測、進展預測、疾病表型細分以及全身生物標志物和疾病預測等多項眼科AI任務中發揮重要作用。

VisionFM是什么

VisionFM（伏羲慧眼）是一款多模態、多任務的視覺基礎模型，專為眼科人工智能的普及而設計。通過對340萬張來自560,457個個體的眼科圖像進行預訓練，覆蓋了豐富的眼科疾病、成像模式、設備及人群統計特征。VisionFM能夠處理八種主流眼科成像形式，包括眼底攝影、光學相干斷層掃描（OCT）和熒光素眼底血管造影（FFA），并廣泛應用于眼科疾病的識別、疾病進展的預測、疾病表型的分類以及全身生物標志物和疾病的預測等多種任務。該模型在診斷12種常見眼科疾病方面的表現超過了基礎和中級水平的眼科醫生，并在大型眼科疾病診斷基準數據庫中優于許多強大的基線深度神經網絡。VisionFM還展現出對新眼科成像模態、疾病譜系及成像設備的良好泛化能力。

VisionFM的主要功能

• 疾病篩查與診斷：VisionFM具備篩查和診斷多種眼科疾病的能力，包括糖尿病視網膜病變、青光眼和老年性黃斑變性等。
• 疾病預后評估：模型可以預測疾病的發展趨勢及其預后情況。
• 疾病表型細分：VisionFM能夠進行疾病表型的細致分類，包括病變、血管和層的分割，以及地標檢測。
• 全身生物標志物與疾病預測：除了眼部疾病，VisionFM還可從眼部圖像中預測全身的生物標志物和相關疾病。
• 多模態處理能力：VisionFM支持處理包括眼底攝影、OCT、FFA等在內的八種常見眼科成像模式。
• 模態無關診斷：VisionFM實現了模態無關的診斷，能夠通過單一解碼器診斷不同成像模態中的多種眼科疾病。
• 少樣本學習能力：VisionFM展現了在少量標注樣本條件下進行高準確度診斷新疾病的能力。
• 強泛化能力：該模型對新的眼科成像模態、疾病譜系和成像設備展現出強大的泛化能力。
• 合成數據增強學習：VisionFM能夠利用合成的眼科成像數據提升其表示學習能力，從而在后續的眼科AI任務中取得顯著性能提升。

VisionFM的技術原理

• 大規模預訓練：VisionFM基于深度學習的視覺基礎模型，通過預訓練340萬張來自560,457個個體的眼科圖像，覆蓋了多種眼科疾病、成像模式和人口統計數據。
• 多模態多任務學習：VisionFM能夠處理多種眼科成像模式，并應用于疾病篩查、診斷、預后評估等多項眼科AI任務。
• 專家級智能與準確性：經過預訓練，VisionFM在多項眼科AI應用中展現出專家級的智能和準確性，特別是在聯合診斷12種常見眼科疾病時超越了初級與中級眼科醫生。

VisionFM的項目地址

• Github倉庫：https://github.com/ABILab-CUHK/VisionFM
• arXiv技術論文：https://arxiv.org/pdf/2310.04992

VisionFM的應用場景

• 眼科臨床任務：VisionFM可為眼科臨床任務提供支持，尤其在疾病篩查和診斷方面表現優異。
• 多種眼科疾病診斷：該模型在多種眼科疾病的診斷與預測中表現出色，包括糖尿病視網膜病變、青光眼和老年性黃斑變性等。
• 基層醫療環境：在資源有限的基層醫療環境中，VisionFM能夠發揮重要作用，減輕醫生的工作負擔。
• 低眼科醫生密度地區：VisionFM在眼科醫生稀缺的地區和國家尤為有用。
• 教育與培訓：VisionFM可作為資深眼科醫生，幫助培訓初級眼科從業者，分享其在眼科影像和疾病診斷方面的廣泛知識。
• 輔助生成診斷報告：此模型能夠與大型語言模型（LLM）結合，生成診斷報告，完成眼科疾病診斷的閉環。