MMedAgent – 專為醫療領域設計的多模態AI智能體，管理多種醫療任務

MMedAgent是什么

MMedAgent是一款專為醫療行業設計的多模態人工智能智能體，通過整合多種開源醫療模型來有效管理各類醫療任務。該系統包含一個經過指令調整的多模態大型語言模型（MLLM），充當行動規劃器和結果匯總器，并配備了一系列專為醫療領域量身定制的工具，每個工具都針對特定的醫療任務進行優化。MMedAgent能夠處理如MRI、CT、X射線等多種醫學成像模式，從而支持臨床實踐中的多樣化數據類型。通過理解用戶指令及醫學影像，該系統生成格式化指令以調用特定工具，并將工具的輸出匯聚起來，提供準確、全面的回復。MMedAgent在多種醫療任務中的表現超過了現有的開源解決方案，甚至優于一些閉源模型如GPT-4o。

MMedAgent的主要功能

• 多模態任務處理：MMedAgent能夠處理多種語言和多模態任務，包括接地、分割、分類、醫學報告生成（MRG）和檢索增強生成（RAG）。
• 醫療影像支持：該系統支持多種醫學成像方式，如MRI、CT和X射線，靈活應對臨床實踐中遇到的各類數據。
• 工具集成與調用：MMedAgent整合了多個工具，涵蓋七個重要的醫療任務，能夠根據用戶指令選擇合適的工具進行調用。
• 指令微調：通過創建指令調整數據集，MMedAgent訓練多模態大型語言模型（MLLM）以理解和執行用戶的指令。
• 結果聚合：MLLM作為結果匯總器，將工具的輸出與用戶的指令和圖像相結合，生成最終的響應。
• 端到端訓練：MMedAgent采用自回歸目標對生成的序列進行端到端訓練，確保模型能正確使用工具并根據工具的結果回答問題。

MMedAgent的技術原理

• 系統架構：MMedAgent由兩個核心部分構成：
  • 一個經過指令調整的多模態大型語言模型（MLLM），作為行動規劃器和結果匯總器。
  • 為智能體專門定制的一系列醫療工具，每個工具都針對醫療領域的特定任務。
• 工作流程：MMedAgent的工作流程分為四個步驟：
  • 用戶提供指令和醫療圖像。
  • MLLM解析指令和圖像，生成格式化指令以調用特定工具。
  • 執行工具并返回結果。
  • MLLM將工具的輸出與用戶指令和圖像結合，生成最終答案。
• 指令微調：MMedAgent采用統一的對話格式，以確保其在行動規劃和結果匯總中的角色。在接收到用戶輸入后，MMedAgent生成三個部分：
  • Thought（思考）：判斷是否需要調用外部工具。
  • API Name和API Params（API名稱和參數）：API調用的名稱和參數。
  • Value（值）：由MLLM聚合的工具輸出和自然語言回應。
• 自回歸目標訓練：MMedAgent通過自回歸目標對生成的序列進行端到端訓練，以確保模型能夠正確使用工具并根據工具的輸出作出回答。

MMedAgent的項目地址

• Github倉庫：https://github.com/Wangyixinxin/MMedAgent
• arXiv技術論文：https://arxiv.org/pdf/2407.02483

MMedAgent的應用場景

• 視覺問答（VQA）：MMedAgent能夠處理與醫學影像相關的問題，基于圖像內容提供答案，支持MRI、CT、X射線、組織學和大體病理學等多種影像模態。
• 分類任務：通過使用BiomedCLIP工具，MMedAgent能夠進行零樣本和細粒度的醫學圖像分類。
• 定位和分割任務：MMedAgent集成了Grounding DINO和MedSAM工具，應用于醫學影像的定位和分割任務，包括基于邊界框提示的分割（Segmentation）和基于文本提示的分割（G-Seg）。
• 醫學報告生成（MRG）：借助ChatCAD工具，MMedAgent能夠從X光圖像生成準確的醫學報告。
• 檢索增強生成（RAG）：MMedAgent通過ChatCAD+工具，從外部數據源獲取最相關的信息，支持醫療檢索流程。
• 跨模態醫學任務處理：MMedAgent能夠靈活利用各種醫療工具，處理跨不同成像模態的廣泛醫學任務。

常見問題

• MMedAgent如何處理不同類型的醫學圖像？MMedAgent支持多種醫學成像模式，包括MRI、CT和X射線，能夠根據圖像特性選擇合適的處理工具。
• MMedAgent的使用場景有哪些？該系統可用于視覺問答、醫學報告生成、圖像分類、定位和分割等多種醫療場景。
• 如何獲取MMedAgent的最新版本？您可以通過其Github倉庫獲取最新版本及更新信息。
• MMedAgent的性能如何？MMedAgent在多個醫療任務上的表現優于現有的開源方案，且在某些任務上超過了閉源模型。