MedRAX

MedRAX – AI醫學推理Agent，用于X光檢查和解決復雜醫學問題

MedRAX是什么

MedRAX（X光醫學推理代理）是一個專為X光影像分析而設計的人工智能推理工具。它巧妙地結合了最先進的X光分析技術和多模態大型語言模型，形成一個集成化的框架，能夠動態地利用這些模型來應對復雜的醫學查詢，無需經過額外的訓練。MedRAX的核心架構基于LangChain和LangGraph框架，核心語言模型為具備視覺能力的GPT-4o，支持本地和云端的靈活部署，并通過Gradio構建了優質的用戶界面。

MedRAX

MedRAX的主要功能

多模態醫學推理：MedRAX整合了多種頂尖的X光（CXR）分析工具和大型語言模型，能夠在無需額外訓練的情況下，動態解決復雜的醫學查詢。
多步驟推理支持：系統能夠將復雜的醫療查詢拆解為多個小任務，逐步解決。例如，它可以識別X光片中的特定病變（檢測）、對病變進行分類（分類）、精確定位病變的位置（定位）、比較病變的變化（比較）、分析病變之間的關系（關系）、進行臨床診斷（診斷）以及描述病變特征（特征描述）。
強大的工具集成：MedRAX結合了多種工具，如視覺問答（CheXagent和LLaVA-Med）、圖像分割（MedSAM和PSPNet）、病變定位（Maira-2）、報告生成（SwinV2 Transformer）、疾病分類（DenseNet-121）以及X光生成（RoentGen）等。
用戶友好的界面與靈活部署：提供生產級的用戶界面，支持本地和云端的靈活部署，滿足不同醫療環境下的隱私和安全需求。
性能驗證與基準測試：通過ChestAgentBench基準測試，MedRAX在2500個復雜醫療查詢中展現出卓越的表現，涵蓋檢測、分類、定位等多個核心能力，其性能優于許多開源和專有模型。

MedRAX的技術原理

核心架構：MedRAX基于LangChain和LangGraph構建，使用具備視覺能力的GPT-4o作為核心語言模型。該架構支持動態選擇工具，能夠根據復雜的醫療查詢自動選取最優工具組合。
多模態推理與工具集成：MedRAX實現了多模態推理和精準診斷，具體包括：
- 視覺問答（Visual QA）：運用CheXagent和LLaVA-Med進行復雜的醫學推理與視覺理解。
- 圖像分割（Segmentation）：使用MedSAM和在ChestX-Det上訓練的PSPNet模型進行解剖結構的精準識別。
- 病變定位（Grounding）：利用Maira-2在醫學影像中精確定位特定發現。
- 報告生成（Report Generation）：基于在CheXpert Plus上訓練的SwinV2 Transformer生成詳盡的醫學報告。
- 疾病分類（Disease Classification）：利用TorchXRayVision中的DenseNet-121檢測多達18種病理類別。
- X光生成（X-ray Generation）：通過RoentGen生成合成的X光影像。
動態推理與多步驟任務分解：MedRAX能夠將復雜的醫療查詢分解為多個小任務，依次解決。例如，它可以識別病變（檢測）、進行分類（分類）、精確定位（定位）、比較病變變化（比較）、分析病變關系（關系）、進行臨床診斷（診斷）以及描述病變特征（特征描述）。

MedRAX的項目地址

項目官網：https://bowang-lab.github.io/MedRAX/
Github倉庫：https://github.com/bowang-lab/MedRAX
arXiv技術論文：https://arxiv.org/pdf/2502.02673

MedRAX的應用場景

臨床診斷支持：MedRAX能夠快速而準確地解讀X光片，為放射科醫生和臨床醫生提供有效的診斷支持。通過多步驟推理和多模態分析，它能識別病變、定位、分類、比較病變變化、分析病變關系、進行診斷和描述病變特征。
復雜病例分析：特別適合分析復雜病例，MedRAX能夠將復雜的醫療查詢分解為多個小任務，逐一解決。
醫療教育與培訓：作為醫療教育的輔助工具，MedRAX幫助學生和新手醫生提升診斷技能。透明的工作流程和詳實的推理過程使學習者能夠更好地理解診斷邏輯。
遠程醫療咨詢：MedRAX可集成到遠程醫療平臺中，為患者提供初步的診斷建議和健康指導。患者可以通過描述癥狀和病史，獲得基于X光的初步診斷。
多模態醫療影像分析：雖然MedRAX專注于X光的分析，但也可以擴展到其他類型的醫療影像，如CT的三維重建數據，建立跨模態的交叉驗證機制。

閱讀原文