入選AAAI 2025！可實現多模態醫學圖像對齊與融合，國內兩大高校聯合提出BSAFusion

一步解決多模態醫學圖像對齊融合問題

原標題：入選AAAI 2025！可實現多模態醫學圖像對齊與融合，國內兩大高校聯合提出BSAFusion
文章來源：HyperAI超神經
內容字數：9130字

昆明理工大學與中國海洋大學團隊在AAAI 2025發表多模態醫學圖像融合新方法

本文介紹了昆明理工大學李華鋒、張亞飛教授團隊與中國海洋大學蔡青副教授團隊合作，在AAAI 2025上發表的關于未對齊醫學圖像融合的新方法——BSAFusion。該研究在競爭激烈的AAAI 2025會議中脫穎而出，錄取率僅為23.4%。

1. 多模態醫學圖像融合的意義

多模態醫學圖像融合(MMIF) 通過融合CT、MRI、PET等不同成像方式的醫學圖像數據，生成包含更全面、更準確病變信息的新圖像，對現代醫學和臨床應用具有重要價值。單一醫學影像難以提供足夠信息確保臨床診斷精確度，尤其在處理腫瘤等疑難雜癥時，MMIF成為提高診斷效率和治療方案精準性的關鍵技術。

2. BSAFusion: 一種創新的未對齊醫學圖像融合方法

傳統的醫學圖像融合方法存在特征對齊和融合難以協調的難題。BSAFusion方法創新性地提出了一種基于雙向逐步特征對齊的單階段方法，在統一框架內同時進行對齊和融合，有效解決了這一難題。該方法的主要創新點包括：

1. 共享特征編碼器：避免了引入額外編碼器導致模型復雜度增加。

2. 模態無差異特征表示(MDF-FR)：通過附加模態特征表示頭(MFRH)，降低模態差異對特征對齊的影響。

3. 雙向逐步變形場預測策略：有效解決了傳統單階段方法中大跨度和變形場預測不準確的問題。

BSAFusion框架主要由MDF-FR、BSFA和MMFF三個核心組件構成。MDF-FR利用Restormer和Transformer提取特征并生成模態特異性特征表示；BSFA采用雙向逐步特征對齊方法預測變形場；MMFF模塊融合對齊后的特征并重建融合圖像。

3. 實驗結果與分析

研究團隊使用哈佛大學的CT-MRI、PET-MRI和SPECT-MRI數據集進行實驗，并與五種最先進的聯合配準方法進行比較。結果表明，BSAFusion在特征對齊、對比度保持和細節保留方面均表現出優越性，在所有指標中平均性能最佳。

4. 團隊合作與未來展望

該研究由昆明理工大學李華鋒、張亞飛教授團隊和中國海洋大學蔡青副教授團隊合作完成。李華鋒教授和張亞飛教授在計算機視覺和圖像處理領域擁有豐富的經驗，蔡青副教授在深度學習和醫學圖像處理方面也具有深厚的造詣。團隊的強強聯合是該研究成功的關鍵。未來，多模態醫學圖像融合技術將朝著融合、智能的方向發展，混合多種技術的融合手段將成為趨勢。

5. 相關資源

讀者可以通過關注公眾號并回復“多模態醫學圖像”獲取完整PDF，也可以訪問GitHub項目“awesome-ai4s”獲取更多AI for Science相關的論文解讀、數據集和工具。

聯系作者

文章來源：HyperAI超神經
作者微信：
作者簡介：解構技術先進性與普適性，報道更前沿的 AIforScience 案例