耶魯、劍橋等開發MindLLM，將腦成像直接轉換為文本

原標題：耶魯、劍橋等開發MindLLM，將腦成像直接轉換為文本
文章來源：人工智能學家
內容字數：9501字

MindLLM：解碼fMRI信號，邁向更精準的腦機接口

本文總結了耶魯大學、達特茅斯學院和劍橋大學研究人員發表在arXiv上的論文“MindLLM: A Subject-Agnostic and Versatile Model for fMRI-to-Text Decoding”，該論文提出了一種名為MindLLM的新模型，用于將功能性磁共振成像(fMRI)信號解碼為文本。

1. fMRI到文本解碼的挑戰

將大腦活動解碼為文本一直是神經科學領域的一大挑戰。現有方法存在預測性能差、任務種類有限、跨受試者泛化能力弱等問題。例如，UMBRAE模型只能將fMRI數據映射到圖像，無法處理更復雜的任務，如記憶檢索。此外，缺乏統一且個體無關的解碼架構也限制了該技術的應用。

2. MindLLM模型的創新之處

MindLLM模型旨在解決上述問題，它具有主題無關和用途廣泛的特點。其核心創新在于：

1. 主題無關的fMRI編碼器：該編碼器結合了神經科學信息注意層和可學習查詢，利用體素的空間信息和神經科學先驗知識，實現動態特征提取，提高預測準確性。其值和鍵的設計將體素的功能信息與其fMRI值分開，增強了跨主體泛化能力。
2. 腦指令調整(BIT)：這是一種新的訓練方法，使用包含不同任務（感知、記憶、語言處理等）的多樣化數據集，增強模型捕獲fMRI數據中不同語義表示的能力，從而實現更通用的解碼。
3. 結合預訓練大型語言模型(LLM)：MindLLM利用現成的LLM，進一步提升了文本生成的質量和流暢性。

3. MindLLM的性能評估

在全面的fMRI到文本基準測試中，MindLLM的表現優于現有基線模型。具體而言，其在各種下游任務中的性能平均提高了12.0%，在未見過主題上的泛化能力提高了16.4%，在新任務適應能力上提高了25.0%。此外，MindLLM的注意力模式提供了其決策過程的可解釋性。

4. MindLLM的應用前景

MindLLM技術的突破為腦機接口和神經科學研究帶來了新的可能性。其潛在應用包括：

• 幫助語言障礙者恢復溝通能力。
• 實現健康人群對數字設備（如具身AI或假肢）的更直觀、精確的神經控制。

5. 總結

MindLLM模型的出現標志著fMRI到文本解碼技術取得了顯著進展。其主題無關性、通用性和優越的性能，為腦機接口等領域的應用提供了堅實的基礎，也為加深對大腦機制的理解提供了新的工具。未來研究可以進一步探索MindLLM的應用場景，并改進其模型架構，以實現更準確、更可靠的腦活動解碼。

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構