突破性非侵入式大腦解碼框架：開啟腦機接口與認知模型的新紀元

提升大腦信號解碼準確性

原標題：入選NeurIPS 2024！中科院團隊提出非侵入式大腦解碼新框架，為腦機接口和認知模型發展奠定基礎
文章來源：HyperAI超神經
內容字數：8951字

多模態集成框架在腦信號解碼中的應用

中國科學院自動化研究所的團隊創新性地設計了一種多模態集成框架，將fMRI特征提取器與大語言模型結合，旨在解決大腦活動的視覺重建問題。這一框架能夠增強腦信號解碼能力，實現腦信號描述、復雜推理、概念定位和視覺重建等任務。

背景與發展

早在2008年，加州伯克利大學的Jack Gallant曾提出利用功能磁共振成像(fMRI)技術來可視化受試者的視覺體驗。相比侵入性技術，非侵入性腦解碼方法如fMRI更為安全且易于應用。然而，個體差異和神經信號的復雜性仍然是腦解碼的關鍵挑戰。

創新框架的設計

研究團隊通過使用Vision Transformer 3D(ViT3D)將三維大腦結構與視覺語義相結合，采用高效的特征提取器對fMRI特征與視覺嵌入進行對齊。該框架簡化了與大語言模型的整合，能夠從單次實驗數據中提取有效信息，顯著降低訓練成本。

研究亮點與成果

該研究以“Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction”為題，已被NeurIPS 2024接收，主要亮點包括：

1. 提升了通過大腦信號重建視覺的能力，加深了對相關神經機制的理解。
2. 通過多層次特征對齊，消除了對特定主題模型的依賴。
3. 擴展了fMRI圖像相關文本數據，構建了多模態大模型，提升了大腦解碼性能。

實驗效果與應用前景

研究團隊進行了多種實驗，包括字幕和問答、視覺重建及概念定位，結果顯示所提框架在大腦字幕任務和復雜推理任務中表現卓越，且具備良好的泛化能力。這一框架的成功應用為解碼和理解大腦活動開辟了新路徑，具有重要的臨床和科技應用潛力。

結語

隨著生命科學和人工智能的發展，解碼人腦的技術正不斷進步。這項研究不僅推動了腦科學領域的發展，也為腦機接口技術的應用提供了新的可能性，未來將為神經系統受損患者帶來福音。

聯系作者

文章來源：HyperAI超神經
作者微信：
作者簡介：解構技術先進性與普適性，報道更前沿的 AIforScience 案例