NeurIPS23｜視覺 「讀腦術」：從大腦活動中重建你眼中的世界

AIGC動態歡迎閱讀

原標題：NeurIPS23｜視覺 「讀腦術」：從大腦活動中重建你眼中的世界
關鍵字：圖像,編碼器,噪聲,模型,對比
文章來源：機器之心
內容字數：6112字

內容摘要：

機器之心專欄
機器之心編輯部在這篇 NeurIPS23 論文中，來自魯汶大學、新加坡國立大學和中科院自動化所的研究者提出了一種視覺 「讀腦術」，能夠從人類的大腦活動中以高分辨率出解析出人眼觀看到的圖像。人類的感知不僅由客觀塑造，而且深受過往經驗的影響，這些共同促成了大腦中的復雜活動。在認知神經科學領域，解碼大腦活動中的視覺信息成為了一項關鍵任務。功能性磁共振成像（fMRI）作為一種高效的非侵入性技術，在恢復和分析視覺信息，如圖像類別方面發揮著重要作用。
然而，由于 fMRI 信號的噪聲特性和大腦視覺表征的復雜性，這一任務面臨著不小的挑戰。針對這一問題，本文提出了一個雙階段 fMRI 表征學習框架，旨在識別并去除大腦活動中的噪聲，并專注于解析對視覺重建至關重要的神經激活模式，成功從大腦活動中重建出高分辨率且語義上準確的圖像。論文鏈接：https://arxiv.org/abs/2305.17214
項目鏈接：https://github.com/soinx0629/vis_dec_neurips/
論文中提出的方法基于雙重對比學習、跨模態信息交叉及擴散模型，在相關 fMRI 數據集上

原文鏈接：NeurIPS23｜視覺 「讀腦術」：從大腦活動中重建你眼中的世界

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺