長期以來，哲學(xué)家和科學(xué)家試圖揣測、觀察、理解和破譯大腦的運作方式，以使人們能夠感知和探索自然世界。其中，作為人類感知世界重要的信息通道，人腦視覺系統(tǒng)的加工機(jī)制獲得研究人員的關(guān)注。較多研究嘗試?yán)蒙窠?jīng)信息編解碼方法，即通過構(gòu)建外部刺激與神經(jīng)活動間的定量關(guān)系，揭示大腦視覺信息加工的機(jī)制。前期，研究人員提出一種基于貝葉斯深度學(xué)習(xí)的視覺神經(jīng)信息解碼方法(TNNLS 2018)，并且能夠根據(jù)記錄到的腦活動信號，重建被試感知到的簡單視覺刺激內(nèi)容(如手寫數(shù)字、字母等圖案)。然而，復(fù)雜的自然視覺刺激重建是難題。針對該問題，研究人員提出結(jié)構(gòu)化神經(jīng)信息解碼方法。該方法通過多任務(wù)特征解碼的方式，揭示出多個典型計算機(jī)視覺模型(如VGG、ResNet)與人腦腹側(cè)視覺通路在層次化特征表達(dá)方面的聯(lián)系。通過利用這種層次化特征與人腦視覺皮層信號表達(dá)間的關(guān)系，新方法能夠根據(jù)采集到的少量人腦fMRI數(shù)據(jù)，重建出被試感知到的復(fù)雜自然圖像和人臉刺激內(nèi)容。該研究為理解大腦解碼過程提供新視角，促進(jìn)非侵入式腦-機(jī)接口技術(shù)的進(jìn)步。神經(jīng)信息編解碼是腦機(jī)接口領(lǐng)域的核心研究問題，也是探索人腦復(fù)雜功能背后的原理從而促進(jìn)類腦智能發(fā)展的有效途徑。
 

　　博士杜長德為論文首要作者，研究員何暉光為論文通訊作者。為促進(jìn)該領(lǐng)域的持續(xù)發(fā)展，研究人員已將項目代碼及新采集的腦活動數(shù)據(jù)集開源。研究工作得到國家基金委重點項目、中科院戰(zhàn)略性先導(dǎo)科技專項等的支持。
 論文鏈接