大腦視覺認知解碼大腦編碼與解碼編碼：刺激->大腦響應解碼：大腦響應->刺激voxelresponsestimuliLandscapeAnimalPeople

DecodingModelEncodingModel大腦編碼與解碼針對不同尺度下的大腦信號神經(jīng)元體素腦電空間尺度針對不同的刺激特征圖像類別輪廓亮度Kay.etal.Nature,2008

大腦編碼與解碼編碼針對的是單個體素，為每個體素建立一個模型（voxel-wise）解碼用所有體素的信息去預測刺激，多體素模式分析（MVPA）Voxels!Let’sclassifyeachfeature!Features!Let’sencodeeachvoxel!MVPAVoxel-wisedVoxelsetFeatureset編碼模型可以用來解碼Kay.etal.Nature,2008

采用識別的方式體素編碼模型候選圖像集待識別的體素響應向量大腦編碼與解碼MVPA：直接、靈敏、效果好；難以發(fā)掘出神經(jīng)表征的具體內(nèi)容Naselaris,etal.TrendsinCognitiveSciences,2015

直接解碼：圖案的朝向KamitaniY,TongF.Nat.Neurosci.2005結(jié)果人工圖案重構(gòu)YoichiMiyawakietal.Neuron.2008結(jié)果結(jié)果基于相關(guān)網(wǎng)絡的fMRI解碼相關(guān)網(wǎng)絡（CorrNet）：傳統(tǒng)解碼方法只考慮體素與刺激之間的相關(guān)性，而CorrNet同時考慮三種相關(guān)性（大腦活動之間的相關(guān)性、大腦活動與視覺刺激之間的相關(guān)性、視覺刺激之間的相關(guān)性）。SiyuYu,etal.,IEEETransactionsonCognitiveandDevelopmentalSystems,2018結(jié)果不同尺度像素區(qū)平均精度(1×1,2×2,…,10×10)重構(gòu)結(jié)果HierarchicalCorrelationNetworkSiyuYu,etal.AIAI2019,bestpaperHierarchicalCorrelationNetworkReconstructionsresult(Subject1)ofsomeimagesinthetestset.Theperceptualimagesareshowninthefirstrow.ThesecondistheprocessedimageswhicharetheinputimagesoftheWGAN,therestfourrowsaretheRGBreconstructionimagesofdifferenttesttrials.自監(jiān)督模型Beliy,etal.

NIPS2019結(jié)果Semanticmapsusingvoxel-wisemodelAlexanderG.Huth,etal.Nature,2017

結(jié)果結(jié)果視頻片段重構(gòu)Nishimoto,et

al.CurrentBiology.2011結(jié)果結(jié)果照相機模型：不斷增加模型復雜度，不斷降低預測殘差同樣的輸入總得到同樣的輸出視覺處理系統(tǒng)類似照相機…………嗎？

fMRI數(shù)據(jù)中變異的來源儀器熱噪聲、測量過程中的其他限制因素生理信號（心跳、呼吸等）自發(fā)神經(jīng)活動（非由實驗刺激引起的）Trial之間的變異性實驗因素（刺激、任務相關(guān)）“噪聲”信號大腦是一個狀態(tài)機大腦是一個超級狀態(tài)機除了對外界刺激做出響應，還有內(nèi)部狀態(tài)在時刻波動著刺激引起的變異相對較小非刺激因素、具有結(jié)構(gòu)性的“噪聲”占主導地位利用“噪聲”的解碼模型測量的體素響應圖像識別方法編碼器…每個體素一個編碼模型，沒有考慮體素之間的關(guān)聯(lián)信息利用了體素間的關(guān)聯(lián)信息，相當于單體素編碼+多體素分析#ofvoxels特征相關(guān)體素特征無關(guān)體素……預測體素響應預測殘差體素響應的預測殘差最匹配大腦內(nèi)部狀態(tài)的圖像基于腦內(nèi)部狀態(tài)的圖像識別=++#ofvoxels特征相關(guān)體素特征無關(guān)體素……預測體素響應預測殘差預測的體素響應最匹配測量的體素響應的圖像基于體素編碼的圖像識別=++基于大腦內(nèi)部狀態(tài)（ISF）的解碼結(jié)合了外部刺激和大腦內(nèi)部狀態(tài)信息進行編碼，取得了更好的編碼性能HaoWu,etal.IEEETrans.onCognitiveandDevelopmentalSystems,2020基于大腦內(nèi)部狀態(tài)的解碼解碼時的數(shù)據(jù)：待解碼的體素響應、候選圖像集從信息利用的角度來說，傳統(tǒng)方法只利用了候選圖像集，而ISF則還利用了待解碼的體素響應?；诖竽X內(nèi)部狀態(tài)的解碼四種模型及其與ISF結(jié)合后在測試集120幅圖像上的識別精度對比。（chancelevel：0.83%）可以看出，結(jié)合ISF之后的模型均達到了更高的識別精度，其中GLO+ISF在subject1上的精度達到了100%基于大腦內(nèi)部狀態(tài)的解碼原始數(shù)據(jù)的測試集只包括120幅圖像，我們還將測試集擴充至1000幅圖像，然后比較隨著圖像集增長時的識別精度?；诖竽X內(nèi)部狀態(tài)的解碼內(nèi)部狀態(tài)代表什么？目前我們的方法采用數(shù)據(jù)驅(qū)動的方式來發(fā)現(xiàn)體素間的內(nèi)在連接，然而這種內(nèi)在連接是有其神經(jīng)科學基礎的。對視覺皮層的研究發(fā)現(xiàn)，皮層內(nèi)的神經(jīng)元除了接受外部的刺激，還受到注意、期望以及記憶等高級認知活動的影響，這些影響與外部刺激的底層特征關(guān)聯(lián)性很低。此外，最近對小鼠的自發(fā)行為驅(qū)動的全腦神經(jīng)活動的研究表明，即使在沒有視覺刺激的時候，小鼠的自發(fā)行為（如面部運動，瞳孔活動等）也會引起視皮層的神經(jīng)元的活動。這些工作說明了只考慮用外界刺激預測神經(jīng)的全部活動的觀點是不全面的。基于大腦內(nèi)部狀態(tài)的解碼歐氏距離度量下ISF的表現(xiàn)如何？目前用編碼模型進行解碼的方法均采用皮爾遜相關(guān)系數(shù)來衡量預測模式與真實模式之間的相似性。我們比較了傳統(tǒng)方法與ISF在歐氏距離度量下的識別精度。降噪模型測量的體素響應圖像識別方法編碼器#ofvoxels特征相關(guān)體素特征無關(guān)體素……預測體素響應預測殘差預測的體素響應最匹配測量的體素響應的圖像基于體素編碼的圖像識別=++…#ofvoxels特征相關(guān)體素特征無關(guān)體素……預測體素響應預測殘差體素響應的預測殘差最匹配大腦內(nèi)部狀態(tài)的圖像基于腦內(nèi)部狀態(tài)的圖像識別=++#ofvoxels特征相關(guān)體素特征無關(guān)體素……預測體素響應預測殘差體素響應的預測殘差最匹配大腦內(nèi)部狀態(tài)的圖像特定特征降噪模型=++降噪后HaoWu,etal.IEEETrans.onCognitiveandDevelopmentalSystems,

2021降噪模型傳統(tǒng)方法：改進編碼模型，正確圖像的預測值更加匹配真實值。降噪方法：通過降噪，使其更加匹配正確圖像的預測值。降噪模型數(shù)據(jù)集1：5名被試50幅圖像，每幅重復35次，隨機識別水平為2%；數(shù)據(jù)集2：2名被試120幅圖像，每幅重復13次，隨機識別水平為0.8%MCLRLASSOSLR0.50.60.70.80.91Identification

accuracy******MCLRLA