大腦視覺認(rèn)知解碼大腦編碼與解碼編碼：刺激->大腦響應(yīng)解碼：大腦響應(yīng)->刺激voxelresponsestimuliLandscapeAnimalPeople

DecodingModelEncodingModel大腦編碼與解碼針對不同尺度下的大腦信號神經(jīng)元體素腦電空間尺度針對不同的刺激特征圖像類別輪廓亮度Kay.etal.Nature,2008

大腦編碼與解碼編碼針對的是單個體素，為每個體素建立一個模型（voxel-wise）解碼用所有體素的信息去預(yù)測刺激，多體素模式分析（MVPA）Voxels!Let’sclassifyeachfeature!Features!Let’sencodeeachvoxel!MVPAVoxel-wisedVoxelsetFeatureset編碼模型可以用來解碼Kay.etal.Nature,2008

采用識別的方式體素編碼模型候選圖像集待識別的體素響應(yīng)向量大腦編碼與解碼MVPA：直接、靈敏、效果好；難以發(fā)掘出神經(jīng)表征的具體內(nèi)容Naselaris,etal.TrendsinCognitiveSciences,2015

直接解碼：圖案的朝向KamitaniY,TongF.Nat.Neurosci.2005結(jié)果人工圖案重構(gòu)YoichiMiyawakietal.Neuron.2008結(jié)果結(jié)果基于相關(guān)網(wǎng)絡(luò)的fMRI解碼相關(guān)網(wǎng)絡(luò)（CorrNet）：傳統(tǒng)解碼方法只考慮體素與刺激之間的相關(guān)性，而CorrNet同時考慮三種相關(guān)性（大腦活動之間的相關(guān)性、大腦活動與視覺刺激之間的相關(guān)性、視覺刺激之間的相關(guān)性）。SiyuYu,etal.,IEEETransactionsonCognitiveandDevelopmentalSystems,2018結(jié)果不同尺度像素區(qū)平均精度(1×1,2×2,…,10×10)重構(gòu)結(jié)果HierarchicalCorrelationNetworkSiyuYu,etal.AIAI2019,bestpaperHierarchicalCorrelationNetworkReconstructionsresult(Subject1)ofsomeimagesinthetestset.Theperceptualimagesareshowninthefirstrow.ThesecondistheprocessedimageswhicharetheinputimagesoftheWGAN,therestfourrowsaretheRGBreconstructionimagesofdifferenttesttrials.自監(jiān)督模型Beliy,etal.

NIPS2019結(jié)果Semanticmapsusingvoxel-wisemodelAlexanderG.Huth,etal.Nature,2017

結(jié)果結(jié)果視頻片段重構(gòu)Nishimoto,et

al.CurrentBiology.2011結(jié)果結(jié)果照相機(jī)模型：不斷增加模型復(fù)雜度，不斷降低預(yù)測殘差同樣的輸入總得到同樣的輸出視覺處理系統(tǒng)類似照相機(jī)…………嗎？

fMRI數(shù)據(jù)中變異的來源儀器熱噪聲、測量過程中的其他限制因素生理信號（心跳、呼吸等）自發(fā)神經(jīng)活動（非由實(shí)驗(yàn)刺激引起的）Trial之間的變異性實(shí)驗(yàn)因素（刺激、任務(wù)相關(guān)）“噪聲”信號大腦是一個狀態(tài)機(jī)大腦是一個超級狀態(tài)機(jī)除了對外界刺激做出響應(yīng)，還有內(nèi)部狀態(tài)在時刻波動著刺激引起的變異相對較小非刺激因素、具有結(jié)構(gòu)性的“噪聲”占主導(dǎo)地位利用“噪聲”的解碼模型測量的體素響應(yīng)圖像識別方法編碼器…每個體素一個編碼模型，沒有考慮體素之間的關(guān)聯(lián)信息利用了體素間的關(guān)聯(lián)信息，相當(dāng)于單體素編碼+多體素分析#ofvoxels特征相關(guān)體素特征無關(guān)體素……預(yù)測體素響應(yīng)預(yù)測殘差體素響應(yīng)的預(yù)測殘差最匹配大腦內(nèi)部狀態(tài)的圖像基于腦內(nèi)部狀態(tài)的圖像識別=++#ofvoxels特征相關(guān)體素特征無關(guān)體素……預(yù)測體素響應(yīng)預(yù)測殘差預(yù)測的體素響應(yīng)最匹配測量的體素響應(yīng)的圖像基于體素編碼的圖像識別=++基于大腦內(nèi)部狀態(tài)（ISF）的解碼結(jié)合了外部刺激和大腦內(nèi)部狀態(tài)信息進(jìn)行編碼，取得了更好的編碼性能HaoWu,etal.IEEETrans.onCognitiveandDevelopmentalSystems,2020基于大腦內(nèi)部狀態(tài)的解碼解碼時的數(shù)據(jù)：待解碼的體素響應(yīng)、候選圖像集從信息利用的角度來說，傳統(tǒng)方法只利用了候選圖像集，而ISF則還利用了待解碼的體素響應(yīng)?；诖竽X內(nèi)部狀態(tài)的解碼四種模型及其與ISF結(jié)合后在測試集120幅圖像上的識別精度對比。（chancelevel：0.83%）可以看出，結(jié)合ISF之后的模型均達(dá)到了更高的識別精度，其中GLO+ISF在subject1上的精度達(dá)到了100%基于大腦內(nèi)部狀態(tài)的解碼原始數(shù)據(jù)的測試集只包括120幅圖像，我們還將測試集擴(kuò)充至1000幅圖像，然后比較隨著圖像集增長時的識別精度?；诖竽X內(nèi)部狀態(tài)的解碼內(nèi)部狀態(tài)代表什么？目前我們的方法采用數(shù)據(jù)驅(qū)動的方式來發(fā)現(xiàn)體素間的內(nèi)在連接，然而這種內(nèi)在連接是有其神經(jīng)科學(xué)基礎(chǔ)的。對視覺皮層的研究發(fā)現(xiàn)，皮層內(nèi)的神經(jīng)元除了接受外部的刺激，還受到注意、期望以及記憶等高級認(rèn)知活動的影響，這些影響與外部刺激的底層特征關(guān)聯(lián)性很低。此外，最近對小鼠的自發(fā)行為驅(qū)動的全腦神經(jīng)活動的研究表明，即使在沒有視覺刺激的時候，小鼠的自發(fā)行為（如面部運(yùn)動，瞳孔活動等）也會引起視皮層的神經(jīng)元的活動。這些工作說明了只考慮用外界刺激預(yù)測神經(jīng)的全部活動的觀點(diǎn)是不全面的?；诖竽X內(nèi)部狀態(tài)的解碼歐氏距離度量下ISF的表現(xiàn)如何？目前用編碼模型進(jìn)行解碼的方法均采用皮爾遜相關(guān)系數(shù)來衡量預(yù)測模式與真實(shí)模式之間的相似性。我們比較了傳統(tǒng)方法與ISF在歐氏距離度量下的識別精度。降噪模型測量的體素響應(yīng)圖像識別方法編碼器#ofvoxels特征相關(guān)體素特征無關(guān)體素……預(yù)測體素響應(yīng)預(yù)測殘差預(yù)測的體素響應(yīng)最匹配測量的體素響應(yīng)的圖像基于體素編碼的圖像識別=++…#ofvoxels特征相關(guān)體素特征無關(guān)體素……預(yù)測體素響應(yīng)預(yù)測殘差體素響應(yīng)的預(yù)測殘差最匹配大腦內(nèi)部狀態(tài)的圖像基于腦內(nèi)部狀態(tài)的圖像識別=++#ofvoxels特征相關(guān)體素特征無關(guān)體素……預(yù)測體素響應(yīng)預(yù)測殘差體素響應(yīng)的預(yù)測殘差最匹配大腦內(nèi)部狀態(tài)的圖像特定特征降噪模型=++降噪后HaoWu,etal.IEEETrans.onCognitiveandDevelopmentalSystems,

2021降噪模型傳統(tǒng)方法：改進(jìn)編碼模型，正確圖像的預(yù)測值更加匹配真實(shí)值。降噪方法：通過降噪，使其更加匹配正確圖像的預(yù)測值。降噪模型數(shù)據(jù)集1：5名被試50幅圖像，每幅重復(fù)35次，隨機(jī)識別水平為2%；數(shù)據(jù)集2：2名被試120幅圖像，每幅重復(fù)13次，隨機(jī)識別水平為0.8%MCLRLASSOSLR0.50.60.70.80.91Identification

accuracy******MCLRLASSOSLR*****MCLRLASSOSLRMCLRLASSOSLR0.50.60.70.80.91Identification

accuracyVoxelencodingISFDataset1Dataset2OriginalAfterDenoiseMindReadingMagicorScience?Canweseewhatotherssee?Canweknowwhatothersthink?Canwetalktoavegetable?…IntroductionEncodinganddecodingarecomplementaryoperations:Encodingusesstimulitopredictbrainactivity.Decodingusesbrainactivitytopredictfeaturesofthestimuli.voxelresponsestimuliLandscapeAnimalPeople

DecodingModelEncodingModelIntroductionDifferenttypesandlevelsofvisualdecodingmodelsFromlefttoright:encodingFromrighttoleft:decodingKay.etal.Nature,2008

IntroductionThomasNaselarisetal.Neuroimage.2011FrameworkofencodinganddecodingmodelsMVPA&Voxel-wisedmodelMostofencodinganddecodingmodelscanbedividedintotwoclasses:Multi-voxelPatternAnalysis(MVPA)Voxel-wisedmodelVoxels!Let’sclassifyeachfeature!Features!Let’sencodeeachvoxel!MVPAVoxel-wisedVoxelsetFeaturesetMVPA&Voxel-wisedmodelMVPAUsesinformationofrelevantvoxelssimultaneously,thusmoresensitivity.RepresentationalambiguityVoxel-wisedmodelAnalysesareperformedonindividualvoxels,norepresentationalambiguity.Canbeusedtododecoding.Semanticmapsusingvoxel-wisemodelAlexanderG.Huth,etal.Nature,2017

Semanticmapsusingvoxel-wisemodelVoxel-wisemodellingNaturalmoviesreconstructionNishimoto,et

al.CurrentBiology.2011NaturalmoviesreconstructionOrientationdecodingOrientationdecoderandensembleorientationselectivityKamitaniY,TongF.Nat.Neurosci.2005OrientationdecodingDecodingresultsStreamofconsciousnessdecodingHaynesetal.CurrentBiology.2005ExperimentandmethodStreamofconsciousnessdecodingPredictionofPerceptualTimeCoursesfromSignalsinDifferentAreasofVisualCortexReconstructionofvisualscenesYoichiMiyawakietal.Neuron.2008ReconstructionofvisualscenesImagerydecodingReddyLetal.NeuroImage.2010ExperimentalDesignImagerydecodingConfusionmatricesforclassificationOR:object-responsiveImagerydecodingduringSleepHorikawa,etal.Science,2013ImagerydecodingduringSleepImagerydecodingduringSleep"WhatIwasjustlookingatwassomekindofcharacters.Therewassomethinglikeawritingpaperforcomposinganessay,andIwaslookingatthecharactersfromtheessayorwhateveritwas.Itwasinblackandwhiteandthewritingpaperwastheonlythingthatwasthere.AndshortlybeforethatIthinkIsawamoviewithapersoninitorsomethingbutIcan'treallyremember."大腦視覺特征編碼與CNN等特征對比自然圖像雖然千變?nèi)f化，但是卻具有內(nèi)在的統(tǒng)計(jì)特征，比如局部性、漸變性等。自然圖像的特征提取是人工智能、視覺編解碼等領(lǐng)域重要一環(huán)。目前常用的圖像特征提取方法有Gabor（局部朝向）、SIFT、HMAX以及CNN等。這些方法所提取的特征與大腦視覺處理流程中每一步加工的特征有何關(guān)系？Horikawa等人通過編解碼的方法研究了這一問題。大腦視覺特征編碼與CNN等特征對比首先提取圖像的各種特征（3層的HMAX、SIFT、GIST、8層的CNN等），采集被試看圖像時的fMRI信號，在訓(xùn)練集上建立大腦活動信號到圖像特征之間的解碼模型；對新的圖像的大腦活動，預(yù)測其特征，然后匹配出其所屬的類別。Horikawa,etal.NatureCommunications,2017大腦視覺特征編碼與CNN等特征對比如左圖，縱坐標(biāo)為預(yù)測特征與真實(shí)特征的相關(guān)系數(shù)。低級視覺腦區(qū)對低層的CNN特征預(yù)測好于對高層CNN的特征預(yù)測，反之亦然；對HMAX特征預(yù)測亦有同樣的趨勢。結(jié)果體現(xiàn)了大腦和機(jī)器學(xué)習(xí)對圖像的處理具有一定的相似性。針對傳統(tǒng)編碼模型的兩個問題，我們提出了一個結(jié)合大腦內(nèi)部狀態(tài)的編碼框架。該框架包括兩個組件：前向編碼模型和內(nèi)部狀態(tài)模型。前向編碼模型可以是任何一個傳統(tǒng)的編碼模型，用于預(yù)測體素活動中受外界刺激引起的成分；內(nèi)部狀態(tài)模型則通過建立體素間的連接來預(yù)測體素活動中非外界刺激的成分。Anencodingframeworkwithbraininnerstate（ISF）

ISF——模型訓(xùn)練

ISF雖然是一種編碼框架，但是由于其需要一個真實(shí)的大腦活動信號來計(jì)算前向模型的預(yù)測殘差，以便估計(jì)或者預(yù)測大腦內(nèi)部狀態(tài)，因此非常適合于視覺解碼。我們在一個fMRI自然圖像識別數(shù)據(jù)集上對ISF的編碼性能和解碼性能進(jìn)行了驗(yàn)證，結(jié)果表明ISF相對于傳統(tǒng)的編碼算法，取得了state-of-the-art的結(jié)果。ISF——用于自然圖像識別（解碼）ISF作為一個框架，可以靈活的與各種前向模型搭配。我們采用了三種經(jīng)典的前向模型（GWP、GLO和RO）以及一個零模型（ZM，相當(dāng)于沒有前向模型），比較在測試集上各種模型單獨(dú)的編碼精度與結(jié)合ISF后的編碼精度，如右圖所示，所有前向模型結(jié)合了ISF之后均取得了更好的編碼精度。ISF——用于自然圖像識別（解碼）四種模型及其與ISF結(jié)合后在測試集120幅圖像上的識別精度對比。（chancelevel：0.83%）可以看出，結(jié)合ISF之后的模型均達(dá)到了更高的識別精度，其中GLO+ISF在subject1上的精度達(dá)到了100%ISF——用于自然圖像識別（解碼）原始數(shù)據(jù)的測試集只包括120幅圖像，為了測試各種模型在大數(shù)據(jù)上的泛化能力，我們在因特網(wǎng)上下載各種類別的自然圖像，將測試集擴(kuò)充至1000幅圖像，然后比較隨著圖像集增長時的識別精度。ISF——用于自然圖像識別（解碼）內(nèi)部狀態(tài)代表什么？目前我們的方法采用數(shù)據(jù)驅(qū)動的方式來發(fā)現(xiàn)體素間的內(nèi)在連接，然而這種內(nèi)在連接是有其神經(jīng)科學(xué)基礎(chǔ)的。對視覺皮層的研究發(fā)現(xiàn)，皮層內(nèi)的神經(jīng)元除了接受外部的刺激，還受到注意、期望以及記憶等高級認(rèn)知活動的影響，這些影響與外部刺激的底層特征關(guān)聯(lián)性很低。此外，最近Stringer等人連續(xù)在Nature及Science等期刊上發(fā)表對小鼠的自發(fā)行為驅(qū)動的全腦神經(jīng)活動的研究表明，即使在沒有視覺刺激的時候，小鼠的自發(fā)行為（如面部運(yùn)動，瞳孔活動等）也會引起視皮層的神經(jīng)元的活動。這些工作說明了只考慮用外界刺激預(yù)測神經(jīng)的全部活動的觀點(diǎn)是不全面的。對ISF的討論更加嚴(yán)苛的相似性度量下ISF的表現(xiàn)如何？目前所有用編碼模型進(jìn)行解碼（圖像識別）的方法均采用皮爾遜相關(guān)系數(shù)來衡量預(yù)測體素活動模式與真實(shí)體素活動模式之間的相似性。除了皮爾遜相關(guān)系數(shù)，歐氏距離是模式相似性度量的更加嚴(yán)苛的準(zhǔn)則。我們比較了傳統(tǒng)前向模型與ISF在這兩種相似性度量下的識別精度?？梢钥闯觯琁SF在兩種準(zhǔn)則下的性能基本不變，而傳統(tǒng)前向模型的性能則不穩(wěn)定對ISF的討論對ISF提高圖像識別精度機(jī)制的解釋ISF相比傳統(tǒng)的前向模型，多增加了一個內(nèi)部狀態(tài)模型。然而內(nèi)部狀態(tài)與外界刺激無關(guān)，為何增加對內(nèi)部狀態(tài)的預(yù)測之后能提高對外部刺激的識別精度，需要一個直觀的解釋。分析前向模型和ISF的模型可以看出，僅用前向模型做識別時，選擇的是預(yù)測值與真實(shí)值之間誤差最小的圖像作為最終結(jié)果的；而用ISF做識別時，選擇的是預(yù)測值與真實(shí)值間的誤差最符合大腦內(nèi)在連接狀態(tài)的圖像作為結(jié)果的。一個錯誤的圖像的預(yù)測值與真實(shí)值的誤差最小，但是不一定符合大腦的內(nèi)在連接狀態(tài)。因此ISF可以取得比傳統(tǒng)前向模型更好的圖像識別精度。對ISF的討論CorrNetWeproposedacorrelationnetwork(CorrNet)frameworktoproviderichcorrelations.InCorrNet,thetopologicalcorrelationisintroducedtorevealthestructure.TheCorrNetcanbeflexiblycombinedwithdiversepatternrepresentationmodels,suchaslinearregression,thelinearSVMandSNN,forpatternrepresentation,separately.SiyuYu,etal.,IEEETransactionsonCognitiveandDevelopmentalSystems.2018.CorrNetCalculatetheaverageaccuracyofpixelsofthemiddlewithdifferentpatchscales(1*1,2*2,…,10*10).PixelPatchScalesCorrNetPotentially,ourworkcancontributetorevealingtheworkmechanismofhumanbrain,simulatingtheefficientconnectivityofearlyvisualcortex,andestablishingthemappingfromperceptualtaskstovoxels.Inengineering,thisstudypromotesefficientbrain-machineinterface.SiyuYu,etal.AIAI2019,bestpaperHierarchicalCorrelationNetworkReconstructionsresult(Subject1)ofsomeimagesinthetestset.Theperceptualimagesareshowninthefirstrow.ThesecondistheprocessedimageswhicharetheinputimagesoftheWGAN,therestfourrowsaretheRGBreconstructionimagesofdifferenttesttrials.HierarchicalCorrelationNetworkSpikeandLTP/LTDSpikeNeuralNetworkSpike

-ActionpotentialLTP/LTDLong-TermPotentiationLong-TermDepressionMD-SNNonMNISTMD-SNNonMNISTAccuracyunderdifferentsamplesizesAccuracyonMNISTFlipandrotationinvariancePM-SNNonfMIRdataYongqiangMa,etal.Trans.onCognitiveandDevelopmentalSystems,2017PM-SNNonfMIRdataPM-SNNonfMIRdataReconstructionresultsandaccuracyTimeseriesbaseddataintegrationSimultaneousEEGandfMRIdataacquisitionArtifactsremovalfromEEGandfMRIrealignmentFeatureextractionandselectionCorrelationanalysisbasedontimeseriesHongJi,etc,JournalofNeuroscienceResearc,2017,underreviewTimeseriesbaseddataintegrationHighSNRofssVEPexperimentAmplitudeofssVEP,phaselockingindex,inter-sitephaselockingindexTimeseriesbaseddataintegrationGraph-basedelectrodegroupingprocedure:affinityandneighbourhoodMultivariateCorrelationCoefficient(MCC)andMultivariateUncorrelationCoefficientMUCTimeseriesbaseddataintegrationGestaltGrouping大腦對感覺器官的信號所反應(yīng)的外界元素進(jìn)行分組，認(rèn)為某些元素是屬于一類的（形成一個概念），區(qū)別于其他元素形成的類別。研究現(xiàn)狀及目的現(xiàn)狀目前對于格式塔現(xiàn)象的研究多為行為實(shí)驗(yàn)和腦電實(shí)驗(yàn)，不能確切研究不同的視覺區(qū)域?qū)Ω袷剿碳さ奶幚磉^程目的通過空間分比率更高的fMRI來研究如下問題知覺分組在早期視覺皮層V1、V2和V3分別如何表征？注意是否會對知覺分組產(chǎn)生影響？數(shù)據(jù)采集7名被試（3男4女，平均年齡22歲）參加實(shí)驗(yàn)數(shù)據(jù)采集在中科院生物物理所腦與認(rèn)知科學(xué)國家重點(diǎn)實(shí)驗(yàn)室掃描設(shè)備為西門子3T磁共振儀TR=1s（相當(dāng)于采樣率）FOV=108*108*48Voxelsize：1.5*1.5*1.5mm刺激設(shè)計(jì)RectangularDotLattice(RDL)--45°0.701.001.301.150.85a保持不變alpha=b:a刺激設(shè)計(jì)RectangularDotLattice(RDL)--45°為了平衡點(diǎn)陣密度不同帶來的副作用，加入四個135°的刺激。0.701.301.150.85實(shí)驗(yàn)流程及任務(wù)每個被試參加3個sessionUnattendedRDL