第一章概論1.1深度學(xué)習(xí)的興起1.2什么是深度學(xué)習(xí)？1.3為什么采用深度學(xué)習(xí)？1.4深度學(xué)習(xí)的應(yīng)用of4311.5

問題或挑戰(zhàn)第一章概論of4321.1深度學(xué)習(xí)的興起1989LeNet神經(jīng)網(wǎng)絡(luò)發(fā)展歷程第一章概論of4331.1深度學(xué)習(xí)的興起PhasesofNeuralNetworkResearch1940s-1960s:Cybernetics:Brainlikeelectronicsystems,morphedintomoderncontroltheoryandsignalprocessing.1960s-1980s:Digitalcomputers,automatatheory,computationalcomplexitytheory:simpleshallowcircuitsareverylimitedinwhattheycanrepresent…1980s-1990s:Connectionism:complex,non-linearnetworks,back-propagation.1990s-2010s:Computationallearningtheory,graphicalmodels:Learningiscomputationallyhard,simpleshallowcircuitsareverylimitedinwhattheycanlearn…2006:Deeplearning:End-to-endtraining,largedatasets,explosioninapplications.第一章概論of4341.1深度學(xué)習(xí)的興起Citationsofthe“LeNet”paperRecalltheLeNetwasamodernvisualclassificationnetworkthatrecognizeddigitsforzipcodes.Itscitationslooklikethis:The2000swereagoldenageformachinelearning,andmarkedtheascentofgraphicalmodels.Butnotsoforneuralnetworks.SecondphaseThirdphaseDeepLearning“Winter”第一章概論of4351.1深度學(xué)習(xí)的興起YannLeCun楊立昆YoshuaBengio約書亞-本吉奧GeofferyHinton杰弗里-辛頓深度學(xué)習(xí)領(lǐng)域的“三巨頭”，2019年度的圖靈獎(jiǎng)獲得者第一章概論of4361.1深度學(xué)習(xí)的興起YannLeCun楊立昆YoshuaBengio約書亞-本吉奧GeofferyHinton杰弗里-辛頓反向傳播玻爾茲曼機(jī)卷積神經(jīng)網(wǎng)絡(luò)的修正卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)反向傳播算法拓寬神經(jīng)網(wǎng)絡(luò)的視角序列的概率建模高維詞嵌入與注意力機(jī)制生成對(duì)抗網(wǎng)絡(luò)of437第一章概論1.2什么是深度學(xué)習(xí)？1.1深度學(xué)習(xí)的興起1.3為什么采用深度學(xué)習(xí)？1.4深度學(xué)習(xí)的應(yīng)用第一章概論of4381.2什么是深度學(xué)習(xí)？深度學(xué)習(xí)淺層學(xué)習(xí)VS第一章概論of4391.2什么是深度學(xué)習(xí)？人工智能（ArtificialIntelligence，AI）是研究使機(jī)器能模擬人的某些思維過程和智能行為（如學(xué)習(xí)、推理、思考、規(guī)劃等）的學(xué)科。機(jī)器學(xué)習(xí)（MachineLearning，ML）是人工智能的核心，是實(shí)現(xiàn)人工智能的一個(gè)途徑。實(shí)質(zhì)上是設(shè)計(jì)和分析如何讓機(jī)器從數(shù)據(jù)中“學(xué)習(xí)”潛在規(guī)律的算法。深度學(xué)習(xí)（DeepLearning，DL）是機(jī)器學(xué)習(xí)的一個(gè)重要分支，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法，用以模擬人腦逐層抽象和遞歸迭代的機(jī)制解譯數(shù)據(jù)。逐層蘊(yùn)含關(guān)系第一章概論of43101.2什么是深度學(xué)習(xí)？（1）深度學(xué)習(xí)的本質(zhì)

通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)（可以是無(wú)標(biāo)簽數(shù)據(jù)），來(lái)學(xué)習(xí)更有用的特征，從而提升分類或預(yù)測(cè)的準(zhǔn)確性。（2）深度學(xué)習(xí)與傳統(tǒng)的淺層學(xué)習(xí)的區(qū)別

①?gòu)?qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10層以上，甚至上1000層的隱層節(jié)點(diǎn)；②明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將數(shù)據(jù)樣本變換以得到一個(gè)新的特征空間，從而使分類或預(yù)測(cè)更為準(zhǔn)確。第一章概論of43111.2什么是深度學(xué)習(xí)？學(xué)習(xí)算法在一個(gè)什么粒度上的特征表示，才能發(fā)揮作用？就一個(gè)圖片來(lái)說(shuō)，像素級(jí)的特征根本沒有價(jià)值。例如下面的摩托車，從像素級(jí)別，根本得不到任何信息，其無(wú)法進(jìn)行摩托車和非摩托車的區(qū)分。而如果特征是一個(gè)具有結(jié)構(gòu)性的時(shí)候，比如是否具有車把手（handle），是否具有車輪（wheel），就很容易把摩托車和非摩托車區(qū)分，學(xué)習(xí)算法才能發(fā)揮作用。(3)特征表示的粒度第一章概論of43121.2什么是深度學(xué)習(xí)？SIFTSpinimageHoG（4）計(jì)算視覺特征Textons第一章概論of43131.2什么是深度學(xué)習(xí)？（5）什么是特征學(xué)習(xí)從人腦視覺來(lái)看，從原始信號(hào)攝入開始（瞳孔攝入像素Pixels），接著做初步處理（大腦皮層某些細(xì)胞發(fā)現(xiàn)邊緣和方向），然后抽象（大腦判定眼前物體的形狀），然后進(jìn)一步抽象（大腦進(jìn)一步判定該物體是人臉）第一章概論of43141.2什么是深度學(xué)習(xí)？Whatfeaturescanwelearnifwetrainamassivemodelonamassiveamountofdata.Canwelearna“grandmothercell”?Trainon10millionimages(200×200)(YouTube)1billionparameters1000machines(16,000cores)for1week.TestonnovelimagesTopstimulifromthetestsetOptimalstimulusbynumericaloptimization第一章概論of43151.2什么是深度學(xué)習(xí)？

從文本來(lái)說(shuō)，對(duì)于一個(gè)描述一件事情的doc文檔，用什么來(lái)表示比較合適？首先是一個(gè)一個(gè)字，但字只是相當(dāng)像素級(jí)別，起碼應(yīng)該有term（術(shù)語(yǔ)/詞組）;但這樣表示概念的能力還不夠，需要再進(jìn)一步，達(dá)到topic級(jí)，有了topic，再到doc就較合理。但每個(gè)層次的數(shù)量差距很大，比如doc表示的概念->topic（千或萬(wàn)量級(jí)）->term（10萬(wàn)量級(jí)）->word（百萬(wàn)量級(jí)）。一個(gè)人在看一個(gè)doc的時(shí)候，眼睛看到的是word，由這些word在大腦里自動(dòng)切詞形成term，在按照概念組織的方式及先驗(yàn)的學(xué)習(xí)，得到topic，然后再進(jìn)行高層次的learning。第一章概論of43161.2什么是深度學(xué)習(xí)？(6)特征如何表示或刻畫形狀相似，方向不同第一章概論of43171.2什么是深度學(xué)習(xí)？從未標(biāo)注的聲音中發(fā)現(xiàn)了20種基本的聲音結(jié)構(gòu)第一章概論of43181.2什么是深度學(xué)習(xí)？Sparse（稀疏的）Selective（選擇性的）Robusttodatacorruption（對(duì)污損數(shù)據(jù)是魯棒的）深度特征表示：第一章概論of43191.2什么是深度學(xué)習(xí)？(7)深度學(xué)習(xí)的基本思想假設(shè)一個(gè)系統(tǒng)S，它有n層（S1,…Sn），輸入是I，輸出是O，形象地表示為：I=>S1=>S2=>…..=>Sn=>O，如果輸出O等于輸入I，即輸入I經(jīng)過這個(gè)系統(tǒng)變化之后沒有任何的信息損失。這意味著輸入I經(jīng)過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。設(shè)計(jì)了一個(gè)系統(tǒng)S（有n層），通過調(diào)整系統(tǒng)中參數(shù)，使得它的輸出仍然是輸入，那么我們就可以自動(dòng)地獲取得到輸入I的一系列層次特征，即S1,…,Sn。第一章概論of43201.2什么是深度學(xué)習(xí)？深度學(xué)習(xí)=?Machinelearningwithbigdata（大數(shù)據(jù)的機(jī)器學(xué)習(xí)）Featurelearning（特征學(xué)習(xí)）Jointlearning（協(xié)同學(xué)習(xí)）Contextuallearning（上下文學(xué)習(xí)）第一章概論of43211.2什么是深度學(xué)習(xí)？數(shù)據(jù)問題（包括下采樣與高維數(shù)據(jù)預(yù)處理）：稀疏編碼、壓縮感知、流形學(xué)習(xí)、粗糙集等理論的應(yīng)用。結(jié)構(gòu)問題：是否有其他更為有效且有理論依據(jù)的深度模型構(gòu)造方法？有什么正確的機(jī)理可以去增強(qiáng)一個(gè)給定的深度學(xué)習(xí)架構(gòu)，以對(duì)扭曲和數(shù)據(jù)丟失的不變性具有魯棒性？學(xué)習(xí)問題：如何設(shè)計(jì)行之有效的網(wǎng)絡(luò)訓(xùn)練算法？信息融合問題：如何對(duì)于一個(gè)給定的深度學(xué)習(xí)架構(gòu)，融合多種感知的信息？完備的網(wǎng)絡(luò)收斂性與穩(wěn)定性理論。深度學(xué)習(xí)的問題of4322第一章概論1.3為什么采用深度學(xué)習(xí)？1.1深度學(xué)習(xí)的興起1.2什么是深度學(xué)習(xí)？1.4深度學(xué)習(xí)的應(yīng)用1.5

問題或挑戰(zhàn)第一章概論of43231.3為什么采用深度學(xué)習(xí)？深度學(xué)習(xí)模型具有更強(qiáng)的大數(shù)據(jù)量處理能力第一章概論of43241.3為什么采用深度學(xué)習(xí)？深度學(xué)習(xí)模型具有更強(qiáng)的特征表示能力第一章概論of43251.3為什么采用深度學(xué)習(xí)？深度學(xué)習(xí)模型的復(fù)雜度和模型學(xué)習(xí)能力of4326第一章概論1.4深度學(xué)習(xí)的應(yīng)用1.1深度學(xué)習(xí)的興起1.3為什么采用深度學(xué)習(xí)？1.2什么是深度學(xué)習(xí)？1.5

問題或挑戰(zhàn)第一章概論of43271.4深度學(xué)習(xí)的應(yīng)用行人交通違法抓拍人臉識(shí)別AlphaGoDOTA2深度學(xué)習(xí)生活中的深度學(xué)習(xí)應(yīng)用第一章概論of43281.4深度學(xué)習(xí)的應(yīng)用計(jì)算機(jī)視覺圖像分類目標(biāo)識(shí)別圖像風(fēng)格遷移目標(biāo)跟蹤第一章概論of43291.4深度學(xué)習(xí)的應(yīng)用語(yǔ)音識(shí)別和自然語(yǔ)言處理語(yǔ)音識(shí)別問答系統(tǒng)機(jī)器翻譯第一章概論of43301.5問題或挑戰(zhàn)語(yǔ)音識(shí)別和自然語(yǔ)言處理語(yǔ)音識(shí)別問答系統(tǒng)機(jī)器翻譯of4331第一章概論1.5

問題與挑戰(zhàn)1.1深度學(xué)習(xí)的興起1.3為什么采用深度學(xué)習(xí)？1.2什么是深度學(xué)習(xí)？1.4

深度學(xué)習(xí)的應(yīng)用ComputerVision–ChallengeDatasetsComputerVision–DeepNetworksComputerVision–DeepNetworksComputerVision–DeepNetworksImageClassification:acoretaskinComputerVisioncat(assumegivensetofdiscretelabels){dog,cat,truck,plane,...}Theproblem:semanticgapImagesarerepresentedas3Darraysofnumbers,withintegersbetween[0,255].E.g.