第1章深

度

學

習

概

述授課教師：時

間：第一章

深度學習概述主要內(nèi)容1.11.21.3深度學習發(fā)展歷史深度學習的應用深度學習基本概念深度學習與機器學習、深度學習分類機器學習、神經(jīng)網(wǎng)絡及深度學習發(fā)展史深度學習在圖像、文本及音視頻中的應用1.1

深度學習基本概念1.1.1深度學習與機器學習深度學習是機器學習中的一類最成功和有效的方法。一種使用多個“層”從輸入中逐步提取數(shù)據(jù)表達的學習算法在沒有明確編程的情況下，通過經(jīng)驗自動改進的計算機算法。深度學習機器學習

機器學習深度學習1.1.1深度學習與機器學習在沒有明確編程的情況下，通過經(jīng)驗自動改進的計算機算法。機器學習(a)經(jīng)典編程(b)機器學習1.1.1深度學習與機器學習一種使用多個“層”從輸入中逐步提取數(shù)據(jù)表達的學習算法深度學習第1層第2層第3層第n層輸入數(shù)據(jù)0123456789輸出結果1.1.1深度學習與機器學習從信息處理角度對人腦神經(jīng)元網(wǎng)絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡。人工神經(jīng)網(wǎng)絡1.1.2深度學習分類深度學習算法傳統(tǒng)分為監(jiān)督、無監(jiān)督和強化學習；隨著深度學習發(fā)展，對抗生成網(wǎng)絡、遷移學習、元學習和聯(lián)邦學習等多種學習方式被提出和廣泛研究。深度學習算法分類監(jiān)督學習無監(jiān)督學習強化學習模型通過學習訓練數(shù)據(jù)“輸入-輸出對”逼近輸入映射到輸出的函數(shù)；期望輸出被稱為“標簽”或“監(jiān)督信號”；

標簽一般通過人工標注獲得；分類算法屬于典型的監(jiān)督學習。在沒有標簽的數(shù)據(jù)中訓練模型；一般根據(jù)某種規(guī)則學習數(shù)據(jù)，如概率密度；聚類算法屬于典型的無監(jiān)督學習。學習過程：代理（Agent）通過最大化累計獎勵，不斷更新自己的動作策略，最終獲得能根據(jù)環(huán)境做出最優(yōu)動作的策略；沒有準確的監(jiān)督信號做指導，是一個探索和利用的平衡過程；深度強化學習將深度學習應用于強化學習過程以提高其效率。深度學習算法分類（續(xù)）對抗生成網(wǎng)絡遷移學習元學習聯(lián)邦學習

同時訓練一個生成器和一個判別器，博弈提升性能

生成器學習并生成與真實樣本類似分布的輸出結果

判別器學習鑒別輸入是真實還是生成的結果

將某些任務上設計好的模型應用到另一個任務上

提升模型設計的效率

典型的NLP預訓練模型就是遷移學習的代表學習具有“學會學習”的能力，在小樣本條件下利用已有的學習經(jīng)驗，快速完成新的任務；

既完成訓練時的任務，也獲得跨領域或任務的能力一種虛擬共享模型，在不同機構間通過加密交互中間結果和參數(shù)實現(xiàn)共享不同高質量數(shù)據(jù)的目的；

用于解決數(shù)據(jù)孤島、隱私和安全問題。深度學習算法分類（續(xù)）對抗生成網(wǎng)絡

同時訓練一個生成器和一個判別器，博弈提升性能

生成器學習并生成與真實樣本類似分布的輸出結果

判別器學習鑒別輸入是真實還是生成的結果聯(lián)邦學習一種虛擬共享模型，在不同機構間通過加密交互中間結果和參數(shù)實現(xiàn)共享不同高質量數(shù)據(jù)的目的；

用于解決數(shù)據(jù)孤島、隱私和安全問題。1.2

深度學習發(fā)展歷史1.2深度學習發(fā)展歷史01機器學習發(fā)展歷程始于上世紀50年代經(jīng)歷約5個階段0203神經(jīng)網(wǎng)絡發(fā)展歷程始于上世紀50年代經(jīng)歷約3個階段，兩次低谷深度學習發(fā)展歷程始于2006年經(jīng)歷發(fā)展期和爆發(fā)期兩個階段1.2深度學習發(fā)展歷史（續(xù)）01機器學習發(fā)展歷程始于上世紀50年代經(jīng)歷約5個階段1.2深度學習發(fā)展歷史（續(xù)）01機器學習發(fā)展歷程始于上世紀50年代經(jīng)歷約5個階段1952年，IBM公司Samuel研發(fā)出西洋跳棋程序，提出“機器學習”概念1997年，IBM公司深藍國際象棋程序戰(zhàn)勝世界排名第一的國際象棋大師卡斯特羅夫1.2深度學習發(fā)展歷史（續(xù)）02神經(jīng)網(wǎng)絡發(fā)展歷史始于上世紀50年代經(jīng)歷兩次低谷,三次崛起1.2深度學習發(fā)展歷史（續(xù)）02神經(jīng)網(wǎng)絡發(fā)展歷史始于上世紀50年代經(jīng)歷兩次低谷,三次崛起第一階段第二階段第三階段1943，M-P模型1949，Hebb規(guī)則1957，感知機模型1958，Adaline模型1969，明斯基結論

（低潮期）1970，SeppoBP算法雛形1974，WerbosBP算法1981-1986，BP+MLP1989,LeCun提出LeNet1991，梯度消失（低潮期）2006，Hinton在《Science》發(fā)表DBN論文通過無監(jiān)督初始化和有監(jiān)督BP解決梯度消失問題1.2深度學習發(fā)展歷史（續(xù)）03深度學習發(fā)展歷史2006年，Hinton在《Science》發(fā)表深度信念網(wǎng)絡DBN推動深度學習在學術界持續(xù)升溫。2011年，微軟和谷歌將深度神經(jīng)網(wǎng)絡應用于語音識別，錯誤率降低20%-30%，獲顯著突破。2012年，Hinton課題組將CNN應用于ImageNet圖像識別比賽獲得奪冠。同年，吳恩達和JeffDean利用深度學習將圖像錯誤率從26%降低到15%。2014年深度學習的人臉識別率達97%，首超人類。1.2深度學習發(fā)展歷史（續(xù)）03深度學習發(fā)展歷史2016年，AlphaGo運用深度學習、強化學習技術戰(zhàn)勝人類九段職業(yè)選手，推動DL發(fā)展高潮。2017年，升級版AlphaGo加強強化學習和更深層次深度學習算法，戰(zhàn)勝世界排名第一柯潔1.3

深度學習的應用1.3深度學習的應用語音領域文本領域圖像領域多模態(tài)領域1.3深度學習的應用圖像0101Options02Options03Options04Options安防報警無人駕駛目標追蹤游戲娛樂安防支付門禁人臉識別AI藝術智能監(jiān)控智慧醫(yī)療藝術畫創(chuàng)作電影制作智能診斷遠程手術醫(yī)療質控1.3深度學習的應用圖像01圖像識別在智慧醫(yī)療中的應用AI藝術畫作生成1.3深度學習的應用文本0201Options02Options03Options04Options輿情分析服務評價分析翻譯軟件語音助手機器翻譯智能問答情感分析文本生成智能新聞生成小說/劇本創(chuàng)作聊天機器人智能客服智能咨詢1.3深度學習的應用語音0301Options02Options03Options04Options違章鳴笛抓拍目標鎖定人機交互語音助手人機交互安防應用語音識別音頻合成聲源定位語音增強智能客服虛擬播報音樂創(chuàng)作話音通信質量保障復雜場景提升語音質量1.3深度學習的應用語音03可與人流暢語音交流的機器人索菲亞1.3深度學習的應用多模態(tài)0401Options02Options03Options04Opt