《計(jì)算智能》教案課程名稱：計(jì)算智能主講教師：陳麗芳開課院系：理學(xué)院智能科學(xué)系授課對(duì)象：21智能1-2授課章節(jié)第6章深度學(xué)習(xí)講次第17講授課題目深度學(xué)習(xí)簡(jiǎn)介授課學(xué)時(shí)2學(xué)時(shí)授課周節(jié)3-4,6-18（周二1-2節(jié);周四1-2節(jié)）；3-4（周三1-2節(jié)）上課教室致遠(yuǎn)樓1機(jī)房本講教學(xué)目的掌握內(nèi)容深度學(xué)習(xí)概述；深度學(xué)習(xí)應(yīng)用；深度學(xué)習(xí)框架；TensorFlow及其應(yīng)用；熟悉內(nèi)容深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系了解內(nèi)容深度學(xué)習(xí)的其他框架本講教學(xué)重點(diǎn)深度學(xué)習(xí)概述；深度學(xué)習(xí)應(yīng)用；深度學(xué)習(xí)框架；TensorFlow及其應(yīng)用；本講教學(xué)難點(diǎn)深度學(xué)習(xí)訓(xùn)練過程教學(xué)內(nèi)容與時(shí)間分配課程導(dǎo)學(xué)（5分鐘）深度學(xué)習(xí)概述（15分鐘）深度學(xué)習(xí)應(yīng)用（20分鐘）深度學(xué)習(xí)框架（15分鐘）TensorFlow及其應(yīng)用（20分鐘）小結(jié)（3分鐘）講授概要與教學(xué)過程設(shè)計(jì)手段與方法【課程導(dǎo)入】2016年，阿法狗大戰(zhàn)李世石的故事，大家還有記憶猶新吧？阿法狗用到了什么原理？能夠打敗人類的圍棋冠軍？從1997年的深藍(lán)，到2016年代阿法狗，你還聽說過哪些人工智能的應(yīng)用和成功案例？讓學(xué)生明白深度學(xué)習(xí)在智能計(jì)算領(lǐng)域的重要作用，并讓學(xué)生明白每一種計(jì)算方法都需結(jié)合上機(jī)軟件仿真運(yùn)用，以解決問題為主，消化吸收算法。深度學(xué)習(xí)的時(shí)代到來了！【本講內(nèi)容】6.1深度學(xué)習(xí)概述深度學(xué)習(xí)概述一、概述深度學(xué)習(xí)概述1.機(jī)器學(xué)習(xí)解決圖像識(shí)別等問題的思路例如視覺感知的例子，從開始的傳感器中獲取數(shù)據(jù)，然后通過預(yù)處理，特征提取，特征選擇，再到推理、預(yù)測(cè)或識(shí)別。最后一個(gè)部分就是機(jī)器學(xué)習(xí)的部分。中間的三部分就是特征表達(dá)。這部分主要靠人工提取特征。深度學(xué)習(xí)深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。2.深度神經(jīng)網(wǎng)絡(luò)：含有多個(gè)隱層的神經(jīng)網(wǎng)絡(luò)。3.人腦視覺機(jī)理：人的視覺機(jī)理的信息處理是分級(jí)的高層的特征是低層的組合，從低層到高層的特征越來越抽象，越來越能表現(xiàn)語(yǔ)義或意圖抽象層面越高，存在的可能猜測(cè)就越少，就越利于分類。二、深度學(xué)習(xí)基本思想思想：思想就是堆疊多個(gè)層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，就可以實(shí)現(xiàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)了。深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。三、訓(xùn)練過程第一步：使用自下而上非監(jiān)督學(xué)習(xí)從底層開始，一層一層的往頂層訓(xùn)練，采用無標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)。第二步：自頂向下的監(jiān)督學(xué)習(xí)這一步就是通過帶標(biāo)簽的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，基于第一步得到的各層參數(shù)進(jìn)一步微調(diào)整個(gè)多層模型的參數(shù)，這一步是一個(gè)有監(jiān)督訓(xùn)練過程。深度學(xué)習(xí)的第一步實(shí)質(zhì)上是一個(gè)網(wǎng)絡(luò)參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化，深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果。6.2深度學(xué)習(xí)模型DNN——CNN——RNN——GAN6.3框架框架主語(yǔ)言從語(yǔ)言硬件分布式命令式運(yùn)行速度跨平臺(tái)CaffeC++Python/MatlabCPU/GPU××簡(jiǎn)單快速所有系統(tǒng)TorchLua-CPU/GPU/FPGA×√快速不支持WindowsTensorFlowC++PythonCPU/GPU/Mobile√×有點(diǎn)慢不支持WindowsTheanoPython-CPU/GPU/Mobile×√啟動(dòng)時(shí)間較長(zhǎng)所有系統(tǒng)CNTKC++-CPU/GPU×√簡(jiǎn)單快速所有系統(tǒng)Caffe卷積神經(jīng)網(wǎng)絡(luò)框架Caffe，全稱ConvolutionArchitectureForFeatureExtraction。Caffe是一個(gè)清晰，可讀性高，快速的深度學(xué)習(xí)框架。與TensorFlow一樣，Caffe也是由C++開發(fā)，Caffe也是Google今年早些時(shí)候分布的DeepDream項(xiàng)目（可以識(shí)別喵星人的人工智能神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)。TorchTorch是一個(gè)廣泛支持機(jī)器學(xué)習(xí)算法的科學(xué)計(jì)算框架。易于使用且高效，主要是以為一個(gè)簡(jiǎn)單的和快速的腳本語(yǔ)言LuaJIT，和底層的C/CUDA實(shí)現(xiàn)。Torch核心是神經(jīng)網(wǎng)絡(luò)，它使用簡(jiǎn)單的優(yōu)化庫(kù)，同時(shí)具有最大的靈活性，實(shí)現(xiàn)復(fù)雜的神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。TensorFlow：。一、特點(diǎn)：TensorFlow是谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)，它的命名來源于本身的運(yùn)行原理。Tensor(張量)意味著N維數(shù)組，F(xiàn)low（流）意味著基于數(shù)據(jù)流圖的計(jì)算，TensorFlow是張量從圖像的一端流動(dòng)到另一端計(jì)算過程。TensorFlow是將復(fù)雜的數(shù)據(jù)結(jié)構(gòu)傳輸至人工智能神經(jīng)網(wǎng)絡(luò)中進(jìn)行分析和處理過程的系統(tǒng)。TensorFlow是一個(gè)采用數(shù)據(jù)流圖，用于數(shù)值計(jì)算的開源軟件庫(kù)高度的靈活性真正的可移植性多語(yǔ)言支持二、TensorFlow的可視化工具-tensorboard：通過使用這個(gè)工具可以很直觀的看到整個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、框架。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)三、TensorFlow應(yīng)用：黃瓜分類機(jī)黃瓜分選機(jī)的系統(tǒng)圖解面臨兩大挑戰(zhàn)：黃瓜分選機(jī)的系統(tǒng)圖解第一大挑戰(zhàn)：需要大量的訓(xùn)練數(shù)據(jù)。第二大挑戰(zhàn)：消耗大量的運(yùn)算容量。Theano：Theano是一個(gè)Python庫(kù)，專門用于定義、優(yōu)化、求值數(shù)學(xué)表達(dá)式，效率高，適用于多維數(shù)組。CNTK：CNTK是微軟公司研究深度學(xué)習(xí)和人工智能領(lǐng)域研究的成果ComputationalNetworkToolkit(CNTK)，CNTK是一個(gè)內(nèi)置了多種神經(jīng)模型的算法工具包，支持NDL，MDL網(wǎng)絡(luò)定義語(yǔ)言。6.4應(yīng)用在最近幾年里，深度學(xué)習(xí)在語(yǔ)音識(shí)別、圖像分類、文本理解等眾多領(lǐng)域做出了巨大的貢獻(xiàn)，逐漸形成了一種從訓(xùn)練數(shù)據(jù)出發(fā)，經(jīng)過一個(gè)端到端（end-to-end）的模型，然后直接輸出得到最終結(jié)果的一種新模型。深度學(xué)習(xí)讓一些難得問題變得簡(jiǎn)單。一、深度學(xué)習(xí)在農(nóng)業(yè)方面的應(yīng)用1、玉米籽粒完整性識(shí)別的深度學(xué)習(xí)方法CNN識(shí)別原理：CNN網(wǎng)絡(luò)直接以圖像作為輸入，這使得CNN網(wǎng)絡(luò)受人工干預(yù)更少。卷積：通過卷積操作，CNN網(wǎng)絡(luò)能自動(dòng)抽象和提取圖像的特征。降采樣：是對(duì)輸入圖像進(jìn)行降維，可通過池化和等間隔采樣的圖像縮小來實(shí)現(xiàn)。CNN網(wǎng)絡(luò)的輸入圖像是基于單籽粒的圖像，需要對(duì)多籽粒的圖像進(jìn)行分割和提取。CNNCNN訓(xùn)練誤差變化曲線CNN深度網(wǎng)絡(luò)達(dá)到的訓(xùn)練精度為91.76%。用456個(gè)測(cè)試樣本對(duì)本網(wǎng)絡(luò)進(jìn)行測(cè)試，識(shí)別錯(cuò)誤樣本有17個(gè)，得到的精度為96.271%。CNN深度神經(jīng)網(wǎng)路的識(shí)別準(zhǔn)確率還挺高。2、自動(dòng)診斷農(nóng)作物病害使用了54306張有病害和健康的農(nóng)作物葉片圖片，經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，精確的分成38種不同的農(nóng)作物病害類型。立德樹人教育：以深度學(xué)習(xí)的曲折發(fā)展歷程，激勵(lì)學(xué)生刻苦和奮進(jìn)學(xué)習(xí)，向前輩們探究科學(xué)真理的鉆研精神致敬。樹立遠(yuǎn)大理想，開闊眼界，探究智能科學(xué)的真理！圖示法：借助圖，形象生動(dòng)的展示知識(shí)，促進(jìn)理解。人腦視覺機(jī)理：興趣驅(qū)動(dòng)：深度學(xué)習(xí)是“計(jì)算智能”中的最新神經(jīng)計(jì)算算法，需要用到數(shù)學(xué)和計(jì)算機(jī)的知識(shí)，以“用”為主，激發(fā)學(xué)生的學(xué)習(xí)興趣。對(duì)比分析法：以神經(jīng)網(wǎng)絡(luò)模型和深度學(xué)習(xí)CNN模型的對(duì)比，進(jìn)一步理解深度學(xué)習(xí)的原理和過程。CNNCNN網(wǎng)絡(luò)識(shí)別原理圖示法：借助圖，形象生動(dòng)的展示知識(shí)，促進(jìn)理解。3838種農(nóng)作物病害葉片圖片Makoto家Makoto家9類黃瓜圖表，由上至下質(zhì)量依次遞減黃瓜分類機(jī)工作場(chǎng)