人工智能的概念介紹01任務(wù)機(jī)器學(xué)習(xí)的概念介紹02任務(wù)目錄深度學(xué)習(xí)的概念介紹03任務(wù)人工智能與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的關(guān)系04任務(wù)1人工智能的概念介紹1人工智能的概念介紹上世紀(jì)50年代，計(jì)算機(jī)科學(xué)家們就提出了“人工智能(ArtificialIntelligence，AI)”的概念，人工智能是一個廣泛的概念，人工智能的目的就是讓計(jì)算機(jī)能夠象人一樣思考?，F(xiàn)在，人工智能已經(jīng)發(fā)展為一門廣泛的交叉和前沿科學(xué)，涉及到計(jì)算機(jī)科學(xué)、心理學(xué)、哲學(xué)和語言學(xué)等學(xué)科，也廣泛的應(yīng)用到語音識別、圖像識別、自然語言處理等領(lǐng)域。人工智能是計(jì)算機(jī)科學(xué)的一個重要分支，是對人類認(rèn)知思維的抽象和模擬，用機(jī)器實(shí)現(xiàn)人類智能，做人類可以做的事情。人工智能通?？煞譃槿跞斯ぶ悄芎蛷?qiáng)人工智能兩個階段。目前處于弱人工智能階段，具備一定觀察和感知力的機(jī)器，能做到有限的理解和推理，還遠(yuǎn)未到達(dá)能讓機(jī)器習(xí)得自適應(yīng)能力的強(qiáng)人工智能階段。伴隨著“人工智能”的崛起，出現(xiàn)了“機(jī)器學(xué)習(xí)”、“深度學(xué)習(xí)”等熱門領(lǐng)域。2機(jī)器學(xué)習(xí)的概念介紹2機(jī)器學(xué)習(xí)的概念介紹機(jī)器學(xué)習(xí)(MachineLearning，ML)是指用某些算法指導(dǎo)計(jì)算機(jī)利用已知數(shù)據(jù)得出適當(dāng)?shù)哪Ｐ?，并利用此模型對新的情境給出判斷的過程。機(jī)器學(xué)習(xí)的思想是對人類生活中學(xué)習(xí)過程的一個模擬，而在這整個過程中，最關(guān)鍵的是數(shù)據(jù)。任何通過數(shù)據(jù)訓(xùn)練的學(xué)習(xí)算法的相關(guān)研究都屬于機(jī)器學(xué)習(xí)，包括一些成熟的經(jīng)典技術(shù)，比如線性回歸(LinearRegression)、K均值(K-means)、決策樹(DecisionTrees)、隨機(jī)森林(Random)、主成分分析(PrincipalComponentAnalysis，PCA)、支持向量機(jī)(SupportVectorMachine，SVM)以及人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，ANN)。2機(jī)器學(xué)習(xí)的概念介紹機(jī)器學(xué)習(xí)包括以下類型的學(xué)習(xí)模式：(1) 監(jiān)督學(xué)習(xí)模式有監(jiān)督學(xué)習(xí)以訓(xùn)練集作為系統(tǒng)的輸入，其中每個樣本都有標(biāo)注信息，我們稱標(biāo)注信息為真實(shí)值(groundtruth)。模型的輸出值與真實(shí)值得差值用損失函數(shù)來衡量(loss)，采用最小損失函數(shù)執(zhí)行訓(xùn)練過程。訓(xùn)練完成后，針對訓(xùn)練集（也稱為驗(yàn)證集）中不相交的示例，測量模型的準(zhǔn)確性。

監(jiān)督學(xué)習(xí)模式2機(jī)器學(xué)習(xí)的概念介紹(2) 無監(jiān)督學(xué)習(xí)模式無監(jiān)督學(xué)習(xí)中，訓(xùn)練樣本未按其所屬的系統(tǒng)進(jìn)行標(biāo)記。無監(jiān)督學(xué)習(xí)模型是識別無標(biāo)簽數(shù)據(jù)結(jié)構(gòu)的模型。該系統(tǒng)尋找具有共同特征的數(shù)據(jù)，并根據(jù)數(shù)據(jù)內(nèi)部知識特征對其進(jìn)行聚類。這種學(xué)習(xí)算法適用于聚類問題。

無監(jiān)督學(xué)習(xí)模式3深度學(xué)習(xí)的概念介紹3深度學(xué)習(xí)的概念介紹深度學(xué)習(xí)(DeepLearning，DL)的概念源于對人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像、聲音和文本。深度學(xué)習(xí)的精髓在于通過監(jiān)督學(xué)習(xí)或從標(biāo)記的數(shù)據(jù)和算法中學(xué)習(xí)。深度學(xué)習(xí)中的每種算法都經(jīng)過相同的過程，深度學(xué)習(xí)過程的以下步驟：數(shù)據(jù)處理(數(shù)據(jù)預(yù)處理)；模型設(shè)計(jì)(網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì))；訓(xùn)練模型(優(yōu)化器，損失函數(shù)、計(jì)算資源)；

保存并測試模型(保存并測試模型的性能，以備預(yù)測調(diào)用)4人工智能與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的關(guān)系4人工智能與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的關(guān)系嚴(yán)格意義上說，人工智能和機(jī)器學(xué)習(xí)沒有直接關(guān)系，只不過目前機(jī)器學(xué)習(xí)的方法被大量的應(yīng)用于解決人工智能的問題而已。目前機(jī)器學(xué)習(xí)是人工智能的一種實(shí)現(xiàn)方式，也是最重要的實(shí)現(xiàn)方式。早期的機(jī)器學(xué)習(xí)實(shí)際上是屬于統(tǒng)計(jì)學(xué)，而二十世紀(jì)九十年代之前的經(jīng)典人工智能跟機(jī)器學(xué)習(xí)也沒有關(guān)系。所以今天的人工智能和機(jī)器學(xué)習(xí)有很大的重疊。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)現(xiàn)在比較火的一個方向，其本身是神經(jīng)網(wǎng)絡(luò)算法的衍生，在圖像、語音等富媒體的分類和識別上取得了非常好的效果。4人工智能與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的關(guān)系如果把機(jī)器學(xué)習(xí)、深度學(xué)習(xí)當(dāng)成人工智能的一個子學(xué)科來看，三者關(guān)系如下圖所示：

ThankYOU!目錄1數(shù)據(jù)量大01任務(wù)計(jì)算力提升02任務(wù)網(wǎng)絡(luò)規(guī)模大03任務(wù)1數(shù)據(jù)量大1數(shù)據(jù)量大早期的機(jī)器學(xué)習(xí)算法比較簡單，容易快速訓(xùn)練，需要的數(shù)據(jù)集規(guī)模也比較小，如1936年由英國統(tǒng)計(jì)學(xué)家RonaldFisher收集整理的鳶尾花卉數(shù)據(jù)集Iris共包含3個類別花卉，每個類別50個樣本。1998年由YannLeCun收集整理的MNIST手寫數(shù)字圖片數(shù)據(jù)集共包含0~9共10類數(shù)字，每個類別多達(dá)7000張圖片。1數(shù)據(jù)量大圖2數(shù)據(jù)集大小趨勢圖1

數(shù)據(jù)集樣本數(shù)趨勢2計(jì)算力提升2計(jì)算力提升計(jì)算能力的提升是第三次人工智能復(fù)興的一個重要因素；傳統(tǒng)的機(jī)器學(xué)習(xí)算法，對數(shù)據(jù)量和計(jì)算能力要求不高，通常在CPU上可訓(xùn)練完成；深度學(xué)習(xí)非常依賴并行加速計(jì)算設(shè)備，目前的大部分神經(jīng)網(wǎng)絡(luò)均使用NVIDIAGPU和GoogleTPU或其他神經(jīng)網(wǎng)絡(luò)并行加速芯片訓(xùn)練模型參數(shù)；2012年基于2塊

GTX580GPU訓(xùn)練的AlexNet發(fā)布后，深度學(xué)習(xí)的真正潛力才得以發(fā)揮；圍棋程序AlphaGoZero在64塊GPU上從零開始訓(xùn)練了40天才得以超越所有的AlphaGo歷史版本；自動網(wǎng)絡(luò)結(jié)構(gòu)搜索算法使用了800塊GPU同時訓(xùn)練才能優(yōu)化出較好的網(wǎng)絡(luò)結(jié)構(gòu)。2計(jì)算力提升GPU(GraphicsProcessingUnit)，圖形處理器，又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個人電腦、工作站、游戲機(jī)和一些移動設(shè)備上做圖像和圖形相關(guān)運(yùn)算工作的微處理器;TPU(TensorProcessingUnits)，是由Google設(shè)計(jì)的定制機(jī)器學(xué)習(xí)芯片，用于成功執(zhí)行其常規(guī)機(jī)器學(xué)習(xí)工作負(fù)載，專為Google的深度學(xué)習(xí)框架TensorFlow而設(shè)計(jì).

2計(jì)算力提升3網(wǎng)絡(luò)規(guī)模大3網(wǎng)絡(luò)規(guī)模大早期的感知機(jī)模型和多層神經(jīng)網(wǎng)絡(luò)層數(shù)只有1層或者2~4層，網(wǎng)絡(luò)參數(shù)量也在數(shù)萬左右；隨著深度學(xué)習(xí)的興起和計(jì)算能力的提升，AlexNet(8層)，VGG16(16層)，GoogLeNet(22層)，ResNet50(50層)，DenseNet121(121層)等模型相繼被提出；同時輸入圖片的大小也從28x28逐漸增大，變成224x224，299x299等，這些使得網(wǎng)絡(luò)的總參數(shù)量可達(dá)到千萬級別。3網(wǎng)絡(luò)規(guī)模大ThankYOU!目錄1深度學(xué)習(xí)的快速發(fā)展期01任務(wù)深度學(xué)習(xí)的爆發(fā)期02任務(wù)1深度學(xué)習(xí)的快速發(fā)展期1深度學(xué)習(xí)的快速發(fā)展期2006年，深度學(xué)習(xí)（DL）元年。是年，Hinton提出了深度置信網(wǎng)絡(luò)（DeepBeliefNet：DBN），在世界頂級學(xué)術(shù)期刊《Science》上提出觀點(diǎn)：（1）多層人工神經(jīng)網(wǎng)絡(luò)模型有很強(qiáng)的特征學(xué)習(xí)能力，深度學(xué)習(xí)模型學(xué)習(xí)得到的特征數(shù)據(jù)對原始數(shù)據(jù)有更本質(zhì)的代表性，這將大大便于分類和可視化問題；（2）對于深度神經(jīng)網(wǎng)絡(luò)很難訓(xùn)練達(dá)到最優(yōu)的問題，可以采用逐層訓(xùn)練方法解決。將上層訓(xùn)練好的結(jié)果作為下層訓(xùn)練過程中的初始化參數(shù)。1深度學(xué)習(xí)的快速發(fā)展期圖2DBN網(wǎng)絡(luò)架構(gòu)層疊的多個RBM網(wǎng)絡(luò)組成DBN結(jié)構(gòu)，來提取需要處理對象的特征，然后再用分類器進(jìn)行分類。1深度學(xué)習(xí)的快速發(fā)展期2011年，ReLU激活函數(shù)被提出，該激活函數(shù)能夠有效的抑制梯度消失問題；

圖3ReLU激活函數(shù)微軟首次將DL應(yīng)用在語音識別上，構(gòu)建了深度神經(jīng)網(wǎng)絡(luò)模型，將語音識別錯誤率降低了20%~30%，取得了重大突破。2深度學(xué)習(xí)的爆發(fā)期2深度學(xué)習(xí)的爆發(fā)期1998年LeCun大神提出卷積神經(jīng)網(wǎng)絡(luò)LeNet-5網(wǎng)絡(luò)，用來解決手寫數(shù)字識別的問題。LeNet-5被譽(yù)為卷積神經(jīng)網(wǎng)絡(luò)的‘HelloWorld’圖4LeNet-5架構(gòu)圖2深度學(xué)習(xí)的爆發(fā)期2012年，Hinton團(tuán)隊(duì)為了證明深度學(xué)習(xí)的潛力，參加首屆ImageNet圖像識別大賽，構(gòu)建名為AlexNet的CNN網(wǎng)絡(luò)，獲得冠軍。圖5AlexNet架構(gòu)圖2深度學(xué)習(xí)的爆發(fā)期AlexNet的創(chuàng)新點(diǎn);首次采用ReLU激活函數(shù)，增加收斂速度；完全采用有監(jiān)督訓(xùn)練，DL方法開始向有監(jiān)督學(xué)習(xí)轉(zhuǎn)變；擴(kuò)展了LeNet-5，引入Dropout減小過擬合；首次采用GPU加速訓(xùn)練。2深度學(xué)習(xí)的爆發(fā)期2013~2017，通過ImageNet圖像識別競賽，GPU硬件的不斷進(jìn)步，涌現(xiàn)了性能更好的CNN模型， CNN 在其他計(jì)算機(jī)視覺任務(wù)中也開始應(yīng)用開來。2017年至今，深度學(xué)習(xí)算法不斷進(jìn)步，在計(jì)算機(jī)視覺中的各個領(lǐng)域都有創(chuàng)新網(wǎng)絡(luò)的提出。ThankYOU!目錄計(jì)算機(jī)視覺01任務(wù)自然語言處理02任務(wù)強(qiáng)化學(xué)習(xí)03任務(wù)1計(jì)算機(jī)視覺1計(jì)算機(jī)視覺計(jì)算機(jī)視覺是深度學(xué)習(xí)應(yīng)用最為廣泛的一個領(lǐng)域，計(jì)算機(jī)視覺中包括：圖像識別(ImageClassification)目標(biāo)檢測(ObjectDetection)語義分割(SemanticSegmentation)視頻理解(VideoUnderstanding)圖片生成(ImageGeneration)1計(jì)算機(jī)視覺圖像識別(ImageClassification)圖像識別(ImageClassification)，也叫圖像分類，是一種常見的分類問題。計(jì)算機(jī)視覺中圖像分類算法常采用神經(jīng)網(wǎng)絡(luò)作為核心，算法的輸入為圖像數(shù)據(jù)，輸出值為當(dāng)前圖像樣本所屬類別的概率，通常選取輸出概率值最大的類別作為樣本的預(yù)測類別。1計(jì)算機(jī)視覺目標(biāo)檢測(ObjectDetection)目標(biāo)檢測(ObjectDetection)，是指通過算法自動檢測出圖片中目標(biāo)物體的類別及大致位置，然后用邊界框(BoundingBox)表示，并標(biāo)出邊界框中物體的類別信息。1計(jì)算機(jī)視覺語義分割(SemanticSegmentation)語義分割(SemanticSegmentation)是通過算法自動分割并識別出圖片中的內(nèi)容，可以將語義分割理解為每個像素點(diǎn)的分類問題，分析每個像素點(diǎn)屬于物體的類別。1計(jì)算機(jī)視覺視頻理解(VideoUnderstanding)隨著深度學(xué)習(xí)在2D圖片的相關(guān)任務(wù)上取得較好的效果，具有時間維度信息的3D視頻理解任務(wù)受到越來越多的關(guān)注。常見的視頻理解任務(wù)有視頻分類，行為檢測，視頻主體抽取等1計(jì)算機(jī)視覺圖片生成(ImageGeneration)圖片生成(ImageGeneration)，通過學(xué)習(xí)真實(shí)圖片的分布，并從學(xué)習(xí)到的分布中采樣而獲得逼真度較高的生成圖片。圖像風(fēng)格遷移2自然語言處理2自然語言處理1、機(jī)器翻譯(MachineTranslation)過去的機(jī)器翻譯算法通常是基于統(tǒng)計(jì)機(jī)器翻譯模型，這也是2016年前Google翻譯系統(tǒng)采用的技術(shù)。2、2016年11月，Google基于Seq2Seq模型上線了Google神經(jīng)機(jī)器翻譯系統(tǒng)(GNMT)，首次實(shí)現(xiàn)了源語言到目標(biāo)語言的直譯技術(shù)，在多項(xiàng)任務(wù)上實(shí)現(xiàn)50~90%的效果提升。3、常用的機(jī)器翻譯模型有Seq2Seq，BERT，GPT，GPT-2等，其中OpenAI提出的GPT-2模型參數(shù)量高達(dá)15億個，甚至發(fā)布之初以技術(shù)安全考慮為由拒絕開源GPT-2模型。機(jī)器翻譯(MachineTranslation)2自然語言處理1、聊天機(jī)器人(Chatbot)聊天機(jī)器人也是自然語言處理的一項(xiàng)主流任務(wù)。2、通過機(jī)器自動與人類對話，對于人類的簡單訴求提供滿意的自動回復(fù)，提高客戶的服務(wù)效率和服務(wù)質(zhì)量。3、常應(yīng)用在咨詢系統(tǒng)、娛樂系統(tǒng)、智能家居等中。聊天機(jī)器人(Chatbot)3強(qiáng)化學(xué)習(xí)3強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL），又稱再勵學(xué)習(xí)、評價學(xué)習(xí)或增強(qiáng)學(xué)習(xí)，是機(jī)器學(xué)習(xí)的范式和方法論之一，用于描述和解決智能體（agent）在與環(huán)境的交互過程中通過學(xué)習(xí)策略以達(dá)成回報(bào)最大化或?qū)崿F(xiàn)特定目標(biāo)的問題。強(qiáng)化學(xué)習(xí)技術(shù)常用語機(jī)器人(Robotics)和自動駕駛(AutonomousDriving)領(lǐng)域中。3強(qiáng)化學(xué)習(xí)機(jī)器人(Robotics)在真實(shí)環(huán)境中，機(jī)器人的控制也取得了一定的進(jìn)展。如UCBerkeley在機(jī)器人的模仿學(xué)習(xí)(ImitationLearning)、少樣本學(xué)習(xí)(MetaLearning)、元學(xué)習(xí)(Few-shotLearning)等方向取得了不少進(jìn)展。波士頓動力公司的機(jī)器人機(jī)器人(Robotics)3強(qiáng)化學(xué)習(xí)自動駕駛(AutonomousDriving)被認(rèn)為是強(qiáng)化學(xué)習(xí)在短期內(nèi)能技術(shù)落地的一個應(yīng)用方向，很多公司投入大量資源在自動駕駛上，如百度、Uber、Google無人車等。百度Apollo自動駕駛汽車自動駕駛(AutonomousDriving)ThankYOU!目錄深度學(xué)習(xí)框架概念01任務(wù)主流的深度學(xué)習(xí)框架02任務(wù)TensorFlow基礎(chǔ)框架03任務(wù)1深度學(xué)習(xí)框架概念1深度學(xué)習(xí)框架概念深度學(xué)習(xí)框架是一種為了降低深度學(xué)習(xí)開發(fā)門檻而開發(fā)的深度學(xué)習(xí)工具，框架包含庫、數(shù)據(jù)集和預(yù)訓(xùn)練模型等資源。深度學(xué)習(xí)框架可以簡化模型的開發(fā)過程，復(fù)雜深度學(xué)習(xí)模型開發(fā)被大大簡化，成為AI開發(fā)者的必用利器。開發(fā)者不需要從復(fù)雜的神經(jīng)網(wǎng)絡(luò)開始編代碼，可以依據(jù)需要調(diào)用框架內(nèi)置的模型，也可以在已有模型的基礎(chǔ)上增加layer，選擇分類器。目前，TensorFlow和PyTorch框架為主力深度學(xué)習(xí)框架，其中TensorFlow市場需求最多，且部署能力強(qiáng)，在應(yīng)用部署中使用較多。PyTorch在學(xué)術(shù)界、學(xué)術(shù)論文中使用較多。2主流的深度學(xué)習(xí)框架介紹2深度學(xué)習(xí)框架介紹Theano

最早的深度學(xué)習(xí)框架之一，是一個基于Python語言、定位底層運(yùn)算的計(jì)算庫，Theano同時支持GPU和CPU運(yùn)算。缺點(diǎn)：Theano開發(fā)效率較低，模型編譯時間較長，同時開發(fā)人員轉(zhuǎn)投TensorFlow等原因，Theano目前已經(jīng)停止維護(hù)。2深度學(xué)習(xí)框架介紹Scikit-learn一個完整的面向機(jī)器學(xué)習(xí)算法的計(jì)算庫，內(nèi)嵌了常見的傳統(tǒng)機(jī)器學(xué)習(xí)算法支持，文檔和案例也較為豐富。

缺點(diǎn)：但是Scikit-learn并不是專門面向神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)的，不支持GPU加速，對神經(jīng)網(wǎng)絡(luò)相關(guān)層實(shí)現(xiàn)也較欠缺。2深度學(xué)習(xí)框架介紹Caffe由華人博士賈揚(yáng)清在2013年開發(fā)，主要面向使用卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用場合，并不適合其他類型的神經(jīng)網(wǎng)絡(luò)的應(yīng)用。Caffe的主要開發(fā)語言是C++，也提供Python語言等接口，支持GPU和CPU。開發(fā)時間早，知名度高，2017年Facebook推出了Caffe的升級版本Cafffe2，且Caffe2目前已經(jīng)融入到PyTorch庫中。2深度學(xué)習(xí)框架介紹Torch

是一個非常優(yōu)秀的科學(xué)計(jì)算庫，基于較冷門的編程語言Lua開發(fā)。Torch靈活性較高，容易實(shí)現(xiàn)自定義網(wǎng)絡(luò)層，這也是PyTorch繼承獲得的優(yōu)良基因。缺點(diǎn)：但是由于Lua語言使用人群較小，Torch一直未能獲得廣泛應(yīng)用。2深度學(xué)習(xí)框架介紹MXNET由華人博士陳天奇和李沐等人開發(fā)，MXNET是亞馬遜公司的官方深度學(xué)習(xí)框架，采用了命令式編程和符號式編程混合方式，靈活性高，運(yùn)行速度快，文檔和案例也較為豐富。PyTorch是Facebook基于原有的Torch框架推出的采用Python作為主要開發(fā)語言的深度學(xué)習(xí)框架。PyTorch借鑒了Chainer的設(shè)計(jì)風(fēng)格，采用命令式編程，使得搭建網(wǎng)絡(luò)和調(diào)試網(wǎng)絡(luò)非常方便。盡管PyTorch在2017年才發(fā)布，但是由于精良緊湊的接口設(shè)計(jì)，PyTorch在學(xué)術(shù)界獲得了廣泛好評。在PyTorch1.0版本后，原來的PyTorch與Caffe2進(jìn)行了合并，彌補(bǔ)了PyTorch在工業(yè)部署方面的不足?？偟膩碚f，PyTorch是一個非常優(yōu)秀的深度學(xué)習(xí)框架。2深度學(xué)習(xí)框架介紹Keras

一個基于Theano和TensorFlow等框架提供的底層運(yùn)算而實(shí)現(xiàn)的高層框架，提供了大量方便快速訓(xùn)練，測試的高層接口，對于常見應(yīng)用來說，使用Keras開發(fā)效率非常高。缺點(diǎn)：但是由于沒有底層實(shí)現(xiàn)，需要對底層框架進(jìn)行抽象，運(yùn)行效率不高，靈活性一般。TensorFlow由Google于2015年發(fā)布。由于TensorFlow接口設(shè)計(jì)頻繁變動，功能設(shè)計(jì)重復(fù)冗余，符號式編程開發(fā)和調(diào)試非常困難等問題，TensorFlow1.x版本一度被業(yè)界詬病。2019年，Google推出TensorFlow2正式版本，能夠避免TensorFlow1.x版本的諸多缺陷。3TensorFlow基礎(chǔ)框架3TensorFlow基礎(chǔ)框架系統(tǒng)框架Tensorflow系統(tǒng)框架分為三層，由上而下依次是應(yīng)用層、接口層和Tensorflow核心層。TensorFlow系統(tǒng)框架3TensorFlow基礎(chǔ)框架系統(tǒng)框架的六大特性深度靈活性（DeepFlexibility）真正的可移植性（TruePortability）連接研究與產(chǎn)品（ConnectResearchandProduction）自動微分（Auto-Differentiation）多語言選擇（LanguageOptions）最大化性能（MaximizePerformance）ThankYOU!目錄1Anaconda介紹01任務(wù)Anaconda安裝02任務(wù)1Anaconda介紹1Anaconda介紹Anaconda是專門為了方便使用Python進(jìn)行數(shù)據(jù)科學(xué)研究而建立的一組軟件包，涵蓋了數(shù)據(jù)科學(xué)領(lǐng)域常見的Python庫；并且自帶了專門用來解決軟件環(huán)境依賴問題的conda包管理系統(tǒng)。主要是提供了包管理與環(huán)境管理的功能，可以很方便地解決多版本python并存、切換以及各種第三方包安裝問題；Anaconda利用命令conda來進(jìn)行包和環(huán)境的管理，并且已經(jīng)默認(rèn)安裝了Python和相關(guān)的配套工具。2Anaconda安裝1(1)進(jìn)入Anaconda官網(wǎng)：/，點(diǎn)擊Download，下載安裝包，安裝包較大，下載需要耐心等待。1(3)為了解決官網(wǎng)下載安裝包較慢的問題，可以選擇如下鏡像源：/anaconda/archive/，這里選擇適用于Windows系統(tǒng)較新的Anaconda版本：1(4)安裝包下載好后，點(diǎn)擊安裝包，出現(xiàn)如下頁面，依次點(diǎn)擊Next、IAgree；1(5)選擇JustMe，點(diǎn)擊Next；1(6)選擇安裝目錄，系統(tǒng)默認(rèn)安裝在C盤，Anaconda軟件占用空間較大，可根據(jù)需要自定義安裝到空間較大的盤；1(7)AdvancedOptions中的兩個選項(xiàng)，勾選第一個，將Anaconda添加至環(huán)境變量；第二個是為系統(tǒng)選擇默認(rèn)的Python版本，這個不選，點(diǎn)擊Install；等待安裝完成后點(diǎn)擊Next。1(8)最后的兩個選項(xiàng)可以選，也可以不選，最后點(diǎn)擊Finish完成安裝。1(9)在Windows10的搜索框中輸入anaconda，打開AnacondaPrompt命令提示符；1(10)輸入python–V查看Python版本，我們發(fā)現(xiàn)Python版本為默認(rèn)的Python3.9，至此，Anaconda環(huán)境管理器安裝教程全部完成。ThankYOU!目錄1創(chuàng)建虛擬環(huán)境01任務(wù)安裝TensorFlow02任務(wù)Python第三方庫的安裝03任務(wù)1創(chuàng)建虛擬環(huán)境1創(chuàng)建虛擬環(huán)境Anaconda軟件安裝完成之后，使用軟件創(chuàng)建虛擬環(huán)境，創(chuàng)建虛擬環(huán)境的途徑有兩個：通過Anaconda軟件圖形界面創(chuàng)建；通過命令在AnacondaPrompt中創(chuàng)建。1創(chuàng)建虛擬環(huán)境(1)搜索框輸入anaconda命令，點(diǎn)擊Anaconda圖標(biāo)打開軟件，點(diǎn)擊左下角Create；通過Anaconda軟件圖形界面創(chuàng)建：1創(chuàng)建虛擬環(huán)境(2)彈出創(chuàng)建新環(huán)境對話框；給新建的虛擬環(huán)境命名，這里將虛擬環(huán)境命名為tf，Python版本為3.6，點(diǎn)擊Create;1創(chuàng)建虛擬環(huán)境(3)稍等片刻，在Environments一欄，會多出一個名為tf的虛擬環(huán)境。1創(chuàng)建虛擬環(huán)境(4)打開AnacondaPrompt命令提示符，默認(rèn)打開base(root)環(huán)境，在命令提示符中輸入activatetf命令，激活創(chuàng)建的tf環(huán)境，如圖所示，表示tf虛擬環(huán)境創(chuàng)建成功。1創(chuàng)建虛擬環(huán)境創(chuàng)建一個名為tensorflow，Python版本為3.8的虛擬環(huán)境，打開AnacondaPrompt，輸入如下命令：condacreate-ntensorflowpython=3.8使用前述方法可以查看虛擬環(huán)境信息和Python版本。通過命令在AnacondaPrompt中創(chuàng)建2安裝tensorflow2這里我們給創(chuàng)建虛擬環(huán)境tensorflow配置安裝包和深度學(xué)習(xí)框架，深度學(xué)習(xí)框架選擇CPU版的TensorFlow2.0。步驟如下：(1)打開AnacondaPrompt，輸入activatetensorflow命令激活虛擬環(huán)境tensorflow后，輸入如下命令安裝TensorFlow包：pip/conda

install

tensorflow

(2)如果下載太慢，可以選擇從清華鏡像源網(wǎng)站下載，命令如下：pip

install

-i/simple

tensorflow2(3)輸入安裝命令后，系統(tǒng)搜集到要安裝的包，輸入y，確認(rèn)安裝；如圖所示：2(4)安裝完成后，可以輸入piplist命令查看虛擬環(huán)境中安裝的包列表，可以查看安裝的tensorflow包的版本信息，如圖所示：2(5)也可以輸入pipshowtensorflow命令查看tensorflow版本，如圖所示：2(6)接下來測試tensorflow是否安裝成功。輸入python，進(jìn)入python命令行模式；然后輸入命令：import

tensorflow

如果沒有顯示任何報(bào)錯信息，則tensorflow安裝成功。如圖所示：3Python第三方庫的安裝3TensorFlow安裝完成之后，在開發(fā)具體的項(xiàng)目時，還需要安裝一些Python的第三方庫，這里以安裝Matplotlib、NumPy和Pandas為例，介紹第三方庫的安裝流程，按照此方法可以安裝其第三方包。3(1)MatplotlibMatplotlib是一個數(shù)據(jù)可視化工具，可以用來繪制各種圖表，例如折線圖、柱狀圖和三維圖。安裝命令如下：pipinstallmatplotlib3(2)NumpyNumpy是一個數(shù)學(xué)函數(shù)庫，支持矩陣運(yùn)算和大量數(shù)學(xué)函數(shù)運(yùn)算，Numpy的數(shù)據(jù)類型支持在Matplotlib、OpenCV等多種第三方庫上使用。安裝命令如下：pipinstallnumpy3(3)PandasPandas是數(shù)據(jù)分析及可視化工具，支持?jǐn)?shù)據(jù)處理和數(shù)據(jù)的可視化，例如讀取Excel文件中的數(shù)據(jù)，并對其進(jìn)行統(tǒng)計(jì)、運(yùn)算、分析或可視化。安裝命令如下：pipinstallpandas3與安裝TensorFlow一樣，如果安裝第三方庫時，下載速度比較慢，可以選擇從清華鏡像源網(wǎng)站下載，命令如下：pipinstall-i/simple庫名稱ThankYOU!目錄1Jupyternotebook介紹01任務(wù)Jupyternotebook添加虛擬環(huán)境02任務(wù)1Jupyternotebook介紹1Jupyternotebook介紹JupyterNotebook是基于網(wǎng)頁的用于交互計(jì)算的應(yīng)用程序。其可被應(yīng)用于全過程計(jì)算：開發(fā)、文檔編寫、運(yùn)行代碼和展示結(jié)果。Anaconda已經(jīng)自動安裝了JupyterNotebook，我們只需要打開AnacondaPrompt，輸入jupyternotebook命令就可以打開頁面，本課程推薦使用JupyterNotebook執(zhí)行代碼，下面介紹JupyterNotebook中虛擬環(huán)境的配置。2Jupyternotebook添加虛擬環(huán)境2Jupyternotebook添加虛擬環(huán)境(1)創(chuàng)建虛擬環(huán)境并安裝第三方庫之后，需要把虛擬環(huán)境在jupyternotebook網(wǎng)頁中顯示出來：在激活的TensorFlow虛擬環(huán)境中安裝ipykernel，執(zhí)行命令：pipinstallipykernel將環(huán)境寫入notebook的kernel中，并以名稱tensorflow顯示出來，執(zhí)行以下命令：python-mipykernelinstall--nametensorflow2Jupyternotebook添加虛擬環(huán)境(2)啟動JupyterNotebook在Windows命令提示符或AnacondaPrompt中輸入jupyternotebook，打開jupyternotebook頁面。2Jupyternotebook添加虛擬環(huán)境(3)新建執(zhí)行文件單擊界面右上角的New下拉按鈕，選擇tensorflow虛擬環(huán)境(Anaconda中又稱為Kernel)，如圖所示：2Jupyternotebook添加虛擬環(huán)境(4)打開界面后，可以在方框(cell)中輸入import命令導(dǎo)入前面安裝的tensorflow、matplotlib、numpy、pandas，然后點(diǎn)擊運(yùn)行按鈕或“Shift+Enter”快捷鍵執(zhí)行代碼。代碼執(zhí)行完畢后，方框前面的中括號由空格變成數(shù)字，代表代碼執(zhí)行完畢。ThankYOU!目錄1TensorFlow概述01任務(wù)TensorFlow的優(yōu)點(diǎn)02任務(wù)TensorFlow的幾個基本概念03任務(wù)1初識TensorFlow1TensorFlow概述TensorFlow是Google開源的基于數(shù)據(jù)流圖的、面向于深度學(xué)習(xí)算法的科學(xué)計(jì)算庫，命名來源于本身的運(yùn)行原理，Tensor(張量)表示N維數(shù)組，F(xiàn)low(流)表示基于數(shù)據(jù)流圖的計(jì)算。內(nèi)部數(shù)據(jù)保存在張量(Tensor)對象上，所有的運(yùn)算操作(Operation,OP)基于張量對象進(jìn)行。在深度學(xué)習(xí)領(lǐng)域應(yīng)用廣泛，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)已被應(yīng)用計(jì)算機(jī)視覺、語音識別、自然語言處理、音頻識別與生物信息學(xué)等領(lǐng)域并獲取了極好的效果。2TensorFlow的優(yōu)點(diǎn)2TensorFlow的優(yōu)點(diǎn)真正的可移植性

引入各種計(jì)算設(shè)備的支持包括CPU/GPU/TPU，以及能夠很好地運(yùn)行在移動端，如安卓設(shè)備、ios、樹莓派等等多語言支持

Tensorflow有一個合理的c++使用界面，也有一個易用的python使用界面來構(gòu)建和執(zhí)行你的graphs，你可以直接寫python/c++程序高度的靈活性與效率

TensorFlow是一個采用數(shù)據(jù)流圖（dataflowgraphs），用于數(shù)值計(jì)算的開源軟件庫能夠靈活進(jìn)行組裝圖，執(zhí)行圖。隨著開發(fā)的進(jìn)展，Tensorflow的效率不斷在提高TensorFlow由谷歌提供支持，谷歌投入了大量精力開發(fā)TensorFlow，它希望TensorFlow成為機(jī)器學(xué)習(xí)研究人員和開發(fā)人員的通用語言3TensorFlow的幾個基本概念3TensorFlow的幾個基本概念計(jì)算圖（graphs）：描述了計(jì)算過程，Tensorflow用圖來表示計(jì)算過程。張量（tensor）：Tensorflow使用tensor表示數(shù)據(jù)，每一個tensor是一個多維的數(shù)組。變量（variable）：變量(Variable)是特殊的張量(Tensor)，它的值可以是一個任何類型和形狀的張量，變量存儲的是持久張量，當(dāng)訓(xùn)練模型時，用變量來存儲和更新參數(shù)。占位符：輸入變量的載體?？梢岳斫鉃槎x函數(shù)時的參數(shù)。操作：圖中的節(jié)點(diǎn)為op，一個op獲得/輸入0個或者多個Tensor，執(zhí)行并計(jì)算，產(chǎn)生0個或多個Tensor。會話（session）：

tensorflow的運(yùn)行需要在會話里面運(yùn)行。3TensorFlow的幾個基本概念（1）計(jì)算圖（graphs）：圖是TensorFlow用于表達(dá)計(jì)算任務(wù)的一個核心概念，Tensorflow用圖來表示計(jì)算過程，graph被定義一些操作和張量的集合3TensorFlow的幾個基本概念（2）張量（tensor）TensorFlow中，張量是計(jì)算圖上的數(shù)據(jù)載體，用張量統(tǒng)一表示所有的數(shù)據(jù)，張量在計(jì)算圖的節(jié)點(diǎn)之間傳遞；張量主要有三種類型：常量tf.constant()、變量tf.Variable()、占位符tf.palceholder()張量可以看做是n維的數(shù)組，數(shù)組的維數(shù)即為張量的階數(shù)：階數(shù)學(xué)實(shí)例Python例子0純量(只有大小)s=4831向量(大小和方向)v=[1.1,2.2,3.3]2矩陣(數(shù)據(jù)表)m=[[1,2,3],[4,5,6],[7,8,9]]33階張量(數(shù)據(jù)立體)t=[[[2],[4],[6]],[[8],[10],[12]],[[14],[16],[18]]]nn階(多維數(shù)組)....

3TensorFlow的幾個基本概念（3）變量（variable）1、變量是計(jì)算圖中的一種有狀態(tài)節(jié)點(diǎn)，用于在多次執(zhí)行同一計(jì)算圖時存儲并更新指定參數(shù)，對應(yīng)了機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法中的模型參數(shù)；作為有狀態(tài)節(jié)點(diǎn)，其輸出由輸入、節(jié)點(diǎn)操作、節(jié)點(diǎn)內(nèi)部已保存的狀態(tài)值共同作用；2、創(chuàng)建變量的方法有三種：使用tf.Variable()函數(shù)直接定義使用TensorFlow內(nèi)置函數(shù)創(chuàng)建使用其他變量初始值來定義新變量3、調(diào)用語法：tf.Variable(dtype,shape=None,name=None)dtype：數(shù)據(jù)類型shape：數(shù)據(jù)維度name：張量名稱

3TensorFlow的幾個基本概念（4）占位符（placeholder）用于聲明一個張量的數(shù)據(jù)格式，告訴系統(tǒng)這里會有一個這種格式的張量，但是還沒有給定具體數(shù)值，具體的數(shù)值要在正式運(yùn)行的時候填充。占位變量是一種TensorFlow用來解決讀取大量訓(xùn)練數(shù)據(jù)問題的機(jī)制，它允許你現(xiàn)在不用給它賦值，隨著訓(xùn)練的開始，再把訓(xùn)練數(shù)據(jù)傳送給訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)。調(diào)用語法：tf.placeholder(dtype,shape=None,name=None)dtype：數(shù)據(jù)類型shape：數(shù)據(jù)維度name：張量名稱

3TensorFlow的幾個基本概念（5）操作（operation）：簡稱op，是TensorFlow圖中的節(jié)點(diǎn)，它的輸入和輸出都是Tensor。作用都是完成各種操作，包括算數(shù)操作、矩陣操作、神經(jīng)網(wǎng)絡(luò)構(gòu)建操作等。（6）會話（session）：Tensorflow會話，在Tensorflow中是計(jì)算圖的具體執(zhí)行者，與圖進(jìn)行實(shí)際的交互。ThankYOU!目錄1TensorFlow數(shù)學(xué)概念01任務(wù)矩陣的數(shù)學(xué)運(yùn)算02任務(wù)TensorFlow數(shù)學(xué)運(yùn)算03任務(wù)1TensorFlow數(shù)學(xué)概念1TensorFlow數(shù)學(xué)概念數(shù)學(xué)是任何機(jī)器學(xué)習(xí)算法的核心，使用TensorFlow創(chuàng)建應(yīng)用程序之前，了解一些TensorFlow中基本的數(shù)學(xué)概念是很必要的，理解數(shù)學(xué)核心概念，有助于定義機(jī)器學(xué)習(xí)算法的解決方案。TensorFlow中經(jīng)常出現(xiàn)的數(shù)學(xué)概念有：標(biāo)量(scalar)

一個單獨(dú)的數(shù)向量(vector)

一列數(shù)，即一維數(shù)組矩陣(matrix)

二維數(shù)組張量(tensor)

多維數(shù)組1TensorFlow數(shù)學(xué)概念（1）標(biāo)量標(biāo)量(scalar)

，也稱純量，是只有大小，沒有方向的量，標(biāo)量也稱為0維張量。比如：一個常數(shù)，只有數(shù)值大小，沒有方向。在物理學(xué)中，標(biāo)量是在坐標(biāo)變換的情況下，保持不變的物理量。1TensorFlow數(shù)學(xué)概念（2）向量向量(vector)，也稱矢量，是既有大小，又有方向的量。向量是一列數(shù)，即一維數(shù)組，向量也稱為一維張量。例如，在物理學(xué)中，速度就是一個向量，1TensorFlow數(shù)學(xué)概念（3）矩陣矩陣(matrix)是一個二維數(shù)組，數(shù)組元素以行和列的格式排列。矩陣的大小由行長度和列長度定義。矩陣也稱為二維張量。由m×n個數(shù)aij排成的m行n列的數(shù)表稱為m行n列的矩陣，簡稱m×n矩陣。記作：1TensorFlow數(shù)學(xué)概念（4）張量張量(tensor)

是多維數(shù)組，標(biāo)量、矢量、矩陣都可以用張量表示，只是維度不同。2矩陣的數(shù)學(xué)運(yùn)算2矩陣的數(shù)學(xué)運(yùn)算矩陣的數(shù)學(xué)運(yùn)算包括：矩陣加法、矩陣減法、矩陣乘法、矩陣轉(zhuǎn)置等運(yùn)算。（1）矩陣加法兩個矩陣具有相同形狀的矩陣可以相加，相加表示將對應(yīng)位置的元素相加，生成的矩陣與原矩陣形狀相同。例如：2矩陣的數(shù)學(xué)運(yùn)算（2）矩陣減法矩陣減法與矩陣加法操作類似例如：2矩陣的數(shù)學(xué)運(yùn)算（3）矩陣乘法假設(shè)矩陣A(形狀mxn)與B(形狀pxq)相乘，必須n=q，即A的列數(shù)必須與B的行數(shù)相同，得到的結(jié)果是C(形狀mxq)，其中元素的算法如下：2矩陣的數(shù)學(xué)運(yùn)算（4）矩陣轉(zhuǎn)置矩陣轉(zhuǎn)置是指把一個矩陣的列轉(zhuǎn)置為行得到一個新矩陣，矩陣A的轉(zhuǎn)置可以表示為：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算TensorFlow中的數(shù)學(xué)運(yùn)算包括加、減、乘、除、冪次方、對數(shù)、矩陣相乘等運(yùn)算。（1）加減乘除法加、減、乘、除是最基本的數(shù)學(xué)運(yùn)算，分別通過tf.add()、tf.subtract()、tf.multiply()、tf.divide()函數(shù)實(shí)現(xiàn)，TensorFlow支持+、-、*、/運(yùn)算符，一般推薦直接使用運(yùn)算符來完成加、減、乘、除運(yùn)算。整除、除法取余也是常見的運(yùn)算之一，分別通過//和%運(yùn)算符實(shí)現(xiàn)。示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（2）冪次方函數(shù)tf.pow(x,a)可以完成x的a次方運(yùn)算，也可以使用x**a完成，示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（2）冪次方設(shè)置指數(shù)為1/a的形式，既可以實(shí)現(xiàn)x開a次方根的運(yùn)算示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（2）冪次方對于一些常見的平方和平方根運(yùn)算，可以使用tf.square()和tf.sqrt()實(shí)現(xiàn)示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（2）冪次方對于tf.sqrt()，為實(shí)現(xiàn)開二次根運(yùn)算。這里開二次根的運(yùn)算，相當(dāng)于指數(shù)為0.5，是一個小數(shù)，所以底數(shù)也應(yīng)該轉(zhuǎn)換為小數(shù)。示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（3）矩陣乘法運(yùn)算通過tf.matmul(a,b)函數(shù)實(shí)現(xiàn)矩陣相乘。矩陣A和B能夠矩陣相乘的條件是，A的倒數(shù)第一個維度長度和B的倒數(shù)第二個維度長度必須相等。示例：ThankYOU!目錄1數(shù)值型01任務(wù)字符串型02任務(wù)布爾型03任務(wù)1數(shù)值型1數(shù)值型數(shù)值型數(shù)據(jù)是TensorFlow中最常見的數(shù)據(jù)類型，標(biāo)量、向量、矩陣、張量等都屬于數(shù)值型。（1）標(biāo)量標(biāo)量的創(chuàng)建可以使用python語言創(chuàng)建，也可以使用TensorFlow框架創(chuàng)建，TensorFlow使用tf.constant()函數(shù)創(chuàng)建標(biāo)量。示例：1數(shù)值型（2）向量向量是n個實(shí)數(shù)的有序集合，如[1,2.,3.3]是維度數(shù)為1，shape

=(3,)的向量，TensorFlow使用tf.constant()函數(shù)創(chuàng)建向量，示例：1數(shù)值型（3）矩陣矩陣是n行m列實(shí)數(shù)的有序集合。維度為2，shape為(n,m)，TensorFlow使用tf.constant()函數(shù)創(chuàng)建矩陣，示例：1數(shù)值型（4）張量所有維度大于2的數(shù)組統(tǒng)稱為張量。張量的每個維度也做軸（Axis），一般維度代表了具體的含義，例如shape為(2,32,32,3)的張量一共有4維，如果表示圖片的數(shù)據(jù)，2代表2張圖片，32代表了高、寬都是32，3代表了RGB共3個通道。TensorFlow使用tf.constant()函數(shù)創(chuàng)建張量，示例：2字符串型2字符串型除了豐富的數(shù)值類型外，TensorFlow還支持字符串(String)類型的數(shù)據(jù)，TensorFlow通過tf.constant()函數(shù)傳入字符串對象即可創(chuàng)建字符串類型的張量，在tf.string模塊中，提供了許多處理字符串?dāng)?shù)據(jù)的函數(shù)，如：大寫化upper()，小寫化lower()，拼接join()，長度length()，切分split()：3布爾型2布爾型為了方便表達(dá)比較運(yùn)算操作的結(jié)果，TensorFlow還支持布爾類型(bool)的張量。布爾類型的張量只需要傳入Python語言的布爾類型數(shù)據(jù)，轉(zhuǎn)換成TensorFlow內(nèi)部布爾型即可：

ThankYOU!目錄1標(biāo)量的應(yīng)用01任務(wù)向量的應(yīng)用02任務(wù)矩陣的應(yīng)用03任務(wù)多維張量的應(yīng)用04任務(wù)1標(biāo)量的應(yīng)用1標(biāo)量的應(yīng)用在TensorFlow中，每種維度下的張量都有典型的應(yīng)用，不同維度的張量都具有不同的物理意義和用途。標(biāo)量最容易理解，它就是一個簡單的數(shù)字，維度數(shù)為0，shape

=()。標(biāo)量的典型用途之一是誤差值的表示、各種測量指標(biāo)的表示，比如準(zhǔn)確度(Accuracy)、精度(Precision)和召回率(Recall)等。2向量的應(yīng)用2向量的應(yīng)用向量是一種常見的數(shù)據(jù)載體，如在全連接層和卷積神經(jīng)網(wǎng)絡(luò)層中，偏置張量??就使用向量來表示。如圖所示，每個全連接層的輸出節(jié)點(diǎn)都添加了一個偏置值，把所有輸出節(jié)點(diǎn)的偏置表示成向量形式：??=[??1,??2]??。3矩陣的應(yīng)用3矩陣的應(yīng)用矩陣也是非常常見的張量類型，比如全連接層的批量輸入??=[??,??????]，其中??表示輸入樣本的個數(shù)，即batchsize，??????表示輸入特征的長度。比如特征長度為4，一共包含2個樣本的輸入可以表示為矩陣：x=tf.random.normal([2,4])4多維張量的應(yīng)用4多維張量的應(yīng)用多維張量應(yīng)用最多的是四維張量，對于含有RGB3個通道的彩色圖片，每張圖片包含了h行w列像素點(diǎn)，每個點(diǎn)需要3個數(shù)值表示RGB通道的顏色強(qiáng)度，因此一張圖片的張量的shape可以表示為(h,w,3)，故b張圖片的張量的shape可表示為[b,h,w,3]。ThankYOU!目錄1案例目標(biāo)01任務(wù)環(huán)境配置02任務(wù)案例實(shí)施04任務(wù)案例分析02任務(wù)03任務(wù)1案例目標(biāo)案例目標(biāo)掌握tensorflow包的調(diào)用方法；掌握使用定義占位符和變量的方法；掌握計(jì)算圖的定義方法；掌握會話的創(chuàng)建方法；了解損失函數(shù)和優(yōu)化過程。12案例分析2案例分析案例分析：x、y是二維矩陣，x=[[1.0,3.0],[3.2,4]],y=[[6.0,3.0],[5.2,43.]]，運(yùn)算公式x*W+b=y，求W和b的最優(yōu)值。3環(huán)境配置3環(huán)境配置Windows10jupyternotebooktensorflow2.04案例實(shí)施4案例實(shí)施1、導(dǎo)入庫開發(fā)環(huán)境安裝的是TensorFlow2.0版本，為了與TensorFlow1.0兼容，需要輸入如下代碼導(dǎo)入tensorflow包：4案例實(shí)施2、定義占位符和變量先給輸入數(shù)據(jù)定義占位符，在訓(xùn)練優(yōu)化函數(shù)的過程中輸入數(shù)據(jù)4案例實(shí)施3、定義計(jì)算圖和損失函數(shù)，使用梯度下降法優(yōu)化4案例實(shí)施4、啟動會話，并初始化全局變量，并為x,y設(shè)置固定的值4案例實(shí)施5、通過while循環(huán)進(jìn)行迭代訓(xùn)練，并輸出最終求出的W和b的值ThankYOU!目錄1案例目標(biāo)01任務(wù)環(huán)境配置02任務(wù)案例實(shí)施04任務(wù)案例分析02任務(wù)03任務(wù)1案例目標(biāo)案例目標(biāo)了解簡單的一元線性回歸的概念和思想方法；掌握深度學(xué)習(xí)框架TensorFlow創(chuàng)建項(xiàng)目的流程。熟悉繪圖軟件包matplotlib的使用。掌握隨機(jī)數(shù)據(jù)生成方法。12案例分析2案例分析本案例是簡單的一元線性回歸問題，線性回歸是回歸算法的一種，表達(dá)了監(jiān)督學(xué)習(xí)的過程。本案例是使用numpy隨機(jī)生成一些數(shù)據(jù)，目標(biāo)是找到一個與這些數(shù)據(jù)最吻合的線性函數(shù)，并繪制出函數(shù)圖像。本案例使用TensorFlow框架構(gòu)造一個簡單的線性回歸模型，以熟悉TensorFlow框架的線性回歸模型構(gòu)建方法。本案例使用線性函數(shù)是y=wx+b的形式，使用numpy生成隨機(jī)數(shù)據(jù)，并設(shè)置初始化參數(shù)，使用梯度下降算法進(jìn)行訓(xùn)練，得出最終的參數(shù)值。3環(huán)境配置3環(huán)境配置Windows10tensorflow=2.10.0matplotlib=3.6.1numpy=1.23.44案例實(shí)施4案例實(shí)施1、導(dǎo)入庫導(dǎo)入案例要用到的包，有tensorflow、numpy、matplotlib開發(fā)環(huán)境安裝的是TensorFlow2.0版本，導(dǎo)入tensorflow需要與TensorFlow1.0兼容。4案例實(shí)施2、生成隨機(jī)數(shù)據(jù)生成隨機(jī)數(shù)據(jù)，并加入噪聲數(shù)據(jù)，然后打印出散點(diǎn)圖：4案例實(shí)施3、定義占位符和變量4案例實(shí)施4、定義計(jì)算圖、損失函數(shù)、設(shè)置優(yōu)化器4案例實(shí)施5、通過while循環(huán)進(jìn)行迭代訓(xùn)練，并輸出最終求出的W和b的值4案例實(shí)施5、繪制回歸曲線ThankYOU!目錄1Keras概述01任務(wù)Keras特點(diǎn)02任務(wù)1Keras概述1Keras概述前面我們介紹過深度學(xué)習(xí)的相關(guān)概念，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)框架的主要子領(lǐng)域之一，其主要方法核心是人工神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)由Theano、TensorFlow、Caffe、MXNet等各種深度學(xué)習(xí)框架支持，而Keras是功能強(qiáng)大且易于使用的深度學(xué)習(xí)框架之一，Keras框架建立在TensorFlow等流行的深度學(xué)習(xí)框架的基礎(chǔ)上，旨在快速定義深度學(xué)習(xí)模型，使創(chuàng)建深度學(xué)習(xí)模型更為簡單。2Keras特點(diǎn)2Keras特點(diǎn)Keras提供了一種簡潔的方法來創(chuàng)建基于TensorFlow或Theano的深度學(xué)習(xí)模型，并運(yùn)用了各種優(yōu)化技術(shù)使神經(jīng)網(wǎng)絡(luò)API調(diào)用變得輕松高效。Keras框架具有以下功能特點(diǎn)：（1）用戶友好Keras是專門為用戶而設(shè)計(jì)的API；把用戶體驗(yàn)放在首要位置，提供統(tǒng)一且易懂的API，將常見用例所需的用戶操作簡單化；在用戶操作錯誤時提供清晰的說明和反饋。2Keras特點(diǎn)（2）模塊化網(wǎng)絡(luò)模型是由一系列獨(dú)立的、完全可配置的模塊組成的序列；在keras中，常見的模塊有神經(jīng)網(wǎng)絡(luò)層、損失函數(shù)、優(yōu)化器、初始化方法、激活函數(shù)、正則化方法等；根據(jù)所需的功能模塊，可以將這些模塊以盡可能少的限制組合在一起構(gòu)建新模型。2Keras特點(diǎn)（3）易擴(kuò)展性使用keras創(chuàng)建的模型，可以增加或刪除模塊，以提升模型的性能，新的模塊是很容易添加的。由于能夠輕松地創(chuàng)建可以提高模型性能的新模塊，Keras更加適合高級學(xué)術(shù)研究。2Keras特點(diǎn)（4）基于Python實(shí)現(xiàn)Keras沒有特定格式的單獨(dú)配置文件，模塊是用Python代碼來定義的，這些代碼緊湊，易于調(diào)試，并且易于擴(kuò)展。ThankYOU!目錄1Keras體系結(jié)構(gòu)介紹01任務(wù)Keras搭建模型的方法02任務(wù)1Keras體系結(jié)構(gòu)介紹1Keras體系結(jié)構(gòu)介紹Keras具有很強(qiáng)的創(chuàng)新性，而且非常易于學(xué)習(xí)，提供了一個完整的框架來支持從簡單的神經(jīng)網(wǎng)絡(luò)到復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型等多種類型的神經(jīng)網(wǎng)絡(luò)的創(chuàng)建；Keras的體系結(jié)構(gòu)可以分為三個主要類別：模型、層和核心模塊；通過調(diào)用Keras模型、層和核心模塊，可以以簡單有效的方式構(gòu)建如CNN、RNN等神經(jīng)網(wǎng)絡(luò)。2Keras搭建模型方法2Keras搭建模型方法Keras提供了序列式(Sequential)、函數(shù)式(Functional)和子類(Subclassing)三種定義模型的API，這里我們重點(diǎn)對序列式模型和函數(shù)式模型進(jìn)行介紹。（1）序列式模型序列式模型也稱為順序模型，順序模型基本上是Keras層的線性組成；順序模型簡單，并且能夠表示幾乎所有可用的神經(jīng)網(wǎng)絡(luò)。2Keras搭建模型方法序列式模型的構(gòu)建使用Sequential()函數(shù)構(gòu)造器來創(chuàng)建序列式模型，序列式模型有兩種寫法。以列表的形式為Sequential()函數(shù)填充參數(shù)：2Keras搭建模型方法另一種寫法是使用add()函數(shù)，將各網(wǎng)絡(luò)層添加到模型中：2Keras搭建模型方法（2）函數(shù)式模型Keras函數(shù)式模型API是用戶定義多輸出模型、非循環(huán)有向模型等復(fù)雜模型的有效途徑。下面通過使用函數(shù)式方法構(gòu)建一個全連接神經(jīng)網(wǎng)絡(luò)模型，幫助我們理解函數(shù)式模型創(chuàng)建方法。ThankYOU!目錄1Keras核心模塊介紹01任務(wù)Keras核心模塊02任務(wù)1Keras核心模塊介紹1Keras核心模塊介紹Keras提供了許多內(nèi)置的與神經(jīng)網(wǎng)絡(luò)相關(guān)的功能模塊，用戶可以方便地調(diào)用模塊創(chuàng)建Keras模型和Keras層，常用的核心模塊有激活函數(shù)、損失函數(shù)、優(yōu)化器和正則化器等。2Keras核心模塊2Keras核心模塊(1)損失函數(shù)損失函數(shù)也稱為目標(biāo)函數(shù)或優(yōu)化評分函數(shù)，諸如均方誤差(mean_squared_error,MSE)、平均絕對誤差(MeanAbsoluteError,MAE)，泊松(poisson)等損失函數(shù)。損失函數(shù)是在模型編譯的過程中設(shè)置的參數(shù)，代碼如下所示：2Keras核心模塊(2)評估指標(biāo)評估指標(biāo)用于評估當(dāng)前訓(xùn)練模型的性能，常見的評估指標(biāo)有準(zhǔn)確率(Accuracy)、精確度(Precision)和召回率(Recall)等，評估指標(biāo)也是編譯模型時的一個重要參數(shù)。示例代碼如下：2Keras核心模塊(3)優(yōu)化器優(yōu)化器，即神經(jīng)網(wǎng)絡(luò)優(yōu)化算法，或梯度下降算法。常見的優(yōu)化器模塊有Adam、SGD等。優(yōu)化器可以通過改善訓(xùn)練方式，最小化損失值，不斷優(yōu)化模型。2Keras核心模塊(4)激活函數(shù)激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中的重要概念，激活函數(shù)模塊提供了許多激活函數(shù)類型，例如softmax、relu等。激活函數(shù)可以由單獨(dú)的激活函數(shù)層構(gòu)建，也可以在構(gòu)造網(wǎng)絡(luò)層的時候設(shè)置激活函數(shù)參數(shù)，比如可以在添加全連接層的時候設(shè)置激活函數(shù)參數(shù)：2Keras核心模塊(5)回調(diào)函數(shù)回調(diào)函數(shù)(Keras.callback)模塊是一個函數(shù)集合，回調(diào)函數(shù)用在模型訓(xùn)練階段，可以使用回調(diào)函數(shù)查看訓(xùn)練模型的狀態(tài)，在使用fit()或fit_generator()訓(xùn)練模型時，回調(diào)函數(shù)就是一個用以訪問模型的狀態(tài)與性能的函數(shù)，根據(jù)模型狀態(tài)采取中斷訓(xùn)練、保存模型等措施?；卣{(diào)函數(shù)模塊包括許多內(nèi)置的函數(shù)：①keras.callback.ModelCheckPoint：在訓(xùn)練過程中的不同時間點(diǎn)，保存模型的當(dāng)前權(quán)重；②keras.callback.EarlyStopping：如果驗(yàn)證集上的損失不再改善，則中斷訓(xùn)練；③keras.callback.ReduceLROnPlateau：如果驗(yàn)證集上的損失不再改善，可以通過該回調(diào)函數(shù)降低學(xué)習(xí)率。2Keras核心模塊(6)數(shù)據(jù)集Keras的數(shù)據(jù)集模塊中集成了許多常用的數(shù)據(jù)集，在做模型訓(xùn)練時，可以直接調(diào)用數(shù)據(jù)集，比如：①CIFAR-10圖像分類數(shù)據(jù)集②CIFAR-100圖像分類數(shù)據(jù)集③IMDB電影評論情感分類數(shù)據(jù)集④路透社新聞主題分類數(shù)據(jù)集⑤MNIST手寫字符數(shù)據(jù)集⑥Fashion-MNIST時尚物品數(shù)據(jù)集⑦Boston房價回歸數(shù)據(jù)集ThankYOU!目錄1Keras網(wǎng)絡(luò)層介紹01任務(wù)Keras網(wǎng)絡(luò)層類型02任務(wù)1Keras網(wǎng)絡(luò)層介紹1Keras網(wǎng)絡(luò)層介紹Keras模型中的每個層代表神經(jīng)網(wǎng)絡(luò)模型中的對應(yīng)層，Keras提供了許多預(yù)構(gòu)建層，如輸入層、隱藏層、輸出層、卷積層、池化層等，因此提高了構(gòu)建復(fù)雜神經(jīng)網(wǎng)絡(luò)模型的效率。2Keras網(wǎng)絡(luò)層類型2Keras網(wǎng)絡(luò)層類型（1）全連接層：神經(jīng)網(wǎng)絡(luò)中最常用到的層，全連接層的每一個神經(jīng)元都與上一層的所有神經(jīng)元相連，用來把前邊提取到的特征綜合起來。實(shí)現(xiàn)對神經(jīng)網(wǎng)絡(luò)里的神經(jīng)元激活。參數(shù)說明：units:全連接層輸出的維度，即下一層神經(jīng)元的個數(shù)activation：激活函數(shù)，默認(rèn)使用Reluuse_bias：是否使用bias偏置項(xiàng)2Keras網(wǎng)絡(luò)層類型（2）激活層：對上一層的輸出應(yīng)用激活函數(shù)。參數(shù)說明：activation：激活函數(shù)的名稱，如：relu、tanh、sigmoid等2Keras網(wǎng)絡(luò)層類型（3）Dropout層：對上一層的神經(jīng)元隨機(jī)選取一定比例的失活，不更新參數(shù)，但是權(quán)重仍然保留，防止模型過擬合。參數(shù)說明：

rate：失活的比例，為0-1之間的浮點(diǎn)數(shù)。2Keras網(wǎng)絡(luò)層類型（4）Flatten層：將一個維度大于或等于3的高維矩陣，“壓扁”為一個二維矩陣。即保留第一個維度（如：batch的個數(shù)），然后將剩下維度的值相乘為“壓扁”矩陣的第二個維度。2Keras網(wǎng)絡(luò)層類型（5）Reshape層：該層的作用和numpy.reshape一樣，就是將輸入的維度重構(gòu)成特定的shape。參數(shù)說明：

target_shape：目標(biāo)矩陣的維度，不包含batch樣本數(shù)。2Keras網(wǎng)絡(luò)層類型（6）卷積層：卷積操作分為一維、二維、三維，分別為Conv1D、Conv2D、Conv3D。一維卷積主要用于處理時間序列數(shù)據(jù)或文本數(shù)據(jù)，二維卷積通常用于處理圖像數(shù)據(jù)。這三類的使用方法和參數(shù)基相同，這里我們主要介紹用于處理圖像數(shù)據(jù)的二維卷積。參數(shù)說明：filters：濾波器的個數(shù)。kernel_size：卷積核的大小。strides：卷積操作的步長，二維中默認(rèn)為(1,1)，一維默認(rèn)為1。Padding：補(bǔ)“0”策略2Keras網(wǎng)絡(luò)層類型（7）池化層：與卷積層類似，池化層分為最大池化層和平均池化層，也分為一維池化、二維池化和三維池化三種，由于使用和參數(shù)基本相同，所以主要以MaxPooling2D進(jìn)行說明。參數(shù)說明：pool_size：表示池化核大小，池化核大小可以數(shù)組或元祖表示。strides：和卷積步長類似，表示池化核的移動步長，默認(rèn)和pool_size保持一致。padding：和卷積層的padding參數(shù)類似。ThankYOU!目錄1Keras建模流程介紹01任務(wù)Keras建模具體流程02任務(wù)1Keras建模流程介紹1Keras建模流程介紹深度學(xué)習(xí)框架Keras是像搭積木般構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，主要分為6個部分，每個部分只需調(diào)用kerasAPI函數(shù)就能實(shí)現(xiàn)。使用keras框架建模流程通常包括：（1）數(shù)據(jù)預(yù)處理：獲取并預(yù)處理訓(xùn)練數(shù)據(jù)；（2）建立模型：定義由網(wǎng)絡(luò)層組成的網(wǎng)絡(luò)或模型，將輸入數(shù)據(jù)映射成目標(biāo)；（3）編譯模型：配置訓(xùn)練過程參數(shù)，包括損失函數(shù)、優(yōu)化器、模型評估指標(biāo)；（4）訓(xùn)練模型：調(diào)用函數(shù)在訓(xùn)練數(shù)據(jù)上進(jìn)行迭代，更新模型權(quán)重；（5）評估模型：使用測試集或驗(yàn)證數(shù)據(jù)集，評估模型的性能是否達(dá)到要求；（6）模型預(yù)測：使用訓(xùn)練好的模型預(yù)測新的數(shù)據(jù)。2Keras建模具體流程2Keras建模具體流程（1）數(shù)據(jù)預(yù)處理在以深度學(xué)習(xí)為主的人工智能任務(wù)流程中，第一步要做的就是數(shù)據(jù)的處理，因?yàn)橛辛藬?shù)據(jù)，網(wǎng)絡(luò)模型才能夠訓(xùn)練，數(shù)據(jù)處理的步驟主要有以下幾個環(huán)節(jié)：數(shù)據(jù)采集數(shù)據(jù)標(biāo)注數(shù)據(jù)增強(qiáng)數(shù)據(jù)清洗數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)的劃分在本課程的案例中，均使用keras數(shù)據(jù)集模塊加載相應(yīng)的數(shù)據(jù)集，然后進(jìn)行相應(yīng)的數(shù)據(jù)處理。2Keras建模具體流程（2）建立模型Keras框架中，有序列式和函數(shù)式兩種常用的建模方法。比如使用序列式API建模，代碼如下：使用model.add()給模型添加了一個Dense層，參數(shù)2表示該層神經(jīng)元的數(shù)量；一般層的添加順序即是各層連接的順序，也是數(shù)據(jù)流經(jīng)模型被處理的順序。2Keras建模具體流程（3）編譯模型定義好模型之后需要通過編譯（compile）來對學(xué)習(xí)過程進(jìn)行配置，模型編譯主要是設(shè)置各類參數(shù)包括：優(yōu)化器optimizer，損失函數(shù)loss，評估指標(biāo)metrics等。代碼如下：編譯的過程也是Keras將定義好的模型轉(zhuǎn)化為底層平臺（如TensorFlow）結(jié)構(gòu)描述過程，底層平臺會支持后續(xù)的計(jì)算任務(wù)，如GPU、CPU的調(diào)度選擇，分布式運(yùn)行等。2Keras建模具體流程（4）訓(xùn)練模型編譯后的模型可以使用model.fit()函數(shù)進(jìn)行訓(xùn)練，訓(xùn)練的過程就是通過測試數(shù)據(jù)來確定神經(jīng)元間連接權(quán)重（weight）的過程。訓(xùn)練過程需要指定訓(xùn)練數(shù)據(jù)、批量大小、訓(xùn)練代數(shù)等參數(shù)。代碼如下：2Keras建模具體流程（5）評估模型訓(xùn)練后的模型，需要對其性能進(jìn)行評估，以此來確定訓(xùn)練效果是否達(dá)到了預(yù)期。評估模型使用的函數(shù)是model.evalute()，該函數(shù)的參數(shù)x_test和y_test與model.fit()方法的數(shù)據(jù)類型是一樣的，一般會選擇用測試數(shù)據(jù)進(jìn)行評估。2Keras建模具體流程（6）模型預(yù)測模型預(yù)測是建模的最后一步，當(dāng)模型的性能評估達(dá)到要求后，就可以用訓(xùn)練好的模型在新的數(shù)據(jù)上進(jìn)行預(yù)測了。預(yù)測一般使用測試集或驗(yàn)證集，代碼如下：predictions是預(yù)測返回的結(jié)果，數(shù)據(jù)格式與輸出層的輸出格式相同。ThankYOU!目錄1案例目標(biāo)01任務(wù)環(huán)境配置02任務(wù)案例實(shí)施04任務(wù)案例分析02任務(wù)03任務(wù)1案例目標(biāo)案例目標(biāo)通過一個花朵圖像分類案例，掌握深度學(xué)習(xí)框架keras的建模流程；熟悉數(shù)據(jù)的加載以及從文件中生成數(shù)據(jù)集的方法；掌握使用matplotlib工具繪制訓(xùn)練曲線的方法，初步了解模型過擬合的概念。12案例分析2案例分析本案例使用keras框架實(shí)現(xiàn)對5種花朵圖像進(jìn)行分類；本案例使用keras的Sequential方法創(chuàng)建模型；本案例使用preprocessing.image_dataset_from_directory從圖像文件中加載數(shù)據(jù)并生成數(shù)據(jù)集；本案例從指定網(wǎng)址中下載花朵圖像數(shù)據(jù)，數(shù)據(jù)包含約3700張5類花朵圖像。3環(huán)境配置3環(huán)境配置Windows10tensorflow=2.10.0matplotlib=3.6.1numpy=1.23.44案例實(shí)施4案例實(shí)施部分代碼展示：1、導(dǎo)入庫導(dǎo)入本案例要使用的庫：4案例實(shí)施2、下載數(shù)據(jù)集并展示圖像從指定的網(wǎng)址中下載圖像文件：4案例實(shí)施計(jì)算圖像的數(shù)量，并展示圖像示例：4案例實(shí)施3、將圖像加載到tf.data.dataset中4案例實(shí)施4、搭建模型4案例實(shí)施5、編譯訓(xùn)并練模型編譯模型：訓(xùn)練模型：4案例實(shí)施6、繪制訓(xùn)練曲線ThankYOU!認(rèn)識生物神經(jīng)網(wǎng)絡(luò)01任務(wù)認(rèn)識人工神經(jīng)網(wǎng)絡(luò)02任務(wù)目錄11認(rèn)識生物神經(jīng)網(wǎng)絡(luò)1認(rèn)識生物神經(jīng)網(wǎng)絡(luò)概念：生物神經(jīng)網(wǎng)絡(luò)（BiologicalNeuralNetworks）一般指生物的大腦神經(jīng)元，細(xì)胞，觸點(diǎn)等組成的網(wǎng)絡(luò)，用于產(chǎn)生生物的意識，幫助生物進(jìn)行思考和行動；神經(jīng)元是人類大腦的一個組成單元，人腦神經(jīng)系統(tǒng)約有860億個神經(jīng)元組成，每個神經(jīng)元有上千個突觸與其他神經(jīng)元相連接；神經(jīng)元的狀態(tài)取決于從其他神經(jīng)元接收的輸入信號量，當(dāng)信號量總和超過了閾值，細(xì)胞體被激活，產(chǎn)生電脈沖；神經(jīng)元的狀態(tài)（興奮或抑制）通過