信息技術拓展模塊5人工智能拓展模塊5人工智能學習目標（1）了解人工智能的概念、基本特征和社會價值。（2）了解人工智能的發(fā)展歷程、發(fā)展趨勢，以及在互聯(lián)網及各傳統(tǒng)行業(yè)中的典型應用。

（3）熟悉機器學習的基本原理、開發(fā)流程和開發(fā)步驟。（4）了解人工智能涉及的核心技術及部分算法，能使用人工智能相關應用解決實際問題。（5）熟悉人工智能技術應用的開發(fā)框架、集成開發(fā)環(huán)境以及各種開發(fā)平臺，了解其特點和適用范圍。（6）能辨析人工智能在社會應用中面臨的倫理、道德和法律問題。5.1認識人工智能015.1認識人工智能5.1.1什么是人工智能？1.定義：人工智能（英文縮寫為AI）是研究如何應用機器(主要是計算機)來模擬人類某些智能行為的基本理論、方法和技術。說明：

（1）人工智能試圖通過研究人類智能活動的規(guī)律生產出一種新的能以人的智能相似的方式做出反應的智能機器。（2）智能機器能夠通過機器視覺、機器聽覺、機器觸覺、機器嗅覺、人機交互等方式來認識周圍的環(huán)境和需要解決的問題，能夠像人一樣判斷、推理、學習、預測、證明，能夠根據要達到的目標進行決策或采取相應的行動。（3）本質：人工智能是對人類思維信息過程的模擬，其主要目的是賦予機器特有的視聽說動及大腦抽象思維能力。5.1認識人工智能2.人工智能同人類智能的區(qū)別（1）人工智能以軟件代碼為基礎，代碼的運行依賴于計算機技術，人工智能屬于無意識的、機械的物理過程；而人類智能以大腦為核心，大腦的運行依賴于復雜的生命系統(tǒng)，人類智能主要是生理和心理的過程。（2）人工智能沒有情感、意識及道德判斷，也沒有人類意識所特有的、能動的創(chuàng)造能力；而人類智能有豐富多樣的心理結構和情緒，有強烈的自我約束的價值觀，也有很強的自主意識和創(chuàng)新能力。（3）人工智能只能執(zhí)行某一個具體的任務，一個智能體只能掌握一種能力；而人類智能可以執(zhí)行各種各樣的任務，人的大腦可以同時擁有面向很多不同任務的分析和處理能力。（4）人工智能只會朝著一個目標前進，它不具備為自己設定目標、改變目標的能力；而人類智能不但每一個步驟都需要人自己去設定目標，為下一步驟的執(zhí)行創(chuàng)造條件，而且能夠及時根據現(xiàn)實情況靈活調整目標。5.1認識人工智能3.圖靈測試如果一個人和一臺機器作為測試對象與測試者隔開，測試者只能通過類似終端的文本設備向測試對象隨意提問，然后根據測試對象給出的答案判別哪個是真人，哪個是機器。經過多輪問答后，如果機器能夠讓平均每個測試者做出超過30%的誤判，那么這臺機器就通過了測試，并被認為具有類似人類的智能。

圖靈測試提示我們應該更加注重智能的外在功能性表現(xiàn)，通過工程技術為機器賦予智能。5.1

認識人工智能弱人工智能機器可以通過編程展現(xiàn)出某些人類智能的水平，它只是針對特定領域、執(zhí)行特定任務的人工智能。強人工智能可以模仿人類的智能或行為，具有學習和應用其智能來解決任何問題的能力，能夠勝任任何由人所能完成的智力性工作。超人工智能不僅能全面模仿和理解人類的智能，而且能在科學創(chuàng)造力、通識和社交能力等每一方面都遠勝于人類智能。4.智能水平5.1

認識人工智能第三，機器智能具有感知環(huán)境、產生反應的能力。

第四，機器智能擁有學習和適應能力，可以演化迭代。

第二，機器智能本質上體現(xiàn)為計算，基礎是數(shù)據。

第一，機器智能由人類設計并為人類服務。

人工智能的基本特征5.1

認識人工智能第一，機器智能由人類設計并為人類服務。

人工智能主要研究領域利用計算機技術來分析、理解和生成自然語言，從而實現(xiàn)人與計算機之間用自然語言進行信息交流的目的自然語言處理專門研究計算機怎樣模擬或實現(xiàn)人類的學習行為的科學，其目的是讓機器能像人一樣具有學習的能力機器學習將人工智能技術應用于機器人，使機器人具有感知、思考和行動能力智能機器人運用計算機來感知、加工、理解客觀世界中三維場景，目標是使計算機能像人那樣通過視覺觀察和理解世界計算機視覺知識工程就是以知識為處理對象，研究如何用機器實現(xiàn)知識的獲取、表示、推理和決策，其目標是構造出高效的知識處理系統(tǒng)知識工程語音識別是讓機器通過識別和理解把語音信號轉變?yōu)橄鄳淖值倪^程;語音合成是讓機器通過規(guī)則和理解將任意的文本轉換成標準流暢的語音輸出語音識別與合成5.1認識人工智能--主要研究領域(機器學習)（1）深度學習深度學習所研究的深度神經網絡本質上是層數(shù)較多的人工神經網絡，它能夠發(fā)現(xiàn)高維數(shù)據中的復雜規(guī)律，取得比傳統(tǒng)機器學習方法更好的效果，解決了很多復雜的模式識別難題，在智能搜索、數(shù)據挖掘、計算機視覺、自然語言處理、語音識別，推薦和個性化等眾多領域里取得了巨大成果，部分應用研究成果已轉化為產品被廣泛使用。（2）強化學習讓智能體與外界環(huán)境進行交互進而學到最優(yōu)控制策略。強化學習是AlphaGo等人工智能軟件的核心技術，可用于計算機博弈、機器人控制、汽車智能駕駛、人機對話、過程優(yōu)化決策與控制等領域，被認為是通向高級人工智能的重要途徑，目前受到學術界和工業(yè)界的廣泛關注。5.1認識人工智能--主要研究領域(知識工程)（1）專家系統(tǒng)專家系統(tǒng)是一種在特定領域內具有專家水平解決復雜問題的智能計算機軟件系統(tǒng)，它將專業(yè)領域的專家知識收集并存儲在系統(tǒng)中，然后運用這些知識通過搜索、推理來解決某些專業(yè)領域的問題。知識工程廣泛應用于專家系統(tǒng)、機器定理證明、聊天機器人、智能搜索和知識圖譜等領域。（2）知識圖譜知識圖譜是一種大規(guī)模語義網絡，它把不同種類的信息連接在一起形成一個關系網絡，利用關系網絡描述真實世界中存在的各種實體和概念以及他們之間的相互關系，從而可以從關系的角度去分析問題，進而可以實現(xiàn)知識的快速搜索和推理。5.1認識人工智能--主要研究領域(自然語言處理)自然語言理解：主要研究如何使計算機理解自然語言的意義。自然語言生成：主要研究讓計算機以自然語言表達給定的信息。自然語言處理包括文本分類根據一段不定長的文本內容來判斷文本相應的類別。文本翻譯文本問答輿情監(jiān)測客服系統(tǒng)信息過濾自然語言處理技術應用5.1認識人工智能--主要研究領域(語音識別與合成)讓機器通過識別和理解把語音信號轉變?yōu)橄鄳淖值倪^程，它與自然語言理解技術相結合，能讓機器聽懂人的聲音。語音識別、自然語言處理和語音合成等技術相互結合，使機器可以通過語音與人進行交流。目前，語音識別和語音合成技術已經達到實用化的程度并應用到許多人機交互的場合。讓機器通過規(guī)則和理解將任意的文本轉換成標準流暢的語音輸出，從而讓機器能夠像人一樣開口說話。語音識別語音合成5.1認識人工智能--主要研究領域(計算機視覺)計算機視覺就是使計算機能借助各種視覺傳感器獲取場景的圖像，從中感知和恢復三維環(huán)境中物體的幾何性質、姿態(tài)結構、運動情況、相互關系等信息，并對客觀場景進行識別、描述、解釋、判斷，或者將客觀場景變換成新的表示。目前，計算機視覺研究的主要任務包括圖像分類、目標檢測和跟蹤、語義分割、人臉識別、文字識別、事件檢測和識別、幾何測量、3D重建、自動圖題、視覺問答等。其中，圖像分類、人臉識別、目標檢測等任務的計算機視覺算法在性能上已經逼近甚至超越了普通人類的視覺能力。目標檢測目標跟蹤語義分割5.1認識人工智能--主要研究領域(智能機器人)機器人是一種能夠通過編程和自動控制來執(zhí)行各種任務的高度靈活的自動化機器。人工智能要實現(xiàn)學習、感知、語言理解、推理、規(guī)劃等智能任務，機器人是一個理想的載體。近些年來，智能機器人得到飛速發(fā)展，其代表性的成果有波士頓動力公司研制的四足大狗機器人，本田公司研制的仿人機器人阿西莫，深圳市優(yōu)必選科技公司研發(fā)的大型仿人服務機器人WalkerX等等，目前，智能機器人已廣泛應用于工業(yè)制造、農業(yè)種植、物流運輸、醫(yī)療診治、電信運營、金融服務、教育、娛樂等領域。四足大狗機器人仿人機器人阿西莫大型仿人服務機器人WalkerX5.1認識人工智能1.替代人類勞動，解放勞動生產力2.提高醫(yī)療水平，造福人類3.精準決策，提升社會治理能力5．解決人類面臨的嚴重問題6.探索未知，認識自然與社會規(guī)律4．改善生存條件，為人類提供安全環(huán)境7.改變生活方式，優(yōu)化生活品質人工智能的社會價值5.1認識人工智能人工智能發(fā)展歷程起步發(fā)展階段遇冷時期復興階段時間19702020201020001990198019601956熱度低潮時期平穩(wěn)發(fā)展階段高速發(fā)展階段人工智能誕生機器定理證明感知機通用問題求解第一個專家系統(tǒng)目標落空資助停止遭遇基礎性障礙專家系統(tǒng)遍地開花XCON系統(tǒng)獲得成功反向傳播算法推出第五代計算機計劃失敗專家系統(tǒng)存在問題顯現(xiàn)研發(fā)經費投入縮減IBM“深藍”戰(zhàn)勝人類國際象棋冠軍轉向解決具體問題語音識別指紋識別網頁搜索問答系統(tǒng)智能機器人辛頓等提出深度學習并成功研發(fā)出AlexNetGoogle推出無人駕駛汽車人臉識別、語音識別達到或超過人類水平AlphaGo戰(zhàn)勝人類圍棋世界冠軍………………………………寒冬初冬初秋初春復蘇爆發(fā)5.1認識人工智能--人工智能發(fā)展歷程人工智能誕生關于達特茅斯夏季人工智能研究項目的一項提議：我們提議于1956年夏天在達特茅斯學院舉行一次為期兩個月10人參加的人工智能研討會。這次研討會的主題是一項假設的基礎，即學習的每個方面或者智能的任何其他特征原則上都能夠被精確地描述到能夠用機器來模擬的程度。我們將試圖從抽象和概念上尋找如何制造機器來使用語言，解決目前只有人類才能解決的問題，以及能夠自我改進。我們認為，如果仔細選出一組科學家一起工作一夏天的話，將能夠在一個或多個問題上取得意義重大的進展。

麥卡錫達特茅斯學院明斯基哈佛大學羅徹斯特IBM公司香農貝爾電話實驗室1955年8月31日5.1認識人工智能--人工智能發(fā)展歷程第三次浪潮（1993至今）圖靈獎獲得者杰弗里?辛頓2006年，加拿大多倫多大學的科學家杰弗里·辛頓提出深度學習。2012年，辛頓帶領兩名學生利用卷積深度神經網絡AlexNet將圖像分類錯誤率由26%降到15%并贏得2012年度ImageNet競賽第1名。2012年底，Google公司的GoogleX實驗室推出了無人駕駛汽車，它采用照相機、雷達感應器和激光測距機來“看”交通狀況，可以同時對數(shù)百個目標保持監(jiān)測。2014年，由百度自然語言研究院研發(fā)的人工智能語言交互機器人小度首次亮相于江蘇衛(wèi)視的《芝麻開門》闖關節(jié)目，出色的表現(xiàn)贏得現(xiàn)場觀眾驚嘆不已。2015年，Microsoft研究院的何凱明等4位研究人員在卷積深度神經網絡基礎上研發(fā)出深度殘差網絡，從而大幅提升了深度神經網絡性能，錯誤率降低到3.6%，超越了人眼識別水平。

在深度神經網絡持續(xù)改進下，人臉識別、物體識別和語音識別的性能已達到或超過人類的水平。5.1認識人工智能人工智能發(fā)展趨勢自主智能跨媒體混合智能綜合利用視覺、語言、聽覺、觸覺等感知信息，實現(xiàn)跨媒體分析推理從單個智能體向基于互聯(lián)網的群體智能轉變自主智能系統(tǒng)正成為人工智能的重要發(fā)展及應用方向混合智能既包含人，又包含機器組件。人與機器可以相互交流，相互作用，互相促進，人機協(xié)同催生新型混合智能形態(tài)產業(yè)興旺隨著人工智能的全面應用，人工智能的大規(guī)模商用必將使人工智能產業(yè)蓬勃發(fā)展群體智能5.1認識人工智能在互聯(lián)網行業(yè)中的應用（1）智能搜索引擎（2）智能推送（3）智能移動支付（4）智能客服在工業(yè)領域中的應用（1）預測性維護（2）設備參數(shù)優(yōu)化（3）質量檢測（4）倉儲物流在農業(yè)領域中的應用（1）現(xiàn)場監(jiān)測（2）評估農作物和土壤（3）農業(yè)機器人在安防領域中的應用（1）識別人員（2）識別車輛（3）追蹤犯罪嫌疑人（4）智能樓宇（5）工業(yè)園區(qū)監(jiān)控人工智能的應用領域謝謝大家！結束5.2機器學習基本原理與開發(fā)流程025.2機器學習基本原理與開發(fā)流程從形式上說，機器學習旨在從歷史數(shù)據中尋找一個特定輸入和預期輸出的功能函數(shù)f(x)，該函數(shù)在機器學習領域又被稱為模型，它可以根據給定的輸入做出判斷或預測。

機器學習主要任務就是利用以往的經驗優(yōu)化系統(tǒng)自身的性能。從目前機器學習實踐角度看，以往的經驗通常是一批歷史數(shù)據，系統(tǒng)自身往往是一個模型，機器學習的目標就是要利用過去的歷史數(shù)據通過學習算法對模型進行訓練，使模型越來越符合數(shù)據中蘊含的規(guī)律或規(guī)則，最終得出性能良好的問題解決模型。當模型訓練完成后，如果有新的數(shù)據輸入模型，模型就會做出判斷或者給出預測的結果，從而使機器獲得解決問題的能力。機器學習的基本原理機器學習中的模型模型的輸入輸出

5.2機器學習基本原理與開發(fā)流程機器學習建模過程機器學習的基本任務：（1）如何找到一個函數(shù)來實現(xiàn)預期功能，這是一個建模問題；（2）如何找到一個評價標準來評價函數(shù)的好壞，這是一個評價問題；（3）如何快速找到性能最優(yōu)的函數(shù)，這是一個優(yōu)化問題。

模型選擇

學習算法訓練數(shù)據….

新數(shù)據“李飛飛”模型評估5.2機器學習基本原理與開發(fā)流程機器學習分類監(jiān)督學習利用一組已標記的歷史數(shù)據來訓練模型的方法無監(jiān)督學習

使用不帶標記的數(shù)據來學習的方法聚類辛頓本吉奧楊樂昆辛頓聚類

1.確定目標2.準備數(shù)據3.選擇模型4.訓練模型5.上線運行5.2機器學習基本原理與開發(fā)流程機器學習項目開發(fā)流程與步驟（1）明確目標（2）理解實際問題（3）判斷問題的性質（4）確定性能要求（5）可行性分析（1）數(shù)據收集（2）數(shù)據探索（3）數(shù)據預處理（4）數(shù)據標注（1）建立基準（2）訓練多種模型（3）評估并比較性能（4）調整功能與特征（5）選擇最合適模型（1）劃分數(shù)據集（2）訓練優(yōu)化模型（3）驗證泛化能力（4）評估模型（1）模型集成（2）模型部署（3）模型監(jiān)控（4）模型維護流程步驟謝謝大家！結束5.3常用核心技術031.決策樹2.貝葉斯分類器3.人工神經網絡4.卷積神經網絡5.3.1決策樹

決策樹（decisiontree）模型是一種具有可解釋性的樹形機器學習模型，能夠從帶有噪音的小樣本數(shù)據中進行學習，適用于解決具有離散目標值的監(jiān)督學習問題。根結點內部結點或非葉子結點葉子結點邊5.3.1決策樹1.分類問題訓練集實例學號輸入數(shù)據x標簽y考試成績作業(yè)完成情況課上注意力出勤率學習狀態(tài)1優(yōu)秀按時完成分散高好2良好按時完成集中低好3優(yōu)秀不能完成分散高好4較差按時完成集中高好5良好按時完成一般高好6優(yōu)秀按時完成一般低好7優(yōu)秀按時完成集中低好8較差不能完成一般高差9較差按時完成一般低差10優(yōu)秀不能完成一般低差11良好不能完成一般高差12良好不能完成一般低差13較差不能完成分散高差14較差不能完成分散低差

所謂分類問題是根據已知樣本的某些特征，判斷一個新的樣本屬于哪種已知的樣本類。多元分類二分類N個樣本的訓練集可以表示為集合D={(x1,y1),(x2,y2),?,(xn,yn)}

設：X～輸入數(shù)據x所在空間Y～標簽y所在空間

監(jiān)督學習目標：f:X→Y訓練過程：調整模型f(x)自身參數(shù)訓練結果：f(x)的近似模型。2.訓練集5.3.1決策樹訓練集實例學號特征向量x標簽y考試成績作業(yè)完成情況課上注意力出勤率學習狀態(tài)1優(yōu)秀按時完成分散高好2良好按時完成集中低好3優(yōu)秀不能完成分散高好4較差按時完成集中高好5良好按時完成一般高好6優(yōu)秀按時完成一般低好7優(yōu)秀按時完成集中低好8較差不能完成一般高差9較差按時完成一般低差10優(yōu)秀不能完成一般低差11良好不能完成一般高差12良好不能完成一般低差13較差不能完成分散高差14較差不能完成分散低差特征取值范圍類別取值范圍類別類別值范圍（Y）學習狀態(tài){好,差}樣本表示(x=(a1,a2,a3,a4),y)(x=(優(yōu)秀,按時完成,一般,高),y=好)5.3.1決策樹人類完成分類任務的邏輯推理過程常?？梢员怀橄鬄閷Ψ诸悓ο蟮囊幌盗刑卣鲗傩赃M行測試的過程。從根結點到葉子結點的一條路徑代表了一個決策過程的測試序列，一個數(shù)據點從根結點進入決策樹后，會根據其特征值選擇一條這樣的路徑，最終進入某個葉結點代表的分類類別得到最終的分類結果。3.基本原理示例5.3.1決策樹4.基本算法輸出：以node為根結點的一棵決策樹5.3.1決策樹訓練集計算示例

據此，選擇信息增益最大的特征“作業(yè)完成情況”作為根結點

信息熵是信息論中廣泛使用的一個度量標準，它可以度量任意樣本集合中類別的“純度”。二分類信息熵計算公式：信息熵Ent(D)=-p1log2p1–p2log2p2其中：D代表一個集合；p1代表D中正例樣本的比例；p2代表D中反例樣本的比例；0log20定義為0信息增益

一個特征的信息增益就是使用這個特征劃分樣本集合而導致的信息熵降低程度

5.3.1決策樹測試和評估例：測試集T包含兩個測試數(shù)據：T={(良好，按時完成，一般，低，好),(較差，不能完成，一般，低，差)}結論：

決策樹在這個小型測試集上達到了100%的正確率測試集中樣本格式：

(x=(a1,a2,a3,a4),y)5.3.2貝葉斯分類器

1.概率模型例如，對于學習狀態(tài)判斷問題，已知一個學生考試成績良好，能按時完成作業(yè)，課上注意力一般，出勤率低，需要判斷其學習狀態(tài)。該問題可表達為以下形式:

P(學習狀態(tài)=好|(考試成績=良好,作業(yè)完成情況=按時完成,課上注意力=一般,出勤率=低))P(學習狀態(tài)=差|(考試成績=良好,作業(yè)完成情況=按時完成,課上注意力=一般,出勤率=低))（1）概率隨機事件出現(xiàn)的可能性大小，表示為P(A)。0.概率知識

（2）概率分布隨機變量取值的概率規(guī)律，即隨機變量各種可能結果發(fā)生的概率。（3）條件概率

條件概率是指事件A在另外一個事件B已經發(fā)生條件下的發(fā)生概率，表示為P(A|B)。

條件概率P(y|x)：表示已知x的情況下屬于某個分類y∈Y發(fā)生的概率有多大；分類器f(x)：選擇能使P(y|x)最大的類別y，即在已知x的情況下選擇最有可能的類別y作為輸出結果分類器f(x)輸出：選取上面兩個條件概率較大者的學習狀態(tài)作為判斷結果。5.3.2貝葉斯分類器3.貝葉斯分類器

2.貝葉斯定理

根據貝葉斯定理

例：根據訓練集樣本計算學習狀態(tài)為好和學習狀態(tài)為差的概率。

5.3.2貝葉斯分類器例：以下表為訓練樣本集合，判斷一個考試成績良好、能按時完成作業(yè)、課上注意力一般、出勤率低的學生的學習狀態(tài)。

比較以上兩個計算結果，學習狀態(tài)好的計算結果更大，因此判定該學生的學習狀態(tài)為好。學號xy考試成績作業(yè)完成情況課上注意力出勤率學習狀態(tài)1優(yōu)秀按時完成分散高好2良好按時完成集中低好3優(yōu)秀不能完成分散高好4較差按時完成集中高好5良好按時完成一般高好6優(yōu)秀按時完成一般低好7優(yōu)秀按時完成集中低好8較差不能完成一般高差9較差按時完成一般低差10優(yōu)秀不能完成一般低差11良好不能完成一般高差12良好不能完成一般低差13較差不能完成分散高差14較差不能完成分散低差樸素貝葉斯分類器：

5.3.3人工神經網絡1.神經元

人工神經網絡(英文縮寫ANN)是一個用大量結點(神經元)經廣泛連接構成的復雜網絡結構，它以數(shù)學模型模擬神經元活動，是基于模仿大腦神經網絡結構和功能而建立的一種信息處理系統(tǒng)。非線性函數(shù)f(u)5.3.3人工神經網絡1.神經元常用的激活函數(shù)5.3.3人工神經網絡1.神經元（1）神經元數(shù)學模型既有逼近線性函數(shù)的能力，也有逼近非線性函數(shù)的能力，其應用范圍非常大。（2）在構造神經網絡時，其神經元的傳遞函數(shù)和轉換函數(shù)就已經確定了，如果想要改變網絡輸出的大小，只能修改網絡神經元的權重和閾值參數(shù)，因此神經網絡的學習就是改變神經元中參數(shù)的過程。（3）當訓練一個神經元的時候，就是在不斷地調整神經元數(shù)學模型中的參數(shù)，當模型訓練好以后，參數(shù)就確定下來了，因此，可以認為一個模型學到的知識被儲存于這些參數(shù)中了。（5）對于回歸任務來說，訓練神經元相當于尋找一條能夠擬合集合點的直線，使得集合點到直線的距離最短（誤差最小）。（4）對于分類任務來說，訓練神經元相當于尋找一個界限把不同類型的集合點分開，然后通過Sigmoid函數(shù)將其映射到0～1之間。5.3.3人工神經網絡2.前饋神經網絡（2）在人工神經網絡中，神經元處理單元可表示不同的對象，例如字母、像素、特征、概念或者一些有意義的抽象模式，而網絡自身通常都是對某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。

前饋神經網絡（英文縮寫FNN）是一種特殊的人工神經網絡，它采用單向結構，每一層包含若干個神經元，每個神經元只與前一層的神經元相連，可以接收前一層神經元的信號，并產生輸出信號給下一層神經元。（1）前饋神經網絡的第1層叫輸入層，最后一層叫輸出層，其他中間層叫隱藏層。前饋神經網絡可以沒有隱藏層，也可以有一至多個隱藏層。整個網絡中無反饋，信號從輸入層向輸出層單向傳播，可用一個有向無環(huán)圖表示。（3）人工神經網絡輸出可以根據實際問題設置1個、2個或多個輸出端。（4）前饋神經網絡結構簡單，應用廣泛，它通過簡單非線性神經元的復合映射，可獲得復雜的非線性處理能力，能夠逼近任意連續(xù)函數(shù)，也可以表達復雜的邏輯策略。5.3.3人工神經網絡3.前饋神經網絡的訓練

多層前饋神經網絡可以看作是非線性復合函數(shù)，它的學習過程就是將輸入沿著網絡結構的方向一層一層的正向傳播直到輸出層，然后再根據輸出值和標簽之間的誤差通過反向傳播算法(BP)對權重和閾值進行更新。然后循環(huán)整個過程，直到滿足最大迭代次數(shù)或者在驗證集上的錯誤率趨于平穩(wěn)。正向“虎”=？誤差反向推斷正向“狗”滿足要求5.3.4卷積神經網絡卷積神經網絡結構卷積神經網絡（英文縮寫CNN）是一類基于卷積運算的多層前饋神經網絡，它具有表征學習能力，能夠對輸入信息進行平移不變分類，特別適宜處理視覺方面的問題，是深度學習的代表模型之一。5.3.4卷積神經網絡（1）

輸入層

卷積神經網絡的輸入層可以處理多維數(shù)據，最常見的是輸入層接收二維數(shù)組。如果是彩色圖像則需要3個二維數(shù)組，分別存放RGB三個通道的像素值，這樣就可以把1張彩色圖像存放到1個三維數(shù)組中。1個二維數(shù)組可以存放1個矩陣，1個矩陣可以表示1張黑白圖像。數(shù)組中的每個元素存放圖像對應像素點的灰度值，0表示最暗，255表示最亮。5.3.4卷積神經網絡

（2）卷積層卷積層的功能是對輸入數(shù)據進行特征提取，其內部包含多個卷積核，可以提取不同的特征。

④卷積運算是指從輸入數(shù)據（被卷積圖像）的左上角開始，取一個與卷積核同樣大小的活動窗口（感受野），窗口中輸入數(shù)據與卷積核元素對應起來相乘再相加，其計算結果放入新圖像對應窗口的中心位置，然后，活動窗口向右移動一列并作同樣的運算。以此類推，從左到右、從上到下依次運算，即可得到一幅新的卷積圖像，這幅新圖像通常稱作特征圖。①1個卷積核類似于1個前饋神經網絡的神經元，組成卷積核的每個元素都對應1個權重系數(shù)。②卷積層內每個神經元都與前一層局部區(qū)域中相鄰的多個點相連，區(qū)域的大小取決于卷積核的大小，卷積核的大小被稱為“感受野”。③卷積核在工作時，“感受野”像一個移動窗口一樣有規(guī)律地掃過輸入數(shù)據，在移動的過程中，卷積核與“感受野”內的輸入數(shù)據做卷積運算，然后經激活函數(shù)對卷積運算結果做非線性變換。被卷積圖像特征圖卷積核5.3.4卷積神經網絡

（3）池化層①卷積層提取特征后，其輸出的特征圖會被傳遞至池化層進行池化操作。最大值池化操作②池化操作(Pooling)可采用尺寸2

2的池化窗口，以步長為2從左到右、從上到下依次對特征圖進行最大值采樣，即每個采樣操作都是從4個數(shù)字中取最大值作為該區(qū)域的概括。③通過池化操作，降低了卷積層輸出的特征維度（特征圖分辨率降低），縮小了連接到后層的結點個數(shù)，減少了神經網絡中參數(shù)數(shù)量，能夠在保留主要特征的情況下大幅減少計算量，同時也提高了信息的抽象程度。5.3.4卷積神經網絡

（4）全連接層①在卷積神經網絡的最后部分通常使用1到2個全連接層來完成分類任務。④特征圖在全連接層中不需要保留空間拓撲結構，進入全連接層的特征圖需要被轉為一維向量并通過全連接層送給輸出層。②全連接層等價于多層前饋神經網絡中的隱藏層，它的每一個結點都與上一層的所有結點相連，用來把前邊提取到的特征組合起來。③全連接層本身不具有特征提取能力，它的主要作用是對提取的高級特征進行非線性組合以達到分類的目的。全連接層結構5.3.4卷積神經網絡

（5）輸出層輸出層的結構和工作原理與前饋神經網絡中的輸出層相同，它的輸出內容依賴于具體的任務需求。①對于線性回歸問題，可以直接使用線性函數(shù)作為輸出以便能夠獲得一個連續(xù)值；②對于多類別分類問題，通常使用softmax函數(shù)作為輸出層的激活函數(shù)以便確定輸入所屬類別。③softmax函數(shù)可以輸出屬于每個類別的概率，其概率總和為1，一般取輸出值中最大者作為最終的分類結果。5.3.4卷積神經網絡輸入層卷積層池化層全連接層輸出層卷積神經網絡結構5.3.4卷積神經網絡

怎樣識別

？

CNN基本原理

怎樣識別

？

x具有兩個對角線和一個交叉線3個特征。對應這3個特征，可以定義3個卷積核，3個卷積核可以匹配X中3種不同的特征。當卷積核與圖像X進行卷積運算時，與卷積核匹配的特征就被一一提取出來卷積核設計思路1：定義一個與X一樣的模板（卷積核）思路2：尋找X的特征卷積核定義了某種模式，卷積運算是在計算每個位置與該模式的相似程度，當前位置與該模式越像，響應越強。當卷積核一小塊一小塊地與被卷積圖像進行比對時，被卷積圖像中的特征就可以被提取出來。提取特征5.3.4卷積神經網絡---CNN基本原理

提前特征的結果提前特征后，方格內數(shù)值越接近1，表示對應位置和特征的匹配越完整，越是接近0，表示對應位置沒有任何匹配，而接近-1則表示對應位置和特征沒有什么關聯(lián)，因此可以通過ReLU函數(shù)把負值變成0。這樣，就可以通過數(shù)值的大小判斷出特征所在的位置。特征圖5.3.4卷積神經網絡

提前特征的結果CNN基本原理只有與卷積核匹配的區(qū)域才是真正有用的信息，而其他區(qū)域得出的數(shù)值對判定該特征是否存在的影響比較小。為了有效地減少計算量，卷積神經網絡使用池化操作保留了每一小塊內的最大值，也就是相當于保留了這一塊最佳的匹配結果，而舍棄了那些與該特征關系不大的信息。池化功能5.3.4卷積神經網絡--CNN基本原理人臉特征抽取過程圖中第3層的人臉是由第2層的人臉局部器官和表面組合而成，而第2層又是由第1層的紋理、邊緣組合而成；從特征圖上看，第3層特征圖上一個點代表第2層若干種局部器官或表面的組合，第2層特征圖上一個點代表第1層若干種紋理、邊緣的組合。卷積層組合方式是非常靈活的，不同的邊緣→不同紋理→不同幾何圖形和表面→不同的器官→不同的人臉，復雜特征往往是由簡單特征組合而成的，比如前面3個卷積核定義的基本形狀可以在第1次卷積中提取出來，把這些提取出來的特征圖組合后再次進行卷積運算，則可以提取出由基本形狀拼接成的更為復雜的形狀。

X、

、∧、

每一層模式的組合可以多種多樣，不是“死板”的模板，而是“靈活”的模板，因此整個卷積神經網絡具有很強的表達能力和泛化能力。多層卷積抽取復雜特征5.3.4卷積神經網絡訓練后卷積神經網絡的分類過程輸出值標簽值0.10.20.10.30.3100000.10000誤差值0.500000.5

0.20.150.10.05謝謝大家！結束5.3.4卷積神經網絡卷積神經網絡的訓練流程初始化所有的卷積核元素，使用隨機值設置參數(shù)初始化誤差=輸出向量-標簽向量計算輸出誤差前向傳播

輸入一張訓練圖像，通過前向傳播，輸出各類別的概率。反向傳播根據計算誤差更新所有卷積核的權重值以及其他參數(shù)值，使輸出誤差逐步減少。5.4人工智能開發(fā)平臺045.4人工智能開發(fā)平臺---機器學習開發(fā)框架

開發(fā)框架是一個可復用的軟件架構解決方案，它規(guī)定了應用的體系結構，闡明軟件體系結構中各層次間及其層次內部各組件間的依賴關系、責任分配和控制流程，表現(xiàn)為一組接口、抽象類以及實例間協(xié)作的方法，為組件復用提供了上下文關系。什么是開發(fā)框架？成熟的框架一般都經過很多人使用，具有穩(wěn)定性高、性能好、可重用、可擴充和可升級等優(yōu)點，采用成熟的框架開發(fā)軟件系統(tǒng)，相當于讓框架完成許多基礎工作，開發(fā)人員只需在此基礎上集中精力完成本系統(tǒng)的業(yè)務邏輯設計即可完成整個系統(tǒng)的開發(fā)，這樣就可以縮短大型應用軟件系統(tǒng)的開發(fā)周期，提高開發(fā)質量。5.4人工智能開發(fā)平臺TensorFlow是一個由谷歌人工智能團隊于2015年開發(fā)完成的開源的機器學習框架，被廣泛應用于各類機器學習算法的編程實現(xiàn)，是目前最熱門的機器學習框架。PyTorch是一個由臉書公司開發(fā)的開源Python機器學習框架，自2017年推出，PyTorch越來越受到機器學習從業(yè)者的青睞，已成為繼TensorFlow之后最受歡迎的機器學習框架。機器學習開發(fā)框架PaddlePaddle框架是由百度開發(fā)的開源深度學習框架。該框架不僅易學、易用、高效、可擴展，而且基于該框架提供了一整套工具組件和配套服務，可以助力深度學習技術更方便地應用到各個領域。scikit-learn是由數(shù)據科學家大衛(wèi)?庫爾納佩等人發(fā)起的機器學習開源項目，2010年首次公開發(fā)布，目前已成為一款非常成熟的機器學習框架,是機器學習領域中最知名的python模塊之一。Keras是一個由Python編寫的開源高層神經網絡軟件庫，可以作為Tensorflow高級應用程序接口進行深度學習模型開發(fā)，是目前深度學習領域非常流行的框架。5.4人工智能開發(fā)平臺--集成開發(fā)環(huán)境

集成開發(fā)環(huán)境（IDE）是一種集代碼編寫、分析、編譯、調試、源代碼控制等功能于一體的開發(fā)軟件服務組合套裝軟件。它將代碼編輯器、編譯器（解釋器）、調試器等常用的開發(fā)工具打包在一起并集成到單個圖形用戶界面（GUI）中，進而可以統(tǒng)一發(fā)布、安裝和使用，以便于開發(fā)者構建自己的應用程序。PyCharm運行界面PyCharm是由JetBrains公司打造的一款專門面向Python的全功能集成開發(fā)環(huán)境，它帶有代碼編寫、語法高亮、代碼跳轉、智能提示、自動完成、調試、單元測試、項目管理和版本控制等一整套可以幫助用戶在使用Python進行開發(fā)時提高效率的工具，在Windows、macOS和Linux上都可以快速安裝和使用。1.PyCharm5.4人工智能開發(fā)平臺--集成開發(fā)環(huán)境PyCharm界面區(qū)域

例：用Python在PyCharm中編寫程序，打印出“你好”1.打開PyCharm3.輸入代碼：

print("你好")4.運行代碼5.輸出結果：

你好2.新建一個Python文件5.4人工智能開發(fā)平臺--集成開發(fā)環(huán)境JupyterNotebook是一個基于Web的交互式計算開發(fā)環(huán)境。它能將實時運行的代碼、敘事性的文本、數(shù)學方程和可視化內容全部組合到一個易于共享的文檔中，可以在其中編輯文檔、編寫程序、運行代碼和展示結果。這些特性使JupyterNotebook成為一款執(zhí)行端到端數(shù)據科學工作流程的便捷工具，可用于數(shù)據清理和轉換、統(tǒng)計建模、構建和訓練機器學習模型、可視化數(shù)據、大數(shù)據分析等工作，特別適合交互式計算、數(shù)據分析和教學展示。JupyterNotebook運行界面2.JupyterNotebook5.4人工智能開發(fā)平臺機器學習平臺PAIModelArts飛漿開發(fā)平臺智能鈦機器學習平臺智能鈦機器學習平臺是騰訊公司基于騰訊云強大計算能力為開發(fā)者打造的一站式機器學習平臺。平臺內置豐富的算法組件，支持多種算法框架，滿足多種AI應用場景的需求，為用戶提供了全鏈路開發(fā)平臺套件。機器學習平臺PAI是阿里云人工智能平臺，它支持豐富的機器學習算法、一站式的機器學習體驗、主流的機器學習框架及可視化的建模方式。ModelArts是由華為公司研發(fā)的面向開發(fā)者的一站式AI開發(fā)平臺。ModelArts提供全流程的AI開發(fā)服務，具有按需部署端-邊-云模型能力，能夠幫助用戶快速創(chuàng)建和部署模型，管理全周期AI工作流，實現(xiàn)系統(tǒng)的平滑、穩(wěn)定、可靠運行。飛槳(PaddlePaddle)是百度自主研發(fā)的開源深度學習開發(fā)平臺。它集深度學習框架、基礎模型庫、端到端開發(fā)套件、工具組件和服務平臺于一體，廣泛應用于工業(yè)、農業(yè)、服務業(yè)等領域。（

/

）謝謝大家！結束5.4人工智能開發(fā)平臺人工智能開發(fā)語言Python是一種面向對象、解釋型、弱類型的腳本語言，也是一種功能強大而完善的通用型語言，其主要特點如下：1.簡單易學Python語法清晰簡潔，強制縮進，易于閱讀，語法約束少，容易上手，非常適合初學者學習。2.功能強大Python具有腳本語言中最豐富和強大的類庫，這些類庫覆蓋了文件I/O、GUI、網絡編程、數(shù)據庫訪問、文本操作、科學計算等絕大部分應用場景，可以幫助處理各種工作。3.可移植性Python語言天生具有跨平臺的特征，只要為平臺提供了相應的Python解釋器，Python就可以在該平臺上運行，從而實現(xiàn)“一次編程，到處使用”。4.高級動態(tài)編程盡管Python語言是腳本語言，但可以同時被解釋和編譯執(zhí)行。5.5應用開發(fā)實例051.圖像分類2.文本分類3.語音識別5.5.1圖像分類

圖像分類問題是監(jiān)督學習中的分類問題在計算機視覺領域的實例化。它的目標是對輸入圖片中的核心物體進行類別劃分。百度飛槳提供了預訓練模型庫PaddleHub，涵蓋了計算機視覺、文本處理、語音識別等眾多方向的官方模型。我們選擇百度飛槳深度學習開發(fā)平臺作為代碼示例的開發(fā)平臺。

左側的VGG16是一個用于圖像分類的卷積神經網絡，本小節(jié)將以VGG16為例介紹如何使用在ImageNet上預訓練好的VGG16網絡對任意給定的圖片進行分類。

5.5.1圖像分類為了能夠使用預訓練模型PaddleHub，需要在Python中安裝百度飛槳軟件包。大家可以自行根據操作系統(tǒng)類型和cuda版本在百度飛槳的主頁選擇合適的飛槳版本和安裝命令進行安裝。安裝后在Python中運行如下命令驗證安裝結果：importpaddle.fluidpaddle.fluid.install_check.run_check()顯示“YourPaddleFluidisinstalledsuccessfully!”1.安裝飛槳軟件包為了使用預訓練模型，需要使用如下指令安裝模型庫PaddleHub：pipinstallpaddlehub2.安裝模型庫5.5.1圖像分類新建一個名為image_classification.py的python文件，調用百度飛槳提供的預訓練模型庫PaddleHub進行圖像分類。import

matplotlib.pyplot

as

pltimportpaddlehubas

hub

def

image_classification():

#加載vgg模型model=

hub.Module(name="vgg16_imagenet")

#設置測試圖片路徑test_img_path=

"./data/images/puppy.jpg"input_dict={"image":[test_img_path]}

#顯示測試圖片img=

plt.imread(test_img_path)

plt.imshow(img)

plt.axis('off')

plt.show()

#使用訓練好的模型對測試圖片進行分類results=model.classification(data=input_dict)

#打印分類結果

forresultinresults:

print(result)if__name__==

"__main__":

image_classification()3.編寫圖像分類程序（1）導入數(shù)據可視化matplotlib程序庫模塊；

導入飛槳的paddlehub模型庫模塊；（2）定義用來對圖片進行分類的函數(shù)；（3）將預訓練模型加載到model；（4）把存儲待分類圖片的路徑及文件名賦值給變量；（5）定義一個字典結構，關鍵字image對應test_img_path；（6）使用plt.imread()函數(shù)把待分類的圖片從文件讀入列表img；（7）繪制img中的圖片；關閉坐標軸的顯示；

打開一個窗口顯示圖像

（8）讀入input_dict中的待分類圖片作為輸入數(shù)據data，并使用訓練好的模型model對它進行分類，分類結果保存在results中。（9）利用循環(huán)語句打印results中的每個類別名稱及該類別的概率值。運行程序，可從中找到如下的分類結果：

[{'Pomeranian':0.8621419072151184}]5.5.1圖像分類待分類圖片VGG16輸出結果'Pomeranian':0.86程序運行過程用模型判斷以下句子是贊揚還是批評（1）這是一部波瀾壯闊的史詩。（2）這家餐廳不好吃。文本分類舉例5.5.2文本分類

文本分類就是根據一段不定長的文本內容來判斷文本相應的類別，也就是說，文本分類任務要求模型將句子、段落等輸入文本序列映射成一個和任務相關的標簽。1.什么是文本分類標簽--贊揚標簽--批評相同點：與圖像分類一樣，文本分類也屬于監(jiān)督學習中的分類問題；不同點：文本分類對象不再是一個像素矩陣，而是一個漢字或單詞序列，在這個序列中，每句話的長度是不一樣的，每個詞的前后是有關系的。2.文本分類與圖像分類的異同點前饋神經網絡的輸入維數(shù)都是固定的，不能任意改變，而前饋神經網絡的輸出只依賴于當前的輸入，因此，前饋神經網絡不適合處理這類變長的序列數(shù)據。3.前饋神經網絡不適合處理文本分類

循環(huán)神經網絡（簡稱RNN）是一類以序列數(shù)據為輸入，在序列的演進方向進行遞歸且所有循環(huán)單元按鏈式連接的神經網絡，它通過使用帶自反饋的神經元，能夠處理任意長度的序列數(shù)據，可以實現(xiàn)某種“記憶功能”，特別適宜處理自然語言、語音識別等方面的問題，也是深度學習的代表模型之一。4.循環(huán)神經網絡5.5.2文本分類--RNN

（1）與前饋神經網絡相同點：

一個典型的RNN網絡包含一個輸入層、一個輸出層和一個隱藏層，隱藏層由神經元組成；

U是輸入到隱藏層的連接權重，W是上一次的狀態(tài)到隱藏層的連接權重，V是隱藏層到輸出層的連接權重，這些參數(shù)值在各個時間節(jié)點上是不變的。

按時序展開RNN結構（2）與前饋神經網絡不同點：RNN網絡的神經元不僅僅與輸入和輸出存在聯(lián)系，而且自身存在一個回路，該回路意味著上一個時刻的網絡狀態(tài)信息將會作用于下一個時刻的網絡狀態(tài)，即當前的狀態(tài)不但與當前時刻的輸入有關，而且與前面的隱藏層狀態(tài)有關。5.5.2文本分類--RNN

隱藏層輸入

隱藏層輸出RNN內部隱藏層結構5.5.2文本分類--RNN文本情感分析是一類特殊的文本分類任務，它對帶有主觀描述的文本進行二元分類，即根據一段文本判斷該文本是正面評價還是負面評價。例如：用RNN判斷“他是一個好學生”這句話是正面評價還是負面評價。

不需要判斷每一個詞的情感，而僅需要關注最后一個狀態(tài)的輸出，因此，循環(huán)神經網絡可以設計成如圖所示的結構。用RNN實現(xiàn)文本情感分析0.920.085.5.2文本分類-----使用預訓練模型進行文本情感分析輸出的分類結果-------------------------------測試語句:這是一部波瀾壯闊的史詩測試結果:positive正面概率:0.8632負面概率:0.1368-------------------------------測試語句:這家餐廳不好吃測試結果:negative正面概率:0.0811負面概率:0.9189-------------------------------情感分析代碼import

paddlehubas

hub#導入飛槳的paddlehub模型庫模塊def

sentiment_analysis():senta=

hub.Module(name=“senta_lstm”)將#加載預訓練模型

test_text=

[將

#存儲待分析文本到test_text列表中

"這是一部波瀾壯闊的史詩",

"這家餐廳不好吃"]results=senta.sentiment_classify(texts=test_text)

#調用模型函數(shù)進行分類

#打印分類結果

print("-------------------------------")

forresultinresults:

print("測試語句:%s"%result['text'])

print("測試結果:%s"%result['sentiment_key'])

print("正面概率:%s"%result['positive_probs'])

print("負面概率:%s"%result['negative_probs'])

print("-------------------------------")if__name__==

"__main__":

sentiment_analysis()1.LSTM------長短時記憶網絡2.Senta------中文情感分析模型5.5.3語音識別1.語音識別技術旨在將語音信號識別并轉化為相應的文字。4.一個漢字的拼音可以看作是一個音節(jié)。祖國好zuguohao2.語音（聲音）是一種波，在計算機中，語音信號被存儲成一個波形文件。3.為了方便和文字之間建立映射，線性波形需要被分割成幀(frame)，而同時，文本又是由文字組成的線性序列。因此，語音識別任務就可以被認為是從幀序列到文字序列之間的轉換。5.語音識別需要通過聲學模型把幀序列轉換為音節(jié)序列，然后通過語言模型再把音節(jié)序列轉換為文字序列。5.5.3語音識別

語音識別主要步驟：

③語音轉換：聲學模型可以把輸入的特征向量轉換為音節(jié)符號，即循環(huán)神經網絡按時序把輸入的語音特征向量轉換成音節(jié)符號出現(xiàn)的概率。②

提取特征：提取每一幀波形的聲學特征，把每一幀波形變成一個多維的特征向量，形成聲譜圖。①分幀：通過移動窗口把聲音波形切分為等間隔的若干小段波形。每一小段波形稱為一幀，每幀長度通常為25毫秒。語音波形分幀聲譜圖h1h4h5h3h2h8h6h7聲學模型輸出音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率5.5.3語音識別④路徑搜索根據音節(jié)符號出現(xiàn)的概率，通過搜索找出最可能與特征向量序列匹配（條件概率最大）的路徑，從而得到路徑上的音節(jié)。