工業(yè)互聯(lián)網(wǎng)

IndustrialInternet01第五章工業(yè)大數(shù)據(jù)——上節(jié)回顧工業(yè)互聯(lián)網(wǎng)架構(gòu)回顧設(shè)備音頻；設(shè)備輻射；……訂單信息;客戶需求變更；……機(jī)器觸感；機(jī)器溫度；……信息感知產(chǎn)品位置；機(jī)器人位置；人的位置；……視覺(jué)傳感器（攝像頭）溫度傳感器紅外傳感器壓力傳感器煙霧傳感器……數(shù)據(jù)傳輸藍(lán)牙通信蜂窩通信有線通信以太網(wǎng)衛(wèi)星通信……數(shù)據(jù)處理機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘數(shù)據(jù)融合人工智能大數(shù)據(jù)……決策應(yīng)用服務(wù)安全管理……平臺(tái)層2第五章工業(yè)人工智能——課時(shí)安排本章課時(shí)任務(wù)時(shí)間270分鐘（6課時(shí)）主要學(xué)習(xí)內(nèi)容人工智能背景（1課時(shí)）；人工智能模型（3課時(shí)）；工業(yè)大數(shù)據(jù)案例分析（2課時(shí)）。本課時(shí)主要目標(biāo)了解工業(yè)人工智能的背景與發(fā)展歷程；了解工業(yè)人工智能的基本流程。3第五章工業(yè)人工智能——背景什么是人工智能？第六章工業(yè)人工智能46.1監(jiān)督機(jī)器學(xué)習(xí)5第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)監(jiān)督機(jī)器學(xué)習(xí)的定義

監(jiān)督機(jī)器學(xué)習(xí)是根據(jù)已有的數(shù)據(jù)集，知道輸入和輸出結(jié)果之間的關(guān)系。根據(jù)這種已知的關(guān)系，訓(xùn)練得到一個(gè)最優(yōu)的模型。在監(jiān)督學(xué)習(xí)中訓(xùn)練數(shù)據(jù)既有特征(feature)又有標(biāo)簽(label)，通過(guò)訓(xùn)練，讓機(jī)器可以自己找到特征和標(biāo)簽之間的聯(lián)系，在面對(duì)只有特征沒(méi)有標(biāo)簽的數(shù)據(jù)時(shí)，可以判斷出標(biāo)簽。簡(jiǎn)單理解：可以把監(jiān)督學(xué)習(xí)理解為我們教機(jī)器如何做事情。6第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)監(jiān)督機(jī)器學(xué)習(xí)的類別監(jiān)督學(xué)習(xí)任務(wù)主要包括分類和回歸兩種類型，在監(jiān)督學(xué)習(xí)中，數(shù)據(jù)集中的樣本被稱為“訓(xùn)練樣本”，并且每個(gè)樣本都有一個(gè)輸入特征和相應(yīng)的標(biāo)簽（分類任務(wù)）或目標(biāo)值（回歸任務(wù)）7第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)監(jiān)督機(jī)器學(xué)習(xí)的類別分類（Classification）：在分類任務(wù)中，目標(biāo)是將輸入數(shù)據(jù)分到預(yù)定義的類別中。每個(gè)類別都有一個(gè)唯一的標(biāo)簽。算法在訓(xùn)練階段通過(guò)學(xué)習(xí)數(shù)據(jù)的特征和標(biāo)簽之間的關(guān)系來(lái)構(gòu)建一個(gè)模型。然后，在測(cè)試階段，模型用于預(yù)測(cè)未見(jiàn)過(guò)的數(shù)據(jù)的類別標(biāo)簽。

回歸（Regression）：在回歸任務(wù)中，目標(biāo)是預(yù)測(cè)連續(xù)數(shù)值的輸出。與分類不同，輸出標(biāo)簽在回歸任務(wù)中是連續(xù)的。算法在訓(xùn)練階段通過(guò)學(xué)習(xí)輸入特征和相應(yīng)的連續(xù)輸出之間的關(guān)系來(lái)構(gòu)建模型。在測(cè)試階段，模型用于預(yù)測(cè)未見(jiàn)過(guò)的數(shù)據(jù)的輸出值。8第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)常見(jiàn)的監(jiān)督機(jī)器學(xué)習(xí)算法

監(jiān)督學(xué)習(xí)算法種類眾多，有著極其廣泛的應(yīng)用，下面是一些常見(jiàn)的監(jiān)督學(xué)習(xí)算法：支持向量機(jī)（SupportVectorMachine，SVM）：SVM是一種用于二分類和多分類任務(wù)的強(qiáng)大算法。它通過(guò)找到一個(gè)最優(yōu)的超平面來(lái)將不同類別的數(shù)據(jù)分隔開(kāi)。SVM在高維空間中表現(xiàn)良好，并且可以應(yīng)用于線性和非線性分類問(wèn)題。決策樹(shù)（DecisionTrees）：決策樹(shù)是一種基于樹(shù)結(jié)構(gòu)的分類和回歸算法。它通過(guò)在特征上進(jìn)行遞歸的二分決策來(lái)進(jìn)行分類或預(yù)測(cè)。決策樹(shù)易于理解和解釋，并且對(duì)于數(shù)據(jù)的處理具有良好的適應(yīng)性。邏輯回歸（LogisticRegression）：邏輯回歸是一種廣泛應(yīng)用于二分類問(wèn)題的線性模型。盡管名字中帶有"回歸"，但它主要用于分類任務(wù)。邏輯回歸輸出預(yù)測(cè)的概率，并使用邏輯函數(shù)將連續(xù)輸出映射到[0,1]的范圍內(nèi)。K近鄰算法（K-NearestNeighbors，KNN）：KNN是一種基于實(shí)例的學(xué)習(xí)方法。它根據(jù)距離度量來(lái)對(duì)新樣本進(jìn)行分類或回歸預(yù)測(cè)。KNN使用最接近的K個(gè)訓(xùn)練樣本的標(biāo)簽來(lái)決定新樣本的類別。9第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)支持向量機(jī)

支持向量機(jī)（SupportVectorMachine，簡(jiǎn)稱SVM）是一種機(jī)器學(xué)習(xí)算法，廣泛應(yīng)用于分類和回歸問(wèn)題。SVM的主要思想是將數(shù)據(jù)映射到一個(gè)高維空間，通過(guò)在該空間中找到一個(gè)最優(yōu)的超平面來(lái)實(shí)現(xiàn)分類。最優(yōu)的超平面是指能夠?qū)⒉煌悇e的數(shù)據(jù)點(diǎn)分開(kāi)且使得間隔最大化的超平面。將數(shù)據(jù)點(diǎn)分為不同類別的超平面稱為決策邊界，位于離決策邊界最近的數(shù)據(jù)點(diǎn)稱為支持向量。10第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)支持向量機(jī)常用公式

當(dāng)討論支持向量機(jī)時(shí)，我們會(huì)遇到核函數(shù)，以下是幾種常見(jiàn)的核函數(shù)11第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)決策樹(shù)

決策樹(shù)是一種用于分類和回歸的監(jiān)督學(xué)習(xí)算法，在機(jī)器學(xué)習(xí)領(lǐng)域得到了廣泛應(yīng)用。它通過(guò)對(duì)數(shù)據(jù)集進(jìn)行分析和劃分，構(gòu)建一個(gè)樹(shù)狀結(jié)構(gòu)，從根節(jié)點(diǎn)到葉節(jié)點(diǎn)表示不同的決策規(guī)則。12第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)決策樹(shù)的特點(diǎn)

可解釋性高：決策樹(shù)的生成過(guò)程和最終的決策規(guī)則都很直觀和可解釋。根據(jù)決策樹(shù)的樹(shù)狀結(jié)構(gòu)，我們可以清楚地了解不同特征對(duì)決策的影響和重要程度。數(shù)據(jù)預(yù)處理簡(jiǎn)單：決策樹(shù)在處理數(shù)據(jù)之前不需要進(jìn)行特定的數(shù)據(jù)預(yù)處理，不需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化或歸一化等操作。決策樹(shù)對(duì)缺失值和異常值也相對(duì)不敏感。能夠處理分類和回歸問(wèn)題：決策樹(shù)既可以用于分類問(wèn)題，也可以用于回歸問(wèn)題。對(duì)于分類問(wèn)題，葉節(jié)點(diǎn)表示不同的類別。對(duì)于回歸問(wèn)題，葉節(jié)點(diǎn)表示數(shù)值型的預(yù)測(cè)值。能夠處理特征的非線性關(guān)系：決策樹(shù)可以自由地處理特征之間的非線性關(guān)系，不需要事先進(jìn)行特征轉(zhuǎn)換或映射。13第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)決策樹(shù)常用公式

信息熵：信息增益是用來(lái)選擇最佳分裂屬性的指標(biāo)信息增益：熵是衡量數(shù)據(jù)不確定性的一種度量基尼指數(shù)：用于衡量一個(gè)樣本集合的純度或不確定性

均方誤差：均方誤差用來(lái)衡量預(yù)測(cè)值與實(shí)際值之間的差異14第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)邏輯回歸

邏輯回歸是一種廣泛應(yīng)用于二分類問(wèn)題的線性模型。盡管名字中帶有"回歸"，但它主要用于分類任務(wù)。邏輯回歸輸出預(yù)測(cè)的概率，并使用邏輯函數(shù)將連續(xù)輸出映射到[0,1]的范圍內(nèi)。15第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)邏輯回歸常用公式

線性組合：邏輯回歸通過(guò)特征和權(quán)重的線性組合來(lái)計(jì)算一個(gè)中間結(jié)果Sigmoid函數(shù)：將線性組合的結(jié)果通過(guò)Sigmoid函數(shù)映射到(0,1)區(qū)間內(nèi)，得到事件發(fā)生的概率損失函數(shù)（CostFunction）：邏輯回歸使用對(duì)數(shù)損失（LogLoss）或交叉熵?fù)p失來(lái)衡量模型的預(yù)測(cè)值與實(shí)際值之間的差異：16第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)K近鄰算法常用公式

歐氏距離：曼哈頓距離：閔可夫斯基距離：17第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)K近鄰算法

K近鄰（K-NearestNeighbors，KNN）算法是一種基于距離的分類算法，其基本思想是：給定一個(gè)訓(xùn)練數(shù)據(jù)集，對(duì)于一個(gè)新輸入的點(diǎn)，在訓(xùn)練集中找到與該點(diǎn)距離最近（通常是歐氏距離）的K個(gè)點(diǎn)，然后根據(jù)這K個(gè)點(diǎn)的類別，通過(guò)投票的方式來(lái)預(yù)測(cè)新點(diǎn)的類別。18第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)的應(yīng)用場(chǎng)景

圖像識(shí)別是監(jiān)督學(xué)習(xí)在工業(yè)質(zhì)檢中最常見(jiàn)和重要的應(yīng)用之一。通過(guò)訓(xùn)練模型，可以將正常產(chǎn)品和缺陷產(chǎn)品進(jìn)行區(qū)分，并及時(shí)發(fā)現(xiàn)缺陷例如，在電子產(chǎn)品制造過(guò)程中，可以通過(guò)圖像識(shí)別技術(shù)對(duì)電路板上焊點(diǎn)是否正常進(jìn)行判斷，從而提高產(chǎn)品制造過(guò)程中對(duì)焊點(diǎn)連接是否牢固等問(wèn)題進(jìn)行自動(dòng)化判斷。19第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)的應(yīng)用場(chǎng)景

除了圖像識(shí)別之外，監(jiān)督學(xué)習(xí)還可以應(yīng)用于基于傳感器數(shù)據(jù)的異常檢測(cè)。傳感器可以實(shí)時(shí)采集產(chǎn)品的各項(xiàng)數(shù)據(jù)，例如溫度、壓力、濕度等。通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，可以建立模型來(lái)檢測(cè)異常情況，例如溫度過(guò)高、壓力異常等。這種方法可以幫助企業(yè)及時(shí)發(fā)現(xiàn)產(chǎn)品制造過(guò)程中的問(wèn)題，并采取相應(yīng)措施進(jìn)行調(diào)整和改進(jìn)。20第六章工業(yè)人工智能——監(jiān)督機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)的應(yīng)用場(chǎng)景

聲音識(shí)別是監(jiān)督學(xué)習(xí)在工業(yè)質(zhì)檢中的另一個(gè)重要應(yīng)用場(chǎng)景。通過(guò)對(duì)聲音進(jìn)行監(jiān)督學(xué)習(xí)，可以判斷產(chǎn)品在工作過(guò)程中是否存在異常情況。例如，在汽車制造過(guò)程中，通過(guò)對(duì)發(fā)動(dòng)機(jī)聲音進(jìn)行監(jiān)測(cè)和識(shí)別，可以及時(shí)發(fā)現(xiàn)發(fā)動(dòng)機(jī)是否存在故障或異常情況，并采取相應(yīng)措施進(jìn)行修復(fù)第六章工業(yè)人工智能216.2無(wú)監(jiān)督機(jī)器學(xué)習(xí)22第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)無(wú)監(jiān)督機(jī)器學(xué)習(xí)的定義

我們不知道數(shù)據(jù)集中數(shù)據(jù)、特征之間的關(guān)系，而是要根據(jù)聚類或一定的模型得到數(shù)據(jù)之間的關(guān)系。在無(wú)監(jiān)督學(xué)習(xí)中數(shù)據(jù)只有特征無(wú)標(biāo)簽，是一種機(jī)器學(xué)習(xí)的訓(xùn)練方式，它本質(zhì)上是一個(gè)統(tǒng)計(jì)手段，在沒(méi)有標(biāo)簽的數(shù)據(jù)里可以發(fā)現(xiàn)潛在的一些結(jié)構(gòu)的一種訓(xùn)練方式。比起監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)更像是自學(xué)，讓機(jī)器學(xué)會(huì)自己做事情。23第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)無(wú)監(jiān)督機(jī)器學(xué)習(xí)的分類

無(wú)監(jiān)督學(xué)習(xí)的特點(diǎn)是在訓(xùn)練數(shù)據(jù)中沒(méi)有標(biāo)簽或目標(biāo)值，目標(biāo)是從數(shù)據(jù)中發(fā)現(xiàn)隱藏的結(jié)構(gòu)和模式，而不是預(yù)測(cè)特定的標(biāo)簽或目標(biāo)，主要類別包括以下幾種：聚類：聚類是將數(shù)據(jù)樣本分成相似的組別或簇的過(guò)程。它通過(guò)計(jì)算樣本之間的相似性度量來(lái)將相似的樣本聚集在一起。降維：降維是將高維數(shù)據(jù)轉(zhuǎn)換為低維表示的過(guò)程，同時(shí)盡可能地保留數(shù)據(jù)的特征。關(guān)聯(lián)規(guī)則挖掘：關(guān)聯(lián)規(guī)則挖掘用于發(fā)現(xiàn)數(shù)據(jù)集中項(xiàng)之間的關(guān)聯(lián)和頻繁項(xiàng)集。異常檢測(cè)：異常檢測(cè)用于識(shí)別與大多數(shù)樣本不同的罕見(jiàn)或異常數(shù)據(jù)點(diǎn)。24第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)常用的無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法

K均值聚類：K均值聚類是一種常用的聚類算法，它將數(shù)據(jù)樣本分成K個(gè)簇，使得每個(gè)樣本與所屬簇中心的距離最小化。主成分分析：PCA是一種常用的降維算法，它通過(guò)線性變換將高維數(shù)據(jù)投影到低維空間，以保留最重要的特征。關(guān)聯(lián)規(guī)則挖掘：關(guān)聯(lián)規(guī)則挖掘是一種發(fā)現(xiàn)數(shù)據(jù)集中項(xiàng)之間關(guān)聯(lián)性的方法，它常用于市場(chǎng)籃子分析、購(gòu)物推薦等領(lǐng)域。異常檢測(cè)：異常檢測(cè)算法用于識(shí)別與大多數(shù)樣本不同的罕見(jiàn)或異常數(shù)據(jù)點(diǎn)。常見(jiàn)的方法包括基于統(tǒng)計(jì)的方法、基于聚類的方法和基于生成模型的方法等。25第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)k均值聚類

K均值聚類（K-MeansClustering）是一種經(jīng)典的聚類算法，用于將數(shù)據(jù)點(diǎn)劃分成K個(gè)不同的簇。K均值聚類算法的基本思想是：通過(guò)迭代的方式，將每個(gè)數(shù)據(jù)點(diǎn)分配到最近的簇中心，然后更新簇中心為該簇內(nèi)所有點(diǎn)的均值，這個(gè)過(guò)程重復(fù)進(jìn)行，直到收斂（即簇中心不再顯著變化）。26第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)k均值聚類常用公式

損失函數(shù)：歐式距離的平方公式：27第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)主成分分析

主成分分析（PrincipalComponentAnalysis，PCA）是一種統(tǒng)計(jì)方法，用于通過(guò)正交變換將一組可能相關(guān)的變量轉(zhuǎn)換為一組線性不相關(guān)的變量，這些新變量稱為主成分。PCA可以用于降維、數(shù)據(jù)壓縮、特征抽取、數(shù)據(jù)可視化等多種場(chǎng)景。28第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)主成分分析步驟

主成分分析主要包括標(biāo)準(zhǔn)化數(shù)據(jù)、協(xié)方差矩陣計(jì)算、特征值和特征向量的計(jì)算、選擇主成分、構(gòu)造新特征空間、解釋結(jié)果幾個(gè)步驟29第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)主成分分析常用公式

協(xié)方差矩陣：特征值問(wèn)題:求解

其中λ是特征值，v是對(duì)應(yīng)的特征向量。特征值排序：特征值從大到小排序，選擇前k個(gè)最大的特征值對(duì)應(yīng)的特征向量作為主成分。30第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)關(guān)聯(lián)規(guī)則挖掘

關(guān)聯(lián)數(shù)據(jù)挖掘（AssociationRuleMining）是一種在大規(guī)模數(shù)據(jù)集中尋找項(xiàng)目之間有趣關(guān)系（如頻繁模式、關(guān)聯(lián)、相關(guān)性）的挖掘過(guò)程。它試圖識(shí)別出數(shù)據(jù)中的有意義的關(guān)聯(lián)或相關(guān)性規(guī)則。關(guān)聯(lián)數(shù)據(jù)挖掘在市場(chǎng)籃分析（MarketBasketAnalysis）、商品推薦、生物信息學(xué)等領(lǐng)域有廣泛的應(yīng)用。31第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)關(guān)聯(lián)規(guī)則挖掘步驟

關(guān)聯(lián)規(guī)則挖掘主要包括數(shù)據(jù)預(yù)處理、找到頻繁項(xiàng)集、生成關(guān)聯(lián)規(guī)則、評(píng)估關(guān)聯(lián)規(guī)則幾個(gè)步驟32第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)異常檢測(cè)

異常檢測(cè)（AnomalyDetection），也稱為離群點(diǎn)檢測(cè)，是識(shí)別數(shù)據(jù)集中的異常或不尋常模式的過(guò)程。在許多領(lǐng)域，如金融欺詐檢測(cè)、網(wǎng)絡(luò)安全、工業(yè)系統(tǒng)監(jiān)控、醫(yī)學(xué)診斷等，異常檢測(cè)都非常重要。異常檢測(cè)算法的目標(biāo)是識(shí)別那些不符合數(shù)據(jù)正常行為的點(diǎn)。33第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)異常檢測(cè)

異常檢測(cè)主要包括數(shù)據(jù)預(yù)處理、特征選擇、建立基線模型、檢測(cè)異常、結(jié)果評(píng)估、處理反饋幾個(gè)步驟34第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)無(wú)監(jiān)督機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景

異常檢測(cè)：在工業(yè)系統(tǒng)中，無(wú)監(jiān)督學(xué)習(xí)可以用于監(jiān)測(cè)設(shè)備狀態(tài)，通過(guò)識(shí)別正常操作模式之外的異常行為，來(lái)預(yù)測(cè)和診斷潛在的故障。這有助于實(shí)現(xiàn)預(yù)測(cè)性維護(hù)，減少停機(jī)時(shí)間，并提高生產(chǎn)效率。35第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)無(wú)監(jiān)督機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景

供應(yīng)鏈優(yōu)化：無(wú)監(jiān)督學(xué)習(xí)可以分析供應(yīng)鏈數(shù)據(jù)，發(fā)現(xiàn)庫(kù)存水平、物流和需求模式，從而優(yōu)化庫(kù)存管理和物流調(diào)度。36第六章工業(yè)人工智能——無(wú)監(jiān)督機(jī)器學(xué)習(xí)無(wú)監(jiān)督機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景

過(guò)程優(yōu)化：無(wú)監(jiān)督學(xué)習(xí)可以分析工業(yè)過(guò)程中的數(shù)據(jù)，發(fā)現(xiàn)過(guò)程變量之間的復(fù)雜關(guān)系，從而優(yōu)化生產(chǎn)過(guò)程，提高產(chǎn)品質(zhì)量和降低資源消耗。第六章工業(yè)人工智能376.3遺傳算法38第六章工業(yè)人工智能——遺傳算法引言

生物物種作為復(fù)雜系統(tǒng)，具有奇妙的自適應(yīng)、自組織和自優(yōu)化力，這是一種生物在進(jìn)化過(guò)程中體現(xiàn)的智能。遺傳算法:著眼于對(duì)生物群體進(jìn)化過(guò)程的模擬。

1975年約翰·霍蘭德提出:

應(yīng)用領(lǐng)域:函數(shù)優(yōu)化機(jī)器人路徑規(guī)劃圖像處理與模式識(shí)別機(jī)器學(xué)習(xí)智能控制等約翰·霍蘭德(1929-)39第六章工業(yè)人工智能——遺傳算法遺傳算法的生物學(xué)基礎(chǔ)

達(dá)爾文的進(jìn)化論-適者生存原理每一物種在發(fā)展中越來(lái)越適應(yīng)環(huán)境。物種每個(gè)個(gè)體的基本特征由后代所繼承，但后代又會(huì)產(chǎn)生一些異于父代的新變化。在環(huán)境變化時(shí)，只有那些能適應(yīng)環(huán)境的個(gè)體特征方能保留下來(lái)。孟德?tīng)柕倪z傳學(xué)說(shuō)-基因遺傳原理遺傳以密碼方式存在細(xì)胞中，并以基因形式包含在染色體內(nèi)。每個(gè)基因有特殊的位置并控制某種特殊性質(zhì);所以，每個(gè)基因產(chǎn)生的個(gè)體對(duì)環(huán)境具有某種適應(yīng)性。基因突變和基因雜交可產(chǎn)生更適應(yīng)于環(huán)境的后代。經(jīng)過(guò)存優(yōu)去劣的自然淘汰，適應(yīng)性高的基因結(jié)構(gòu)得以保存下來(lái)。達(dá)爾文(1809-1882)孟德?tīng)?1822-1884)40第六章工業(yè)人工智能——遺傳算法遺傳學(xué)基本概念與術(shù)語(yǔ)

基因重組/交叉:在有性繁殖過(guò)程中，控制不同性狀的染色體基因重新組合;基因突變:染色體的某些基因位的組成或數(shù)目發(fā)生改變。

群體選擇種群新種群淘汰的個(gè)體淘汰交配變異生物進(jìn)化過(guò)程基因重組基因突變41第六章工業(yè)人工智能——遺傳算法遺傳學(xué)基本概念與術(shù)語(yǔ)

遺傳算法(GeneticAlgorithm，GA)是一類借鑒生物界的進(jìn)化規(guī)律(適者生存、優(yōu)勝劣汰)演化而來(lái)的隨機(jī)化搜索方法。群體選擇種群新種群淘汰的個(gè)體淘汰交配變異生物進(jìn)化過(guò)程遺傳算法模型42第六章工業(yè)人工智能——遺傳算法遺傳算法與生物進(jìn)化

群體種群環(huán)境染色體基因適應(yīng)能力交叉突變進(jìn)化結(jié)束搜索空間的一組有效解選擇得到的新群體適應(yīng)度函數(shù)可行解的編碼串一個(gè)編碼單元解的適應(yīng)度值交換部分編碼某些編碼的數(shù)值改變算法結(jié)束生物進(jìn)化遺傳算法43第六章工業(yè)人工智能——遺傳算法遺傳算法的基本思想

遺傳算法的基本思想遺傳算法GA把問(wèn)題的解表示成“染色體”，在算法中即是以一定方式編碼的串。2.在執(zhí)行遺傳算法之前，給出一群“染色體”，也即假設(shè)解。3.把這些假設(shè)解置于問(wèn)題的“環(huán)境”中，并按適者生存的原則，從中選擇出較適應(yīng)環(huán)境“染色體”進(jìn)行復(fù)制，再通過(guò)交叉，變異過(guò)程產(chǎn)生更適應(yīng)環(huán)境的新一代“染色體”群。這樣，一代一代地進(jìn)化，最后就會(huì)收斂到最適應(yīng)環(huán)境的一個(gè)“染色體”上，它就是問(wèn)題的最優(yōu)解。

進(jìn)化計(jì)算:遺傳算法、進(jìn)化策略、進(jìn)化規(guī)劃、遺傳規(guī)劃44第六章工業(yè)人工智能——遺傳算法遺傳算法的組成

一般的遺傳算法由四個(gè)部分組成:編碼機(jī)制種群初始化適應(yīng)度函數(shù)遺傳算子(選擇、交叉、變異)遺傳算法模型45第六章工業(yè)人工智能——遺傳算法遺傳算法的組成

編碼機(jī)制:用遺傳算法解決問(wèn)題時(shí)，首先要對(duì)待解決問(wèn)題的模型結(jié)構(gòu)和參數(shù)進(jìn)行編碼，一般用字符串表示。解空間一個(gè)解的編碼即染色體46第六章工業(yè)人工智能——遺傳算法遺傳算法的組成

種群初始化:隨機(jī)初始化1234N...解的編號(hào)解的編碼解的規(guī)模個(gè)體的編號(hào)個(gè)體的編碼10001100000201011110013000000010141001110100……N000101001147第六章工業(yè)人工智能——遺傳算法遺傳算法的組成

適應(yīng)度函數(shù):用來(lái)評(píng)估個(gè)體優(yōu)、劣的標(biāo)準(zhǔn)，適應(yīng)度值越大的個(gè)體越優(yōu)。個(gè)體的編號(hào)個(gè)體的編碼編碼適應(yīng)度值10001100000x1f(x1)20101111001x2f(x2)30000000101x3f(x3)41001110100x4f(x4)…………N0001010011xNf(xN)48第六章工業(yè)人工智能——遺傳算法遺傳算法的組成

交叉操作:選中的兩個(gè)父代個(gè)體交換某些基因位形成子代個(gè)體的過(guò)程。交叉概率PC:在種群中，個(gè)體被選擇出進(jìn)行交叉的概率。交叉方式:單點(diǎn)交叉、兩點(diǎn)交叉、多點(diǎn)交叉、均勻交叉等。單點(diǎn)交叉:隨機(jī)產(chǎn)生一個(gè)有效的交叉位置，染色體交換位于該交叉位置后的所有基因。1212交叉位PC父代個(gè)體子代個(gè)體連續(xù)改變?nèi)旧w多個(gè)基因位上的遺傳信息49第六章工業(yè)人工智能——遺傳算法遺傳算法的組成

變異操作:編碼按小概率擾動(dòng)產(chǎn)生的變化，類似于基因的突變。變異概率Pm:控制算法中變異操作的使用頻率變異方式:單點(diǎn)變異、均勻變異、高斯變異等。單點(diǎn)變異:如果對(duì)于某一基因位，產(chǎn)生的隨機(jī)數(shù)小于Pm，則改變?cè)摶虻娜≈?。否則該基因不發(fā)生變異，保持不變。變異位Pm父代個(gè)體子代個(gè)體隨機(jī)改變?nèi)旧w某些基因位上的遺傳信息50第六章工業(yè)人工智能——遺傳算法遺傳算法的組成

環(huán)境選擇:經(jīng)過(guò)交叉、變異后得到一個(gè)子代種群，從子代種群和父代種群中選擇出下一代種群的過(guò)程，稱為環(huán)境選擇。選擇方法:代替換，部分替換、精英選擇、輪盤(pán)賭選擇、錦標(biāo)賽選擇等。代替換部分替換第六章工業(yè)人工智能516.4粒子群算法52第六章工業(yè)人工智能——粒子群算法算法的提出

1995年，受到鳥(niǎo)群活動(dòng)的規(guī)律性啟發(fā)，RussellEberhart和JamesKennedy建立了一個(gè)簡(jiǎn)化模型，并最終形成了粒子群優(yōu)化算法(ParticleSwarmOptimization，PSO)，也可稱為粒子群算法。53第六章工業(yè)人工智能——粒子群算法算法的提出

粒子群算法具有收斂速度快、簡(jiǎn)單易實(shí)現(xiàn)的優(yōu)點(diǎn)，目前仍然受到眾多研究者的青睞，不斷擴(kuò)展著它的應(yīng)用領(lǐng)域。

作為一種新興的群體搜索算法，粒子群算法得到了長(zhǎng)足的發(fā)展，并成功應(yīng)用于很多的領(lǐng)域，比如函數(shù)優(yōu)化、圖像處理、電力系統(tǒng)優(yōu)化、醫(yī)療診斷等。54第六章工業(yè)人工智能——粒子群算法算法的基本原理

123455第六章工業(yè)人工智能——粒子群算法算法的基本原理

567856第六章工業(yè)人工智能——粒子群算法算法介紹

假設(shè)在D維搜索空間中，有m個(gè)粒子。(1)其中第i個(gè)粒子的位置向量表示為:(2)其飛行速度向量表示為:(3)第i個(gè)粒子搜索到的最優(yōu)位置為:(4)整個(gè)粒子群搜索到的最優(yōu)位置為:57第六章工業(yè)人工智能——粒子群算法算法介紹

粒子速度和位置的更新

其中w為慣性權(quán)重，

d=1,2,...,D，i=1,2...,m。 c1和c2,為兩個(gè)正常數(shù)稱為加速因子，rand1和rand2

為均勻分布于[0,1]的隨機(jī)數(shù)。58第六章工業(yè)人工智能——粒子群算法速度更新示意圖

慣性方向群體最優(yōu)方向粒子個(gè)體最優(yōu)方向第六章工業(yè)人工智能596.5蟻群算法60第六章工業(yè)人工智能——蟻群算法算法提出

Dorigo受螞蟻覓食行為的啟發(fā)在其博士論文中首次提出了螞蟻系統(tǒng)(Antsystem)。 Dorigo等人進(jìn)一步將螞蟻系統(tǒng)發(fā)展為一種通用的優(yōu)化技術(shù)，稱為蟻群優(yōu)化算法(AntColonyOptimiza-tion,AcO)。61第六章工業(yè)人工智能——蟻群算法算法基本原理

信息素(pheromone):信息素是一種由螞蟻?zhàn)陨磲尫诺囊讚]發(fā)的物質(zhì)，能夠?qū)崿F(xiàn)蟻群內(nèi)的間接通信。螞蟻在尋找食物時(shí)，在其經(jīng)過(guò)的路上會(huì)釋放信息素，信息素可以被其它的螞蟻感知，并且信息素的濃度越高，對(duì)應(yīng)的路徑越短。

正反饋:螞蟻會(huì)以較大的概率選擇信息素濃度較高的路徑，并釋放一定量的信息素，從而使距離較短路徑的信息素濃素被加強(qiáng)，形成一個(gè)正反饋。62第六章工業(yè)人工智能——蟻群算法螞蟻尋找最短路徑示意圖

最終選擇信息素濃度較大的B路徑63第六章工業(yè)人工智能——蟻群算法算法流程

ACO基本要素路徑構(gòu)建每只螞蟻都隨機(jī)選擇一個(gè)城市作為其出發(fā)城市并維護(hù)一個(gè)路徑記憶向量，用來(lái)存放該螞蟻依次經(jīng)過(guò)的城市。信息素更新當(dāng)所有螞蟻構(gòu)建完路徑后，算法將會(huì)對(duì)所有的路徑進(jìn)行全局信息素的更新。64第六章工業(yè)人工智能——蟻群算法路徑構(gòu)建

偽隨機(jī)比例選擇規(guī)則

65第六章工業(yè)人工智能——蟻群算法路徑構(gòu)建

66第六章工業(yè)人工智能——蟻群算法信息素更新

67第六章工業(yè)人工智能——蟻群算法信息素更新

第六章工業(yè)人工智能686.6模擬退火算法69第六章工業(yè)人工智能——模擬退火算法算法提出

模擬退火算法(SimulatedAnnealing)是基于MonteCarlo迭代求解策略的一種隨機(jī)尋優(yōu)算法，理論上是一個(gè)全局最優(yōu)算法。其出發(fā)點(diǎn)是基于物理中固體物質(zhì)的退火過(guò)程與一般組合優(yōu)化問(wèn)題之間的相似性。起源：1953，Metropolis，固體退火過(guò)程 1983，Kirkpatrick成功應(yīng)用于組合優(yōu)化問(wèn)題70第六章工業(yè)人工智能——模擬退火算法算法原理

統(tǒng)計(jì)力學(xué)表明材料中粒子的不同結(jié)構(gòu)對(duì)應(yīng)于粒子的不同能量水平。在高溫條件下，粒子的能量較高，可以自由運(yùn)動(dòng)和重新排列。在低溫條件下，粒子能量較低。如果從高溫開(kāi)始，非常緩慢地降溫（這個(gè)過(guò)程被稱為退火），粒子就可以在每個(gè)溫度下達(dá)到熱平衡。當(dāng)系統(tǒng)完全被冷卻時(shí)，最終形成處于低能狀態(tài)的晶體。71第六章工業(yè)人工智能——模擬退火算法算法原理

統(tǒng)計(jì)力學(xué)的研究表明，在溫度T，進(jìn)行了充分轉(zhuǎn)換之后，材料將達(dá)到熱平衡。此時(shí)分子停留在狀態(tài)r的概率滿足Boltzmann分布：

72第六章工業(yè)人工智能——模擬退火算法算法原理

在同一個(gè)溫度，分子停留在能量小狀態(tài)的概率比停留在能量大狀態(tài)的概率大。當(dāng)溫度相當(dāng)高時(shí)，每個(gè)狀態(tài)的概率基本相同，接近平均值1/|D|。當(dāng)溫度越低時(shí)，能量越低的狀態(tài)的概率值越高。當(dāng)溫度趨于0時(shí)，分子停留在最低能量狀態(tài)的概率趨于1。73第六章工業(yè)人工智能——模擬退火算法算法原理

金屬物體狀態(tài)能量最低的狀態(tài)能量組合優(yōu)化問(wèn)題(可行)解最優(yōu)解費(fèi)用函數(shù)

類比第六章工業(yè)人工智能746.7強(qiáng)化學(xué)習(xí)75第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)：計(jì)算機(jī)獲得簡(jiǎn)單的輸入給出期望的輸出，過(guò)程是通過(guò)一個(gè)“訓(xùn)練模型”，學(xué)習(xí)通用的準(zhǔn)則來(lái)從輸入映射到輸出。無(wú)監(jiān)督學(xué)習(xí)：沒(méi)有給出標(biāo)記用來(lái)學(xué)習(xí)算法，讓它自己去發(fā)現(xiàn)輸入的結(jié)構(gòu)。無(wú)監(jiān)督學(xué)習(xí)自己可以被當(dāng)成一個(gè)目標(biāo)或者一個(gè)實(shí)現(xiàn)結(jié)果的途徑（特征學(xué)習(xí)）。強(qiáng)化學(xué)習(xí)：一個(gè)計(jì)算機(jī)程序與動(dòng)態(tài)環(huán)境交互，同時(shí)表現(xiàn)出確切目標(biāo)（比如駕駛一輛交通工具或者玩一個(gè)游戲?qū)挂粋€(gè)對(duì)手）。這個(gè)程序的獎(jiǎng)懲機(jī)制會(huì)作為反饋，實(shí)現(xiàn)它在問(wèn)題領(lǐng)域中的導(dǎo)航。76第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)之間的區(qū)別

強(qiáng)化學(xué)習(xí)（reinforcementlearning）與監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)的區(qū)別。沒(méi)有監(jiān)督者，只有獎(jiǎng)勵(lì)信號(hào)反饋是延遲的，不是順時(shí)的時(shí)序性強(qiáng)，不適用于獨(dú)立分布的數(shù)據(jù)自治智能體（agent)的行為會(huì)影響后續(xù)信息的接收77第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)算法提出

思考：五子棋：棋手通過(guò)數(shù)學(xué)公式計(jì)算，發(fā)現(xiàn)位置1比位置2價(jià)值大，這是強(qiáng)化學(xué)習(xí)嗎？這不叫強(qiáng)化學(xué)習(xí)，叫規(guī)劃如果通過(guò)幾次嘗試，走位置1比走位置2贏棋的可能性大，得出經(jīng)驗(yàn)，則為強(qiáng)化學(xué)習(xí)78第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)模型

強(qiáng)化學(xué)習(xí)模型幾個(gè)定義自治智能體Agent學(xué)習(xí)的主體，如小貓、小狗、人、機(jī)器人、控制程序等Agent的特點(diǎn)1、主動(dòng)對(duì)環(huán)境做出試探2、環(huán)境對(duì)試探動(dòng)作反饋是評(píng)價(jià)性的（好或壞）3、在行動(dòng)-評(píng)價(jià)的環(huán)境中獲得知識(shí)，改進(jìn)行動(dòng)方案，達(dá)到預(yù)期目的獎(jiǎng)勵(lì)信號(hào)（rewards）獎(jiǎng)勵(lì)信號(hào)R是一個(gè)標(biāo)量信號(hào)表示agent在步驟T中所產(chǎn)生動(dòng)作好壞Agent的任務(wù)是最大化累積獎(jiǎng)勵(lì)信號(hào)79第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)模型

強(qiáng)化學(xué)習(xí)模型80第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)模型

例子圖中黃點(diǎn)是機(jī)器人，目的是走到綠色的方塊reward+1000，黑色方塊是墻壁，撞到reward-10，紅色方塊是陷阱，撞到reward-1000，其他reward+081第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)模型

82第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)模型

83第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)模型

84第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)基本要素

強(qiáng)化學(xué)習(xí)基本要素及其關(guān)系85第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)基本要素

策略定義了agent在給定時(shí)間內(nèi)的行為方式，一個(gè)策略就是從環(huán)境感知的狀態(tài)到在這些狀態(tài)中可采取動(dòng)作的一個(gè)映射?？赡苁且粋€(gè)查找表，也可能是一個(gè)函數(shù)確定性策略：a=π(s)隨機(jī)策略：π(a∣s)=P[At=a∣St=s]86第六章工業(yè)人工智能——強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)基本要素

策略定義了agent在給定時(shí)間內(nèi)的行為方式，一個(gè)策略就是從環(huán)境感知的狀態(tài)到在這些狀態(tài)中可采取動(dòng)作的一個(gè)映射。可能是一個(gè)查找表，也可能是一個(gè)函數(shù)確定性策略：a=π(s)隨機(jī)策略：π(a∣s)=P[At=a∣St=s]回報(bào)函數(shù)是強(qiáng)化學(xué)習(xí)問(wèn)題中的目標(biāo)，它把環(huán)境中感知到的狀態(tài)映射為單獨(dú)的一個(gè)獎(jiǎng)賞回報(bào)函數(shù)可以作為改變策略的標(biāo)準(zhǔn)值函數(shù)：一個(gè)狀態(tài)起agent所能積累的回報(bào)的總和。在決策和評(píng)價(jià)決策中考慮最多的是值函數(shù)環(huán)境模型模擬了環(huán)境的行為，即給定一個(gè)狀態(tài)和動(dòng)作，模型可以預(yù)測(cè)必定導(dǎo)致的下一個(gè)狀態(tài)和下一個(gè)獎(jiǎng)賞。模型一般用于規(guī)劃規(guī)劃是算出來(lái)的，強(qiáng)化學(xué)習(xí)是試出來(lái)的第六章工業(yè)人工智能876.8卷積神經(jīng)網(wǎng)絡(luò)88第六章工業(yè)人工智能——卷積神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)

89第六章工業(yè)人工智能——卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)提出的背景

大約二三十年前，神經(jīng)網(wǎng)絡(luò)曾經(jīng)是機(jī)器學(xué)習(xí)領(lǐng)域特別熱門的一個(gè)方向，這種基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法比起過(guò)去基于人工規(guī)則的專家系統(tǒng)，在很多方面顯示出優(yōu)越性。90第六章工業(yè)人工智能——卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)提出的背景

但是后來(lái)，因?yàn)槔碚摲治龅碾y度，加上訓(xùn)練方法需要很多經(jīng)驗(yàn)和技巧，以及巨大的計(jì)算量和優(yōu)化求解難度，神經(jīng)網(wǎng)絡(luò)慢慢淡出了科研領(lǐng)域的主流方向。

值得指出的是，神經(jīng)網(wǎng)絡(luò)（如采用誤差反向傳播算法：BackPropagation，簡(jiǎn)稱BP算法，通過(guò)梯度下降方法在訓(xùn)練過(guò)程中修正權(quán)重使得網(wǎng)絡(luò)誤差最小）在層次深的情況下性能變得很不理想（傳播時(shí)容易出現(xiàn)所謂的梯度彌散GradientDiffusion或稱之為梯度消失，根源在于非凸目標(biāo)代價(jià)函數(shù)導(dǎo)致求解陷入局部最優(yōu)，且這種情況隨著網(wǎng)絡(luò)層數(shù)的增加而更加嚴(yán)重，即隨著梯度的逐層不斷消散導(dǎo)致其對(duì)網(wǎng)絡(luò)權(quán)重調(diào)整的作用越來(lái)越小），所以只能轉(zhuǎn)而處理淺層結(jié)構(gòu)（小于等于3），從而限制了性能。91第六章工業(yè)人工智能——卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)提出的背景

于是，20世紀(jì)90年代，有更多各式各樣的淺層模型相繼被提出，比如只有一層隱層節(jié)點(diǎn)的支撐向量機(jī)（SVM，SupportVectorMachine）和Boosting，以及沒(méi)有隱層節(jié)點(diǎn)的最大熵方法（例如LR，LogisticRegression）等，在很多應(yīng)用領(lǐng)域取代了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。

顯然，這些淺層結(jié)構(gòu)算法有很多局限性：在有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類問(wèn)題其泛化能力受到一定的制約。更重要的是，淺層模型有一個(gè)特點(diǎn)，就是需要依靠人工來(lái)抽取樣本的特征。然而，手工地選取特征是一件非常費(fèi)力的事情，能不能選取好很大程度上靠經(jīng)驗(yàn)和運(yùn)氣。

能不能自動(dòng)地學(xué)習(xí)一些特征呢？92第六章工業(yè)人工智能——卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)提出的背景

早在1989年，YannLeCun(現(xiàn)紐約大學(xué)教授)和他的同事們就發(fā)表了卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionNeuralNetworks，簡(jiǎn)稱CNN）的工作。 CNN是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，通常至少有兩個(gè)非線性可訓(xùn)練的卷積層，兩個(gè)非線性的固定卷積層（又叫PoolingLayer）和一個(gè)全連接層，一共至少5個(gè)隱含層。 CNN的結(jié)構(gòu)受到著名的Hubel-Wiesel生物視覺(jué)模型的啟發(fā)，尤其是模擬視覺(jué)皮層V1和V2層中SimpleCell和ComplexCell的行為。93第六章工業(yè)人工智能——卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用

LeNet-5手寫(xiě)數(shù)字識(shí)別94第六章工業(yè)人工智能——卷積神經(jīng)網(wǎng)絡(luò)重點(diǎn)概念

卷積核（卷積濾波器）特征圖（FeatureMap）C層是一個(gè)卷積層：通過(guò)卷積運(yùn)算，可以使原信號(hào)特征增強(qiáng)，并且降低噪音S層是一個(gè)下采樣層：利用圖像局部相關(guān)性的原理，對(duì)圖像進(jìn)行子抽樣，可以減少數(shù)據(jù)處理量同時(shí)保留有用信息F6層是經(jīng)典神經(jīng)網(wǎng)絡(luò)：輸入向量和權(quán)重向量之間的點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個(gè)狀態(tài)。95第六章工業(yè)人工智能——卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的衰落

在很長(zhǎng)時(shí)間里，CNN雖然在小規(guī)模的問(wèn)題上，如手寫(xiě)數(shù)字，取得過(guò)當(dāng)時(shí)世界最好結(jié)果，但一直沒(méi)有取得巨大成功。這主要原因是，CNN在大規(guī)模圖像上效果不好，比如像素很多的自然圖片內(nèi)容理解，所以沒(méi)有得到計(jì)算機(jī)視覺(jué)領(lǐng)域的足夠重視。96第六章工業(yè)人工智能——卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的崛起與應(yīng)用

在2012年10月，GeoffreyHinton和他的兩個(gè)學(xué)生在著名的ImageNet問(wèn)題上用更深的CNN取得世界最好結(jié)果，使得圖像識(shí)別大踏步前進(jìn)。在Hinton的模型里，輸入就是圖像的像素，沒(méi)有用到任何的人工特征。2012年6月，《紐約時(shí)報(bào)》披露了GoogleBrain項(xiàng)目，吸引了公眾的廣泛關(guān)注。這個(gè)項(xiàng)目是由著名的斯坦福大學(xué)的機(jī)器學(xué)習(xí)教授AndrewNg和在大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專家JeffDean共同主導(dǎo)，用16,000個(gè)CPUCore的并行計(jì)算平臺(tái)去訓(xùn)練含有10億個(gè)節(jié)點(diǎn)的深度神經(jīng)網(wǎng)絡(luò)（DNN，DeepNeuralNetworks），使其能夠自我訓(xùn)練，對(duì)2萬(wàn)個(gè)不同物體的1,400萬(wàn)張圖片進(jìn)行辨識(shí)。

在開(kāi)始分析數(shù)據(jù)前，并不需要向系統(tǒng)手工輸入任何諸如“臉、肢體、貓的長(zhǎng)相是什么樣子”這類特征。JeffDean說(shuō)：“我們?cè)谟?xùn)練的時(shí)候從來(lái)不會(huì)告訴機(jī)器：‘這是一只貓’（即無(wú)標(biāo)注樣本）。系統(tǒng)其實(shí)是自己發(fā)明或領(lǐng)悟了‘貓’的概念?！钡诹鹿I(yè)人工智能976.9生成對(duì)抗網(wǎng)絡(luò)98第六章工業(yè)人工智能——生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)概述

生成對(duì)抗網(wǎng)絡(luò)(GenerativeAdversarialNetwork,GAN)是非監(jiān)督學(xué)習(xí)。GAN是IanGoodfellow在2014年提出，作為非監(jiān)督深度學(xué)習(xí)算法推廣。GAN的功能：給定一批樣本，訓(xùn)練一個(gè)系統(tǒng)，能夠生成類似的新樣本。99第六章工業(yè)人工智能——生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)組成

生成對(duì)抗網(wǎng)絡(luò)，由兩個(gè)網(wǎng)絡(luò)組成，即生成器和判別器，生成器用來(lái)建立滿足一定分布的隨機(jī)噪聲和目標(biāo)分布的映射關(guān)系，判別器用來(lái)區(qū)別實(shí)際數(shù)據(jù)分布和生成器產(chǎn)生的數(shù)據(jù)分布。100第六章工業(yè)人工智能——生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)應(yīng)用

101第六章工業(yè)人工智能——生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)應(yīng)用

超分辨率圖像重建102第六章工業(yè)人工智能——生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)應(yīng)用

圖像去雨103第六章工業(yè)人工智能——生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)應(yīng)用

圖像風(fēng)格轉(zhuǎn)移第六章工業(yè)人工智能1046.10循環(huán)神經(jīng)網(wǎng)絡(luò)105第六章工業(yè)人工智能——循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)模型

循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是一種對(duì)序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò)，即一個(gè)序列當(dāng)前的輸出與前面的輸出也有關(guān)。具體的表現(xiàn)形式為網(wǎng)絡(luò)會(huì)對(duì)前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計(jì)算中，即隱藏層之間的節(jié)點(diǎn)不在無(wú)連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時(shí)刻隱藏層的輸出。RNN模型的連接如圖所示。VhUxWUnfoldyt-1VUxt-1ht-1WytxthtVUWWyt+1xt+1ht+1VUWyRNN模型結(jié)構(gòu)圖106第六章工業(yè)人工智能——循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)的基本工作原理

循環(huán)神經(jīng)網(wǎng)絡(luò)的工程原理或是工作過(guò)程其實(shí)就是循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法，一種基于時(shí)間的反向傳播算法BPTT(BachPropagationThroughTime)