第7章群智能優(yōu)化算法與生產(chǎn)調(diào)度2第7章群智能優(yōu)化算法與生產(chǎn)調(diào)度智能優(yōu)化方法中受動物群體智能啟發(fā)的算法稱為群智能算法。本章首先簡要介紹群智能算法產(chǎn)生的背景，然后詳細介紹粒子群優(yōu)化算法、蟻群算法等群智能算法及其應(yīng)用。蜜蜂采蜜路徑優(yōu)化37.1群智能算法的生物學(xué)背景7.2模擬鳥群行為的粒子群優(yōu)化算法7.3粒子群優(yōu)化算法的應(yīng)用7.4模擬蟻群行為的蟻群算法7.5蟻群算法在生產(chǎn)調(diào)度中的應(yīng)用第7章群智能優(yōu)化算法與生產(chǎn)調(diào)度47.1群智能算法的生物學(xué)背景

群智能算法（swarmalgorithms，SI）：受動物群體智能啟發(fā)的算法。群體智能：由簡單個體組成的群落與環(huán)境以及個體之間的互動行為。

群智能算法包括：粒子群優(yōu)化算法、蟻群算法、蜂群算法、……57.1群智能算法的生物學(xué)背景67.1群智能算法的生物學(xué)背景生物層次與仿生智能計算的對應(yīng)關(guān)系77.1群智能算法的生物學(xué)背景7.2模擬鳥群行為的粒子群優(yōu)化算法7.3粒子群優(yōu)化算法的應(yīng)用7.4模擬蟻群行為的蟻群算法7.5蟻群算法在生產(chǎn)調(diào)度中的應(yīng)用第7章群智能優(yōu)化算法與生產(chǎn)調(diào)度87.2模擬鳥群行為的粒子群優(yōu)化算法產(chǎn)生背景：粒子群優(yōu)化（ParticleSwarmOptimization,PSO）算法是由美國普渡大學(xué)的Kennedy和Eberhart于1995年提出，它的基本概念源于對鳥群覓食行為的研究。設(shè)想這樣一個場景：一群鳥在隨機搜尋食物，在這個區(qū)域里只有一塊食物，所有的鳥都不知道食物在哪里，但是它們知道當(dāng)前的位置離食物還有多遠。那么找到食物的最優(yōu)策略是什么呢?最簡單有效的就是搜尋目前離食物最近的鳥的周圍區(qū)域。9基本思想將每個個體看作n維搜索空間中一個沒有體積質(zhì)量的粒子，在搜索空間中以一定的速度飛行，該速度決定粒子飛行的方向和距離。所有粒子有一個由優(yōu)化函數(shù)決定的適應(yīng)值?；驹鞵SO初始化為一群隨機粒子，然后通過迭代找到最優(yōu)解。在每一次迭代中，粒子通過跟蹤兩個“極值”來更新自己。第一個就是粒子本身所找到的最優(yōu)解，這個解稱為個體極值。另個一是整個種群目前找到的最優(yōu)解，這個解稱為全局極值。7.2模擬鳥群行為的粒子群優(yōu)化算法10算法定義在n維連續(xù)搜索空間中，對粒子群中的第i

(i=1,2,,m)個粒子進行定義：●：表示搜索空間中粒子的當(dāng)前位置。●：表示該粒子至今所獲得的具有最優(yōu)適應(yīng)度的位置?！瘢罕硎驹摿Ｗ拥乃阉鞣较?。7.2模擬鳥群行為的粒子群優(yōu)化算法11群體經(jīng)歷過的最優(yōu)位置(gbest)記為

，則基本的PSO算法為：——（6.1a）——（6.1b）其中，

是慣性權(quán)重因子。

1

，

2

是加速度常數(shù)，均為非負值。

和

為[0,a1]、[0,a2]范圍內(nèi)的具有均勻分布的隨機數(shù)，a1

與a2

為相應(yīng)的控制參數(shù)。7.2模擬鳥群行為的粒子群優(yōu)化算法12第1部分是粒子在前一時刻的速度；第2部分為個體“認知”分量，表示粒子本身的思考，將現(xiàn)有的位置和曾經(jīng)經(jīng)歷過的最優(yōu)位置相比。第3部分是群體“社會(social)”分量，表示粒子間的信息共享與相互合作。

1，

2分別控制個體認知分量和群體社會分量相對貢獻的學(xué)習(xí)率。隨機系數(shù)增加搜索方向的隨機性和算法多樣性。7.2模擬鳥群行為的粒子群優(yōu)化算法13

基于學(xué)習(xí)率，，

Kennedy給出以下4種類型的PSO模型：若

1>0，

2>0，則稱該算法為PSO全模型。若

1>0，

2=

0，則稱該算法為PSO認知模型。若

1=0，

2>0，則稱該算法為PSO社會模型。若

1=

0，

2>0且gi，則稱該算法為PSO無私模型。7.2模擬鳥群行為的粒子群優(yōu)化算法14粒子群優(yōu)化算法的流程：（1）初始化每個粒子。在允許范圍內(nèi)隨機設(shè)置每個粒子的初始位置和速度。（2）評價每個粒子的適應(yīng)度。計算每個粒子的目標函數(shù)。（3）設(shè)置每個粒子的。對每個粒子，將其適應(yīng)度與其經(jīng)歷過的最好位置進行比較，如果優(yōu)于，則將其作為該粒子的最好位置。7.2模擬鳥群行為的粒子群優(yōu)化算法15粒子群優(yōu)化算法的流程：（4）設(shè)置全局最優(yōu)值。對每個粒子，將其適應(yīng)度與群體經(jīng)歷過的最好位置進行比較，如果優(yōu)于，則將其作為當(dāng)前群體的最好位置。（5）更新粒子的速度和位置。根據(jù)式（7.20）更新粒子的速度和位置。（6）檢查終止條件。如果未達到設(shè)定條件（預(yù)設(shè)誤差或者迭代的次數(shù)），則返回第（2）步。7.2模擬鳥群行為的粒子群優(yōu)化算法16粒子群優(yōu)化算法流程圖177.1群智能算法的生物學(xué)背景7.2模擬鳥群行為的粒子群優(yōu)化算法7.3粒子群優(yōu)化算法的應(yīng)用7.4模擬蟻群行為的蟻群算法7.5蟻群算法在生產(chǎn)調(diào)度中的應(yīng)用第7章群智能優(yōu)化算法與生產(chǎn)調(diào)度187.3粒子群優(yōu)化算法的應(yīng)用（1）神經(jīng)網(wǎng)絡(luò)訓(xùn)練（7）經(jīng)濟領(lǐng)域（2）化工系統(tǒng)領(lǐng)域（8）圖像處理領(lǐng)域（3）電力系統(tǒng)領(lǐng)域（9）生物信息領(lǐng)域（4）機械設(shè)計領(lǐng)域（10）醫(yī)學(xué)領(lǐng)域（5）通訊領(lǐng)域（11）運籌學(xué)領(lǐng)域（6）機器人領(lǐng)域………….粒子群優(yōu)化算法已在諸多領(lǐng)域得到應(yīng)用，歸納如下：197.1群智能算法的生物學(xué)背景7.2模擬鳥群行為的粒子群優(yōu)化算法7.3粒子群優(yōu)化算法的應(yīng)用7.4模擬蟻群行為的蟻群算法7.5蟻群算法在生產(chǎn)調(diào)度中的應(yīng)用第7章群智能優(yōu)化算法與生產(chǎn)調(diào)度20●

20世紀90年代初，意大利科學(xué)家MarcoDorigo等受螞蟻覓食行為的啟發(fā)，提出蟻群算法(AntColonyOptimization，ACO)。7.4.1蟻群算法的生物學(xué)背景21基本思想●信息素跟蹤：按照一定的概率沿著信息素較強的路徑覓食?！裥畔⑺剡z留：會在走過的路上會釋放信息素，使得在一定的范圍內(nèi)的其他螞蟻能夠覺察到并由此影響它們的行為。7.4.1蟻群算法的生物學(xué)背景22

（1）環(huán)境：有障礙物、有其他螞蟻、有信息素。（2）覓食規(guī)則：范圍內(nèi)尋找是否有食物，否則看是否有信息素，每只螞蟻都會以小概率犯錯。（3）移動規(guī)則：都朝信息素最多的方向移動，無信息素則繼續(xù)朝原方向移動，且有隨機的小的擾動，有記憶性。（4）避障規(guī)則：移動的方向如有障礙物擋住，螞蟻會隨機選擇另一個方向。（5）信息素規(guī)則：越靠近食物播撒的信息素越多，越離開食物播撒的信息素越少。7.4.1蟻群算法的生物學(xué)背景237.4.2基本蟻群優(yōu)化算法蟻群優(yōu)化算法的第一個應(yīng)用是著名的旅行商問題。旅行商問題闡明

蟻群系統(tǒng)模型旅行商問題（TravelingSalesmanProblem，TSP）：在尋求單一旅行者由起點出發(fā)，通過所有給定的需求點之后，最后再回到原點的最小路徑成本。螞蟻搜索食物的過程：通過個體之間的信息交流與相互協(xié)作最終找到從蟻穴到食物源的最短路徑。24蟻群系統(tǒng)的模型7.4.2基本蟻群優(yōu)化算法

m是蟻群中螞蟻的數(shù)量表示元素(城市)和元素(城市)之間的距離

表示能見度，稱為啟發(fā)信息函數(shù)，等于距離

的倒數(shù)，即

表示t時刻位于城市x的螞蟻的個數(shù)，

表示t時刻在xy連線上殘留的信息素，初始時

刻，各條路徑上的信息素相等即

螞蟻k在運動過程中，根據(jù)各條路徑上的信息素決定轉(zhuǎn)移方向。257.4.2基本蟻群優(yōu)化算法

表示在t時刻螞蟻k選擇從元素(城市)x轉(zhuǎn)移到元素(城市)y的概率，也稱為隨機比例規(guī)則。信息素共同決定局部啟發(fā)信息蟻群系統(tǒng)的模型267.4.2基本蟻群優(yōu)化算法

表示如下：

（7.2）其中：

表示螞蟻k下一步允許選擇的城市

記錄螞蟻k當(dāng)前所走過的城市

是信息素啟發(fā)式因子，表示軌跡的相對重要性277.4.2基本蟻群優(yōu)化算法

表示如下：

（6.2）其中：

值越大該螞蟻越傾向于選擇其它螞蟻經(jīng)過的路徑，該狀態(tài)轉(zhuǎn)移概率越接近于貪婪規(guī)則。當(dāng)

=0時不再考慮信息素水平，算法就成為有多重起點的隨機貪婪算法。當(dāng)=0時算法就成為純粹的正反饋的啟發(fā)式算法。287.4.2基本蟻群優(yōu)化算法用參數(shù)1-

表示信息素消逝程度，螞蟻完成一次循環(huán)，各路徑上信息素濃度消散規(guī)則為：

（7.3）蟻群的信息素濃度更新規(guī)則為：（7.4）M.Dorigo給出

的三種不同模型29螞蟻圈系統(tǒng)（Ant-cycleSystem）7.4.2基本蟻群優(yōu)化算法單只螞蟻所訪問路徑上的信息素濃度更新規(guī)則為：

（7.5）其中：

為當(dāng)前路徑上的信息素

為路徑（x,y）上信息素的增量

第k只螞蟻留在路徑（x,y）上的信息素的增量Q為常數(shù)Lk

為優(yōu)化問題的目標函數(shù)值，表示第k只螞蟻在本次循環(huán)中所走路徑的長度302.螞蟻數(shù)量系統(tǒng)（Ant-quantitySystem）7.4.2基本蟻群優(yōu)化算法

（7.6）3.螞蟻密度系統(tǒng)（Ant-densitySystem）

（7.7）317.4.2基本蟻群優(yōu)化算法螞蟻圈系統(tǒng)利用的是全局信息

，即螞蟻完成一個循環(huán)后，更新所有路徑上的信息。螞蟻數(shù)量系統(tǒng)利用的是局部信息

，即螞蟻每走一步都要更新殘留信息素的濃度。螞蟻密度系統(tǒng)利用的是局部信息

，即螞蟻每走一步都要更新殘留信息素的濃度。三種模型比較效果最好，通常作為蟻群優(yōu)化算法的基本模型。327.1群智能算法的生物學(xué)背景7.2模擬鳥群行為的粒子群優(yōu)化算法7.3粒子群優(yōu)化算法的應(yīng)用7.4模擬蟻群行為的蟻群算法7.5蟻群算法在生產(chǎn)調(diào)度中的應(yīng)用第7章群智能優(yōu)化算法與生產(chǎn)調(diào)度337.5蟻群算法在生產(chǎn)調(diào)度中的應(yīng)用例7.1柔性作業(yè)車間調(diào)度問題：某加工系統(tǒng)有6臺機床，要加工4個工件，每個工件有3道工序，如表7.1所示。34表7.1柔性作業(yè)車間調(diào)度事例7.5蟻群算法在生產(chǎn)調(diào)度中的應(yīng)用35圖7.5最優(yōu)解甘特圖由圖7.5可以看出機器6并沒有加工任何工件。分析其原因為它雖然可以加工工序p23

，p33

，p42

，p43

但從表7.5可知機器6的加工時間大于其他可加工機器，特別是

p23

，p33的加工時間，因此機器6并未分到任何加工任務(wù)。7.5蟻群算法在生產(chǎn)調(diào)度中的應(yīng)用36圖7.6歷代最優(yōu)解收斂圖由圖6.6可知，算法在大約30代以前就收斂到最優(yōu)解，且各代最優(yōu)解相差不大，可見算法較為穩(wěn)定。7.5蟻群算法在生產(chǎn)調(diào)度中的應(yīng)用37IntroductionofArtificialIntelligenceTHEEND第8章機器學(xué)習(xí)及其應(yīng)用39第8章機器學(xué)習(xí)及其應(yīng)用機器學(xué)習(xí)是人工智能中最具智能特征、最前沿的研究領(lǐng)域，取得了許多舉世矚目的應(yīng)用成果。機器學(xué)習(xí)是專家系統(tǒng)的核心，已經(jīng)應(yīng)用到數(shù)學(xué)、物理、化學(xué)、醫(yī)學(xué)、地質(zhì)、氣象、農(nóng)業(yè)、法律、教育、交通運輸、機械、藝術(shù)、以及計算機科學(xué)本身，甚至滲透到政治、經(jīng)濟、軍事等重大決策部門，產(chǎn)生了巨大的社會效益和經(jīng)濟效益。本章首先介紹機器學(xué)習(xí)的基本概念與分類，特別是介紹監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)的概念，然后簡要介紹線性回歸、K-近鄰、決策樹、支持向量機和K均值聚類等幾種常用的經(jīng)典機器學(xué)習(xí)算法。最后介紹專家系統(tǒng)的基本概念、工作原理和建立專家系統(tǒng)的基本方法。408.1機器學(xué)習(xí)的基本概念8.2機器學(xué)習(xí)的分類8.3機器學(xué)習(xí)的數(shù)據(jù)準備8.4線性回歸機器學(xué)習(xí)算法8.5K-近鄰機器學(xué)習(xí)算法8.6決策樹機器學(xué)習(xí)算法8.7支持向量機8.8K均值聚類算法第8章機器學(xué)習(xí)及其應(yīng)用41

機器學(xué)習(xí)：機器學(xué)習(xí)（Machinelearning）使計算機能模擬人的學(xué)習(xí)行為，自動地通過學(xué)習(xí)來獲取知識和技能，不斷改善性能，實現(xiàn)自我完善。

8.1機器學(xué)習(xí)的基本概念機器學(xué)習(xí)主要研究以下三方面問題：（1）學(xué)習(xí)機理：人類獲取知識、技能和抽象概念的天賦能力。（2）學(xué)習(xí)方法：機器學(xué)習(xí)方法的構(gòu)造是在對生物學(xué)習(xí)機理進行簡化的基礎(chǔ)上，用計算的方法進行再現(xiàn)。

（3）學(xué)習(xí)系統(tǒng)：能夠在一定程度上實現(xiàn)機器學(xué)習(xí)的系統(tǒng)。8.1.2機器學(xué)習(xí)42一個學(xué)習(xí)系統(tǒng)一般應(yīng)該有環(huán)境、學(xué)習(xí)、知識庫、執(zhí)行與評價等四個基本部分組成。8.1機器學(xué)習(xí)的基本概念8.1.3機器學(xué)習(xí)系統(tǒng)438.1機器學(xué)習(xí)的基本概念8.2機器學(xué)習(xí)的分類8.3機器學(xué)習(xí)的數(shù)據(jù)準備8.4線性回歸機器學(xué)習(xí)算法8.5K-近鄰機器學(xué)習(xí)算法8.6決策樹機器學(xué)習(xí)算法8.7支持向量機8.8K均值聚類算法第8章機器學(xué)習(xí)及其應(yīng)用Char6pp.448.2.1機器學(xué)習(xí)的一般分類方法1.按學(xué)習(xí)方法分類（溫斯頓，1977

）機械式學(xué)習(xí)、指導(dǎo)式學(xué)習(xí)、示例學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)等。2.按學(xué)習(xí)能力分類：監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）Char6pp.45按學(xué)習(xí)能力分類：強化學(xué)習(xí)（再勵學(xué)習(xí)或增強學(xué)習(xí)）8.2.1機器學(xué)習(xí)的一般分類方法Char6pp.46按學(xué)習(xí)能力分類：非監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）8.2.1機器學(xué)習(xí)的一般分類方法47Char6pp.473.按推理方式分類：基于演繹的學(xué)習(xí)（解釋學(xué)習(xí)）?；跉w納的學(xué)習(xí)（示例學(xué)習(xí)、發(fā)現(xiàn)學(xué)習(xí)等）。4.按綜合屬性分類：歸納學(xué)習(xí)、分析學(xué)習(xí)、連接學(xué)習(xí)、遺傳式學(xué)習(xí)等。8.2.1機器學(xué)習(xí)的一般分類方法48488.2.2監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)1.監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）圖靈獎得主楊立昆（YannLeCun）著名的比喻：假設(shè)機器學(xué)習(xí)是一個蛋糕，強化學(xué)習(xí)是蛋糕上的一粒櫻桃，監(jiān)督學(xué)習(xí)是外面的一層糖衣，無監(jiān)督學(xué)習(xí)才是蛋糕坯。498.2.2監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)2.無監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）2015年，圖靈獎得主楊立昆（YannLeCun）等在Nature撰文：無監(jiān)督學(xué)習(xí)對于重新掀起深度學(xué)習(xí)的熱潮起到了促進作用。508.2.3弱監(jiān)督學(xué)習(xí)●弱監(jiān)督學(xué)習(xí)中的數(shù)據(jù)標簽允許是不完全的，即訓(xùn)練集中只有一部分數(shù)據(jù)是有標簽的，而其余的數(shù)據(jù)甚至是絕大部分數(shù)據(jù)是沒有標簽的?！袢醣O(jiān)督學(xué)習(xí)涵蓋的范圍很廣泛，可以說只要標注信息是不完全、不確切或者不精確的標記學(xué)習(xí)都可以看做是弱監(jiān)督學(xué)習(xí)?！裣旅鎯H介紹半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)和強化學(xué)習(xí)這三種典型的弱監(jiān)督學(xué)習(xí)。父母如何教嬰兒認識汽車？518.2.3弱監(jiān)督學(xué)習(xí)1.半監(jiān)督學(xué)習(xí)：只有少量有標注的數(shù)據(jù)，還有大量未標注的數(shù)據(jù)可供使用。2.遷移學(xué)習(xí)：將已經(jīng)學(xué)習(xí)過的知識遷移應(yīng)用到新的問題中。

①樣本遷移

②特征遷移

③模型遷移528.2.3弱監(jiān)督學(xué)習(xí)3.強化學(xué)習(xí)（再勵學(xué)習(xí)）

強化學(xué)習(xí)中外部環(huán)境對系統(tǒng)輸出結(jié)果只給出評價信息（獎勵或者懲罰），而不是正確答案，學(xué)習(xí)系統(tǒng)通過那些受懲的動作改善自身的性能。馬戲團的動物是如何學(xué)習(xí)的？537.1.5

深度學(xué)習(xí)2006年7月，加拿大多倫多大學(xué)教授GeoffreyHinton和他的學(xué)生RuslanSalakhutdinov在《科學(xué)》上發(fā)表的文章，提出深度學(xué)習(xí)（DeepLearning，DL），通過無監(jiān)督學(xué)習(xí)實現(xiàn)“逐層初始化”（layer-wisepre-training），有效克服深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，掀起了深度學(xué)習(xí)的浪潮。與人工規(guī)則構(gòu)造特征的方法相比，深度學(xué)習(xí)利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。深度神經(jīng)網(wǎng)絡(luò)具有很多隱層，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，所以深度學(xué)習(xí)使分類或預(yù)測更加容易。548.1機器學(xué)習(xí)的基本概念8.2機器學(xué)習(xí)的分類8.3機器學(xué)習(xí)的數(shù)據(jù)準備8.4線性回歸機器學(xué)習(xí)算法8.5K-近鄰機器學(xué)習(xí)算法8.6決策樹機器學(xué)習(xí)算法8.7支持向量機8.8K均值聚類算法第8章機器學(xué)習(xí)及其應(yīng)用558.1機器學(xué)習(xí)的基本概念8.2機器學(xué)習(xí)的分類8.3機器學(xué)習(xí)的數(shù)據(jù)準備8.4線性回歸機器學(xué)習(xí)算法8.5K-近鄰機器學(xué)習(xí)算法8.6決策樹機器學(xué)習(xí)算法8.7支持向量機8.8K均值聚類算法第8章機器學(xué)習(xí)及其應(yīng)用568.4線性回歸機器學(xué)習(xí)算法線性回歸（LinearRegression）是利用數(shù)理統(tǒng)計中回歸分析的方法，確定兩種或者兩種以上變量之間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法，屬于監(jiān)督學(xué)習(xí)。線性回歸的模型是一個超平面，即設(shè)系統(tǒng)輸入輸出關(guān)系為：設(shè)對輸入、輸出進行m次觀測得到的數(shù)據(jù)為{x(i)，x(i)，…,x(i)，y(i)}，i=1,2,…,m問題：怎樣根據(jù)觀測數(shù)據(jù)估計系統(tǒng)參數(shù)。最小二乘法（一次完成法）：性能指標：57最小二乘法的應(yīng)用：

例8.1合成纖維抽絲工段，導(dǎo)絲盤的速度是影響絲的質(zhì)量的重要參數(shù)，它和電流周波數(shù)有重要關(guān)系，由生產(chǎn)記錄得到的數(shù)據(jù)如表8.1所示導(dǎo)絲盤的速度和電流周波數(shù)的關(guān)系為：最小二乘估計：8.4線性回歸機器學(xué)習(xí)算法周波數(shù)x49.250.049.349.049.049.549.849.950.250.2導(dǎo)絲盤速度y16.717.016.816.616.716.816.917.017.017.158最小二乘法的應(yīng)用：

例8.2鋼包容積和使用次數(shù)的數(shù)學(xué)模型。導(dǎo)絲盤的速度和電流周波數(shù)的關(guān)系為：最小二乘估計：8.4線性回歸機器學(xué)習(xí)算法x23456789y6.428.209.589.509.7010.009.939.99x10111213141516

y10.4910.5910.6010.8010.6010.9010.76

598.1機器學(xué)習(xí)的基本概念8.2機器學(xué)習(xí)的分類8.3機器學(xué)習(xí)的數(shù)據(jù)準備8.4線性回歸機器學(xué)習(xí)算法8.5K-近鄰機器學(xué)習(xí)算法8.6決策樹機器學(xué)習(xí)算法8.7支持向量機8.8K均值聚類算法第8章機器學(xué)習(xí)及其應(yīng)用608.5K-近鄰機器學(xué)習(xí)算法K近鄰（K-NearestNeighbor,KNN）算法是最簡單的有監(jiān)督機器學(xué)習(xí)算法之一，適用于多分類問題。KNN分類本質(zhì)是近朱者赤，近墨者黑：待分類數(shù)據(jù)的特征接近“朱”色的特征，就歸入“赤”類；待分類數(shù)據(jù)的特征接近“墨”色的特征，就歸入“黑”類。K-近鄰基本算法：給定一個訓(xùn)練樣本集合，計算待分類樣本和訓(xùn)練集中所有數(shù)據(jù)點的距離，將距離從小到大排列然后取前K個數(shù)據(jù)點，將前K個數(shù)據(jù)點中數(shù)量最多的類別作為待分類樣本的類別。相似度定義為：歐式距離：曼哈頓距離：618.5K-近鄰機器學(xué)習(xí)算法例8.3已知9個學(xué)生的課程成績、社會實踐考核、計算機成績、英語成績和就業(yè)企業(yè)類型如右表所示。現(xiàn)在根據(jù)10號學(xué)生的各科成績預(yù)測他的就業(yè)企業(yè)類型。利用sim(x,y)計算10號（82,65,68,65）與前9個學(xué)生的成績的相似度，然后將比對結(jié)果從小到大進行排序如下表所示。學(xué)生序號課程成績社會實踐考核計算機成績英語成績就業(yè)企業(yè)類型192659185外企291959195外企365658085私企476857265私企565656665國企666959365私企768908065私企887907395外企965758585外企1082656865？學(xué)生序號類別10號與其余學(xué)生成績相似度6私企0.97099外企0.98067私企0.98093私企0.98158外企0.98944私企0.99112外企0.99321外企0.99385國企0.9948如果K值取1：則10號學(xué)生就業(yè)企業(yè)類型和6號最相似，所以10號學(xué)生就業(yè)企業(yè)類型確定為私企；如果K值取3：因為前3個學(xué)生就業(yè)的企業(yè)中有兩個是私企，所以10號學(xué)生就業(yè)企業(yè)類型確定為私企；如果K值取5：因為前3個私企2個外企，10號學(xué)生確定為私企。628.1機器學(xué)習(xí)的基本概念8.2機器學(xué)習(xí)的分類8.3機器學(xué)習(xí)的數(shù)據(jù)準備8.4線性回歸機器學(xué)習(xí)算法8.5K-近鄰機器學(xué)習(xí)算法8.6決策樹機器學(xué)習(xí)算法8.7支持向量機8.8K均值聚類算法第8章機器學(xué)習(xí)及其應(yīng)用63決策樹(decisiontree)代表對象屬性與對象值之間的一種映射關(guān)系，是一類基于樹結(jié)構(gòu)進行決策的常見監(jiān)督學(xué)習(xí)方法。一棵決策樹一般包含一個根結(jié)點、若干個內(nèi)部結(jié)點和若干個葉結(jié)點。其中每個內(nèi)部節(jié)點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節(jié)點代表一種類別。在決策樹基本算法中，有三種情形會導(dǎo)致遞歸返回：無需劃分：當(dāng)前結(jié)點包含的樣本全屬于同一類別無法劃分：當(dāng)前屬性集為空或是所有樣本在所有屬性上取值相同不能劃分：當(dāng)前結(jié)點包含的樣本集合為空8.6決策樹機器學(xué)習(xí)算法648.6決策樹機器學(xué)習(xí)算法例8.4水果數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)如表8.5所示，每一行代表一個樣本點，從顏色、形狀、大小三方面的特征來描述水果的類別。構(gòu)造決策樹對不同的樣本進行分類。編號顏色形狀大小類別1紅球一般蘋果2黃彎月一般香蕉3紅球輕櫻桃4綠橢球重西瓜5桔黃球一般橘子658.1機器學(xué)習(xí)的基本概念8.2機器學(xué)習(xí)的分類8.3機器學(xué)習(xí)的數(shù)據(jù)準備8.4線性回歸機器學(xué)習(xí)算法8.5K-近鄰機器學(xué)習(xí)算法8.6決策樹機器學(xué)習(xí)算法8.7支持向量機8.8K均值聚類算法第8章機器學(xué)習(xí)及其應(yīng)用661995年，CorinnaCortes和VladimirVapnik提出了用于分類任務(wù)的支持向量機（supportvectormachine，SVM），屬于監(jiān)督學(xué)習(xí)算法。SVM是一種非概率二元線性分類器，基本思想是創(chuàng)建一個超平面將訓(xùn)練樣本劃分成兩類，并盡可能最大化兩個類別之間的間隔。8.7支持向量機67SVM模型是將實例表示為空間中的點，這樣映射就使得單獨類別的實例被盡可能大的間隔分開。然后，將新的實例映射到同一空間，并基于它們落在間隔的哪一側(cè)來預(yù)測所屬類別。線性SVM模型是一種二類分類模型，是特征空間上的間隔最大的線性分類器，即支持向量機的學(xué)習(xí)策略便是間隔最大化，最終可轉(zhuǎn)化為一個凸二次規(guī)劃問題的求解。在現(xiàn)實任務(wù)中原始樣本空間內(nèi)可能并不存在一個能正確劃分兩類樣本的超平面（直線），將圖中的實心樣本和空心樣本分開。8.7支持向量機68在現(xiàn)實任務(wù)中原始樣本空間內(nèi)可能并不存在一個能正確劃分兩類樣本的超平面（直線），將圖中的實心樣本和空心樣本分開。為了解決這類線性不可分問題，提出了諸多的解決辦法，其中一個最重要的方法是核函數(shù)方法。8.7支持向量機核函數(shù)方法是通過選擇一個核函數(shù)將數(shù)據(jù)映射到高維空間，使得在高維屬性空間中有可能將訓(xùn)練數(shù)據(jù)實現(xiàn)超平面的分割。核函數(shù)方法在當(dāng)代的機器學(xué)習(xí)任務(wù)中有非常廣泛的應(yīng)用。698.1機器學(xué)習(xí)的基本概念8.2機器學(xué)習(xí)的分類8.3機器學(xué)習(xí)的數(shù)據(jù)準備8.4線性回歸機器學(xué)習(xí)算法8.5K-近鄰機器學(xué)習(xí)算法8.6決策樹機器學(xué)習(xí)算法8.7支持向量機8.8K均值聚類算法第8章機器學(xué)習(xí)及其應(yīng)用70聚類是無監(jiān)督學(xué)習(xí)中最重要的一類算法，具有非常廣泛的應(yīng)用。數(shù)據(jù)聚類是通過對無標記訓(xùn)練樣本的學(xué)習(xí)，將樣本點劃分成若干類，使得屬于同一類的樣本點非常相似，而屬于不同類的樣本點不相似。聚類是將樣本集分為若干互不相交的子集，即樣本簇。聚類算法的目標希望同一簇的樣本盡可能彼此相似，即具有較高的類內(nèi)相似度，同時不同簇的樣本盡可能不同，即簇間的相似度低。應(yīng)用最廣泛的是K-均值（K-means)聚類算法。8.8K-均值聚類算法71K-均值聚類算法核心思想：如果將一組數(shù)據(jù)集聚成K類，則先隨機地選取K個質(zhì)心，然后計算每個樣本到K個質(zhì)心的距離，將對應(yīng)的樣本分到最近的類中，然后計算各個類的平均值，重新確定各個類的質(zhì)心。迭代這個過程，直到質(zhì)心不再變化。對于給定樣本集合，K-均值算法的目標函數(shù)是使得聚類簇內(nèi)的平方誤差最小化，即8.8K-均值聚類算法72K-均值算法的求解通常采用貪心策略，通過迭代的方法實現(xiàn)。K-均值算法首先隨機選擇K個向量作為初始均值向量，然后是迭代過程，根據(jù)均值向量將樣本劃分到距離最近的均值向量所在的簇中，劃分完成之后更新的均值向量，直到迭代完成。主要特點：K-均值算法對參數(shù)的選擇比較敏感，不同的初始位置或者類別數(shù)量的選擇往往會導(dǎo)致完全不同的結(jié)果。K-均值算法得到的結(jié)果可能和我們的預(yù)期會有很大的不同。一般通過設(shè)置不同的模型參數(shù)和初始位置來實現(xiàn)，從而給模型學(xué)習(xí)帶來很大不確定性。K-均值算法時間復(fù)雜度近于線性，適合挖掘大規(guī)模數(shù)據(jù)集。K的數(shù)量是模糊的,通常可以隨機選取，或者也有一定的選取策略如肘部法預(yù)估K值等。8.8K-均值聚類算法73THEENDIntroductionofArtificialIntelligence第9章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制75第9

章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制人工神經(jīng)網(wǎng)絡(luò)（ANN）是一個用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡(luò)，是對人腦或生物神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。神經(jīng)網(wǎng)絡(luò)理論目前已經(jīng)在模式識別、機器視覺、語音識別、機器翻譯、圖像處理、聯(lián)想記憶、自動控制、信號處理、軟測量、決策分析、智能計算、組合優(yōu)化問題求解、數(shù)據(jù)挖掘等方面獲得成功應(yīng)用。本章首先介紹人工神經(jīng)元以及人工神經(jīng)網(wǎng)絡(luò)的基本概念，然后介紹Hebb學(xué)習(xí)規(guī)則和感知器，然后著重介紹BP神經(jīng)網(wǎng)絡(luò)及其應(yīng)用，也作為下一章介紹深度學(xué)習(xí)奠定基礎(chǔ)。最后介紹基于人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識和自動控制方法。76●神經(jīng)網(wǎng)絡(luò)（neuralnetworks，NN）19世紀末20世紀初，西班牙神經(jīng)解破學(xué)家卡哈爾，在意大利醫(yī)學(xué)家高爾基發(fā)現(xiàn)神經(jīng)細胞的基礎(chǔ)上，描繪了神經(jīng)元的組織結(jié)構(gòu)和它們之間的聯(lián)系。人類大腦的活動是由這種聯(lián)系產(chǎn)生的。為此，1906年他們共同獲得了諾貝爾生理學(xué)或醫(yī)學(xué)獎。第9

章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制77●神經(jīng)網(wǎng)絡(luò)（neuralnetworks，NN）●

生物神經(jīng)網(wǎng)絡(luò)(naturalneuralnetwork,NNN):由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺神經(jīng)、運動神經(jīng)等）所構(gòu)成的錯綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，其中最重要的是腦神經(jīng)系統(tǒng)?！袢斯ど窠?jīng)網(wǎng)絡(luò)(artificialneuralnetworks,ANN):模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡(luò)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)方法：隱式的知識表示方法第9

章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制789.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)9.2機器學(xué)習(xí)的先驅(qū)——赫布學(xué)習(xí)規(guī)則9.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器9.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法9.5BP學(xué)習(xí)算法在模式識別中的應(yīng)用9.6基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識9.7基于神經(jīng)網(wǎng)絡(luò)的軟測量9.8基于神經(jīng)網(wǎng)絡(luò)的控制第9

章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制799.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)9.1.1生物神經(jīng)元的結(jié)構(gòu)9.1.2生物神經(jīng)元數(shù)學(xué)模型9.1.3人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)809.1.1生物神經(jīng)元的結(jié)構(gòu)●人腦由一千多億（1011億－1014億）個神經(jīng)細胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。●神經(jīng)元約有1000種類型，每個神經(jīng)元大約與103－104個其他神經(jīng)元相連接，形成極為錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。●人腦構(gòu)造:

皮層（cortex）中腦（midbrain）腦干（brainstem）小腦（cerebellum）819.1.1生物神經(jīng)元的結(jié)構(gòu)1.生物神經(jīng)元結(jié)構(gòu)

（輸入）（輸出）軸突樹突細胞體突觸神經(jīng)細胞利用電-化學(xué)過程交換信號829.1.1生物神經(jīng)元的結(jié)構(gòu)

●工作狀態(tài)：

興奮狀態(tài)：細胞膜電位>

動作電位的閾值→神經(jīng)沖動

抑制狀態(tài)：細胞膜電位<動作電位的閾值

●學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強和減弱

。839.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)9.1.1生物神經(jīng)元的結(jié)構(gòu)9.1.2生物神經(jīng)元的數(shù)學(xué)模型9.1.3人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)842.人工神經(jīng)元模型

神經(jīng)網(wǎng)絡(luò)的開端：1943年，麥克洛奇和皮茲提出M－P模型?！?1（權(quán)重/突觸）（細胞體）（閾值）（神經(jīng)沖動）人工神經(jīng)元i的模型圖激勵函數(shù)9.1.2生物神經(jīng)元的數(shù)學(xué)模型859.1.2生物神經(jīng)元的數(shù)學(xué)模型一般模型：869.1.2生物神經(jīng)元數(shù)學(xué)模型●非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（硬極限函數(shù)或階躍函數(shù)）（對稱硬極限函數(shù)）879.1.2生物神經(jīng)元數(shù)學(xué)模型●非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（對數(shù)-S形函數(shù)或S型函數(shù)）（雙曲正切S形函數(shù)）889.1.2生物神經(jīng)元數(shù)學(xué)模型Sigmoid函數(shù)的缺點：在輸入的絕對值大于某個閾值后，過快進入飽和狀態(tài)（即函數(shù)值趣于1或者-1，而不再有顯著的變化），出現(xiàn)梯度消失情況,即梯度會趨于0，在實際模型訓(xùn)練中會導(dǎo)致模型收斂緩慢，性能不夠理想。（3）ReLU函數(shù)899.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)9.1.1生物神經(jīng)元的結(jié)構(gòu)9.1.2生物神經(jīng)元的數(shù)學(xué)模型9.1.3人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)901.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（1）前饋型（前向型）

9.1.3人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與學(xué)習(xí)91

1.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（2）反饋型（Hopfield神經(jīng)網(wǎng)絡(luò)）9.1.3人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與學(xué)習(xí)922.人工神經(jīng)網(wǎng)絡(luò)的工作方式●同步（并行）方式：任一時刻神經(jīng)網(wǎng)絡(luò)中所有神經(jīng)元同時調(diào)整狀態(tài)?！癞惒剑ù校┓绞剑喝我粫r刻只有一個神經(jīng)元調(diào)整狀態(tài)，而其它神經(jīng)元的狀態(tài)保持不變。3.人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)●神經(jīng)網(wǎng)絡(luò)方法是一種知識表示方法和推理方法?！裆窠?jīng)網(wǎng)絡(luò)的學(xué)習(xí)是指調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值或者結(jié)構(gòu)，使輸入輸出具有需要的特性。9.1.3人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與學(xué)習(xí)939.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)9.2機器學(xué)習(xí)的先驅(qū)——赫布學(xué)習(xí)規(guī)則9.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器9.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法9.5BP學(xué)習(xí)算法在模式識別中的應(yīng)用9.6基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識9.7基于神經(jīng)網(wǎng)絡(luò)的軟測量9.8基于神經(jīng)網(wǎng)絡(luò)的控制第9

章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制949.2機器學(xué)習(xí)的先驅(qū)——赫布學(xué)習(xí)規(guī)則●1944年赫布（Hebb）提出了改變神經(jīng)元連接強度的Hebb學(xué)習(xí)規(guī)則?！馠ebb學(xué)習(xí)規(guī)則：當(dāng)某一突觸兩端的神經(jīng)元同時處于興奮狀態(tài)，那么該連接的權(quán)值應(yīng)該增強。959.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)9.2機器學(xué)習(xí)的先驅(qū)——赫布學(xué)習(xí)規(guī)則9.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器9.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法9.5BP學(xué)習(xí)算法在模式識別中的應(yīng)用9.6基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識9.7基于神經(jīng)網(wǎng)絡(luò)的軟測量9.8基于神經(jīng)網(wǎng)絡(luò)的控制第9

章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制961957年，美國康奈爾大學(xué)的實驗心理學(xué)家、計算科學(xué)家弗蘭克·羅森布拉特，受Hebb學(xué)習(xí)規(guī)則啟發(fā)，提出了感知器（Perceptron），兩年后在IBM-704計算機上實現(xiàn)了能夠識別一些英文字母基于感知器的神經(jīng)計算機Mark1，于1960.6.23展示。9.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器保羅·沃波斯97感知器存在兩個關(guān)鍵問題難以解決：（1）單層神經(jīng)網(wǎng)絡(luò)無法解決不可線性分割的問題，例如無法實現(xiàn)簡單的異或門電路（XORCircuit）。（2）利用當(dāng)時最先進的計算機也沒有足夠計算力，完成多層感知器訓(xùn)練所需的超大計算量。9.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器保羅·沃波斯989.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)9.2機器學(xué)習(xí)的先驅(qū)——赫布學(xué)習(xí)規(guī)則9.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器9.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法9.5BP學(xué)習(xí)算法在模式識別中的應(yīng)用9.6基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識9.7基于神經(jīng)網(wǎng)絡(luò)的軟測量9.8基于神經(jīng)網(wǎng)絡(luò)的控制第9

章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制991974年，哈佛大學(xué)博士生保羅·沃波斯(PaulWerbos)在博士論文《ParallelDistributedProcessing》中證明，在感知器神經(jīng)網(wǎng)絡(luò)中再多加一層，并利用誤差的反向傳播（BackPropagation，簡稱BP）來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，可以解決XOR問題。9.4.1BP學(xué)習(xí)算法的提出保羅·沃波斯保羅·沃波斯：Werbos獲得神經(jīng)網(wǎng)絡(luò)先驅(qū)獎，曾任ISSN主席、IEEEtnn主編和美國自然科學(xué)基金委員會信息學(xué)部主任。1001985年，加拿大多倫多大學(xué)教授辛頓和魯梅爾哈特等重新設(shè)計了BP學(xué)習(xí)算法，1986年，發(fā)表了具有里程碑意義的經(jīng)典論文：通過誤差反向傳播學(xué)習(xí)表示，實現(xiàn)了Minsky多層感知器的設(shè)想。9.4.1BP學(xué)習(xí)算法的提出保羅·沃波斯BP學(xué)習(xí)算法喚醒了沉睡多年的人工智能研究，又一次掀起了神經(jīng)網(wǎng)絡(luò)高潮。1019.4.2BP神經(jīng)網(wǎng)絡(luò)

1.BP網(wǎng)絡(luò)結(jié)構(gòu)

1029.4.2BP神經(jīng)網(wǎng)絡(luò)

2.輸入輸出變換關(guān)系

1039.4.2BP神經(jīng)網(wǎng)絡(luò)3.工作過程

第一階段或網(wǎng)絡(luò)訓(xùn)練階段：

N組輸入輸出樣本：xi=[xi1,xi2,…,xip1]Tdi=[di1,di2,…,dipm]T

i=1,2,…,N

對網(wǎng)絡(luò)的連接權(quán)進行學(xué)習(xí)和調(diào)整，以使該網(wǎng)絡(luò)實現(xiàn)給定樣本的輸入輸出映射關(guān)系。

第二階段或稱工作階段：把實驗數(shù)據(jù)或?qū)嶋H數(shù)據(jù)輸入到網(wǎng)絡(luò)，網(wǎng)絡(luò)在誤差范圍內(nèi)預(yù)測計算出結(jié)果。

104（1）是否存在一個BP神經(jīng)網(wǎng)絡(luò)能夠逼近給定的樣本或者函數(shù)。BP定理：給定任意

，對于任意的連續(xù)函數(shù)，存在一個3層前向神經(jīng)網(wǎng)絡(luò)，它可以在任意

平方誤差精度內(nèi)逼近連續(xù)函數(shù)。9.4.2BP神經(jīng)網(wǎng)絡(luò)●兩個問題：（2）如何調(diào)整BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)，使網(wǎng)絡(luò)的輸入與輸出與給定的樣本相同。

1986年，魯梅爾哈特（D.Rumelhart）等提出BP學(xué)習(xí)算法。1059.4.3BP學(xué)習(xí)算法

●目標函數(shù)：

●約束條件：

●連接權(quán)值的修正量：

1.基本思想

1069.4.3BP學(xué)習(xí)算法記先求（1）對輸出層的神經(jīng)元（2）對隱單元層，則有2.BP學(xué)習(xí)算法推導(dǎo)1079.4.3BP學(xué)習(xí)算法3.BP學(xué)習(xí)算法表達式1089.4.3BP學(xué)習(xí)算法3.BP學(xué)習(xí)算法表達式1099.4.3BP學(xué)習(xí)算法

正向傳播：輸入信息由輸入層傳至隱層，最終在輸出層輸出。反向傳播：修改各層神經(jīng)元的權(quán)值，使誤差信號最小。4.BP學(xué)習(xí)算法學(xué)習(xí)過程1109.4.3BP算法BP學(xué)習(xí)算法的程序框圖1119.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)9.2機器學(xué)習(xí)的先驅(qū)——赫布學(xué)習(xí)規(guī)則9.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器9.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法9.5BP學(xué)習(xí)算法在模式識別中的應(yīng)用

9.6基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識9.7基于神經(jīng)網(wǎng)絡(luò)的軟測量9.8基于神經(jīng)網(wǎng)絡(luò)的控制第9

章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制112●主要模式識別研究用計算機模擬生物、人的感知，對模式信息，如圖像、文字、語音等，進行識別和分類?！駛鹘y(tǒng)人工智能的研究部分地顯示了人腦的歸納、推理等智能。但對人類底層的智能，如視覺、聽覺、觸覺等，現(xiàn)代計算機系統(tǒng)信息處理能力還不如一個幼兒。●人工神經(jīng)網(wǎng)絡(luò)模擬人腦神經(jīng)系統(tǒng)的特點：處理單元的廣泛連接；并行分布式信息儲存、處理；自適應(yīng)學(xué)習(xí)能力等?！袢斯ど窠?jīng)網(wǎng)絡(luò)模式識別方法具有較強的容錯能力、自適應(yīng)學(xué)習(xí)能力、并行信息處理能力。9.5BP學(xué)習(xí)算法在模式識別中的應(yīng)用113例9.1

設(shè)計一個3層BP網(wǎng)絡(luò)對數(shù)字0至9進行分類。

●每個數(shù)字用9

7的網(wǎng)格表示，灰色像素代表0，黑色像素代表1。將每個網(wǎng)格表示為0，1的長位串。位映射由左上角開始向下直到網(wǎng)格的整個一列，然后重復(fù)其他列?！襁x擇BP網(wǎng)絡(luò)結(jié)構(gòu)為63-6-9。97個輸入結(jié)點，對應(yīng)上述網(wǎng)格的映射。9個輸出結(jié)點對應(yīng)10種分類?！袷褂玫膶W(xué)習(xí)步長為0.3。訓(xùn)練600個周期，如果輸出結(jié)點的值大于0.9，則取為1，如果輸出結(jié)點的值小于0.1，則取為0。9.5BP學(xué)習(xí)算法在模式識別中的應(yīng)用114●測試結(jié)果表明：除了8以外，所有被測的數(shù)字都能夠被正確地識別?！駥τ跀?shù)字8，神經(jīng)網(wǎng)絡(luò)的第6個結(jié)點的輸出值為0.53，第8個結(jié)點的輸出值為0.41，表明第8個樣本是模糊的，可能是數(shù)字6，也可能是數(shù)字8，但也不完全確信是兩者之一。

當(dāng)訓(xùn)練成功后，對如圖所示測試數(shù)據(jù)進行測試。測試數(shù)據(jù)都有一個或者多個位丟失。9.5BP學(xué)習(xí)算法在模式識別中的應(yīng)用1159.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)9.2機器學(xué)習(xí)的先驅(qū)——赫布學(xué)習(xí)規(guī)則9.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器9.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法9.5BP學(xué)習(xí)算法在模式識別中的應(yīng)用

9.6基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識9.7基于神經(jīng)網(wǎng)絡(luò)的軟測量9.8基于神經(jīng)網(wǎng)絡(luò)的控制第9

章人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制1169.6基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識方法神經(jīng)網(wǎng)絡(luò)對非線性函數(shù)具有任意逼近和自學(xué)習(xí)能力，為系統(tǒng)的辨識，尤其是非線性動態(tài)系統(tǒng)的辨識提供了一條有效的途徑。神經(jīng)網(wǎng)絡(luò)通過直接學(xué)習(xí)輸入輸出數(shù)據(jù)，使所要求的誤差函數(shù)達到最小，歸納出隱含在系統(tǒng)的輸入輸出數(shù)據(jù)中的關(guān)系。盡管還有很多關(guān)鍵的理論問題尚待解決，但已有結(jié)果已經(jīng)展示了神經(jīng)網(wǎng)絡(luò)在非線性系統(tǒng)建模方面的廣闊前景。1179.6.1前向模型辨識神經(jīng)網(wǎng)絡(luò)前向建模是利用系統(tǒng)的輸入輸出數(shù)據(jù)訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，使神經(jīng)網(wǎng)絡(luò)具有與系統(tǒng)相同的輸入輸出關(guān)系。1189.6.2反向模型辨識神經(jīng)網(wǎng)絡(luò)反向建模是將作為對象的逆模型的神經(jīng)網(wǎng)絡(luò)位于對象之前，網(wǎng)絡(luò)模型的輸出作為被控對象的輸入。1199.6基于人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識方法的特點：（1）不要求建立實際系統(tǒng)的辨識格式，因為神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性函數(shù)。（2）可以對本質(zhì)非線性系統(tǒng)進行辨識，而且辨識是通過在網(wǎng)絡(luò)外部擬合系統(tǒng)的輸入輸出，網(wǎng)絡(luò)內(nèi)部隱含著系統(tǒng)的特性。因此，辨識是由神經(jīng)網(wǎng)絡(luò)本身實現(xiàn)的，是非算法式的。（3）辨識的收斂速度不依賴于待辨識系統(tǒng)的維數(shù)，只與神經(jīng)網(wǎng)絡(luò)本身及其所采用的學(xué)習(xí)算法有關(guān)。傳統(tǒng)的辨識方法隨模型參數(shù)維數(shù)的增大而變得很復(fù)雜。（4）神經(jīng)網(wǎng)絡(luò)具有大量連接，其權(quán)值在辨識中對應(yīng)于模型參數(shù)，通過調(diào)節(jié)這些權(quán)值可使網(wǎng)絡(luò)輸出逼近系統(tǒng)輸出。神經(jīng)網(wǎng)絡(luò)作為實際系統(tǒng)的辨識模型，實際上也是系統(tǒng)的一個物理實現(xiàn)，可以用于在線控制。1209.7基于人工神經(jīng)網(wǎng)絡(luò)的軟測量9.7.1軟測量技術(shù)

主導(dǎo)變量：被估計的變量。

輔助變量：與被估計變量相關(guān)的一組可測變量。軟測量是利用一些可測變量去估計推測那些難以測量的變量。121軟測量系統(tǒng)的設(shè)計：輔助變量的選擇：變量類型、變量數(shù)量和檢測點位置的選擇。數(shù)據(jù)采集與處理。軟測量模型的建立：通過輔助變量來獲得對主導(dǎo)變量的最佳估計。

9.7.1軟測量技術(shù)122序批式活性污泥法（SBR）9.7.2污水處理過程神經(jīng)網(wǎng)絡(luò)軟測量模型123BOD、COD、N和P：為軟測量模型的主導(dǎo)變量。ORP、DO、PH和MLSS：輔助變量。三層BP網(wǎng)絡(luò)：

9.7.2污水處理過程神經(jīng)網(wǎng)絡(luò)軟測量模型1249.8基于人工神經(jīng)網(wǎng)絡(luò)的控制根據(jù)神經(jīng)網(wǎng)絡(luò)在控制器中的作用不同，神經(jīng)網(wǎng)絡(luò)控制器可分為兩類：（1）神經(jīng)控制：以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)而形成的獨立智能控制系統(tǒng)；（2）混合神經(jīng)網(wǎng)絡(luò)控制：利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和優(yōu)化能力來改善傳統(tǒng)控制的智能控制方法，如自適應(yīng)神經(jīng)網(wǎng)絡(luò)控制等。1259.8.1人工神經(jīng)網(wǎng)絡(luò)控制器神經(jīng)網(wǎng)絡(luò)控制器是將神經(jīng)網(wǎng)絡(luò)作為控制器，實現(xiàn)對不確定系統(tǒng)或未知系統(tǒng)進行控制，使控制系統(tǒng)達到所要求的動態(tài)、靜態(tài)特性。1269.8.2人工神經(jīng)網(wǎng)絡(luò)預(yù)測控制神經(jīng)網(wǎng)絡(luò)的預(yù)測控制就是利用作為對象辨識模型的神經(jīng)網(wǎng)絡(luò)產(chǎn)生預(yù)測信號，然后采用優(yōu)化技術(shù)求出控制向量，從而實現(xiàn)對非線性系統(tǒng)的預(yù)測控制。1279.8.3人工神經(jīng)網(wǎng)絡(luò)模型參考控制Narendra等在1990年提出了非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型參考自適應(yīng)控制。1289.8.4人工神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂凭€性系統(tǒng)的內(nèi)模控制具有魯棒性強和易于進行穩(wěn)定性分析的特點，雖然要求系統(tǒng)開環(huán)穩(wěn)定，但已廣泛應(yīng)用于過程控制。Hunt在1991年將內(nèi)?？刂仆茝V到非線性系統(tǒng)，提出了非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂?。129THEENDIntroductionofArtificialIntelligence第10章深度學(xué)習(xí)與大語言模型131第9章深度學(xué)習(xí)與大語言模型深度學(xué)習(xí)得益于高性能計算和大數(shù)據(jù)技術(shù)的快速發(fā)展，使機器學(xué)習(xí)取得突破性進展。深度學(xué)習(xí)算法能夠發(fā)現(xiàn)大數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)，掀起了人工智能大模型的研究與應(yīng)用熱潮。本章首先介紹淺層學(xué)習(xí)的局限性、動物視覺機理和深度學(xué)習(xí)的提出，簡要介紹大模型的應(yīng)用，然后介紹目前廣泛應(yīng)用的卷積神經(jīng)網(wǎng)絡(luò)、膠囊網(wǎng)絡(luò)及其應(yīng)用，最后介紹基于深度學(xué)習(xí)的計算機視覺及其在人臉識別、虹膜識別中的應(yīng)用。132第10章深度學(xué)習(xí)與大語言模型10.1動物視覺機理與深度學(xué)習(xí)的提出10.2卷積神經(jīng)網(wǎng)絡(luò)及其應(yīng)用10.3膠囊網(wǎng)絡(luò)10.4計算機視覺10.1.1淺層學(xué)習(xí)的局限性淺層學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)（BP算法）●雖被稱作多層感知機，但實際是一種只含有一層隱層節(jié)點的淺層模型。SVM（SupportVectorMachines）、Boosting、最大熵方法（如LogisticRegression）等?！駧в幸粚与[層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LogisticRegression）的淺層模型。局限性：有限樣本和有限計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受到一定制約。13310.1.1淺層學(xué)習(xí)的局限性模式識別：134獲取數(shù)據(jù)預(yù)處理特征提取特征選擇推理、預(yù)測、識別特征表達良好的特征表達，是識別成功的關(guān)鍵；識別系統(tǒng)的計算和測試工作耗時主要集中在特征表達部分；傳統(tǒng)的方法是手工設(shè)計良好的特征提取器，這需要大量的工程技術(shù)和專業(yè)領(lǐng)域知識。能否自動地學(xué)習(xí)特征呢？深度學(xué)習(xí)！機器學(xué)習(xí)1968年諾貝爾醫(yī)學(xué)獎獲得者美國神經(jīng)生物學(xué)家DavidHubel和TorstenWiesel發(fā)現(xiàn)：人的視覺系統(tǒng)的信息處理是分級的。高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖抽象層面越高，存在的可能猜測就越少，就越利于分類13510.1.2深度學(xué)習(xí)的提出136●1980年日本學(xué)者福島邦彥提出帶有卷積和池化操作的多層神經(jīng)網(wǎng)絡(luò)新知機（neocognitron），但沒用BP算法進行訓(xùn)練，而是采用無監(jiān)督學(xué)習(xí)訓(xùn)練，沒有引起廣泛重視?！?989年YannLeCun等將BP算法引入卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練?！?998年YannLeCun等設(shè)計了7層卷積神經(jīng)網(wǎng)絡(luò)LeNet-5。通過大數(shù)據(jù)進行訓(xùn)練，成功應(yīng)用于美國郵政與銀行支票手寫數(shù)字的識別?，F(xiàn)在普遍把LeNet-5作為卷積神經(jīng)網(wǎng)絡(luò)的源頭，但當(dāng)時并沒有引起廣泛關(guān)注。10.1.2深度學(xué)習(xí)的提出137●2006年，Hinton教授等在《科學(xué)》上發(fā)表深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法?！?011年，格洛羅特（XavierGlorot）等提出了修正線性單元ReLU激活函數(shù)，取代Sigmod函數(shù)，解決深度學(xué)習(xí)梯度消失問題?！?012年，Hinton和學(xué)生AlexKrizhevsky等，提出了8層神經(jīng)網(wǎng)絡(luò)AlexNet，它采用了ReLU激活函數(shù)，并使用了Dropout等技術(shù)防止過擬合，同時拋棄了逐層訓(xùn)練的方式，直接在兩塊NvidiaGTX580GPU上訓(xùn)練網(wǎng)絡(luò)?！?012年，Hinton教授帶領(lǐng)學(xué)生組成多倫多大學(xué)小組參加ImageNet圖像識別大賽（ILSVRC）取得巨大成功，其錯誤率比采用傳統(tǒng)淺層模型的第二名降低了驚人的10.9%，從而使深度學(xué)習(xí)引起廣泛關(guān)注。●深度學(xué)習(xí)的提出與廣泛應(yīng)用得益于高性能計算和大數(shù)據(jù)技術(shù)的快速發(fā)展。10.1.2深度學(xué)習(xí)的提出138第10章深度學(xué)習(xí)與大語言模型10.1動物視覺機理與深度學(xué)習(xí)的提出10.2卷積神經(jīng)網(wǎng)絡(luò)及其應(yīng)用10.3膠囊網(wǎng)絡(luò)10.4計算機視覺13910.2.1卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.5.1卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)139卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）是一種多層神經(jīng)網(wǎng)絡(luò)，每層由多個二維平面組成，而每個平面由多個獨立神經(jīng)元組成。重大差異：●BP神經(jīng)網(wǎng)絡(luò)的輸入是特征●卷積神經(jīng)網(wǎng)絡(luò)的輸入是圖像14010.2.2卷積的物理、生物與生態(tài)學(xué)等意義卷積（Convolutional）源自拉丁文“convolvere”，是數(shù)學(xué)上的一個重要運算，由于其具有豐富的物理、生物、生態(tài)等意義。卷積的符號為：*1.卷積的物理意義●在一根鐵絲某處不停地彎曲，彎曲處溫度是發(fā)熱函數(shù)和散熱函數(shù)的卷積。●一個特定環(huán)境下的回聲是源聲函數(shù)和反射效應(yīng)函數(shù)的卷積?！袼型妒a(chǎn)生水波，當(dāng)前的水波是所有石塊激起水波到目前為止的投石作為沖擊函數(shù)和水面反射效應(yīng)函數(shù)的卷積?！褚粋€線性系統(tǒng)，這個系統(tǒng)的輸出函數(shù)是輸入函數(shù)和脈沖響應(yīng)函數(shù)的卷積。14110.2.2卷積的物理、生物與生態(tài)學(xué)等意義2.卷積的生物學(xué)意義●記憶也可視為一種卷積的結(jié)果。人腦中記憶函數(shù)是認知函數(shù)和遺忘函數(shù)的卷積。

●靜脈滴注是注射的離散化，一滴藥液在人體血液里以動力學(xué)形態(tài)衰減。要與病毒或細菌打持久戰(zhàn)，多次滴注或連續(xù)給藥。注射的累積效應(yīng)是給藥函數(shù)衰減函數(shù)的卷積?！褚粋€人胃里現(xiàn)有的食物量是吃進食物的函數(shù)核消化吸收的函數(shù)的卷積。3.卷積的生態(tài)學(xué)意義

●一個地區(qū)的現(xiàn)有的樹木是栽樹函數(shù)和伐木函數(shù)的卷積?！褚粋€地區(qū)的生態(tài)函數(shù)是污染函數(shù)核治污函數(shù)的卷積

。142142卷積運算直觀的例子大部分的特征提取都依賴于卷積運算利用卷積算子對圖像進行濾波，可以得到顯著的邊緣特征。10.2.3卷積神經(jīng)網(wǎng)絡(luò)的卷積運算14310.2.3卷積神經(jīng)網(wǎng)絡(luò)的卷積運算14410.2.3卷積神經(jīng)網(wǎng)絡(luò)的卷積運算14514510.2.4卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵技術(shù)卷積神經(jīng)網(wǎng)絡(luò)的4個關(guān)鍵技術(shù)：局部連接權(quán)值共享多卷積核池化146卷積神經(jīng)網(wǎng)絡(luò)的局部連接(a)全連接神經(jīng)網(wǎng)絡(luò)

(b)局部連接神經(jīng)網(wǎng)絡(luò)局部連接：每個神經(jīng)元無需對全局圖像進行感知，而只需對局部進行感知，然后在更高層將局部的信息綜合起來得到全局信息。147卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值共享每個神經(jīng)元的權(quán)值設(shè)為相同，即權(quán)值共享，也即每個神經(jīng)元用同一個卷積核去卷積圖像。148148卷積神經(jīng)網(wǎng)絡(luò)的多卷積核下圖中不同顏色表示不同的卷積核，每個卷積核都會將圖像生成為另一幅特征映射圖（即：一個卷積核提取一種特征）。為了使特征提取更充分，我們可以添加多個卷積核（濾波器）提取不同特征。149149卷積神經(jīng)網(wǎng)絡(luò)的池化計算圖像一個區(qū)域上的某個特定特征的平均值(或最大值)，這種聚合操作就叫做池化(pooling)，有時采用平均池化或者最大池化方法。這些概要統(tǒng)計特征不僅具有低得多的維度

(相比使用所有提取得到的特征)，同時還會改善結(jié)果(不容易過擬合)。15015010.2.5卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用1998年YannLeCun等設(shè)計了7層卷積神經(jīng)網(wǎng)絡(luò)LeNet-5。通過大數(shù)據(jù)進行訓(xùn)練，達到了商用地步，成功應(yīng)用于美國郵政與銀行支票手寫數(shù)字的識別。151針對卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)需求大、環(huán)境適應(yīng)能力弱、可解釋性差、數(shù)據(jù)分享難等不足，2017年10月，GeoffreyE.Hinton教授等在“神經(jīng)信息處理系統(tǒng)大會上發(fā)表論文，提出了新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——膠囊網(wǎng)絡(luò)（CapsuleNetworks）。膠囊是一個包含多個神經(jīng)元的載體，每個神經(jīng)元表示了圖像中出現(xiàn)的特定實體的各種屬性。膠囊不是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的一個神經(jīng)元，而是一組神經(jīng)元。膠囊網(wǎng)絡(luò)的核心思想：膠囊里封裝的檢測特征的相關(guān)信息是以向量的形式存在的，膠囊的輸入是一個向量，是用一組神經(jīng)元來表示多個特征。10.3膠囊網(wǎng)絡(luò)152輸入層：數(shù)字圖片經(jīng)過標準的卷積層，有256個通道，每個通道均用9×9的卷積核，將輸入層圖片中的像素亮度轉(zhuǎn)化成局部特征輸出，作為Conv1層的輸入。PrimaryCaps層：卷積的膠囊層，包含32個膠囊。PrimaryCaps才是膠囊真正開始的地方。膠囊網(wǎng)絡(luò)的基本結(jié)構(gòu)153DigitCaps層：膠囊網(wǎng)絡(luò)的全連接層。要識別的是10類數(shù)字（0~9），因此該層的膠囊個數(shù)共有10個，每個膠囊表示的向量中元素的個數(shù)為16，代表著不同狀態(tài)下的同一個數(shù)字。

膠囊網(wǎng)絡(luò)的基本結(jié)構(gòu)154在手寫數(shù)字圖像數(shù)據(jù)集MNIST上的部分實驗結(jié)果：膠囊網(wǎng)絡(luò)實驗泛化能力實驗結(jié)果：對MNIST測試集的數(shù)字大小、粗細、位置做了部分改變。實驗結(jié)果：CapsNet在有重疊數(shù)字的AFFNIST數(shù)據(jù)集上獲得了比CNN好得多的結(jié)果。155識別數(shù)字高度重疊的實驗?zāi)z囊網(wǎng)絡(luò)實驗MultiMNIST上兩個數(shù)字的邊框范圍平均有80%是重合的數(shù)字。實驗結(jié)果：CapsNet實現(xiàn)了較低的分類錯誤率。MultiMNIST圖片（白色）和由CapsNet重構(gòu)后的結(jié)果（紅色和綠色）重合的數(shù)字。156膠囊網(wǎng)絡(luò)性能●使用膠囊神經(jīng)網(wǎng)絡(luò)需要的訓(xùn)練數(shù)據(jù)量，遠小于卷積神經(jīng)網(wǎng)絡(luò)，它采用動態(tài)路由協(xié)議算法，僅使用三層網(wǎng)絡(luò)便可表現(xiàn)出很出色的性能，能夠與深度卷積神經(jīng)網(wǎng)絡(luò)相當(dāng)。●膠囊網(wǎng)絡(luò)解決了卷積神經(jīng)網(wǎng)絡(luò)存在的信息丟失、視角變化等問題?！裼捎谀z囊網(wǎng)絡(luò)具有分別處理不同屬性的能力，相比于CNN可以提高對圖像變換的魯棒性，在圖像分割中也會有出色的表現(xiàn)。●膠囊網(wǎng)絡(luò)相對于卷積網(wǎng)絡(luò)的工作機理更接近人腦的工作方式。15710.4計算機視覺計算機視覺是一類類似于人眼的新型檢測方法，將采集的圖片或視頻進行處理以獲得相應(yīng)場景的三維信息，具有非常廣闊的應(yīng)用。例如：車牌識別、指紋識別、人臉識別、視頻監(jiān)控、自動駕駛、人體動作的視覺識別系統(tǒng)、工業(yè)視覺檢測識別系統(tǒng)、智能移動機器人、增強現(xiàn)實系統(tǒng)、生物醫(yī)學(xué)影像檢測和識別系統(tǒng)等。15810.4.1計算機視覺概述計算機視覺的比較嚴謹?shù)亩x：（1）對圖像中的客觀對象構(gòu)建明確而有意義的描述（Ballard＆Brown，1982）。（2）從一個或多個數(shù)字圖像中計算三維世界的特性（Trucco＆Verri，1998）（3）基于感知圖像做出對客觀對象和場景有用的決策（Sockman＆Shapiro，2001）15910.4.2數(shù)字圖像與計算機視覺的進展計算機接受到的數(shù)字圖像是由稱為像素（pixel）的點組成。主要有下列幾種數(shù)字圖像：（1）灰度圖像（2）彩色圖像（3）RGBD圖像（4）紅外、紫外、X-光等圖像160計算機視覺的內(nèi)容：（1）目標檢測、跟蹤和定位。（2）前背景分割和物體分割（3）目標分類和識別（4）場景分類與識別（5）場景文字檢測與識別。（6）事件檢測與識別（7）距離估計（8）圖像自動標題10.4.3基于深度學(xué)習(xí)的計算機視覺161直到2012年，深度學(xué)習(xí)掀起了計算機視覺領(lǐng)域應(yīng)用熱潮，目標檢測正確率大大提升。目標檢測是計算機視覺中一個基礎(chǔ)問題，其定義某些感興趣的特定類別組成前景，其他類別為背景。設(shè)計一個目標檢測器，它可以在輸入圖像中找到所有前景物體的位置以及他們所屬的具體類別。區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-CNN，R-CNN）是第一個成功將深度學(xué)習(xí)應(yīng)用到目標檢測上的算法。卷積神經(jīng)網(wǎng)絡(luò)已成為計算機視覺和視覺跟蹤的主流深度模型。10.4.3基于深度學(xué)習(xí)的計算機視覺162

基于計算機視覺的生物特征識別生物特征識別一直是人們研究與應(yīng)用的重要內(nèi)容。生物特征識別(BIOMETRICS)技術(shù)，是指通過計算機利用人體所固有的生理特征（指紋、虹膜、面相、DNA等）或行為特征(步態(tài)、擊鍵習(xí)慣等)來進行個人身份鑒定的技術(shù)。目前，基于計算機視覺的生物特征識別技術(shù)成為人工智能最重要的研究與應(yīng)用領(lǐng)域。如：人臉識別、指紋識別、虹膜識別、掌紋識別、指靜脈識別等。16310.4.4人臉識別人臉識別的本質(zhì)是對兩張照片中人臉相似度的計算。人臉識別系統(tǒng)主要包括6個部分：（1）人臉檢測：給出人臉的位置和大小。（2）特征點定位：在矩形框內(nèi)找到眼睛中心、鼻尖和嘴角等關(guān)鍵特征點，以便進行后續(xù)的預(yù)處理操作。（3）預(yù)處理：完成人臉子圖的歸一化。（4）特征提?。哼@是人臉識別的核心。當(dāng)前，主要是采用深度學(xué)習(xí)方法自動提取特征。（5）特征比對：對提取的特征進行相似度計算。（6）判斷：相似程度超過設(shè)定閾值判斷為相同人。

16410.4.5虹膜識別人眼睛的外觀圖由鞏膜、虹膜、瞳孔三部分構(gòu)成。虹膜是人眼瞳孔和鞏膜之間的環(huán)狀區(qū)域，占據(jù)65%。人體基因表達決定了虹膜的形態(tài)、生理、顏色和總的外觀。沒有任何兩個虹膜是一樣的。虹膜的高度獨特性、穩(wěn)定性及不可更改的特點，是虹膜可用作身份鑒別的物質(zhì)基礎(chǔ)。16510.4.5虹膜識別虹膜識別主要步驟：（1）虹膜圖像獲取。使用特定的攝像器材對人的整個眼部進行拍攝。（2）虹膜定位。確定內(nèi)圓、外圓和二次曲線在圖像中的位置。（3）虹膜圖像歸一化。（4）圖像增強。（5）特征提取。（6）特征匹配。與數(shù)據(jù)庫中的虹膜圖像特征編碼逐一匹配，判斷是否為相同虹膜。166THEENDIntroductionof