1、人工智能應用概論第六章 計算機視覺技術人工智能應用概論第六章 計算機視覺技術PART1神經(jīng)網(wǎng)絡與深度學習技術原理PART1神經(jīng)網(wǎng)絡與 重溫五四，你最像哪位文藝青年。 設計上，以白色為背景，紅藍色調(diào)交叉，表達出五四青年節(jié)的主題。體驗上，使用圖片識別的技術，識別與用戶上傳的照片相似的有為青年，是一個很有意思的創(chuàng)意活動。技術上通過人臉檢測與分析技術和人臉檢索技術，將用戶上傳的照片與特定形象進行臉部層面的檢索對比，通過匹配分析找出數(shù)據(jù)庫中外貌特征與用戶最為相似的一張照片。 該創(chuàng)意為后續(xù)人工智能娛樂產(chǎn)品設計提供了參考。 【案例】 【案例】66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類1. 圖

2、像分類 根據(jù)各自在圖像信息中所反映的不同特征，把不同類別的目標區(qū)分開來的圖像處理方法。它利用計算機對圖像進行定量分析，把圖像或圖像中的每個像元或區(qū)域劃歸為若干個類別中的某一種，以代替人的視覺判讀。66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類1. 圖像分類目前較為流行的圖像分類架構是卷積神經(jīng)網(wǎng)絡（CNN）。66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類2. 對象檢測識別圖像中的對象這一任務，通常會涉及到各個對象輸出邊界框和標簽。對象檢測目標是對很多對象進行

3、分類和定位。在多對象檢測中，你必須使用邊界框檢測所給定圖像中的所有目標。66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類2. 對象檢測神經(jīng)網(wǎng)絡研究人員建議使用區(qū)域（region）這一概念，這樣我們就會找到可能包含對象的“斑點”圖像區(qū)域。RCNN是將卷積神經(jīng)網(wǎng)絡CNN引入目標檢測的開山之作,更快、更高效的檢測系統(tǒng)在 You Only Look Once（YOLO），Single Shot MultiBox Detector（SSD）和基于區(qū)域的全卷積網(wǎng)絡（ R-FCN ）算法中尤為明顯。66.1 計算機視覺技術原理6.1.1.計

4、算機視覺技術分類66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類3. 目標跟蹤視覺目標跟蹤是計算機視覺中的一個重要研究方向，有著廣泛的應用，如：視頻監(jiān)控、人機交互、無人駕駛等。66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類3. 目標跟蹤視覺目標（單目標）跟蹤任務就是在給定某視頻序列初始幀的目標大小與位置的情況下，預測后續(xù)幀中該目標的大小與位置。輸入初始化目標框,在下一幀中產(chǎn)生眾多候選框（Motion Model）提取這些候選框的特征（Feature Extractor）,然后對這些候選框評分（Observation

5、 Model）最后在這些評分中找一個得分最高的候選框,作為預測的目標（Prediction A）66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類4. 語義分割語義分割是計算機視覺中十分重要的領域，它是指像素級地識別圖像，即標注出圖像中每個像素所屬的對象類別。66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類66.1 計算機視覺技術原理6.1.1.計算機視覺技術分類4. 語義分割簡單來說，分割的目標一般是將一張RGB圖像(高度x寬度x 三通道rgb）或是灰度圖（高度x寬度x單通道1）作為輸入，輸出的是分割圖。 66.1

6、計算機視覺技術原理6.1.1.計算機視覺技術分類66.1 計算機視覺技術原理6.1.2.計算機視覺技術發(fā)展歷程1. 5億4千萬年前-寒武紀生命大爆發(fā)5億4千萬年前，生物很簡單，漂浮著，等待食物漂過嘴邊。因為有的生物進化出了眼睛，才促使大爆發(fā)的。所以，視覺的誕生促進了生命大爆發(fā).66.1 計算機視覺技術原理6.1.2.計算機視覺技術發(fā)展66.1 計算機視覺技術原理6.1.2.計算機視覺技術發(fā)展歷程1. 照相暗盒為了復制我們看到的世界達芬奇，在植物學，物理，數(shù)學，建筑等諸多領域都有很多貢獻。這些發(fā)明創(chuàng)造被后人編輯成冊，稱為大西洋古抄本。其中就描述了暗盒的裝置，它就是照相機的前身。通過小孔成像原理將

7、外部的景象投影在暗盒的另一側(cè)，再透過一個鏡面反射到上面的玻璃上就可以進行臨摹。66.1 計算機視覺技術原理6.1.2.計算機視覺技術發(fā)展66.1 計算機視覺技術原理6.1.2.計算機視覺技術發(fā)展歷程3. 計算機視覺技術萌芽-現(xiàn)代機器視覺技術的產(chǎn)生七八十年代，隨著現(xiàn)代電子計算機的出現(xiàn)，計算機視覺技術也初步萌芽。這一階段的應用主要是一些光學字符識別、工件識別、顯微/航空圖片的識別等等。九十年代至二十一世紀初，計算機視覺技術取得了更大的發(fā)展，廣泛應用于工業(yè)領域。66.1 計算機視覺技術原理6.1.2.計算機視覺技術發(fā)展66.1 計算機視覺技術原理6.1.2.計算機視覺技術發(fā)展歷程4. 人工智能的眼睛

8、-計算機視覺技術 七八十年代，隨著現(xiàn)代電子計算機的出現(xiàn)，計算機視覺技術也初步萌芽。這一階段的應用主要是一些光學字符識別、工件識別、顯微/航空圖片的識別等等。九十年代，計算機視覺技術取得了更大的發(fā)展，廣泛應用于工業(yè)領域。66.1 計算機視覺技術原理6.1.2.計算機視覺技術發(fā)展機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率已經(jīng)低于人類視覺66.1 計算機視覺技術原理6.1.2.計算機視覺技術發(fā)展歷程4. 人工智能的眼睛-計算機視覺技術 借助于機器學習與深度學習的力量，自動從海量數(shù)據(jù)中總結歸納物體的特征，然后進行識別和判斷。計算機視覺技術得到了爆發(fā)增長和產(chǎn)業(yè)化，包括典型的相機人臉檢測、安防人臉

9、識別、車牌識別等等。機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率已經(jīng)低于人類視覺。圖像識別（image identification） 轉(zhuǎn)向尚待開發(fā)的圖像理解（ image understanding）機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率已經(jīng)低于人機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率已經(jīng)低于人類視覺66.1 計算機視覺技術原理6.1.3.計算機視覺技術應用場景1.無人駕駛 計算機視覺在無人駕駛中起到了非常關鍵的作用，比如道路的識別，路標的識別，紅綠燈的識別，行人識別等等平常駕駛過程中需要注意的。另外還包括三維重建及自主導航，通過激光雷達或者視覺傳感器可以重建三

10、維模型，輔助汽車進行自主定位及導航，進行合理的路徑規(guī)劃和相關決策。機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率已經(jīng)低于人機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率已經(jīng)低于人類視覺66.1 計算機視覺技術原理6.1.3.計算機視覺技術應用場景2.人臉識別人臉識別技術目前已經(jīng)研究得相對比較成熟，并在很多地方得到了應用，且人臉識別準確率目前已經(jīng)高于人眼的識別準確率，很多高鐵站及門禁的地方都用到了人臉識別，很多都有刷臉系統(tǒng)，有些城市甚至在銀行取錢都可以直接刷臉。機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率已經(jīng)低于人fuzh機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率已經(jīng)低于人

11、類視覺66.1 計算機視覺技術原理6.1.3.計算機視覺技術應用場景3.醫(yī)療影像輔助診斷 人工智能技術在醫(yī)療影像的應用主要通過機器視覺技術對醫(yī)療影像進行快速讀片和智能診斷。通過快速準確地標記特定異常結構來提高圖像分析的效率，以供放射科醫(yī)師參考。提高圖像分析效率，聚焦在需要更多解讀或判斷的內(nèi)容審閱上，從而有望緩解放射科醫(yī)生供給缺口問題。fuzh機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率fuzh機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率已經(jīng)低于人類視覺66.1 計算機視覺技術原理6.1.3.計算機視覺技術應用場景4.機器視覺及工業(yè)檢測 智能制造的核心要素之一是傳感器技術機器視覺（M

12、achine Vision，MV）則是重中之重。近些年，3D視覺、智能視覺等創(chuàng)新技術為工業(yè)自動化打開了“新視界”。眼鏡框縮坑視覺檢測fuzh機器視覺在ILSVRC的比賽成績屢創(chuàng)佳績，其錯誤率PART2 預備知識PART2 預備知識6世界坐標系6.2.1 計算機視覺成像6.2 預備知識 物體成像6世界坐標系6.2.1 計算機視覺成像6.2 預備知識 物6 圖像：圖像可以定義為一個二維函數(shù)f(x,y)，其中x和y是空間坐標，而f在任意坐標(x,y)處的幅度稱為圖像在該點處的亮度（圖像的明亮程度）或者灰度。 數(shù)字圖像：指圖像f(x,y)在空間坐標和亮度的數(shù)字化，數(shù)字圖像由有限的元素組成，每一個元素都

13、有一個特定的位置和幅值，這些元素稱為圖片元素、圖像元素或像素。 數(shù)字圖像處理：是指借用數(shù)字計算機處理數(shù)字圖像，既包括輸入輸出都是圖像的處理，也包括從圖像中提取特征的過程。6.2.2 數(shù)字圖像6.2 預備知識6 圖像：圖像可以定義為一個二維函數(shù)f(x,y)，其中x和66.2.3 圖像處理技術6.2 預備知識66.2.3 圖像處理技術6.2 預備知識66.2.3 圖像處理技術6.2 預備知識車牌檢測（Plate Detection）：對一個包含車牌的圖像進行分析最終截取出只包含車牌的一個圖塊66.2.3 圖像處理技術6.2 預備知識車牌檢測（Pla66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)

14、絡卷積神經(jīng)網(wǎng)絡 卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks, CNN）是一類包含卷積計算且具有深度結構的前饋神經(jīng)網(wǎng)絡，是深度學習的代表算法之一。卷積神經(jīng)網(wǎng)絡具有表征學習能力，能夠按其階層結構對輸入信息進行平移不變分類。66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡卷積神66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡圖像處理解決方案深度學習圖像識別技術，不再有人工特征抽取部分，而是使用多層卷積層來得到更深層次的特征圖，這也就是端到端的含義。66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡圖像處66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡卷積神

15、經(jīng)網(wǎng)絡的層級結構 數(shù)據(jù)輸入層/ Input layer 卷積計算層/ CONV layer ReLU激勵層 / ReLU layer 池化層 / Pooling layer 全連接層 / FC layer66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡卷積神66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡卷積計算層這一層就是卷積神經(jīng)網(wǎng)絡最重要的一個層次，也是“卷積神經(jīng)網(wǎng)絡”的名字來源。在這個卷積層，有兩個關鍵操作： 局部關聯(lián)。每個神經(jīng)元看做一個濾波器(filter) 窗口(receptive field)滑動， filter對局部數(shù)據(jù)計算先介紹卷積層遇到的幾個名詞： 深度/depth（

16、解釋見下圖） 步長/stride （窗口一次滑動的長度） 填充值/zero-padding66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡卷積計66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡卷積計算層 卷積層中每一個節(jié)點的輸入只是上一層神經(jīng)網(wǎng)絡的一小塊，這個小塊常用的大小有33或者55。卷積層試圖將神經(jīng)網(wǎng)絡中的每一小塊進行更加深入地分析從而得到抽象程度更高的特征。66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡卷積計66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡卷積計算層5 * 5的圖片（一個格子一個像素），滑動窗口取2*2，步長取2，則還剩下1個像素沒法滑完，那怎么辦呢？

17、 填充值的作用在原先的矩陣加了一層填充值，變成6*6的矩陣，那么窗口就可以剛好把所有像素遍歷完。66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡卷積計66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡ReLU激勵層 CNN采用的激勵函數(shù)一般為ReLU(The Rectified Linear Unit/修正線性單元)，它的特點是收斂快，求梯度簡單。66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡ReL66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡池化層 池化層夾在連續(xù)的卷積層中間， 用于壓縮數(shù)據(jù)和參數(shù)的量，減小過擬合，但不會改變圖像的深度。 簡而言之，池化層的最主要作用就是壓縮

18、圖像，將一張分辨率較高的圖片轉(zhuǎn)化為分辨率較低的圖片。66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡池化層66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡全連接層 在經(jīng)過多輪卷積層和池化層的處理之后，在卷積神經(jīng)網(wǎng)絡的最后一般會是由1到2個全連接層來給出最后的分類結果。其中Softmax主要用于分類問題，通過Softmax函數(shù)，可以得到當前樣本屬于不同種類的概率分布情況。66.2 計算機視覺技術原理6.2.4.卷積神經(jīng)網(wǎng)絡全連接PART3 小試牛刀PART3 小試牛刀66.3 小試牛刀6.3.1 卷積神經(jīng)網(wǎng)絡解釋器（cnn-explainer）CNN解釋器（cnn-explainer）在

19、線交互可視化工具 是一個通過網(wǎng)頁瀏覽器就可以訓練的簡單神經(jīng)網(wǎng)絡并實現(xiàn)了可視化訓練過程的工具。 這個解釋器展示了一個 10 層的神經(jīng)網(wǎng)絡，包含卷積層、激活函數(shù)、池化層等多個概念。能顯示它的輸入是哪些、經(jīng)過了怎樣細微的變化，就能了解CNN究竟是怎么回事，為什么可以辨識物品。66.3 小試牛刀6.3.1 卷積神經(jīng)網(wǎng)絡解釋器（cnn-66.3 小試牛刀6.3.1 卷積神經(jīng)網(wǎng)絡解釋器（cnn-explainer）66.3 小試牛刀6.3.1 卷積神經(jīng)網(wǎng)絡解釋器（cnn-66.3 小試牛刀6.3.2 卷積神經(jīng)網(wǎng)絡解釋器應用分析默認10類圖片輸入層: 輸入的圖片經(jīng)過裁剪， 大小為 64 x 64 , Red、Green、Blue分別為彩色圖像的三個通道66.3 小試牛刀6.3.2 卷積神經(jīng)網(wǎng)絡解釋器應用分析默66.3 小試牛刀6.3.2 卷積神經(jīng)網(wǎng)絡解釋器應用分析卷積層 卷積層為 conv_1_1(62, 62, 10) ，其中62 x 62為圖