第1章計算機視覺概述前言長久以來，人類都在研究如何使機器能夠“看見”，即具圖像處理、圖像構(gòu)建、圖像理解等能力。通過對人類視覺系統(tǒng)的研究，科學家在很早以前就發(fā)現(xiàn)了眼睛“看見”的原理，隨后照相機、攝像機、具有目標識別能力的機器人、能夠理解圖像含義的搜索器等視覺系統(tǒng)陸續(xù)出現(xiàn)在了人們的生活中。那么，人類視覺到底有哪些奧秘呢？到底什么是計算機視覺呢？機器是如何處理圖像的？這一系列問題將在本章得到回答。任務總結(jié)了解圖像處理庫學習什么是圖像處理學習什么是計算機視覺學習什么是計算機視覺What

is

computer

vision1.1人類視覺1.3計算機視覺的應用1.2計算機視覺011.1

起源：人類視覺

人類視覺原理人類視覺特性人類視覺原理主要由視覺器官和大腦視覺皮層組成視覺器官指的的是“眼睛”主要由角膜、虹膜、晶狀體、視網(wǎng)膜組成

。原理光線進入人眼，穿過晶狀體后在視網(wǎng)膜上成像，分布于視網(wǎng)膜上的視覺細胞將光轉(zhuǎn)換成電脈沖，傳遞給大腦視覺皮層進行解碼產(chǎn)生圖像人類視覺特性視覺關(guān)注機制注意力機制色彩敏感度RGB轉(zhuǎn)灰度圖亮度及對比敏感度邊緣檢測視覺掩蓋視覺內(nèi)在推導機制1）視覺關(guān)注機制定義：在紛繁復雜的外界場景中，人類視覺總能快速定位自己感興趣的目標，而忽略不重要的區(qū)域。模式：自底向上模式和自頂向下模式自底向上模式是由圖像客觀內(nèi)容驅(qū)動，主要跟圖像內(nèi)容的顯著性相關(guān)。自頂向下模式則主要由主觀命令指導，受到人類意識支配，在人類意識指令下強行轉(zhuǎn)移注意力到某一特定區(qū)域。在計算機視覺領(lǐng)域，基于人類視覺關(guān)注機制提出的注意力機制是解決信息超載問題的主要手段。自家的假裝沒看見這幅圖里有只小貓咪，找找看？2）色彩敏感度人類視覺系統(tǒng)并不是對每種顏色都同樣敏感。視網(wǎng)膜上有一類錐狀細胞，它們對紅光，綠光和藍光的敏感度不盡相同，同時，這些細胞的占比也不均勻。這一特性影響到RGB彩色圖轉(zhuǎn)灰度圖的權(quán)重設置，為紅色通道0.299、綠色通道0.587、藍色通道0.114。3）亮度和對比度度敏感機制人眼對光強度具有某種自適應的調(diào)節(jié)功能，即能通過調(diào)節(jié)感光靈敏度來適應范圍很廣的亮度，同時這也導致了人眼對絕對亮度的判斷能力較差。如圖中所示，中間同等亮度的方塊在黑暗的背景上會顯得更亮，反之，會顯得更暗。同理，相較于小幅度亮度變化，人眼對大跨度的亮度變化，比如物體邊緣區(qū)域，更敏感。邊緣信息在計算機視覺領(lǐng)域得到了廣泛應用，如通過對邊緣特征的檢測，識別目標的類別、獲取目標的位置，跟蹤目標的移動路徑等。4）視覺掩蓋效應類別：對比度掩蓋起因：視覺信息間的相互作用或相互干擾將引起現(xiàn)象舉例：亮度和顏色如何影響到你的視覺？請問：這兩條螺旋帶是同一種顏色嗎？4）視覺掩蓋效應類別：紋理掩蓋起因：人眼能夠毫無察覺地過濾掉一定閾值以下的信息，對像素層絕對差值大的關(guān)注度更高。特點：這一特性在實際圖像處理中幫助我們區(qū)分出哪些信號是視覺系統(tǒng)能察覺、感興趣的，哪些信號是視覺系統(tǒng)無法察覺、可忽略的。選擇性地處理人眼能夠察覺的信息可以大大減少圖像處理的復雜度，且在一定條件下改善圖像的顯示質(zhì)量。案例：圖像編碼壓縮過程,

pdf文件壓縮（利用人類視覺系統(tǒng)對高頻的不敏感特性，舍棄部分高頻信息）不斷添加頻率個數(shù)，圖像恢復情況4）視覺掩蓋效應類別：運動掩蓋起因：人眼容易首先關(guān)注視頻中運動速度中等或快的圖像內(nèi)容，而易忽略運動速度慢或靜止的圖像內(nèi)容。特點：受運動掩蓋效應的影響，人眼很難觀察到圖像內(nèi)容的細節(jié)信息，因此其對應的感知敏感程度會顯著降低。而運動速度中等的圖像內(nèi)容不僅易吸引人眼關(guān)注，并且運動掩蓋效應的作用微弱，所以其對應的感知敏感程度最高。案例：視頻壓縮-減少時間冗余5）視覺內(nèi)在推導機制根據(jù)大腦中的記憶信息，來推導、預測輸入的視覺內(nèi)容，同時選擇性地丟掉那些無法理解的不確定的信息。如圖中所示，這兩佛圖都是具有歧義的圖片，當我們根據(jù)經(jīng)驗判斷其為其中一種對象，如判斷為杯子，那么我們就會有意識的丟掉與杯子無關(guān)的信息。這種推導機制由視覺大腦皮層來處理，對應到計算機視覺系統(tǒng)中，則由主機進行處理。這種判斷和推導的能力衍生出了計算機視覺應用中的各種任務，如圖像識別，圖像生成，目標檢測，目標跟蹤等。圖像識別圖像生成目標跟蹤目標檢測杯子or人臉？回憶回憶問題一：彩色圖轉(zhuǎn)灰度圖，紅色通道、綠色通道和藍色通道的權(quán)重一樣嗎？為什么？

問題二：人工智能領(lǐng)域的注意力機制是參考了人眼系統(tǒng)的哪種特性？第1章計算機視覺概述復習5分鐘分享1.2計算機視覺

計算機視覺定義計算機視覺的任務計算機視覺應用計算機視覺的定義計算機視覺是一門研究如何使機器“看”的科學，其目標是在機器上復現(xiàn)人類視覺。更具體的說，就是指用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等視覺任務。計算機視覺的輸入是圖像，輸出是場景知識，如圖像中的物體類別、物體數(shù)量、物體運動等。由于語義鴻溝的原因，要實現(xiàn)“看”的能力似乎沒有那么容易。計算機視覺：試圖在機器上復現(xiàn)人類視覺，但由于語義鴻溝的原因，似乎沒有那么容易。語義鴻溝：指通常人們在判別圖像的相似性時并非建立在圖像低層視覺特征的相似上，而是建立在對圖像所描述的對象或事件的語義理解的基礎(chǔ)上。語義鴻溝這兩幅圖一樣嗎？這是什么動物？人類：完全不同，計算機：很相似人類：是貓，計算機：是梅花鹿

從任務內(nèi)容上劃分，計算機視覺的基本任務可分為：分類，定位，檢測和分割計算機視覺任務分割（segment）：在檢測的基礎(chǔ)上進一步判斷圖像中哪些像素屬于哪個目標。分類（classification）：判斷一張圖像所屬類別。定位（localization）：判斷目標在圖像的位置，通常是以包圍盒的(boundingbox)形式呈現(xiàn)。檢測（detection）：判斷圖像中出現(xiàn)的可檢測目標的種類和數(shù)目，并框出每個目標的包圍盒。計算機視覺基本任務圖像理解圖像跟蹤圖像識別根據(jù)場景知識的不同，計算機視覺可以劃分為圖像識別、圖像跟蹤和圖像理解。計算機視覺任務（1）圖像識別一種利用計算機識別圖像中各種不同模式的目標和對象的技術(shù)，在機器學習領(lǐng)域，主要指對于一個給定的圖像，預測它屬于的哪個分類標簽。粗粒度圖像識別和細粒度圖像識別主要任務為圖像分類，應用：搜索引擎、智能相冊等

圖像識別的影響因素：姿態(tài)、視角、光照、遮擋、背景干擾等

圖像識別結(jié)論：計算機視覺較于人類視覺還有一段不小的距離。計算機視覺任務（2）圖像跟蹤通過圖像識別、紅外、超聲波等方式對攝像頭中拍攝到的物體進行定位和追蹤。在計算機視覺層面，圖像跟蹤可以細分為目標檢測和目標跟蹤遮擋、形變、背景斑雜、尺度變化等，會影響到跟蹤效果應用：無人機跟蹤，體育賽事跟蹤計算機視覺任務（3）圖像理解圖像理解主要指對圖像語義的理解，是在簡單識別基礎(chǔ)上進一步提取深層含義的技術(shù)。對于同一張圖片，圖像識別能識別出屬于分類集合內(nèi)的目標，而圖像理解能識別出更多的信息，比如圖像中有什么目標、目標之間有什么關(guān)系、圖像處于什么場景以及如何應用場景等。提取圖像到深層含義應用：實例分割，圖像描述，視頻描述，唇語解讀，圖像生成等。計算機視覺應用工業(yè)醫(yī)療交通應用電商支付說一說：在聊天室分享讓你眼前一亮的計算機視覺應用案例？

第1章計算機視覺概述2.1圖像的表示(1)二值圖像(2)灰度圖像(3)彩度圖像計算機視覺處理的圖像經(jīng)過數(shù)字攝像機、掃描儀等設備的采樣后，需要以某種數(shù)字化方式進行表示才能進行后續(xù)的處理。那么圖像在計算機中是如何表示的呢？圖像表示

圖像表示二值圖像是指像素值只有0和1的圖像表示方法，使用1個比特位即可表示。占用更少的存儲空間，獲得更高效的處理速度。二值圖可以很方便的進行邏輯運算，常用于標識圖像區(qū)域，與圖像做點乘運算，能夠快速分割出目標區(qū)域。1）二值圖像0001000010000011111111000011111111000011011011000011111111000011110111000011101011000001111110000000011100000000001000000011111111100000111110002）灰度圖像

灰度圖，又稱灰階圖，是用灰度表示的圖形?；叶仁且环N像素強度分級機制，將白色與黑色之間按對數(shù)關(guān)系分為多個等級，通常使用8位表示，取值范圍為0～256灰度圖像與二值圖像不同，二值圖像的每個像素使用1個比特位表示，灰度圖像使用8個比特位表示；二值圖像只有黑色與白色兩種顏色，灰度圖像在黑色與白色之間還有許多不同等級的中間色。0-2558位整數(shù)3）彩色圖像

彩色圖像通常由多個疊加的彩色通道組成，每個通道代表給定顏色分量的強度值。典型的3通道彩色圖像由紅色、綠色、藍色疊加而成，3通道彩色圖像分解示意圖如圖1.5所示。圖中左邊是一張自然染色的圖像，右邊分別顯示的是紅色、綠色和藍色3個顏色分量的通道。思考？右邊的圖是什么類型的圖片？A二值圖B單通道灰度圖C多通道彩色圖第1章計算機視覺概述2.2

色彩模型色彩模型是描述如何使用1組值表示顏色的方法的抽象數(shù)學模型。目前經(jīng)常用到的色彩模型有RGB、HSV、CMYK、Lab等。而OpenCV支持的多通道色彩模型主要有RGB、HSV等。1）基于發(fā)光屏幕的RGB

OpenCV中BGR圖像數(shù)據(jù)表示

2)基于直觀感受的HSVHSV像素點同樣由3個分量表示，H（Hue）分量表示色相，S（Saturation）分量表示飽和度，V（Value）分量表示明度H分量用角度度量，取值范圍為0～360，表示光譜上的顏色值S分量表示顏色的飽和程度，取值范圍為0～100V分量表示明亮程度，取值范圍同樣為0～100，V值越高，表示顏色明亮度越高如果要表示黃色,在HSV空間中，只需要將H分量設置為60即可相比RGB，HSV顏色空間更容易實現(xiàn)對顏色的跟蹤，在圖像處理領(lǐng)域常用于分割指定顏色的物體。3)用于打印的CMYK

利用色料的三原色混色原理，加上黑色油墨，共計四種顏色混合疊加，形成所謂“全彩印刷”四種標準顏色是：C=青色，M=品紅色，Y=黃色，K=黑色。CMYK色彩空間專用于印刷領(lǐng)域，通常在印刷品上看到的圖像都是CMYK模式，比如期刊、雜志、報紙、宣傳畫等，而在屏幕上顯示的圖像都是RGB模式。4)基于生理的LAB

思考？電腦屏幕上的畫面是哪種色彩模式？A

CMYKB

RGBC

HSVD

LAB紙質(zhì)教材上的圖文是哪種色彩模式？A

CMYKB

RGBC

HSVD

LAB第1章計算機視覺概述2.3圖像處理的基本過程

計算機視覺系統(tǒng)的圖像處理過程一般包括圖像獲取、圖像預處理、特征提取、高級處理等基本過程數(shù)字圖像的獲取主要通過圖像感知設備，如各種光敏攝像機、雷達、超聲波接收器等

必要的預處理操作被采用以使圖像滿足后繼分析的要求。常用的預處理操作有圖像去噪、圖像增強、圖像轉(zhuǎn)換、二次取樣等

特征提取指從圖像中提取對后繼分析有用的圖像特征。簡單的特征提取操作有邊緣提取、邊角檢測、斑點檢測等，相對復雜的特征可能與圖像中的紋理形狀或運動狀態(tài)有關(guān)，有時還需要進行圖像分割，從一或多幅圖片中分割出含有特定目標的區(qū)域高階處理部分，主要任務是理解圖像的含義

。高級處理的內(nèi)容包括但不限于：驗證得到的數(shù)據(jù)是否符合前提要求、估測特定系數(shù)（如目標的姿態(tài)和體積）、對目標進行分類等。圖像獲取-圖像采集圖像感知設備，如各種光敏攝像機、雷達、超聲波接收器等。使用的感知器不同，采集的圖像也會有區(qū)別。46普通相機、攝像機彩色圖像，像素點對應的是光在不同光譜段上的疊加強度事件攝像機由像素位置、時間和極值組成的事件對象數(shù)列雷達灰度圖像，像素點對應的是無線電波的電平超聲儀灰度圖像，像素值為超聲波的回波信號差圖像獲取-圖像表示采集設備能夠返回數(shù)字圖像，是因為中間經(jīng)歷了圖像數(shù)字化過程47

灰度離散化：將連續(xù)變化的像素取值轉(zhuǎn)化成有限個離散值，賦予像素點以灰度劃分的亮度值。通常為8位或16位整數(shù)。壓縮編碼：一般的壓縮方式有預測編碼、變換編碼、分形編碼、小波變換圖像壓縮編碼等。常見壓縮格式有JPEG、PNG等。Cat.jpgdog.png2.bmp圖像采集圖像量化壓縮編碼圖像文件直接從圖像感知設備獲取的圖像可能存在噪聲、暗區(qū)、倒置、尺寸不統(tǒng)一、數(shù)量不足等問題，無法直接用于分析任務，需要進行預處理操作。預處理類別描述圖像轉(zhuǎn)換轉(zhuǎn)換為灰度圖或二值圖像，圖像歸一化處理，圖像標準化處理等。圖像增廣通過對訓練圖像做一系列隨機改變，來產(chǎn)生相似但又不同的訓練樣本，從而擴大訓練數(shù)據(jù)集的規(guī)模。處理內(nèi)容包括翻轉(zhuǎn)、裁剪、過濾、銳化、模糊、旋轉(zhuǎn)、平移、剪切、縮放、色彩、亮度、對比、均勻、加噪、漸變、變形等。圖像預處理思考？5.圖像采集是圖像的空間離散化過程,而圖像量化是灰度離散化過程。A對B錯第1章計算機視覺概述復習5.圖像采集是圖像的空間離散化過程,而圖像量化是灰度離散化過程。A對B錯復習五分鐘分享名單了解圖像處理庫Knowledgeofimageprocessinglibraries3.1

Numpy數(shù)組創(chuàng)建數(shù)組重塑廣播3.1

Pillow圖像讀取圖像轉(zhuǎn)換色彩分離和合并03PART常見圖像處理工具庫

在實際處理中，可以采用工具軟件提升預處理效率。在Python環(huán)境中，常用的與圖像運算和處理相關(guān)的庫有NumPy、SciPy、Pillow、Matplotlib、OpenCV等，3.1

NumPy數(shù)組創(chuàng)建圖像轉(zhuǎn)換廣播NumPy是Python語言的一個擴展程序庫，支持大量的維度數(shù)組與矩陣運算，非常適合用于數(shù)字圖像的矩陣運算。實驗報告提交實驗報告命名案例：1.NumPy的基本使用(姓名-學號)提交：當天統(tǒng)一完成提交實驗報告：代碼部分，直接粘貼代碼，不要有截圖結(jié)果部分：直接將執(zhí)行結(jié)果截圖數(shù)組創(chuàng)建通過函數(shù)array()構(gòu)建numpy.array(object,dtype=None,order='C’)式中，object是數(shù)組或嵌套的數(shù)列，dtype是數(shù)組元素的數(shù)據(jù)類型，order參數(shù)是索引數(shù)組的順序，C為行方向，F(xiàn)為列方向，A為任意方向（默認）?！景咐縿?chuàng)建一個矩陣A的語句為：importnumpy

A=numpy.array([[1,2],[3,4]],int)

數(shù)組創(chuàng)建empty()、zeros()、ones()Empty()用于創(chuàng)建一個未初始化的數(shù)組zeros()用于創(chuàng)建全0的數(shù)組；ones()用于創(chuàng)建全1的數(shù)組zeros()的語法格式為：numpy.zeros(shape,dtype=float,order='C’)

ones()語法格式為：numpy.ones(shape,dtype=np.uint8,order='C’)

式中，shape是數(shù)組形狀，dtype是數(shù)組元素類型，order參數(shù)是數(shù)組的樣式?！景咐縿?chuàng)建一個全0的矩陣B語句為：B=numpy.ones((3,2),int)

語句執(zhí)行結(jié)果為：B：[[1

1][1

1][1

1]]

數(shù)組創(chuàng)建shape、ndim、size、dtype通過ndarray對象的ndim屬性能夠獲得數(shù)組的秩，NumPy數(shù)組的維數(shù)稱為秩，一維數(shù)組的秩為1，二維數(shù)組的秩為2，以此類推；通過shape屬性能夠獲得數(shù)組的形狀信息數(shù)組的形狀表示為一個元組，其中的元素為各個維中元素的數(shù)量。除此以外，還有size、dtype等屬性?！景咐繑?shù)組創(chuàng)建，創(chuàng)建一個矩陣A（[1,2][3,4]），并打印A的形狀、秩、尺寸和類型。

importnumpyasnp

A=np.array([[1,2],[3,4]],int)

print(A.shape)

print(A.ndim)

print(A.size)

print(A.dtype)

小練習（10分鐘）完成實驗指導書1的練習1和2，并完成實驗報告中相應部分內(nèi)容。2）數(shù)組重塑

數(shù)組創(chuàng)建完成后，還可以通過reshape()改變數(shù)組形狀，前提目標數(shù)組的元素總量不變arr.reshape(newshape,order='C')式中，arr是待改變的數(shù)組，newshape是目標形狀，order是索引素組順序。

將形狀為（3，2）數(shù)組B轉(zhuǎn)變?yōu)樾螤顬椋?，3）的語句為：B.reshape((2,3),order='C’)

完成實驗指導書練習3，（5分鐘）3）廣播

NumPy的“廣播”特性讓不同形狀的數(shù)組之間的也能進行運算NumPy中，當兩個數(shù)組的后緣維度（從末尾開始算起的維度）的軸長相等，或是有一方的維度是1，仍然可以借助“廣播”的形式進行計算3）廣播

【例1.1】計算出數(shù)組A：[[1,2],[3,4],[5,6]]與數(shù)組B:[[1,2]]進行四則運算的結(jié)果,并編碼驗證。編寫驗證代碼如下：importnumpyasnp

A=np.array([[1,2],[3,4],[5,6]],int)

B=np.array([1,2])

print("A+B=",A+B)

print("A-B=",A-B)

print("AxB=",A*B)

print("A/B=",A/B)

完成實驗指導書練習4，（10分鐘）Numpy基本使用【拓展案例】1.使用NumPy創(chuàng)建形狀為100*100，類型為uint8的矩陣，矩陣的前10行元素值為0，后續(xù)10行為255，再后續(xù)10行為0，以此類推，并使用Pillow顯示該矩陣，看看效果是怎么樣。

importnumpyasnp

fromPILimportImage

A=np.zeros((100,100),np.uint8)

foriinrange(11,100,20):

A[i:i+9,]=255

im=Image.fromarray(A)

im.show("result")完成實驗指導書練習5，（5分鐘）下一次分享主題第1章計算機視覺概述復習【多選題】以下用于構(gòu)建數(shù)組的函數(shù)有？A

array().Breshape().Czeros().D.ones()【單選題】以下用于重塑數(shù)組的函數(shù)是？A

empty().Breshape().Czeros().D.ones()【判斷題】形狀為（2,3,3）和（1,3,3）的numpy數(shù)組可以進行加減乘除運算。A對B錯分享時間3.2

Pillow圖像讀取圖像轉(zhuǎn)換色彩分離和合并Pillow是python3的圖像處理庫，提供了基本的圖像處理功能，如讀寫圖像、幾何變換、顏色變換等。前面介紹了圖像的不同表示方式、色彩空間等概念1）圖像讀取核心：Imageopen()函數(shù)讀取圖像，通過_show()函數(shù)顯示圖像讀取到圖像對象后，通過mode、size、height、width等屬性獲取圖像的色彩空間、尺寸、高度和寬度。conda

install

pillowpip

install

pillow

【例1.2】讀取圖片lena.jpg，獲取圖像的色彩空間、尺寸、高度和寬度信息。1）圖像讀取_show()類顯示函數(shù)，使用：Image._show(im)show():對象顯示函數(shù)，使用：im.show(name)Numpy到Image：Im=Image.fromarray(arr)注意：Image圖像對象的組織形式為（H,W,C）與tensorflow一致【例1.2】使用NumPy創(chuàng)建形狀為（100，100，3）的矩陣，并使用Pillow顯示該矩陣1）圖像讀取類型轉(zhuǎn)換：Image

to

Numpynp_im=numpy.array(pil_im)np_im是轉(zhuǎn)換成的NumPy數(shù)組，pil_im是Pillow的圖像對象。NumPy的二維數(shù)組（矩陣）也可以通過Pillow顯示為圖像，所用函數(shù)為fromarray()

【例1.3】讀取圖像cat.jpg,轉(zhuǎn)換為numpy類型，并且打印數(shù)組的形狀和類型。1）圖像讀取【例1.3】讀取圖像cat.jpg,轉(zhuǎn)換為numpy類型，進行運算后轉(zhuǎn)換為Image并顯示。第1章計算機視覺概述3.2

Pillow圖像讀取圖像轉(zhuǎn)換色彩分離和合并Pillow是python3的圖像處理庫，提供了基本的圖像處理功能，如讀寫圖像、幾何變換、顏色變換等。前面介紹了圖像的不同表示方式、色彩空間等概念2）圖像轉(zhuǎn)換convert()函數(shù)支持灰度圖和彩色圖之間的模式轉(zhuǎn)換im.convert(mode)im是圖像對象，mode是轉(zhuǎn)換的目標模式，取值“L”表示轉(zhuǎn)換為灰度圖，取值“RGB”表示轉(zhuǎn)換為彩色圖像【例1.4】讀取圖片cat.jpg，將其轉(zhuǎn)換為灰度圖完成實驗報告實驗5（5分鐘）2）圖像轉(zhuǎn)換二