1

教材：

胡玉榮，余云霞，董尚燕，李俊梅，

《人工智能導(dǎo)論》，清華大學(xué)出版社，2025.9人工智能導(dǎo)論第6章計(jì)算機(jī)視覺(jué)6.1計(jì)算機(jī)視覺(jué)概述6.2計(jì)算機(jī)視覺(jué)的主要研究?jī)?nèi)容6.3常用的計(jì)算機(jī)視覺(jué)工具6.4計(jì)算機(jī)視覺(jué)的應(yīng)用實(shí)例—人臉識(shí)別26.1計(jì)算機(jī)視覺(jué)概述3

計(jì)算機(jī)與人工智能想要在現(xiàn)實(shí)世界發(fā)揮重要作用，就必須看懂圖像，這就是計(jì)算機(jī)視覺(jué)要解決的問(wèn)題。具體來(lái)說(shuō)，計(jì)算機(jī)視覺(jué)要讓計(jì)算機(jī)具有對(duì)周圍世界的空間和物體進(jìn)行傳感、抽象、判斷的能力，從而達(dá)到識(shí)別、理解的目的。圖6-1包含花草和小狗的圖像6.1計(jì)算機(jī)視覺(jué)概述6.1.1計(jì)算機(jī)視覺(jué)定義6.1.2計(jì)算機(jī)視覺(jué)的應(yīng)用領(lǐng)域46.1.1計(jì)算機(jī)視覺(jué)的定義56.1.2計(jì)算機(jī)視覺(jué)的應(yīng)用領(lǐng)域6圖6-2計(jì)算機(jī)視覺(jué)在手術(shù)中的應(yīng)用6.1.2計(jì)算機(jī)視覺(jué)的應(yīng)用領(lǐng)域7圖6-2計(jì)算機(jī)視覺(jué)在交通中的應(yīng)用6.2計(jì)算機(jī)視覺(jué)的主要研究?jī)?nèi)容6.2.1圖像處理6.2.2目標(biāo)檢測(cè)6.2.3圖像分割86.2.1圖像處理91.圖像增強(qiáng)圖像增強(qiáng)技術(shù)是一種對(duì)圖像進(jìn)行處理的方法，其核心在于不考慮圖像噪聲產(chǎn)生的具體原因，而是專注于圖像中某些特定部分的處理，以突出有用的圖像特征信息。就像給圖像“打光”，讓圖像中的某些部分更亮或者更清晰。圖6-3亮度調(diào)整前的圖像圖6-4亮度調(diào)整后的圖像6.2.1圖像處理101.圖像增強(qiáng)圖像增強(qiáng)技術(shù)的目的是提高圖像的可辨識(shí)性，但處理后的圖像信息可能與原始圖像信息不完全一致。圖像增強(qiáng)技術(shù)主要應(yīng)用于需要突出圖像中特定特征的場(chǎng)景。

圖像增強(qiáng)可以改善圖像的視覺(jué)效果，使其更適合人眼觀察或機(jī)器分析。常見(jiàn)的圖像增強(qiáng)方法包括對(duì)比度增強(qiáng)、亮度調(diào)整、銳化等。例如，通過(guò)亮度調(diào)整，可以增強(qiáng)圖像的對(duì)比度，使圖像中的細(xì)節(jié)更加清晰可見(jiàn)。6.2.1圖像處理112.圖像去噪對(duì)數(shù)字圖像處理而言，噪聲是指圖像中的非本源信息。圖像在采集和傳輸過(guò)程中往往會(huì)受到噪聲的干擾，導(dǎo)致圖像質(zhì)量下降。噪聲會(huì)影響人的感官對(duì)所接收的信源信息的準(zhǔn)確理解。圖像去噪的目的是去除圖像中的噪聲，恢復(fù)圖像的原始信息。圖像去噪就像是給圖像“除雜草”，把圖像中的干擾信息（噪聲）去掉，讓圖像更干凈。降噪是圖像處理中至關(guān)重要的預(yù)處理步驟。6.2.1圖像處理122.圖像去噪在實(shí)際應(yīng)用中，有多種去噪方法可以用于改善被噪聲污染的圖像質(zhì)量。常見(jiàn)的去噪方法（即算法）有均值濾波、中值濾波、高斯濾波等算法，其中高斯濾波算法在許多圖像處理任務(wù)中被廣泛應(yīng)用。圖6-5去噪前的圖像圖6-6去噪前的圖像6.2.1圖像處理133.邊緣檢測(cè)

邊緣檢測(cè)是計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域中的一個(gè)關(guān)鍵步驟，其主要目的是提取圖像中的邊界信息，這些信息通常代表了圖像中的重要特征，如物體的輪廓、形狀和結(jié)構(gòu)。邊緣檢測(cè)就像是在圖像中畫出“輪廓線”，找出物體的邊界。圖6-7邊緣檢測(cè)前的原圖圖6-8邊緣檢測(cè)后的效果圖6.2.1圖像處理143.邊緣檢測(cè)

簡(jiǎn)單來(lái)說(shuō)，邊緣就是圖像中因?yàn)槲矬w的形狀、材料或者光照條件不同而形成的分界線。邊緣檢測(cè)的實(shí)質(zhì)就是找到圖像中亮度變化劇烈的像素點(diǎn)構(gòu)成的集合，表現(xiàn)出來(lái)往往是輪廓。

在圖像中，邊緣表示一個(gè)特征區(qū)域的終結(jié)和另一個(gè)特征區(qū)域的開(kāi)始，這些區(qū)域的內(nèi)部特征或?qū)傩允且恢碌?，而不同區(qū)域的特征或?qū)傩允遣煌?。邊緣檢測(cè)利用物體和背景在圖像特性上的差異來(lái)實(shí)現(xiàn)，這些差異包括灰度、顏色或者紋理特征。6.2.1圖像處理153.邊緣檢測(cè)

邊緣檢測(cè)實(shí)際上是檢測(cè)圖像特征發(fā)生變化的位置。

常見(jiàn)的邊緣檢測(cè)方法（即算法）有：Sobel算子、Canny算子等方法。

邊緣檢測(cè)是圖像處理中的一個(gè)重要任務(wù)，它用于檢測(cè)圖像中物體的輪廓和邊界，可以為后續(xù)的目標(biāo)識(shí)別和圖像分割提供了重要的基礎(chǔ)。6.2.1圖像處理164.特征提取

判斷目標(biāo)為何物或者測(cè)量其尺寸大小的第一步，是將目標(biāo)從復(fù)雜的圖像中提取出來(lái)。例如，在街景中對(duì)行人的提取；在川流不息的道路中識(shí)別過(guò)往車輛和交通標(biāo)志。

人眼在雜亂的圖像中搜尋目標(biāo)物體，主要依靠顏色和形狀差別。

計(jì)算機(jī)視覺(jué)在提取物體時(shí)，也是依靠顏色和形狀差別，即圖像特征。計(jì)算機(jī)里沒(méi)有這些圖像特征，需要人們利用計(jì)算機(jī)語(yǔ)言，通過(guò)某種方法，將目標(biāo)物體的知識(shí)輸入或計(jì)算出來(lái)，形成判斷依據(jù)。6.2.1圖像處理174.特征提取

特征提取就像是從圖像中找出最重要的“線索”。比如，想讓計(jì)算機(jī)識(shí)別出照片中的人臉，就需要提取人臉的特征，比如眼睛、鼻子、嘴巴的形狀和位置。這些特征就像是人臉的“指紋”，幫助計(jì)算機(jī)識(shí)別出這是一個(gè)人臉。圖6-9特征提取的輸入圖像與特征提取效果圖6.2.1圖像處理184.特征提取

特征提取的實(shí)質(zhì)就是從圖像中提取有助于描述圖像內(nèi)容的特征。這些特征可以是顏色、紋理、形狀或基于學(xué)習(xí)的特征。特征提取是圖像分析的關(guān)鍵步驟，因?yàn)樗苯佑绊懙綀D像識(shí)別和分類的性能。

傳統(tǒng)的特征提取方法包括邊緣檢測(cè)、角點(diǎn)檢測(cè)和紋理分析等方法。近年來(lái)，基于深度學(xué)習(xí)的特征提取方法（如卷積神經(jīng)網(wǎng)絡(luò)）已成為主流，因?yàn)樗鼈兡軌蜃詣?dòng)學(xué)習(xí)圖像的高層次特征。6.2.2目標(biāo)檢測(cè)191.目標(biāo)檢測(cè)的基本概念

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)核心任務(wù)，其目的是在圖像中確定圖像中目標(biāo)物體的位置和大小。簡(jiǎn)單來(lái)說(shuō)，目標(biāo)檢測(cè)的目標(biāo)就是在一張圖片里找出人們關(guān)心的物體，并且告訴人們?cè)谀睦铩?/p>

目標(biāo)檢測(cè)不僅要認(rèn)出物體是什么，還要準(zhǔn)確地指出它們的位置。通常用一個(gè)框（叫作邊界框）來(lái)標(biāo)注物體的位置。6.2.2目標(biāo)檢測(cè)201.目標(biāo)檢測(cè)的基本概念

目標(biāo)檢測(cè)在多個(gè)領(lǐng)域有著廣泛的應(yīng)用。例如在自動(dòng)駕駛系統(tǒng)中，汽車需要實(shí)時(shí)檢測(cè)路上的行人、其他車輛和交通標(biāo)志，這樣才能安全地行駛。目標(biāo)檢測(cè)是讓計(jì)算機(jī)“看懂”世界的關(guān)鍵技術(shù)之一。圖6-10目標(biāo)檢測(cè)結(jié)果圖6.2.2目標(biāo)檢測(cè)212.目標(biāo)檢測(cè)的任務(wù)

1）分類（Classification）判斷圖像中包含哪些類別的目標(biāo)。例如，在一個(gè)場(chǎng)景圖像中，分類任務(wù)需要識(shí)別出圖像中是否存在汽車、行人、交通標(biāo)志等。

2）定位（Localization）確定目標(biāo)在圖像中的位置。一般是通過(guò)在圖像上繪制邊界框來(lái)實(shí)現(xiàn)，邊界框是一個(gè)矩形框，能夠精確地框出目標(biāo)的位置。6.2.2目標(biāo)檢測(cè)222.目標(biāo)檢測(cè)的任務(wù)

3）檢測(cè)（Detection）結(jié)合分類和定位，不僅識(shí)別出目標(biāo)的類別，還要確定其位置。這是目標(biāo)檢測(cè)最重要的任務(wù)，例如在自動(dòng)駕駛場(chǎng)景中，檢測(cè)系統(tǒng)需要實(shí)時(shí)識(shí)別并定位道路上的行人和車輛。

4）分割（Segmentation）進(jìn)一步細(xì)分為實(shí)例級(jí)分割和場(chǎng)景級(jí)分割。實(shí)例級(jí)分割要求對(duì)每個(gè)目標(biāo)進(jìn)行像素級(jí)的分割，即確定每個(gè)像素屬于哪個(gè)目標(biāo)；場(chǎng)景級(jí)分割則關(guān)注于對(duì)整個(gè)場(chǎng)景的語(yǔ)義分割，例如區(qū)分道路、天空、建筑物等。6.2.2目標(biāo)檢測(cè)233.目標(biāo)檢測(cè)的核心問(wèn)題1）分類問(wèn)題確定目標(biāo)屬于哪個(gè)類別。這要求檢測(cè)系統(tǒng)能夠準(zhǔn)確地識(shí)別出圖像中的不同物體，并將其歸類到預(yù)定義的類別中。例如，在一個(gè)包含多種動(dòng)物的圖像中，系統(tǒng)需要能夠區(qū)分出哪些是貓，哪些是狗。

2）定位問(wèn)題確定目標(biāo)在圖像中的位置。定位通常通過(guò)邊界框來(lái)實(shí)現(xiàn)，邊界框的坐標(biāo)（如左上角和右下角的坐標(biāo)）需要盡可能精確。6.2.2目標(biāo)檢測(cè)243.目標(biāo)檢測(cè)的核心問(wèn)題

3）大小問(wèn)題確定目標(biāo)的大小。目標(biāo)的大小信息對(duì)于理解場(chǎng)景和進(jìn)行后續(xù)處理非常重要。例如，在自動(dòng)駕駛過(guò)程中，通過(guò)目標(biāo)檢測(cè)，可以了解車輛的大小，有助于預(yù)測(cè)車輛的運(yùn)動(dòng)軌跡和潛在的碰撞風(fēng)險(xiǎn)。

4）形狀問(wèn)題確定目標(biāo)的形狀。形狀信息可以幫助系統(tǒng)更好地理解目標(biāo)的特征，例如在醫(yī)學(xué)圖像分析中，腫瘤的形狀對(duì)于診斷和治療方案的選擇具有重要意義。6.2.2目標(biāo)檢測(cè)254.目標(biāo)檢測(cè)的應(yīng)用場(chǎng)景目標(biāo)檢測(cè)技術(shù)就像給計(jì)算機(jī)裝上了一雙“慧眼”，讓它能夠在圖像或視頻中自動(dòng)發(fā)現(xiàn)、識(shí)別并定位人們感興趣的物體。這項(xiàng)技術(shù)的應(yīng)用場(chǎng)景非常廣泛，幾乎涵蓋了人們生活的方方面面。6.2.3圖像分割261.圖像分割的基本概念

圖像分割是指將圖像分割成多個(gè)互不重疊的區(qū)域，使得每個(gè)區(qū)域內(nèi)的像素具有相似的特性，如顏色、紋理、灰度等。分割后的區(qū)域可以代表圖像中的不同對(duì)象或背景。其目的是將圖像分割成多個(gè)有意義的區(qū)域或?qū)ο?，以便于后續(xù)的分析和處理。6.2.3圖像分割272.圖像分割的任務(wù)

1）語(yǔ)義分割語(yǔ)義分割是將圖像中的每個(gè)像素分配到預(yù)定義的類別中，每個(gè)類別代表一種語(yǔ)義對(duì)象或背景。語(yǔ)義分割就像是給照片里的每一小塊地方貼上“標(biāo)簽”。

2）實(shí)例分割實(shí)例分割不僅將圖像中的每個(gè)像素分配到預(yù)定義的類別中，還需要區(qū)分同一類別中的不同實(shí)例。實(shí)例分割的目標(biāo)是識(shí)別和分割出圖像中的每個(gè)獨(dú)立對(duì)象。實(shí)例分割就像是在一堆相似的東西中找出每個(gè)獨(dú)特的個(gè)體。6.2.3圖像分割282.圖像分割的任務(wù)

3）全景分割全景分割結(jié)合了語(yǔ)義分割和實(shí)例分割的特點(diǎn)，將圖像中的每個(gè)像素分配到預(yù)定義的類別中，并區(qū)分同一類別中的不同實(shí)例。全景分割的目標(biāo)是提供一個(gè)完整的、像素級(jí)別的圖像分割結(jié)果，既包括語(yǔ)義信息，也包括實(shí)例信息。6.2.3圖像分割292.圖像分割的任務(wù)4）醫(yī)學(xué)圖像分割醫(yī)學(xué)圖像分割是在醫(yī)學(xué)圖像中分割出特定的組織、器官或病變區(qū)域。例如，在MRI圖像中分割出大腦的不同區(qū)域，或在CT圖像中分割出腫瘤。5）視頻分割視頻分割是在視頻序列中，對(duì)每一幀圖像進(jìn)行分割，并跟蹤分割結(jié)果在時(shí)間上的連續(xù)性。視頻分割的目標(biāo)是識(shí)別和分割出視頻中的運(yùn)動(dòng)對(duì)象，實(shí)現(xiàn)視頻的智能分析和理解。6.2.3圖像分割303.圖像分割的核心問(wèn)題1）像素分類問(wèn)題2）邊界檢測(cè)問(wèn)題3）多尺度問(wèn)題4）噪聲和遮擋問(wèn)題5）計(jì)算效率問(wèn)題圖6-11圖像分割效果圖6.2.3圖像分割314.圖像分割的應(yīng)用場(chǎng)景圖6-12農(nóng)業(yè)監(jiān)測(cè)中的圖像分割結(jié)果圖6.3常用的計(jì)算機(jī)視覺(jué)工具6.3.1圖像處理工具6.3.2深度學(xué)習(xí)與機(jī)器學(xué)習(xí)框架6.3.3計(jì)算機(jī)視覺(jué)庫(kù)326.3.1圖像處理工具33圖6-13scikit-imagel圖像處理可視化界面6.3.1圖像處理工具34圖6-14Pillow官網(wǎng)的部分內(nèi)容6.3.1圖像處理工具35圖6-15MATLAB的官網(wǎng)部分內(nèi)容6.3.2深度學(xué)習(xí)與機(jī)器學(xué)習(xí)框架36圖6-16Pillow官網(wǎng)的部分內(nèi)容6.3.2深度學(xué)習(xí)與機(jī)器學(xué)習(xí)框架37圖6-17TensorFlow工作界面6.3.2深度學(xué)習(xí)與機(jī)器學(xué)習(xí)框架38圖6-18PyTorch實(shí)戰(zhàn)界面6.3.2深度學(xué)習(xí)與機(jī)器學(xué)習(xí)框架39圖6-19使用Keras預(yù)測(cè)的數(shù)據(jù)可視化界面6.3.3計(jì)算機(jī)視覺(jué)庫(kù)40圖6-20使用OpenCV庫(kù)進(jìn)行圖像處理6.3.3計(jì)算機(jī)視覺(jué)庫(kù)41圖6-21使用SimpleCV庫(kù)實(shí)現(xiàn)圖像處理6.4計(jì)算機(jī)視覺(jué)的應(yīng)用實(shí)例—人臉識(shí)別6.4.1人臉識(shí)別概述6.4.2人臉識(shí)別技術(shù)的發(fā)展6.4.3人臉識(shí)別的基本步驟6.4.4人臉識(shí)別的代碼示例426.4.1人臉識(shí)別概述43圖6-22校園AI業(yè)務(wù)系統(tǒng)中的人臉識(shí)別界面6.4.1人臉識(shí)別概述44圖6-23安防監(jiān)控系統(tǒng)與入侵檢測(cè)展示圖6.4.2人臉識(shí)別技術(shù)的發(fā)展456.4.3人臉識(shí)別的基本步驟466.4.3人臉識(shí)別的基本步驟476.4.3人臉識(shí)別的基本步驟486.4.3人臉識(shí)別的基本步驟496.4.3人臉識(shí)別的基本步驟506.4.4人臉識(shí)別的代碼示例516.4.4人臉識(shí)別的代碼示例521.人臉圖像采集1）

采集代碼使用OpenCV庫(kù)初始化攝像頭，通過(guò)cv2.VideoCapture(0)獲取默認(rèn)攝像頭資源，等待用戶按下回車鍵后讀取一幀圖像并保存為文件，采集完成后釋放攝像頭資源并顯示采集到的圖像。2）

注意事項(xiàng)確保采集環(huán)境光線充足，人臉角度適中，采集的圖像清晰，以提高后續(xù)識(shí)別的準(zhǔn)確性，采集方式可以是靜態(tài)照片或動(dòng)態(tài)視頻。6.4.4人臉識(shí)別的代碼示例532.人臉定位1）定位代碼加載采集到的圖像，使用face_recognition.face_locations(image)