第8章計(jì)算機(jī)視覺8.1計(jì)算機(jī)視覺概述8.2計(jì)算機(jī)視覺任務(wù)8.3計(jì)算機(jī)視覺任務(wù)實(shí)戰(zhàn)8.1計(jì)算機(jī)視覺概述8.1.1人類視覺vs.計(jì)算機(jī)視覺人類獲取外部信息主要依賴視覺系統(tǒng)，在充滿圖像的世界中，我們能夠自然、高效地識(shí)別物體和理解復(fù)雜場(chǎng)景。然而，對(duì)計(jì)算機(jī)而言，圖像理解是一項(xiàng)復(fù)雜而具有挑戰(zhàn)性的任務(wù)。2552542502452412552552512452452001992412402451931952422412411931941852552551911921902552558.1計(jì)算機(jī)視覺概述8.1.1人類視覺vs.計(jì)算機(jī)視覺計(jì)算機(jī)必須依賴算法和模型來解析視覺信息，而現(xiàn)實(shí)世界的場(chǎng)景建模充滿復(fù)雜性與不確定性。為了解決這些問題，研究者們開始從人類視覺系統(tǒng)中汲取靈感，以提升計(jì)算機(jī)視覺系統(tǒng)的適應(yīng)能力與魯棒性。視網(wǎng)膜視覺通路視覺場(chǎng)景電信號(hào)感知傳感器數(shù)學(xué)運(yùn)算視覺場(chǎng)景電信號(hào)感知人類視覺系統(tǒng)計(jì)算機(jī)視覺系統(tǒng)8.1計(jì)算機(jī)視覺概述8.1.1人類視覺vs.計(jì)算機(jī)視覺計(jì)算機(jī)視覺是一門通過技術(shù)手段模擬人類視覺系統(tǒng)的科學(xué)，旨在讓機(jī)器具備類似人類的“看”的能力。它通過成像設(shè)備采集圖像，以計(jì)算機(jī)代替人腦對(duì)圖像進(jìn)行處理、分析與理解，實(shí)現(xiàn)對(duì)環(huán)境的自動(dòng)感知與認(rèn)知。核心任務(wù)包括圖像和視頻內(nèi)容的識(shí)別、分類與解釋。為此，計(jì)算機(jī)視覺不僅要解決圖像的獲取與處理問題，還需依靠算法支持，實(shí)現(xiàn)從像素級(jí)特征提取到語(yǔ)義層內(nèi)容理解的全過程。8.1計(jì)算機(jī)視覺概述8.1.2計(jì)算機(jī)視覺發(fā)展史1959年，神經(jīng)生理學(xué)家DavidHubel和TorstenWiesel發(fā)表研究成果，首次發(fā)現(xiàn)視覺皮層中的神經(jīng)元會(huì)對(duì)線條和邊緣的運(yùn)動(dòng)產(chǎn)生反應(yīng)，揭示了視覺系統(tǒng)感知特征的機(jī)制。這一發(fā)現(xiàn)奠定了視覺神經(jīng)科學(xué)的基礎(chǔ)，也為計(jì)算機(jī)視覺領(lǐng)域的興起提供了重要啟發(fā)和理論支持。8.1計(jì)算機(jī)視覺概述8.1.2計(jì)算機(jī)視覺發(fā)展史1963年，LarryRoberts在其博士論文《三維實(shí)體的機(jī)器感知》中提出了開創(chuàng)性觀點(diǎn)：將現(xiàn)實(shí)世界簡(jiǎn)化為基本幾何圖形，通過計(jì)算機(jī)識(shí)別和重組這些圖形來理解三維場(chǎng)景。這一思想奠定了以理解三維結(jié)構(gòu)為核心的計(jì)算機(jī)視覺研究基礎(chǔ)。8.1計(jì)算機(jī)視覺概述8.1.2計(jì)算機(jī)視覺發(fā)展史1966年，麻省理工學(xué)院AI實(shí)驗(yàn)室舉辦了“SummerVisionProject”，研究團(tuán)隊(duì)一度樂觀地認(rèn)為暑假內(nèi)即可解決計(jì)算機(jī)視覺難題，但最終發(fā)現(xiàn)構(gòu)建實(shí)用的視覺系統(tǒng)遠(yuǎn)比預(yù)想復(fù)雜。盡管未達(dá)預(yù)期，該項(xiàng)目標(biāo)志著計(jì)算機(jī)視覺作為獨(dú)立科學(xué)領(lǐng)域的正式誕生，隨后MITAI實(shí)驗(yàn)室開設(shè)了首個(gè)計(jì)算機(jī)視覺課程。8.1計(jì)算機(jī)視覺概述8.1.2計(jì)算機(jī)視覺發(fā)展史1982年，DavidMarr發(fā)表《愿景：對(duì)人類表現(xiàn)和視覺信息處理的計(jì)算研究》，受Hubel和Wiesel“視覺處理由局部到整體”理論啟發(fā)，提出將邊緣、角點(diǎn)等低級(jí)特征檢測(cè)作為視覺高級(jí)理解基礎(chǔ)的框架。同年，Marr出版《Vision》，標(biāo)志計(jì)算機(jī)視覺作為獨(dú)立學(xué)科正式確立。8.1計(jì)算機(jī)視覺概述8.1.2計(jì)算機(jī)視覺發(fā)展史21世紀(jì)以來，卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)開啟了計(jì)算機(jī)視覺的新紀(jì)元。與生物視覺系統(tǒng)類似，物體識(shí)別不依賴顯式特征提取，而是通過多層自組織網(wǎng)絡(luò)逐層抽象局部信息。每個(gè)神經(jīng)元聚焦局部特征，經(jīng)過層層整合，最終實(shí)現(xiàn)對(duì)圖像全局信息的感知與理解。2018年圖靈獎(jiǎng)獲得者：

YoshuaBengio、GeoffreyHinton和YannLeCun8.1計(jì)算機(jī)視覺概述8.1.3計(jì)算機(jī)視覺的基本任務(wù)圖像分類是計(jì)算機(jī)視覺中的核心任務(wù)之一，目標(biāo)是依據(jù)圖像中所包含的語(yǔ)義信息，將圖像自動(dòng)歸入預(yù)定義的類別中。這一過程要求模型能夠理解圖像的整體內(nèi)容，并從中提取判別性特征，以實(shí)現(xiàn)準(zhǔn)確分類。男人圖像分類模型你能舉出生活中常見的圖像分類應(yīng)用嗎？8.1計(jì)算機(jī)視覺概述8.1.3計(jì)算機(jī)視覺的基本任務(wù)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺中的關(guān)鍵任務(wù)，旨在從圖像中自動(dòng)識(shí)別出所有目標(biāo)的位置，并確定其所屬類別。該任務(wù)不僅要求準(zhǔn)確分類每個(gè)目標(biāo)，還需精確定位其在圖像中的位置。通過模型處理，輸入圖像后可獲得每個(gè)目標(biāo)的檢測(cè)框及其對(duì)應(yīng)的類別標(biāo)簽，實(shí)現(xiàn)目標(biāo)的同時(shí)定位與識(shí)別。目標(biāo)檢測(cè)模型目標(biāo)檢測(cè)模型在現(xiàn)實(shí)生活中可以應(yīng)用于哪些場(chǎng)景？8.1計(jì)算機(jī)視覺概述8.1.3計(jì)算機(jī)視覺的基本任務(wù)圖像分割是計(jì)算機(jī)視覺中的高級(jí)任務(wù)，相較于目標(biāo)檢測(cè)，其精度要求更高。目標(biāo)檢測(cè)僅需標(biāo)出目標(biāo)的大致位置，而圖像分割需對(duì)圖像中的每一個(gè)像素進(jìn)行分類，精確區(qū)分目標(biāo)與背景，或不同目標(biāo)之間的邊界。通過像素級(jí)的語(yǔ)義分組，圖像分割能夠?qū)崿F(xiàn)更細(xì)致、結(jié)構(gòu)化的圖像理解，為精密視覺分析提供關(guān)鍵支持。圖像分割模型8.1計(jì)算機(jī)視覺概述8.1.4計(jì)算機(jī)視覺與其他學(xué)科的聯(lián)系計(jì)算機(jī)視覺與圖像處理是密切相關(guān)的研究領(lǐng)域，均依賴于成像技術(shù)，并建立在數(shù)學(xué)、物理學(xué)與信號(hào)處理等理論基礎(chǔ)之上。計(jì)算機(jī)視覺通過模擬人眼的視覺機(jī)制，融合神經(jīng)生物學(xué)、人工智能和機(jī)器學(xué)習(xí)等方法，使計(jì)算機(jī)能夠“看”并理解圖像與視頻。圖像處理作為其核心組成部分，在計(jì)算機(jī)視覺和機(jī)器人控制中發(fā)揮著關(guān)鍵作用，實(shí)現(xiàn)環(huán)境感知與智能操作。在醫(yī)學(xué)診斷、交通監(jiān)控、虛擬現(xiàn)實(shí)等眾多領(lǐng)域，計(jì)算機(jī)視覺展現(xiàn)出廣泛的應(yīng)用價(jià)值，成為推動(dòng)科技進(jìn)步和改善人類生活的重要力量。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.1圖像分類圖像分類模型主要包括特征提取和分類器兩個(gè)核心部分。簡(jiǎn)單的特征提取方法是將圖像像素展開為一維向量，但該方法難以有效捕捉圖像中的邊緣、紋理和形狀特征。因此，設(shè)計(jì)維數(shù)更低且能反映圖像內(nèi)在信息的特征表示對(duì)于提升分類準(zhǔn)確性至關(guān)重要。輸入圖像特征提取分類器78.2計(jì)算機(jī)視覺基本任務(wù)8.2.1傳統(tǒng)圖像分類方法早期特征提取方法多依賴手工設(shè)計(jì)的圖像算子，其中局部二值模式算子（LocalBinaryPattern，LBP）是典型代表。LBP通過比較中心像素與其鄰域像素的灰度值差異，生成描述局部紋理信息的特征，有效捕捉圖像的細(xì)節(jié)紋理結(jié)構(gòu)。LBP算子考慮不同鄰域的示意圖8.2計(jì)算機(jī)視覺基本任務(wù)LBP計(jì)算過程假設(shè)我們有一個(gè)3x3的灰度圖像局部區(qū)域，中心像素值為70，取中心像素周圍8個(gè)鄰居，按照順時(shí)針進(jìn)行判斷。348060507065905540鄰居像素3480606540559050是否≥70？010000108.2計(jì)算機(jī)視覺基本任務(wù)LBP計(jì)算過程按照順時(shí)針順序排列二進(jìn)制值,得到:01000010將二進(jìn)制數(shù)轉(zhuǎn)換為10進(jìn)制，因此中心像素的LBP值是66。0×2?+1×2?+0×2?+0×2?+0×23+0×22+1×21+0×2?

=0+64+0+0+0+0+2+0=668.2計(jì)算機(jī)視覺基本任務(wù)8.2.1傳統(tǒng)圖像分類方法LBP特征的主要優(yōu)勢(shì)在于計(jì)算簡(jiǎn)潔且對(duì)灰度和光照變化具有較強(qiáng)穩(wěn)定性，因其基于局部像素關(guān)系，適合紋理分析和圖像分類。提取LBP特征后，通常使用支持向量機(jī)等分類器進(jìn)行訓(xùn)練，但傳統(tǒng)分類模型性能受限，且依賴于手工設(shè)計(jì)的特征，缺乏泛化能力和魯棒性，難以應(yīng)對(duì)多樣變化和噪聲。為解決這些問題，近年來研究逐漸轉(zhuǎn)向深度學(xué)習(xí)方法，通過自動(dòng)學(xué)習(xí)更具表達(dá)力的特征，大幅提升分類準(zhǔn)確性和魯棒性，推動(dòng)圖像分類性能顯著提升。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.1深度圖像分類方法2012年，AlexNet在ImageNet競(jìng)賽中以15.3%錯(cuò)誤率大幅領(lǐng)先第二名，首次證明深度學(xué)習(xí)特征優(yōu)于人工設(shè)計(jì)。其網(wǎng)絡(luò)采用11×11、5×5和3×3卷積核，配合最大池化層和三個(gè)全連接層，實(shí)現(xiàn)對(duì)1000類目標(biāo)的分類，最終通過Softmax輸出概率。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.1深度圖像分類方法AlexNet的全連接層參數(shù)量最大，采用ReLU激活函數(shù)替代Sigmoid和Tanh，有效緩解梯度消失并加速訓(xùn)練。通過dropout隨機(jī)失活增強(qiáng)泛化能力，結(jié)合數(shù)據(jù)增強(qiáng)技術(shù)防止過擬合。受限于硬件，AlexNet使用兩塊GPU并行訓(xùn)練，突破內(nèi)存瓶頸。這一網(wǎng)絡(luò)雖有改進(jìn)空間，但奠定了深度學(xué)習(xí)在圖像分類領(lǐng)域的基礎(chǔ)，推動(dòng)了后續(xù)模型的發(fā)展。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.1深度圖像分類方法2014年，VGG模型在ImageNet競(jìng)賽中獲得第二名，因優(yōu)秀的特征提取能力廣泛應(yīng)用于遷移學(xué)習(xí)和圖像風(fēng)格化。VGG主要有VGG-16和VGG-19兩種變體，VGG-16由13個(gè)卷積層和3個(gè)全連接層組成，每隔2-3個(gè)卷積層后加最大池化層逐步下采樣。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.1深度圖像分類方法VGG相較于AlexNet做出了關(guān)鍵改進(jìn)。AlexNet采用大尺寸卷積核（11x11、7x7）捕捉大范圍紋理，但計(jì)算復(fù)雜度高。VGG則用多個(gè)小卷積核（3x3）堆疊實(shí)現(xiàn)相同感受野，顯著減少參數(shù)量和計(jì)算負(fù)擔(dān)，同時(shí)使網(wǎng)絡(luò)更深更精確。池化層方面，AlexNet用3x3最大池化，VGG改為更小的2x2最大池化，減少信息丟失，提升特征保留效果。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.1深度圖像分類方法8.2計(jì)算機(jī)視覺基本任務(wù)8.2.2目標(biāo)檢測(cè)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺中的任務(wù)，旨在從圖像或視頻中識(shí)別并定位目標(biāo)，輸出物體的位置、大小和類別。與圖像分類不同，分類任務(wù)對(duì)整幅圖像進(jìn)行整體分類，而目標(biāo)檢測(cè)不僅識(shí)別圖像中的類別，還精確標(biāo)注每個(gè)物體的位置，實(shí)現(xiàn)更細(xì)粒度的理解。8.2計(jì)算機(jī)視覺基本任務(wù)人類尋找目標(biāo)的過程8.2計(jì)算機(jī)視覺基本任務(wù)8.2.2目標(biāo)檢測(cè)目標(biāo)檢測(cè)的核心任務(wù)包括兩個(gè)方面：定位（localization）與分類（classification），兩者需協(xié)同完成以實(shí)現(xiàn)對(duì)圖像中目標(biāo)的全面識(shí)別。定位：目標(biāo)檢測(cè)首先需要在圖像中確定可能包含目標(biāo)的區(qū)域，并估計(jì)其尺寸和位置。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.2目標(biāo)檢測(cè)目標(biāo)檢測(cè)的核心任務(wù)包括兩個(gè)方面：定位（localization）與分類（classification），兩者需協(xié)同完成以實(shí)現(xiàn)對(duì)圖像中目標(biāo)的全面識(shí)別。分類：完成定位后，檢測(cè)器需識(shí)別每個(gè)候選框中物體的類別。0.978.2計(jì)算機(jī)視覺基本任務(wù)8.2.2傳統(tǒng)目標(biāo)檢測(cè)方法在早期的目標(biāo)檢測(cè)方法中，準(zhǔn)確定位目標(biāo)始終是一大挑戰(zhàn)。為了解決這一問題，傳統(tǒng)方法普遍采用滑動(dòng)窗口策略來定位目標(biāo)。該方法通過枚舉圖像中不同位置與尺度的區(qū)域，以窮舉方式查找潛在的目標(biāo)。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.2深度目標(biāo)檢測(cè)方法基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)展現(xiàn)出兩大顯著優(yōu)勢(shì)：（1）能夠直接預(yù)測(cè)圖像中可能包含目標(biāo)的位置與尺寸，有效規(guī)避了冗余搜索，大幅提升了檢測(cè)速度，為實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)奠定了基礎(chǔ)；（2）可通過在大規(guī)模標(biāo)注數(shù)據(jù)上的端到端訓(xùn)練，自動(dòng)學(xué)習(xí)適用于目標(biāo)檢測(cè)的深層特征表示，不僅降低了對(duì)人為經(jīng)驗(yàn)的依賴，也顯著提升了檢測(cè)的準(zhǔn)確率與泛化能力。目前，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法主要分為兩類：一類是以RCNN系列為代表的兩階段檢測(cè)方法，另一類是以YOLO系列為代表的單階段檢測(cè)方法。二者在檢測(cè)速度與精度方面各具優(yōu)勢(shì)，是理解現(xiàn)代目標(biāo)檢測(cè)技術(shù)的核心基礎(chǔ)。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.2深度目標(biāo)檢測(cè)方法雙階段檢測(cè)方法將目標(biāo)檢測(cè)任務(wù)劃分為兩個(gè)相互獨(dú)立的階段：候選區(qū)域生成：第一階段使用特定的算法從輸入圖像中提取一批可能包含目標(biāo)的候選區(qū)域。區(qū)域分類與邊界框回歸：第二階段將這些候選區(qū)域送入一個(gè)分類器，對(duì)每個(gè)區(qū)域進(jìn)行目標(biāo)類別預(yù)測(cè)，并進(jìn)一步精確回歸出其邊界框的位置。檢測(cè)精度高，但檢測(cè)速度相對(duì)較慢8.2計(jì)算機(jī)視覺基本任務(wù)8.2.2深度目標(biāo)檢測(cè)方法單階段檢測(cè)方法則將候選區(qū)域生成與最終檢測(cè)（分類+回歸）合并在一個(gè)網(wǎng)絡(luò)中完成，直接從圖像中同時(shí)預(yù)測(cè)目標(biāo)的位置和類別，無需顯式地生成候選區(qū)域。檢測(cè)速度快，但檢測(cè)效果相對(duì)較差8.2計(jì)算機(jī)視覺基本任務(wù)8.2.3語(yǔ)義分割語(yǔ)義分割是一項(xiàng)像素級(jí)別的圖像理解任務(wù)，其目標(biāo)是將圖像中每個(gè)像素劃分到預(yù)定義的類別之一，實(shí)現(xiàn)對(duì)圖像中不同區(qū)域的語(yǔ)義理解。輸出結(jié)果是一張與輸入圖像大小相同的標(biāo)簽圖，每個(gè)像素的標(biāo)簽表示它所屬的語(yǔ)義類別（如“狗”、“貓”或“背景”）。語(yǔ)義分割本質(zhì)上是一種密集預(yù)測(cè)任務(wù)，要求模型同時(shí)理解圖像的全局語(yǔ)義信息與局部位置信息，以準(zhǔn)確預(yù)測(cè)每個(gè)像素的類別。8.2計(jì)算機(jī)視覺基本任務(wù)8.2.3深度語(yǔ)義分割方法全卷積網(wǎng)絡(luò)是最早成功應(yīng)用于語(yǔ)義分割任務(wù)的深