計算機視覺

ComputerVision北京理工大學計算機科學技術(shù)學院10/29/20241CV:Introduction

關(guān)于課程

主講教師賈云得教授（jiayunde@,68940955）劉峽壁博士（liuxiabi@,86343158）

教材

賈云得，《機器視覺》，科學出版社，2000

課程主頁

http:///course/cv/index.asp10/29/20242CV:Introduction

考核與成績評定結(jié)合平時表現(xiàn)，大作業(yè)與期末考試進行考核：平時成績根據(jù)課堂表現(xiàn)和作業(yè)完成情況評定。大作業(yè)題目與要求在課程學習過程中適當時候給出?？己顺煽?，按百分制評定。平時成績30%，大作業(yè)成績30%,期末考試成績40%。10/29/20243CV:Introduction第一章概論Chapter1Introduction10/29/20244CV:Introduction1.1什么是計算機視覺？

智能機器：能模擬人類的功能，能感知外部世界并有效地解決人所能解決的問題．感知系統(tǒng)：人類感知外部世界主要是通過視覺、觸覺、聽覺和嗅覺等感覺器官，其中約80%的信息是由視覺獲取的．因此，賦予機器以人類視覺功能對發(fā)展智能機器是及其重要的．計算機視覺：研究用計算機來模擬生物外顯或宏觀視覺功能的科學和技術(shù)．計算機視覺系統(tǒng)的首要目標是用圖像創(chuàng)建或恢復現(xiàn)實世界模型，然后認知現(xiàn)實世界．10/29/20245CV:Introduction1.1.1計算機視覺的五大研究內(nèi)容1）輸入設備(inputdevice)

包括成像設備和數(shù)字化設備．成象設備是指通過光學攝像機或紅外、激光、超聲、X射線對周圍場景或物體進行探測成象，得到關(guān)于場景或物體的二維或三維數(shù)字化圖像．2）低層視覺(lowlevel)

主要是對輸入的原始圖像進行處理．這一過程借用了大量的圖像處理技術(shù)和算法，如圖像濾波、圖像增強、邊緣檢測、紋理檢測、運動檢測，以便從圖像中抽取諸如角點、邊緣、線條、邊界、色彩、紋理、運動等關(guān)于場景的基本特征．10/29/20246CV:Introduction計算機視覺的五大研究內(nèi)容3）中層視覺（middlelevel）

主要任務是恢復場景的深度、表面法線方向、輪廓等有關(guān)場景的2.5維信息，實現(xiàn)的途徑有立體視覺（stereovision）、測距成像（rangefinder）、從X恢復形狀（ShapefromX,X=明暗、紋理、運動）．系統(tǒng)標定、系統(tǒng)成像模型等研究內(nèi)容一般也是在這個層次上進行的．4）高層視覺（highlevel）

主要任務是在以物體為中心的坐標系中，在原始輸入圖像、圖像基本特征、2.5維圖的基礎上，恢復物體的完整三維圖，建立物體三維描述，識別三維物體并確定物體的位置和方向．10/29/20247CV:Introduction計算機視覺的五大研究內(nèi)容5）體系結(jié)構(gòu)（systemarchitecture）在高度抽象的層次上，根據(jù)系統(tǒng)模型而不是根據(jù)實現(xiàn)設計的具體例子來研究系統(tǒng)的結(jié)構(gòu)．為了說明這一點，可以考慮建筑設計中某一時期的建筑風格（如清朝時期）和根據(jù)這一風格設計出來的具體建筑之間的區(qū)別．體系結(jié)構(gòu)研究涉及一系列相關(guān)的課題：并行結(jié)構(gòu)、分層結(jié)構(gòu)、信息流結(jié)構(gòu)、拓撲結(jié)構(gòu)以及從設計到實現(xiàn)的途徑等等．10/29/20248CV:Introduction1.1.2計算機視覺與相關(guān)學科的關(guān)系1）圖像處理(imageprocessing)

圖像處理通常是把一幅圖像變換成另外一幅圖像，也就是說，圖像處理系統(tǒng)的輸入是圖像，輸出仍然是圖像，信息恢復任務則留給人來完成2）計算機圖形學(computergraphics)

通過幾何基元，如線、圓和自由曲面等，來生成圖像，屬于圖像綜合，它在可視化（Visualization）和虛擬現(xiàn)實(VirtualReality）中起著很重要的作用．計算機視覺正好是解決相反的問題，即從圖像中估計幾何基元和其它特征，屬于圖像分析．3）模式識別(patternrecognition)研究分類問題，確定符號、圖畫、物體等輸入對象的類別．強調(diào)一類事物區(qū)別于其它事物所具有的共同特征。一般不關(guān)心三維世界的恢復問題。10/29/20249CV:Introduction計算機視覺與相關(guān)學科的關(guān)系3）人工智能(ArtificialIntelligence)涉及到智能系統(tǒng)的設計和智能計算的研究．在經(jīng)過圖像處理和圖像特征提取過程后，接下來要用人工智能方法對場景特征進行表示，并分析和理解場景．4）媒體計算(MultimediaComputing)文字\圖形\圖像\動畫\視頻\音頻等各類感覺媒體的共性基礎計算理論、計算方法，以及媒體系統(tǒng)實現(xiàn)技術(shù)。以實現(xiàn)下一代計算機能聽、能看、會說、會學習為目標。5）認知科學與神經(jīng)科學(CognitivescienceandNeuroscience)將人類視覺作為主要的研究對象．計算機視覺中已有的許多方法與人類視覺極為相似．許多計算機視覺研究者對研究人類視覺計算模型比研究計算機視覺系統(tǒng)更感興趣，希望計算機視覺更加自然化，更加接近生物視覺10/29/202410CV:Introduction1.1.3計算機視覺技術(shù)的應用工業(yè)領(lǐng)域（生產(chǎn)裝配、質(zhì)量檢驗）機器人（星球探測機器人）遙感圖像分析（植被分析）醫(yī)學圖像分析（骨骼定位）安全鑒別、監(jiān)視與跟蹤（門禁系統(tǒng)、視頻監(jiān)控）國防系統(tǒng)（目標自動識別與目標跟蹤）圖像與視頻檢索（基于內(nèi)容的檢索）文物保護（數(shù)字博物館）其他（游戲、動畫、體育、人機交互）…………10/29/202411CV:IntroductionSojourner火星車前部圖，中部的兩個小突出是兩個黑白CCD攝像機10/29/202412CV:Introduction勇氣號火星車Rocky7火星車10/29/202413CV:Introduction

Rocky7視覺系統(tǒng)獲取的立體圖象對(a)深度圖象

(b)障礙物探測示意圖Rocky7視覺系統(tǒng)對場景的深度恢復

10/29/202414CV:IntroductionCMU月球探測實驗車Nomad漫游者10/29/202415CV:IntroductionEyeVision手勢交互智能交通監(jiān)控10/29/202416CV:Introduction?1950s：二維圖像分析和識別，如光學字符識別，工件表面、顯微圖片和航空圖片的分析和解釋等．是模式識別的重要內(nèi)容。?1960s：MIT的Roberts通過計算機程序從數(shù)字圖像中提取出諸如立方體、楔形體、棱柱體等多面體的三維結(jié)構(gòu)，并對物體形狀及物體的空間關(guān)系進行描述．這項研究開創(chuàng)了以理解三維場景為目的的三維計算機視覺的研究．Roberts對積木世界的創(chuàng)造性研究給人們以極大的啟發(fā)，許多人相信，一旦由白色積木玩具組成的三維世界可以被理解，則可以推廣到理解更復雜的三維場景．1.2計算機視覺發(fā)展簡史10/29/202417CV:Introduction?1970s：出現(xiàn)了一些視覺應用系統(tǒng)．

70年代中期，麻省理工學院(MIT)人工智能(AI)實驗室正式開設“計算機視覺”(

MachineVision)課程，由B．K．P．Horn教授講授．

DavidMarr教授于1973年應邀在MITAI實驗室領(lǐng)導一個以博士生為主體的研究小組，1977年提出了不同于“積木世界”分析方法的計算視覺理論.?1980s~Marr理論成為計算機視覺研究領(lǐng)域中的一個十分重要的理論框架．(ICCV,Marr獎)

計算機視覺獲得蓬勃發(fā)展，新概念、新方法、新理論、新應用不斷涌現(xiàn)，比如，基于感知特征群的物體識別理論框架，主動視覺理論框架，視覺集成理論框架等．10/29/202418CV:Introduction主要學術(shù)會議

Int.Conf.onComputerVisionandPatternRecognition(CVPR);Int.Conf.onComputerVision(ICCV);EuropeanConf.onComputerVision(ECCV);AsianConf.onComputerVision(ACCV);．

Int.Conf.onPatternRecognition(ICPR);

主要學術(shù)期刊

Int.JonComputerVision(IJCV)IEEETrans.onPatternAnalysisandMachineIntelligence(PAMI)IEEETrans.onImageProcessingPatternRecognitionImageandVisionComputingPatternRecognitionLetter如何了解最新進展？10/29/202419CV:Introduction1.3Marr視覺計算理論?Marr視覺計算理論立足于計算機科學，系統(tǒng)地概括了心理生理學、神經(jīng)生理學等方面取得的所有重要成果，是視覺研究中迄今為止最為完善的視覺理論．?Marr建立的視覺計算理論，使計算機視覺研究有了一個比較明確的體系，并大大推動了計算機視覺研究的發(fā)展．人們普遍認為，計算機視覺這門學科的形成與Marr的視覺理論有著密切的關(guān)系．?Marr視覺理論的組成

1）信息處理的三個層次

2）視覺表示框架的三個階段10/29/202420CV:Introduction

1）信息處理的三個層次

計算理論

表示和算法

硬件實現(xiàn)計算的目的是什么？

如何實現(xiàn)這個計算理論？

在物理上如何實現(xiàn)為什么這一計算是合適的？

輸入、輸出的表示是什么？

這些表示和算法？執(zhí)行計算的策略是什么？

表示與表示之間的變換是什么？10/29/202421CV:Introduction

2）視覺表示框架第一階段(也稱為早期階段)：將輸入的原始圖像進行處理，抽取圖像中諸如角點、邊緣、紋理、線條、邊界等基本特征，這些特征的集合稱為基元圖(primitivesketch)；第二階段(中期階段)：指在以觀測者為中心的坐標系中，由輸入圖像和基元圖恢復場景可見部分的深度、法線方向、輪廓等，這些信息包含了深度信息，但不是真正的物體三維表示，因此，稱為二維半圖(2.5dimensionalsketch)；第三階段(后期階段)：在以物體為中心的坐標系中，由輸入圖像、基元圖、二維半圖來恢復、表示和識別三維物體。10/29/202422CV:Introduction1.4計算機視覺面臨的困難與對策1）圖像多義性三維場景被投影為二維圖像，深度和不可見部分的信息被丟失，因而會出現(xiàn)不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像的問題．另外，在不同角度獲取同一物體的圖像會有很大的差異．2）環(huán)境因素影響場景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機以及空間關(guān)系變化都會對成像有影響3）知識導引同樣的圖像在不同的知識導引下，將會產(chǎn)生不同的識別結(jié)果．4）海量數(shù)據(jù)灰度圖像，彩色圖像，深度圖像的信息量十分巨大，巨大的數(shù)據(jù)量需要很大的存貯空間，同時不易實現(xiàn)快速處理．10/29/202423CV:Introduction10/29/202424CV:Introduction10/29/202425CV:Introduction10/29/202426CV:Introduc