攝像頭的仿真構(gòu)建SimulationandTestingofIntelligentNetworkedVehicle智能網(wǎng)聯(lián)汽車仿真與測試目錄Contents什么是攝像頭01攝像頭的發(fā)展歷史02攝像頭的主要組成03攝像頭的主要參數(shù)04攝像頭在自動駕駛中的應用05ADAS系統(tǒng)中攝像頭的優(yōu)缺點06什么是攝像頭01一、什么是攝像頭定義攝像頭是一種拍攝照片和錄像的視覺輸入設(shè)備。它有一個鏡頭、一個快門和一個傳感器。當我們使用膠片攝像頭拍攝照片時，攝像頭鏡頭會暫時將膠片暴露在穿過鏡頭的光線下，通過膠片中的感光層的變化來記錄圖像，捕捉到圖像的照片經(jīng)歷沖洗等一系列流程就能生成照片。在數(shù)字攝影中，光的光子穿過光學元件，到達數(shù)字光學設(shè)備上。這些傳感器由數(shù)百萬個光電探測器組成，形成攝影圖像。魚眼鏡頭魚眼鏡頭是一種超廣角鏡頭，它產(chǎn)生強烈的視覺失真，旨在創(chuàng)建寬全景或半球形圖像。魚眼鏡頭可實現(xiàn)極寬的視角，遠遠超過任何直線鏡頭。魚眼鏡頭不是用透視的直線來產(chǎn)生圖像(直線圖像),而是使用特殊的映射，這給圖像提供了一種特征的凸形非直線外觀。一、什么是攝像頭全向攝像頭在攝影中，全向攝像頭也被稱為360度攝像頭，是一種視野幾乎覆蓋整個球體或至少在水平面上覆蓋一個完整圓的攝像頭。全向攝像頭在需要大視野覆蓋的領(lǐng)域非常重要，例如全景攝影和機器人技術(shù)。一、什么是攝像頭攝像頭的發(fā)展歷史0201最早的攝像頭：歷史上已知的第一臺攝像頭是暗箱攝像頭。大約在公元1000年，阿拉伯學者伊本·海瑟姆提出了暗箱的概念。02手持反光攝像頭：1685年，德國作家約翰·扎恩提出了一種被稱為手持反光攝像頭的設(shè)計方案。然而，直到大約1816年，法國發(fā)明家約瑟夫·尼科弗·尼埃普斯創(chuàng)造了一個原型，才有發(fā)明家真正實現(xiàn)了攝像頭。0304銀幕類型：路易斯·達蓋爾在1829年創(chuàng)造了一種更實用的攝像頭型號。達蓋爾的攝像頭拍攝的圖像被稱為銀版，他的方法定義了19世紀中期的攝像頭。銀版印刷過程包括在銅板上涂上一層銀，在碘中敏化它，然后在熱汞上顯影。二、攝像頭的發(fā)展歷史照相攝像頭：歷史學家普遍認為，第一臺照相攝像頭是法國人約瑟夫·尼科弗·尼埃普斯于1816年發(fā)明的。尼普斯將攝影圖像繪制在襯里有氯化銀的紙上，他在大約1826年制作的一張照片是現(xiàn)存最古老的照片。05鏡面攝像頭：達蓋爾攝像頭系統(tǒng)的問題是圖像褪色很快。美國發(fā)明家亞歷山大·S·沃爾科特糾正了這一點他發(fā)明了后來廣為人知的鏡子攝像頭。這臺攝像頭拍的是正片，而不是反色的負片。06瞬時曝光：在1871年，理查德·利奇·馬多克斯發(fā)明了一種能夠產(chǎn)生瞬時曝光的明膠干版--作為20世紀寶麗來攝像頭的前身。070835mm膠片攝像頭：在1905年至1913年間，攝像頭公司推出了獨立的35mm膠卷，可以插入和取出用戶自己的攝像頭。二、攝像頭的發(fā)展歷史柯達：直到美國人喬治·伊士曼率先使用膠卷攝像頭，模擬攝影才達到頂峰。伊士曼從紙質(zhì)膠卷開始但很快就轉(zhuǎn)向了賽璐膠片。1888年，伊士曼開始銷售一種盒式攝像頭，他稱之為柯達。09雙反光攝像頭：隨著鏡頭反光攝像頭的發(fā)明，攝像頭獲得了重大進步，它引入了取景器、五棱鏡、可變快門速度和可拆卸鏡頭等功能。這些攝像頭中最早的是德國公司Franke&Heidecke在20世紀20年代推出的雙鏡頭反光攝像頭(簡稱TLR)。10數(shù)碼單反攝像頭：數(shù)碼單反攝像頭(DSLR或數(shù)碼單反)是一種提供高端圖像質(zhì)量的攝像頭，被業(yè)余愛好者和專業(yè)人士廣泛使用。單反攝像頭可以讓你直接通過取景器看到你正在拍攝的準確圖像，讓你更好地可視化和捕捉你的場景。1112銀幕類型：1779年，霍勒斯·貝內(nèi)迪克特·德·索緒爾發(fā)表了他的阿爾卑斯山俯視魚眼圖:“所有的物體都是從中心透視繪制的。”1924年，RobinHill首次描述了一種具有180°覆蓋度的透鏡,希爾天空透鏡現(xiàn)在被認為是第一個魚眼透鏡。魚眼扭曲的全景圖早于攝影和魚眼鏡頭。二、攝像頭的發(fā)展歷史無反光鏡攝像頭：2004年，愛普生發(fā)布了第一款無反光鏡攝像頭，這是一種沒有反光鏡的攝像頭。光線直接通過鏡頭到達數(shù)字傳感器，然后數(shù)字傳感器將你的圖像顯示在攝像頭的LCD屏幕上，允許你在拍攝之前調(diào)整設(shè)置和預覽圖像。13360度環(huán)視攝像頭：全景360度成像始于1787年，當時英國畫家羅伯特·巴克為他在圓柱面上展示的畫作創(chuàng)造了“全景”一詞。14二、攝像頭的發(fā)展歷史車載攝像頭：1991年，豐田以后備攝像頭的形式首次推出攝像頭，攝像頭是車輛上使用的最古老的傳感器類型。它也是最直觀的傳感器，因為它的工作原理就像人類的眼睛一樣。在幾十年的后備輔助使用之后，汽車攝像頭在2010年代經(jīng)歷了顯著的改進，因為它們被應用于車道保持和車道居中輔助。如今，攝像頭已經(jīng)成為自動駕駛輔助系統(tǒng)中最重要的部件，并且可以在每一輛車中看到。攝像頭的主要組成03三、攝像頭的主要組成車載攝像頭主要包括三個部分：鏡頭組、圖像傳感器、DSP芯片。攝像頭一般具有視頻攝像靜態(tài)圖像捕捉等基本功能，它借由鏡頭采集圖像(光信號)后，由攝像頭內(nèi)的感光組件電路及控組件對圖像進行處理并轉(zhuǎn)換成電腦所能識別的數(shù)字信號，然后借由并行端口或USB連接輸入到腦后由軟件再進行圖像還原。01鏡頭組鏡頭組(lens)，由光學鏡片、濾光片和保護膜等組成。透鏡分兩類，有塑膠透鏡(Plastic)及玻璃透鏡(Glass)。通常攝像頭用的鏡頭構(gòu)造有:1P、2P、1GIP、1G2P、2G2P、4G等，透鏡越多，成本越高。三、攝像頭的主要組成02圖像傳感器圖像傳感器(ImageSensor)可以分為兩類：CCD與CMOS傳感器。CCD與CMOS傳感器兩者都是利用感光二極管(photodiode)進行光電轉(zhuǎn)換，將圖像轉(zhuǎn)換為數(shù)字數(shù)據(jù)，而其主要差異是數(shù)字數(shù)據(jù)傳送的方式不同。三、攝像頭的主要組成02圖像傳感器CCD傳感器中每一行中每一個像素的電荷數(shù)據(jù)都會依次傳送到下一個像素中，由最底端部分輸出，再經(jīng)由傳感器邊緣的放大器進行放大輸出；而在CMOS傳感器中，每個像素都會鄰接一個放大器及A/D轉(zhuǎn)換電路，用類似內(nèi)存電路的方式將數(shù)據(jù)輸出。簡單講CMOS的信號是以“點”為單位的電荷信號，而CCD是以“行”為單位的電流信號。三、攝像頭的主要組成03DSP芯片DSP(DigitalSignalProcessing)芯片，也稱數(shù)字信號處理器，是一種具有特殊結(jié)構(gòu)的微處理器。DSP的功能主要是通過一系列復雜的數(shù)學算法運算,對由CMOS傳感器來的數(shù)字圖像信號進行優(yōu)化處理，并把處理后的信號通過USB等接口傳到計算機等處理設(shè)備，是攝像頭的核心設(shè)備。三、攝像頭的主要組成攝像頭的主要參數(shù)0401像素像素(Resolution)是由一個數(shù)字序列表示圖像中的一個最小單位。如圖四維圖新logo就是由一個個小方格子像素組成的。四、攝像頭的主要參數(shù)02分辨率分辨率是用于度量位圖圖像內(nèi)數(shù)據(jù)量多少的一個參數(shù)，表示成dpi(DotsPerInch，每英寸點或像素數(shù))。它是衡量攝像頭的一個重要指標之一，通常來說攝像頭的最高分辨率越高(即像素點數(shù)量)，拍攝出來的圖像品質(zhì)就越好。四、攝像頭的主要參數(shù)30萬像素CMOS的分辨率為640X480=307200像素:100萬像素(720p)的分辨率為1280x720=921600像素;200萬像素(1080p)的分辨率為1920x1080=2073600像素;800萬像素是1080p的四倍面積，被稱為4K;1600萬像素是1080p的8倍面積，被稱為8K。02分辨率仍以上面四維圖新logo為例，像素低的如左圖，像素高的如右圖，人類可以發(fā)現(xiàn)最高分辨率越高，像素數(shù)越多，圖像越清晰。四、攝像頭的主要參數(shù)03色域色域(ColorGamut或ColorSpace)是對一種顏色進行編碼的方法，也指一個技術(shù)系統(tǒng)能夠產(chǎn)生的顏色的總和。最常用的兩種圖像格式是RGB24和1420。RGB即代表紅、綠、藍三個通道的顏色變化以及它們相互之間的疊加來得到各式各樣的顏色，這個標準幾乎包括了人類視力所能感知的所有顏色，是目前運用最廣的顏色系統(tǒng)之一。四、攝像頭的主要參數(shù)04自動白平衡調(diào)整定義：要求在不同色溫環(huán)境下，照白色的物體，屏幕中的圖像應也是白色的。色溫表示光譜成分，光的顏色。色溫低表示長波光成分多。當色溫改變時，光源中三基色(紅、綠、藍)的比例會發(fā)生變化，需要調(diào)節(jié)三基色的比例來達到彩色的平衡。四、攝像頭的主要參數(shù)05彩色深度反映對色彩的識別能力和成像的色彩表現(xiàn)能力，實際就是A/D轉(zhuǎn)換器的量化精度，是指將信號分成多少個等級。常用色彩位數(shù)(bit)表示。彩色深度越高，獲得的影像色彩就越艷麗動人。四、攝像頭的主要參數(shù)06圖像噪聲指的是圖像中的雜點干擾。表現(xiàn)為圖像中有固定的彩色雜點。下圖中，左側(cè)為原圖，其整體帶有噪聲造成的黑白像素點。去除圖像噪聲后，圖像更加清晰，特征更加明顯。四、攝像頭的主要參數(shù)07視角鏡頭中心點到成像平面對角線兩端所形成的夾角就是鏡頭視角，對于相同的成像面積，鏡頭焦距越短，其視角就越大。這個與人的眼睛成像是相同的，人類可以試著將手掌(如圖黃色方框)放于眼前正前方10厘米處和30厘米處，10厘米時的視角(藍色線來角)大于30厘米的視角(杯黃色線夾角)。四、攝像頭的主要參數(shù)08幀率幀率FPS(FramesPerSecond)是指畫面每秒傳輸數(shù)，通俗來講就是指動畫或視頻的畫面數(shù)，即每秒拍攝了多少張照片。比如：人類目前看到的大部分電影都是采用24fps(或者23.98fps)拍攝和放映，也就是每秒拍攝/放映24張照片。四、攝像頭的主要參數(shù)攝像頭在自動駕駛中的應用05攝像頭是領(lǐng)先的傳感器之一(如激光雷達和雷達)，用于實現(xiàn)先進的駕駛輔助系統(tǒng)(ADAS)和自動駕駛(AD)。攝像頭被用來監(jiān)控車輛和司機的周圍環(huán)境。五、攝像頭在自動駕駛中的應用01外部攝像頭：外部攝像頭是指放置在車外的單個或多個攝像頭，用于各種應用，如車道偏離警告、交通標志識別、停車輔助和道路漏洞檢測等。五、攝像頭在自動駕駛中的應用（1）車道偏離警告車道偏離預警系統(tǒng)為了幫助司機不偏離正常的行駛車道，在汽車的前面放置了一個攝像頭，用于識別車道標記并采取必要措施控制車輛，使其保持在一條車道上。01外部攝像頭：外部攝像頭是指放置在車外的單個或多個攝像頭，用于各種應用，如車道偏離警告、交通標志識別、停車輔助和道路漏洞檢測等。五、攝像頭在自動駕駛中的應用（2）交通標志識別為了幫助汽車識別各種標志和信號，智能網(wǎng)聯(lián)汽車使用了基于攝像頭的ADAS系統(tǒng)。從傳感器捕獲的視頻由中央處理單元處理，該單元運行各種機器視覺算法，以識別交通標志和紅綠燈，并幫助汽車做出全面的自主決策。01外部攝像頭：外部攝像頭是指放置在車外的單個或多個攝像頭，用于各種應用，如車道偏離警告、交通標志識別、停車輔助和道路漏洞檢測等。五、攝像頭在自動駕駛中的應用（3）輔助泊車為了幫助司機停車，車廠使用了基于攝像頭的停車輔助系統(tǒng)。這為司機提供了周圍地區(qū)的完整圖像，使停車變得更容易。在自動駕駛中，基于攝像頭的ADAS系統(tǒng)不僅能夠提供周圍地區(qū)的完整圖像還能夠自動停車。01外部攝像頭：外部攝像頭是指放置在車外的單個或多個攝像頭，用于各種應用，如車道偏離警告、交通標志識別、停車輔助和道路漏洞檢測等。五、攝像頭在自動駕駛中的應用（4）道路脆弱性檢測道路脆弱性是一個通用術(shù)語，用于表示各種對象，如街道標志和交通標志以及道路車道標線與一般目標檢測類似，攝像機的輸入在CNN模型上運行，該模型通常在交通標志數(shù)據(jù)庫(最常用的是GTSRB)上進行訓練。ADAS系統(tǒng)注意到任何錯過的交通標志，并相應地調(diào)整各種參數(shù)，如車輛的速度。在自動駕駛中，這有助于自動系統(tǒng)識別各種交通標志和車道標記，并相應地在繁忙的街道上規(guī)劃它們的速度和移動。一旦這些CNN模型被開發(fā)出來，在嵌入式平臺上運行它們是另一個挑戰(zhàn)。02內(nèi)部攝像頭：基于單一攝像頭的解決方案，用于監(jiān)控車輛內(nèi)的所有活動，如駕駛員監(jiān)控和乘員檢測。五、攝像頭在自動駕駛中的應用（1）駕駛員監(jiān)控系統(tǒng)這是一種基于攝像頭的高級駕駛輔助系統(tǒng),其中攝像頭在內(nèi)部用于監(jiān)控司機的行為。歐盟NCAP要求在2025年前建立駕駛員監(jiān)控系統(tǒng)。DMS監(jiān)控司機的各種行為，這些行為可能會阻礙司機在駕駛時做出正確的反應。DMS會跟蹤各種面部特征，如眼皮和嘴巴的運動。為了使駕駛員監(jiān)控解決方案能夠準確地預測駕駛員的注意力集中，基本的CNN模型必須在性別、年齡、種族等方面的不同數(shù)據(jù)集上進行訓練。02內(nèi)部攝像頭：基于單一攝像頭的解決方案，用于監(jiān)控車輛內(nèi)的所有活動，如駕駛員監(jiān)控和乘員檢測。五、攝像頭在自動駕駛中的應用（2）乘客存在性檢測各種新聞文章報道，在炎熱的夏日，兒童或?qū)櫸锉涣粼谕７诺钠囍校袝r會導致死亡。這個問題可以通過一個基于攝像頭的解決方案來解決