工業(yè)相機(jī)原理主編：李紹麗，李德健，田野第4章工業(yè)相機(jī)的性能4.1灰度值的產(chǎn)生過程及噪聲 4.2EMVA1288標(biāo)準(zhǔn)與傳感器

工業(yè)相機(jī)原理第4章工業(yè)相機(jī)的性能4.1灰度值的產(chǎn)生過程及噪聲

4.1.1灰度值的產(chǎn)生過程4.1.2傳感器的噪聲

工業(yè)相機(jī)原理工業(yè)相機(jī)的性能為某特定應(yīng)用選擇攝像機(jī)時(shí)，首先需要能夠比較不同相機(jī)的性能特點(diǎn)。對(duì)于機(jī)器視覺來講，最值得注意的問題都是與相機(jī)的噪聲相關(guān)的。本節(jié)將詳細(xì)討論相機(jī)的噪聲。將按照EMVA1288標(biāo)準(zhǔn)來討論。第4章

工業(yè)相機(jī)的性能工業(yè)相機(jī)原理一幅圖像的灰度值的產(chǎn)生的步驟。Step1:在曝光期間，有np個(gè)光子落到傳感器的區(qū)域內(nèi)（包括光線不敏感區(qū)域），使CCD產(chǎn)生ne個(gè)電子和空穴（而對(duì)于CMOS來講，將消滅ne個(gè)電子-空穴對(duì)）。每個(gè)光子產(chǎn)生或消滅的電子的比率稱作量子效率?。此時(shí)受到暗噪聲darknoise影響產(chǎn)生nd個(gè)噪聲電子空穴對(duì)兒，則共得到ned=ne+nd個(gè)電子空穴對(duì)。Step2:ned個(gè)電子-空穴對(duì)形成電荷然后轉(zhuǎn)換為電壓。4.1灰度值的產(chǎn)生過程及噪聲——4.1.1灰度值的產(chǎn)生過程工業(yè)相機(jī)原理Step3:電壓被放大。Step4:電壓通過模數(shù)轉(zhuǎn)換數(shù)字化產(chǎn)生灰度值y。（模數(shù)轉(zhuǎn)換的過程中會(huì)存在量化噪聲

q。）注意：灰度值y與整個(gè)系統(tǒng)的增益K有關(guān)。（K小，則y值整體偏小；反之K大，則y值整體偏大。）注意：系統(tǒng)增益K是step2-step4共同的放大倍數(shù)/參數(shù)，而不是setp3電壓放大的參數(shù)?！竞笪闹性斀狻窟@一過程是假設(shè)相機(jī)直接產(chǎn)生數(shù)字信號(hào)。對(duì)于模擬相機(jī)，可以認(rèn)為整個(gè)系統(tǒng)由相機(jī)和圖像采集卡組成。不同的噪聲將使得真正得到的灰度值發(fā)生改變。4.1灰度值的產(chǎn)生過程及噪聲——4.1.1灰度值的產(chǎn)生過程工業(yè)相機(jī)原理一幅圖像的灰度值是如何產(chǎn)生的圖4.1-1相機(jī)的物理模型圖4.1-2一個(gè)單像素的數(shù)學(xué)模型4.1灰度值的產(chǎn)生過程及噪聲——4.1.1灰度值的產(chǎn)生過程工業(yè)相機(jī)原理相機(jī)成像過程中的噪聲：熱噪聲=光子噪聲+暗噪聲；系統(tǒng)增益（對(duì)這些噪聲進(jìn)行放大）空間噪聲4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理不同的噪聲將使得真正得到的灰度值發(fā)生改變。首先，光子并不是等時(shí)間間隔到達(dá)傳感器的，(根據(jù)量子力學(xué)定律)而是按泊松分布模型的隨機(jī)分布到達(dá)。這種光子的隨時(shí)間不一致性稱作光子噪聲。光子是光的離散“粒子”，任何光敏元件陣列都會(huì)受到噪聲的影響，即隨機(jī)變化，這是光子到達(dá)的特征。（1）光子噪聲-產(chǎn)生原理光子撞擊圖像傳感器產(chǎn)生電子的原理示意圖4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理泊松分布：上式中，若隨機(jī)變量X

只取非負(fù)整數(shù)值k=0,1,2,…，則隨機(jī)變量X

的分布稱為泊松分布，記作P(λ)。泊松分布P(λ)中只有一個(gè)參數(shù)λ，它既是泊松分布的均值，也是泊松分布的方差。泊松分布曲線4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理

光子是光的離散“粒子”，任何光敏元件陣列都會(huì)受到噪聲的影響，即隨機(jī)變化，這是光子到達(dá)的特征。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理

光子是光的離散“粒子”，任何光敏元件陣列都會(huì)受到噪聲的影響，即隨機(jī)變化，這是光子到達(dá)的特征。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理曝光期間，每個(gè)光子產(chǎn)生電子的概率為?（總的量子效率），

?值取決于a傳感器的填充因子（包括由于使用微鏡而提高的部分）、b傳感器材料及光線的波長(zhǎng)。填充因子的量子效率與傳感器材料的量子效率(傳感器材料與光線波長(zhǎng)共同作用下的量子效率)相乘稱作總的量子效率?

。因此電子數(shù)ne=?np也是泊松分布的，其中np是光子數(shù)。在該泊松分布中ue=?up，ue是電子數(shù)均值，up是光子數(shù)均值。且有下式。其中σe2是電子數(shù)標(biāo)準(zhǔn)差的平方（即方差），

σp2是光子數(shù)標(biāo)準(zhǔn)差的平方（即方差）。總的量子效率（即上文中所述的量子效率?）：即，光子噪聲對(duì)電子數(shù)量產(chǎn)生影響（乃至進(jìn)一步對(duì)圖像灰度產(chǎn)生影響）的數(shù)學(xué)證據(jù)（1）光子噪聲-對(duì)圖像灰度產(chǎn)生的影響4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理從像素中讀出電荷的過程中（即電荷轉(zhuǎn)換為電壓的過程），電路中的多種影響也會(huì)造成讀出電壓的隨機(jī)浮動(dòng)。1.復(fù)位噪聲是在讀出時(shí)像素電荷不能完全復(fù)位造成的。通過雙采樣可以去除這一噪聲，也就是在讀出電壓中減去讀出后像素中的電壓。（2）暗噪聲的構(gòu)成4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理2.暗電流噪聲是由于熱也會(huì)激發(fā)生成電子-空穴。這一問題通常在長(zhǎng)時(shí)間曝光時(shí)比較嚴(yán)重。在機(jī)器視覺應(yīng)用中?？梢院雎圆挥?jì)，當(dāng)這一噪聲成為問題時(shí)，攝像機(jī)必須制冷。3.放大器會(huì)產(chǎn)生放大噪聲。4.量化噪聲。電壓通過模數(shù)轉(zhuǎn)換器轉(zhuǎn)換為數(shù)字，會(huì)加上量化噪聲，量化噪聲也歸于暗噪聲。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理所有這些噪聲即使沒有任何光線也會(huì)有，這些噪聲合在一起構(gòu)成本底噪聲（noisefloor）或稱作暗噪聲（darknoise）。暗噪聲可以用均值為ud，方差為σd2的高斯分布模型來表示。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理將電荷轉(zhuǎn)換為數(shù)字的過程可用轉(zhuǎn)換因子為K的模型表示，K稱作整個(gè)系統(tǒng)的增益，也就是1/K個(gè)電子可以轉(zhuǎn)換為數(shù)字為1的灰度?；叶鹊木祏y

可表示為如下:其中?為總量子效率，即每個(gè)光子產(chǎn)生電子的概率。

up是光子數(shù)均值；ud是暗噪聲導(dǎo)致的電子數(shù)的均值。

ue=?up，

ue是電子數(shù)均值。計(jì)算：K取不同的值（3）系統(tǒng)增益K總的電子數(shù)4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理假設(shè)各噪聲源是隨機(jī)且獨(dú)立的，則有下式其中σy2是灰度值標(biāo)準(zhǔn)差的平方。

σp2是光子噪聲存在下光子數(shù)的平方，

σd2為暗噪聲導(dǎo)致的電子數(shù)方差，up是光子數(shù)的均值。結(jié)論：增益K越大圖像越亮，噪聲越強(qiáng)。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理以上噪聲源（光子噪聲+暗噪聲（復(fù)位噪聲、暗電流噪聲、放大器放大噪聲、量化噪聲））常稱作熱噪聲，可以通過長(zhǎng)時(shí)間平均去掉（不屬于本課程內(nèi)容，不再贅述）。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理空間噪聲上述噪聲對(duì)于每個(gè)像素都假設(shè)是一樣的。在生產(chǎn)過程中，還會(huì)有兩個(gè)因素會(huì)造成灰度的變化。與熱噪聲相反，這些灰度的起伏不能通過長(zhǎng)時(shí)間平均而去掉，因此是真正的系統(tǒng)誤差。由于看起來像噪聲，因此被稱作空間噪聲或模式噪聲。其中一個(gè)因素是每個(gè)像素的暗電流不完全一樣，稱作偏置噪聲、固定模式噪聲或暗信號(hào)不一致性（DSNU）。第二個(gè)因素是每個(gè)像素對(duì)于光線的響應(yīng)不是完全一致的，稱作增益噪聲或光子響應(yīng)不一致性（PRUN）。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理CMOS傳感器由于每個(gè)像素都有自己的放大器，這使得每個(gè)像素的增益（此增益并非系統(tǒng)增益K，只是放大器的增益）和偏移量不同，因此通常有較大的空間噪聲?？臻g噪聲可以用與光線無關(guān)的變量和與光線有關(guān)的變量表示。是增益噪聲的變量系數(shù)。偏置和增益被系統(tǒng)增益K放大。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理傳感器的噪聲是以上各種噪聲的合成：

（2.17）對(duì)于特定的照明up，信噪比可由下式表述：系統(tǒng)增益K在分子、分母中均有出現(xiàn)，最后被抵消了.(2.18)熱噪聲空間熱噪聲信號(hào)噪聲4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理情況一：對(duì)于一些CMOS傳感器，SNR中主要是增益噪聲，所以等式（2.18）成為SNR常以分貝（dB）表示：

其中l(wèi)ogx是以10為底的對(duì)數(shù)。也可以用有效位數(shù)表示：其中l(wèi)gx是以2為底的對(duì)數(shù)。熱噪聲當(dāng)照明up增加時(shí)，SNR隨之增加。在像素達(dá)到飽和前會(huì)達(dá)到最大值，此時(shí)的光強(qiáng)為。即，空間噪聲中與增益Sg有關(guān)的部分也即，只與每個(gè)像素的增益有關(guān)。而每個(gè)像素的增益可能是不同的。這也是CMOS傳感器設(shè)計(jì)的固有缺點(diǎn)。4.1灰度值的產(chǎn)生過程及噪聲工業(yè)相機(jī)原理情況二：另外一個(gè)值得注意的相機(jī)指標(biāo)是在忽略空間噪聲的情況下，且當(dāng)采集圖像時(shí)光線非常少，即這時(shí)

暗噪聲的方差也即，光線暗時(shí)，主要與量子效率?和沒有任何光線也會(huì)產(chǎn)生的暗噪聲有關(guān)。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理據(jù)此，可以得出攝像機(jī)的動(dòng)態(tài)范圍如下式：與SNR一樣，動(dòng)態(tài)范圍也常用分貝或有效位數(shù)表示。請(qǐng)注意以上為輸入的動(dòng)態(tài)范圍（稱作DYNin）。對(duì)于具有線性響應(yīng)的傳感器，與輸出動(dòng)態(tài)范圍一致。對(duì)于非線性傳感器，有不同的輸出動(dòng)態(tài)范圍。像素達(dá)到飽和前的最大光強(qiáng)傳感器可探測(cè)到的最小光強(qiáng)（2.20）SNR=1時(shí)的光強(qiáng)常被認(rèn)為是可以探測(cè)到的最小光強(qiáng)，稱作絕對(duì)靈敏度。4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理值得注意的是以上推導(dǎo)是基于單色光的。對(duì)于白光或其他多波長(zhǎng)混合的光線，在推導(dǎo)過程中需要考慮到量子效率是波長(zhǎng)的函數(shù)：4.1灰度值的產(chǎn)生過程及噪聲——4.1.2傳感器的噪聲工業(yè)相機(jī)原理第4章工業(yè)相機(jī)的性能4.2EMVA1288標(biāo)準(zhǔn)與傳感器性能評(píng)價(jià)

工業(yè)相機(jī)原理EMVA1288標(biāo)準(zhǔn)首先，EMVA1288的全稱是EuropeanMachineVisionAssociation1288，就是歐洲機(jī)器視覺協(xié)會(huì)制定的關(guān)于圖像傳感器和相機(jī)的一套性能表征標(biāo)準(zhǔn)。這個(gè)標(biāo)準(zhǔn)分為以下幾個(gè)項(xiàng)目：1、量子效率（Quantumefficiencyη)2、暗噪聲(Darknoise)3、絕對(duì)靈敏度閾值(Absolutesensitivitythreshold)4、暗信號(hào)的不均勻性(DSNU)那么，基于這四項(xiàng)標(biāo)準(zhǔn)，能得到關(guān)于相機(jī)的什么信息呢？4.2

EMVA1288標(biāo)準(zhǔn)與傳感器性能評(píng)價(jià)工業(yè)相機(jī)原理1、量子效率η：即相機(jī)芯片產(chǎn)生的電子數(shù)與所接收的光子數(shù)的比值，也可以說是轉(zhuǎn)化效率。量子效率關(guān)系到相機(jī)能夠?qū)Χ辔⑷醯墓猱a(chǎn)生響應(yīng)。2、暗噪聲：是指在無光照、曝光時(shí)間為零時(shí)，由于讀出和放大電路的熱激發(fā)，電子所產(chǎn)生的信號(hào)。顯然，相機(jī)只希望得到由于光子所產(chǎn)生的電子信號(hào)，這種噪聲是相機(jī)所不希望要的。暗噪聲影響了很多其他的表征項(xiàng)目，很大程度上決定了相機(jī)的好壞。4.2

EMVA1288標(biāo)準(zhǔn)與傳感器性能評(píng)價(jià)工業(yè)相機(jī)原理3、絕對(duì)靈敏度閾值：是一個(gè)很直觀的性能表征量，直接告訴了我們當(dāng)照射到相機(jī)的光子數(shù)達(dá)到多少量時(shí)，相機(jī)才會(huì)產(chǎn)生數(shù)值信號(hào)。4、“暗信號(hào)的不均勻性”DSNU：指的是相機(jī)芯片上每個(gè)像素?zé)峒ぐl(fā)產(chǎn)生的暗信號(hào)（即暗噪聲的大?。┑牟顒e，這一點(diǎn)反應(yīng)了芯片制造的工藝水平，從理論上，每個(gè)像素產(chǎn)生的暗信號(hào)應(yīng)該是相同的。（它是由傳感器的半導(dǎo)體材料產(chǎn)生的暗電流變化引起的。這是CCD應(yīng)用中的一個(gè)重要噪聲源，它對(duì)系統(tǒng)設(shè)計(jì)有直接影響.它可以通過冷卻傳感器得到有效控制。）4.2

EMVA1288標(biāo)準(zhǔn)與傳感器性能評(píng)價(jià)工業(yè)相機(jī)原理以典型CCD和CMOS傳感器的性能作為本節(jié)的總結(jié)。對(duì)于像素尺寸為6.45um*6.45um的CCD傳感器，其噪聲特性參數(shù)為η=0.54,σd

=9,μe.sat=19000(也就是說up.sat=ue.sat/η=35185),σo

=1.6

,Sg=0.007.整個(gè)系統(tǒng)增益的倒數(shù)1/K=4.7。對(duì)于像素尺寸為9.2um*9.2um的CMOS傳感器，其噪聲特性參數(shù)為η=0.32，σd

=121，ue.sat=53000(即up.sat=165625),

σo

=44.8,以及Sg=0.011.整個(gè)系統(tǒng)增益的倒數(shù)1/K=56.5.其中，ue.sat的單位為電子，up.sat的單位為光子；1/k以一個(gè)灰度值對(duì)應(yīng)的電子數(shù)來表示。其他值沒有單位。問，上述兩個(gè)傳感器誰的性能更好？暗噪聲的方差像素達(dá)到飽和前的最大光強(qiáng)轉(zhuǎn)化為的電子數(shù)像素達(dá)到飽和前的最大光強(qiáng)與光線無關(guān)的空間噪聲與光線有關(guān)的空間噪聲典型CCD和CMOS性能對(duì)比4.2

EMVA1288標(biāo)準(zhǔn)與傳感器性能評(píng)價(jià)工業(yè)相機(jī)原理圖4.2-1表示了對(duì)于等式（2.18）含空間噪聲和不含空間噪聲時(shí)不同光子數(shù)時(shí)的SNR，其中光子的數(shù)量用有效位來表示，SNR可以以分貝或有效位表示。由圖可見：空間噪聲會(huì)大大減小SNR，特別是對(duì)于CMOS影響更大。CCD比CMOS要更靈敏，所以CCD的曲線在CMOS的左邊。即CCD在光子數(shù)為4時(shí)即可探測(cè)到光線，而CMOS需要8個(gè)光子。圖4.2-1CCD和CMOS傳感器比較。圖形顯示了二者在等式（2.18）中含空間噪聲和不含空間噪聲的SNR。圖形一直畫到傳感器達(dá)到飽和。空間噪聲大大降低SNR，特別是對(duì)于CMOS傳感器（2.18）結(jié)論1：對(duì)于指標(biāo)SNR，顯然CCD優(yōu)于CMOS.4.2

EMVA1288標(biāo)準(zhǔn)與傳感器性能評(píng)價(jià)工業(yè)相機(jī)原理對(duì)于等式（2.19）中的絕對(duì)靈敏度（可探測(cè)到的最小光強(qiáng)）可通過給定的參數(shù)計(jì)算出CCD為17，而CMOS為378.（2.19）對(duì)于像素尺寸為6.45um*6.45um的CCD傳感器，其噪聲特性參數(shù)為η=0.54,σd

=9,μe.sat=19000(也就是說up.sat=ue.sat/η=35185),σo

=1.6

,Sg=0.007.整個(gè)系統(tǒng)增益的倒數(shù)1/K=4.7。對(duì)于像素尺寸為9.2um*9.2um的CMOS傳感器，其噪聲特性參數(shù)為η=0.32，σd

=121，ue.sat=53000(即up.sat=165625),

σo

=44.8,以及Sg=0.011.整個(gè)系統(tǒng)增益的倒數(shù)1/K=56.5.結(jié)論2：對(duì)于指標(biāo)絕對(duì)靈敏度，顯然CCD優(yōu)于CMOS.4.2

EMVA1288標(biāo)準(zhǔn)與傳感器性能評(píng)價(jià)工業(yè)相機(jī)原理對(duì)于等式（2.20）中的動(dòng)態(tài)范圍，CCD為11.0位（DYN=2069>2048(2的11次冪)）而CMOS為8.8位（DYN=438256(2的8次冪)<438<512(2的9次冪)）其中的“位”指的是二進(jìn)制位。像素達(dá)到飽和前的最大光強(qiáng)傳感器可探測(cè)到的最小光強(qiáng)（2.20）對(duì)于像素尺寸為6.45um*6.45um的CCD傳感器，其噪聲特性參數(shù)為η=0.54,σd

=9,μe.sat=19000(也就是說up.sat=ue.sat/η=3518