1、,聲音在視頻監(jiān)控中的應(yīng)用,聲音在視頻監(jiān)控中的應(yīng)用,概述,聲音是攜帶信息的重要媒體。研究表明，人類從 外部世界獲取的信息中，10%是通過(guò)聽(tīng)覺(jué)獲得的, 因此聲音是多媒體技術(shù)研究中的一個(gè)重要內(nèi)容。 聲音是由物體振動(dòng)產(chǎn)生的，這種振動(dòng)引起周圍空氣 壓強(qiáng)的振蕩，從而使耳朵產(chǎn)生聽(tīng)覺(jué)的印象。 聲音的種類繁多，人的語(yǔ)音是最重要的聲音。此 外，還有動(dòng)物、樂(lè)器等發(fā)出的聲音，風(fēng)聲、雨聲、 雷聲等自然聲音，以及機(jī)器合成產(chǎn)生的聲音等。,聲音在視頻監(jiān)控中的應(yīng)用,幅值,t,一個(gè)周期,+,空氣壓強(qiáng),0,人耳能識(shí)別的聲音頻率范圍大約在2020kHz， 通常稱為音頻（audio）信號(hào)。,人耳能識(shí)別的聲音頻率范圍大約在2020kHz

2、， 通常稱為音頻（audio）信號(hào)。 其中 300HZ 3kHZ 為語(yǔ)音信號(hào)（speech）,圖2.1 空氣壓強(qiáng)振蕩的波形示意圖,聲音在視頻監(jiān)控中的應(yīng)用,音頻濾波,濾波器是一種選頻裝置，可以使信號(hào)中特定的頻率 成分通過(guò)，而極大地衰減其它頻率成分。在測(cè)試裝置 中，利用濾波器的這種選頻作用，可以濾除干擾噪聲 或進(jìn)行頻譜分析。 音頻濾波就是要濾除音頻范圍外的聲音信號(hào)，相對(duì) 突出音頻信號(hào)，或者檢出或去除某段頻率的信號(hào)。 常見(jiàn)的濾波器有高通，低通，帶通，帶阻。,聲音在視頻監(jiān)控中的應(yīng)用,聲音在視頻監(jiān)控中的應(yīng)用,特定聲音的檢測(cè)和識(shí)別,特定的聲音常見(jiàn)的有玻璃破碎聲，槍聲，尖叫聲等， 下面以玻璃破碎聲為例介紹特

3、定聲音的檢測(cè)和識(shí)別。,聲音在視頻監(jiān)控中的應(yīng)用,檢測(cè)原理,利用玻璃破碎的頻率特征（ 10k15kHZ ）， 對(duì)高頻的玻璃破碎聲音進(jìn)行有效檢測(cè)， 而對(duì)10kHZ以下的聲音信號(hào)（如說(shuō)話、走路聲）進(jìn)行 有效過(guò)濾，這樣當(dāng)檢測(cè)到特定頻率的聲音強(qiáng)度超過(guò)閾值 時(shí)，就可認(rèn)為發(fā)生了玻璃破碎。,聲音在視頻監(jiān)控中的應(yīng)用,檢測(cè)原理示意圖,聲音在視頻監(jiān)控中的應(yīng)用,玻璃破碎的應(yīng)用,玻璃破碎可應(yīng)用到銀行，博物館，商業(yè)等一系列場(chǎng)合， 如果同時(shí)進(jìn)行低頻的敲擊聲的檢測(cè)，針對(duì)性將更強(qiáng)， 但玻璃破碎探測(cè)器要盡量靠近所要保護(hù)的玻璃， 盡量遠(yuǎn)離噪聲干擾源，如尖銳的金屬撞擊聲、鈴聲、 汽笛的嘯叫聲等，減少誤報(bào)警。,聲音在視頻監(jiān)控中的應(yīng)用,聲

4、紋識(shí)別,聲紋識(shí)別屬于生物識(shí)別技術(shù)的一種，是一項(xiàng)根據(jù)語(yǔ)音 波形中反映說(shuō)話人生理和行為特征的語(yǔ)音參數(shù)，自動(dòng)識(shí)別 說(shuō)話人身份的技術(shù)。與語(yǔ)音識(shí)別不同的是，聲紋識(shí)別 利用的是語(yǔ)音信號(hào)中的說(shuō)話人信息，而不考慮語(yǔ)音中的 字詞意思，它強(qiáng)調(diào)說(shuō)話人的個(gè)性;而語(yǔ)音識(shí)別的目的是 識(shí)別出語(yǔ)音信號(hào)中的言語(yǔ)內(nèi)容，并不考慮說(shuō)話人是誰(shuí)， 它強(qiáng)調(diào)共性。 聲紋識(shí)別系統(tǒng)主要包括兩部分，即特征檢測(cè)和模式 匹配。特征檢測(cè)的任務(wù)是選取唯一表現(xiàn)說(shuō)話人身份的 有效且穩(wěn)定可靠的特征，模式匹配的任務(wù)是對(duì)訓(xùn)練和 識(shí)別時(shí)的特征模式做相似性匹配。,聲音在視頻監(jiān)控中的應(yīng)用,聲紋識(shí)別應(yīng)用前景,與其他生物識(shí)別技術(shù)，諸如指紋識(shí)別、掌形識(shí)別、 虹膜識(shí)別等相比較，

5、聲紋識(shí)別除具有不會(huì)遺失和忘記、 不需記憶、使用方便等優(yōu)點(diǎn)外，還具有以下特性： 用戶接受程度高，由于不涉及隱私問(wèn)題，用戶無(wú)任何 心理障礙。,與其他生物識(shí)別技術(shù)，諸如指紋識(shí)別、掌形識(shí)別、虹膜識(shí)別等相比較，聲紋識(shí)別除具有不會(huì)遺失和忘記、不需記憶、使用方便等優(yōu)點(diǎn)外，還具有以下特性： 用戶接受程度高，由于不涉及隱私問(wèn)題，用戶無(wú)任何心理障礙。,與其他生物識(shí)別技術(shù)，諸如指紋識(shí)別、掌形識(shí)別、虹膜識(shí)別等相比較，聲紋識(shí)別除具有不會(huì)遺失和忘記、不需記憶、使用方便等優(yōu)點(diǎn)外，還具有以下特性： 用戶接受程度高，由于不涉及隱私問(wèn)題，用戶無(wú)任何心理障礙。,聲音在視頻監(jiān)控中的應(yīng)用,聲音定位,人們經(jīng)常借助聽(tīng)覺(jué)來(lái)判定發(fā)音物體的位置

6、。聲音定位在 人和動(dòng)物的日常生活中著重要意義。例如，當(dāng)你獨(dú)自 行走時(shí)，突然聽(tīng)到一個(gè)響聲你會(huì)想到這個(gè)聲音什么意思， 對(duì)你有無(wú)威脅，它來(lái)自何方等等。確定聲音的方向 和距離需要比較來(lái)自兩耳信息，雖然你會(huì)很快作 比判斷和反應(yīng)，但聲音定位過(guò)程是聽(tīng)覺(jué)系統(tǒng)復(fù)雜綜合的 功能。,聲音在視頻監(jiān)控中的應(yīng)用,聲音定位機(jī)理,強(qiáng)度差 高頻的聲音刺激，由于它的波長(zhǎng)較短，如果一個(gè) 高頻聲波來(lái)自一側(cè)，頭部本身就構(gòu)成聲音傳播的障礙 物，使其到達(dá)對(duì)側(cè)耳中的音強(qiáng)受到耗損，這樣在兩耳 之間形成了強(qiáng)度差，導(dǎo)致神經(jīng)元單位發(fā)放頻率的不 對(duì)稱。一般成年人能準(zhǔn)確定位2000-3000Hz的聲音。,聲音在視頻監(jiān)控中的應(yīng)用,聲音定位機(jī)理,時(shí)間差 來(lái)

7、自正前方的聲音同時(shí)到達(dá)雙耳，來(lái)自正側(cè)方的 聲音到達(dá)近側(cè)耳朵的時(shí)間比遠(yuǎn)側(cè)耳朵約600ms， 介于兩者之間的聲音到達(dá)雙耳的時(shí)間差為0-600ms 之間。到達(dá)的時(shí)間對(duì)有特征的、突然發(fā)生的聲源定位 是很有用的。 此外還有音色差，相位差等。,聲音在視頻監(jiān)控中的應(yīng)用,聲音與視頻的配合在視頻監(jiān)控中的應(yīng)用,在目前的視頻監(jiān)控中，基本以無(wú)聲和單聲道對(duì)講為主， 聲音基本沒(méi)有用來(lái)作為監(jiān)控的特征加以應(yīng)用。但聲音 具有一系列獨(dú)有的特征，如不受白天晚上的影響，不 容易遮擋，具有方向性等等，結(jié)合其諸多優(yōu)點(diǎn)及特性， 下面提出一些可行的聲音在視頻監(jiān)控中的解決方案。,聲音在視頻監(jiān)控中的應(yīng)用,方案1：帶聲音方向定位的智能球機(jī) 具體實(shí)

8、現(xiàn)：在球機(jī)上安置多個(gè)麥克風(fēng)，對(duì)聲音的方向 進(jìn)行定位，當(dāng)檢測(cè)到異常聲音時(shí)控制球機(jī)到相應(yīng)位置， 這樣一來(lái)，在一定程度上就可在第一時(shí)間看到異常聲音 所處位置的實(shí)時(shí)視頻，為判定事態(tài)提供了多種信息。,聲音與視頻的配合在視頻監(jiān)控中的應(yīng)用,聲音在視頻監(jiān)控中的應(yīng)用,方案2：聲音在智能視頻中的應(yīng)用 具體實(shí)現(xiàn)：目前的智能視頻分析中有廠家提出了打架 行為檢測(cè)的概念，但普遍存在誤報(bào)和漏報(bào)的情況，如果 在一定的環(huán)境中同時(shí)啟用聲音判別和視頻分析，準(zhǔn)確率 就會(huì)高很多。,聲音與視頻的配合在視頻監(jiān)控中的應(yīng)用,聲音在視頻監(jiān)控中的應(yīng)用,聲音和視頻配合監(jiān)控的例子很多，目前已有研究機(jī)構(gòu) 提出“多傳感器立體監(jiān)控”的概念，并應(yīng)用到一些重要 場(chǎng)合。隨著成本的降低和芯片的集成度不斷提高，可以 大膽推斷，類似設(shè)計(jì)的應(yīng)用很快就會(huì)出現(xiàn)在市場(chǎng)中。,聲音與視頻的配合在視頻監(jiān)控中的應(yīng)用,聲音在視頻監(jiān)控中的應(yīng)用,簡(jiǎn)單一點(diǎn)，可以做些聲音信號(hào)的去噪和增強(qiáng)； 稍復(fù)雜一點(diǎn)，利用單麥