1、監(jiān)控場(chǎng)景中密集人群的密度估計(jì),小組成員：李穎 樊俏榕 王興馳 王小斐 指導(dǎo)教師：李曉華,Content,項(xiàng)目簡(jiǎn)介 項(xiàng)目研究背景 項(xiàng)目可行性分析 項(xiàng)目方案 特色與創(chuàng)新 進(jìn)度安排 參考文獻(xiàn),Content,項(xiàng)目簡(jiǎn)介 項(xiàng)目研究背景 項(xiàng)目可行性分析 項(xiàng)目方案 特色與創(chuàng)新 進(jìn)度安排 參考文獻(xiàn),項(xiàng)目簡(jiǎn)介,項(xiàng)目名稱：監(jiān)控場(chǎng)景中密集人群的密度估計(jì) 項(xiàng)目介紹： 該項(xiàng)目主要實(shí)現(xiàn)兩個(gè)方面的目標(biāo)： 通過前景像素和邊緣信息像素與人數(shù)之間的線性關(guān)系實(shí)現(xiàn)密度估計(jì)。 擬用光流法實(shí)現(xiàn)人群運(yùn)動(dòng)檢測(cè)。 通過該項(xiàng)目的實(shí)現(xiàn)，能夠準(zhǔn)確的提供監(jiān)控場(chǎng)景中的人群密度并能檢測(cè)出監(jiān)控場(chǎng)景中運(yùn)動(dòng)人群的比例，為人群管理提供有效的參數(shù)估計(jì)。,Conte

2、nt,項(xiàng)目簡(jiǎn)介 項(xiàng)目研究背景 項(xiàng)目可行性分析 項(xiàng)目方案 特色與創(chuàng)新 進(jìn)度安排 參考文獻(xiàn),項(xiàng)目研究背景重要性,經(jīng)濟(jì)發(fā)展導(dǎo)致人群活動(dòng)愈加豐富，而由人群擁塞而引起的人群災(zāi)禍問題已屢見不鮮 典型案例： 1991 紐約州立大學(xué) 籃球賽 9人死亡。 2000 年7月,丹麥一場(chǎng)音樂會(huì)發(fā)生擁擠事故,造成26 人受傷,9 人死亡 2004 年2 月5 日,北京密云舉行燈展,由于人群過度擁擠,造成37 人死亡,15 人受傷;,人群監(jiān)控的重要性及必要性,項(xiàng)目研究背景應(yīng)用性,通過估計(jì)人群密度可以知道人群整體所處的狀態(tài)，從而對(duì)人群的行為作出判斷1,以利于更安全、有效的人群管理。 可應(yīng)用于如下場(chǎng)所：運(yùn)動(dòng)場(chǎng)、廣場(chǎng)、娛樂場(chǎng)所

3、、會(huì)議中心、購物中心、超市、學(xué)校圖書館、公園等短期高密度人群集中場(chǎng)合。 除了人群管理外，它還可應(yīng)用于 更合理的安排各時(shí)段在崗工作人員數(shù)。如機(jī)場(chǎng)、車站、銀行等從事程序化工作的場(chǎng)所。 更有效的管理人群流動(dòng)繁忙場(chǎng)合的交通。如十字路口、建筑物出入口。 更快速、精確的進(jìn)行市場(chǎng)調(diào)查。如娛樂場(chǎng)所受歡迎度。,項(xiàng)目研究背景發(fā)展性（1）,傳統(tǒng)的人群監(jiān)控方法：通過利用閉路電視監(jiān)視某一場(chǎng)景實(shí)現(xiàn)，用戶根據(jù)錄像對(duì)場(chǎng)景圖像作出判斷。 不足： 需要人的參與，主觀性比較強(qiáng) 不能起到有效的預(yù)防作用 長(zhǎng)時(shí)間工作，注意力下降 基于圖像處理的人群監(jiān)控的提出 1985年，F(xiàn)ruin提出當(dāng)人群密度達(dá)到0.15平方米/人，人群將失去控制 人

4、群密度和人群監(jiān)控的量的關(guān)系,為借助于圖像處理 方法實(shí)現(xiàn)人群的自動(dòng)、 實(shí)時(shí)監(jiān)控提供了依據(jù)！,數(shù)字圖像技術(shù)實(shí)現(xiàn)人群監(jiān)控具有很大的發(fā)展前景，它解決了傳統(tǒng)人群監(jiān)控技術(shù)的不足，并且能實(shí)現(xiàn)對(duì)人群的自動(dòng)、客觀、實(shí)時(shí)、定量分析。這方面的研究正處于朝氣蓬勃的狀態(tài)。,項(xiàng)目研究背景發(fā)展性（2）,用圖像處理實(shí)現(xiàn)人群監(jiān)控的基本框圖：,圖像/視頻源,密度特征提取,特征分類,密度結(jié)果,個(gè)人特征提取,特征分類,人群人數(shù),人群管理或其他目的,中低密度人群,Content,項(xiàng)目簡(jiǎn)介 項(xiàng)目研究背景 項(xiàng)目可行性分析 項(xiàng)目方案 特色與創(chuàng)新 進(jìn)度安排 參考文獻(xiàn),項(xiàng)目可行性分析（1）,密度估計(jì)研究現(xiàn)狀 人群密度估計(jì)所要實(shí)現(xiàn)的目標(biāo)：根據(jù)人群

5、密度的不同，選用適當(dāng)?shù)膱D像處理方法，將人群劃分為不同的等級(jí)。 密度估計(jì)的里程碑事件： 1995，Davies等提出利用人數(shù)與像素?cái)?shù)的線性關(guān)系估計(jì)人群密度2 1998，Marana等提出利用紋理信息估計(jì)人群密度3 這兩類方法成為當(dāng)今利用圖像處理實(shí)現(xiàn)人群監(jiān)控的主流 方法。,項(xiàng)目可行性分析（2）,實(shí)現(xiàn)簡(jiǎn)單，效率高 不能很好的處理人群遮擋的問題，但對(duì)于中低密度人群有很好的估計(jì)效果，另外通過開運(yùn)算、腐蝕運(yùn)算等能較有效的處理該問題4，同樣也能達(dá)到準(zhǔn)確度較高的密度估計(jì)結(jié)果,涉及到形態(tài)學(xué)等多方面知識(shí)，實(shí)現(xiàn)較難 適用于高密度人群，能很好的解決人群遮擋問題,基于人數(shù)與像素間的線性關(guān)系,基于紋理信息,可行性分析（3

6、）,項(xiàng)目可行性分析（4）,左圖為前景像素與人數(shù)關(guān)系，右圖為邊緣像素與人數(shù)關(guān)系。 從我們搜集到得資料來看，基于像素?cái)?shù)與人數(shù)的線性關(guān)系來進(jìn)行密度估計(jì)是可行的，我們都能根據(jù)分析得出一定得線性關(guān)系y=mx+b，y:人群人數(shù) x:總像素?cái)?shù) m,b:待定常數(shù)。并且正確率可達(dá)到90%以上！,Content,項(xiàng)目簡(jiǎn)介 項(xiàng)目研究背景 項(xiàng)目可行性分析 項(xiàng)目方案 特色與創(chuàng)新 進(jìn)度安排 參考文獻(xiàn),項(xiàng)目方案,項(xiàng)目模塊分類： 圖像采集 背景建模前景像素提取 邊緣信息提取 前景像素邊緣信息兩種特征向量的結(jié)合 運(yùn)動(dòng)檢測(cè)算法實(shí)現(xiàn) 可視化軟件框架實(shí)現(xiàn),項(xiàng)目方案實(shí)現(xiàn)框架,運(yùn)動(dòng)檢測(cè)實(shí)現(xiàn),圖 像 采 集,可 視 化 軟 件 產(chǎn) 品,實(shí)

7、現(xiàn)密度估計(jì),邊緣像素提取,背景建模,前景像素提取,項(xiàng)目方案圖像采集(1),數(shù)據(jù)來源 由研究場(chǎng)景的監(jiān)控中心提供視頻或圖像 可將自己拍攝監(jiān)控場(chǎng)景圖像或視頻作為研究的數(shù)據(jù) 采集樣本處理 將采集的圖像按人群密度與服務(wù)級(jí)別的關(guān)系分為很低、低、中等、高，并將采集到的圖像分為測(cè)試樣本和試驗(yàn)樣本，便于求得相關(guān)的線性關(guān)系以及對(duì)線性關(guān)系正確性的驗(yàn)證。,項(xiàng)目方案圖像采集(2),1983年polus提出的關(guān)于服務(wù)級(jí)別的定義以及密度分類與服務(wù)級(jí)別的關(guān)系，該圖中假定監(jiān)控面積約為18m2,項(xiàng)目方案背景建模及前景像素提取(1),背景建模 在VC環(huán)境中進(jìn)行背景建模。 實(shí)時(shí)更新背景圖像以適應(yīng)動(dòng)態(tài)場(chǎng)景變化。 即 g(x,y)=g(

8、x,y)+af(x,y) , 其中g(shù)(x,y)為背景圖像 ，f(x,y) 為輸入圖像，a為自定義的一個(gè)較小常量。 輸入的第一幅圖像即為背景圖像，我們可以自己拍攝純粹的背景圖像，若條件不允許，可以采用區(qū)域取均值的方法來獲取背景圖像，高斯背景建模是常用的方法。,項(xiàng)目方案背景建模及前景像素提取(2),前景像素提取5 背景減除法（background subtraction）利用當(dāng)前圖像與背景圖像的差分來提取前景像素，前景像素是場(chǎng)景中人群所占有的區(qū)域。這種算法實(shí)現(xiàn)簡(jiǎn)單，速度快，能投提供運(yùn)動(dòng)目標(biāo)最完全的特征數(shù)據(jù)。 過程 將當(dāng)前圖像和背景模型作對(duì)比，計(jì)算出在一定閾值限制下當(dāng)前圖像中出現(xiàn)的偏離背景模型值較大

9、的那些像素，據(jù)此對(duì)圖像進(jìn)行二值化處理，從而得到前景像素,項(xiàng)目方案邊緣信息提取(1),邊緣提取時(shí)要保留圖像的灰度變化劇烈的區(qū)域，所以需要用高通濾波器來保留高頻信息，在此之前需對(duì)圖像進(jìn)行除噪處理。除噪可以用中值濾波實(shí)現(xiàn)。 擬采用索貝爾算子實(shí)現(xiàn)，它是實(shí)現(xiàn)邊緣檢測(cè)的最常用算子之一。它是一種一階算子，實(shí)現(xiàn)簡(jiǎn)單效果較好。,項(xiàng)目方案邊緣信息提取(2),索貝爾算子原理 該算子包含兩組3*3矩陣，分別為橫向及縱向。如果A代表原始圖像，Gx及Gy分別代表經(jīng)橫向和縱向邊緣檢測(cè)的圖像，公式如下： 則處理后的圖像為：,前景像素邊緣信息兩種特征向量的結(jié)合,經(jīng)過Matlab訓(xùn)練后，可以得出人數(shù)與前景像素?cái)?shù)和邊緣像素?cái)?shù)的兩種

10、線性關(guān)系，均滿足 z=mx+b y=(z-b)=mx 將這兩種關(guān)系結(jié)合起來，充分利用兩種特征向量對(duì)人數(shù)統(tǒng)計(jì)的影響，修正參數(shù)值，從而得到更為準(zhǔn)確的密度估計(jì)結(jié)果。,項(xiàng)目方案運(yùn)動(dòng)檢測(cè)算法實(shí)現(xiàn)(1),擬采用光流法(optical flow)56實(shí)現(xiàn)運(yùn)動(dòng)檢測(cè) 光流法根據(jù)圖像亮度在一個(gè)向量域中的變化來計(jì)算運(yùn)動(dòng)矢量。若一副圖像在時(shí)間t的亮度由I(x,y,t)表示，則有 我們的目標(biāo)就是針對(duì)圖像中的每一個(gè)點(diǎn)求出運(yùn)動(dòng)矢量(u,v)，根據(jù)運(yùn)動(dòng)矢量的分布情況即能統(tǒng)計(jì)出運(yùn)動(dòng)人群的百分比。,項(xiàng)目方案運(yùn)動(dòng)檢測(cè)算法實(shí)現(xiàn)(2),如下圖描述的是一個(gè)從左向右旋轉(zhuǎn)的球體的光流場(chǎng)：,項(xiàng)目方案可視化軟件框架實(shí)現(xiàn),可視化軟件框架可利用MF

11、C強(qiáng)大的圖形界面功能來實(shí)現(xiàn)。 將OpenCV應(yīng)用于MFC中，加強(qiáng)軟件框架的實(shí)現(xiàn)。 OpenCV是一款開源的計(jì)算機(jī)視覺軟件，所以我們可以參考其中的關(guān)于高斯背景建模、邊緣檢測(cè)、圖像界面等實(shí)現(xiàn)的源代碼，相信這對(duì)項(xiàng)目的實(shí)現(xiàn)會(huì)有很大的幫助。,Content,項(xiàng)目簡(jiǎn)介 項(xiàng)目研究背景 項(xiàng)目可行性分析 項(xiàng)目方案 特色與創(chuàng)新 進(jìn)度安排 參考文獻(xiàn),特色與創(chuàng)新,把圖像處理、模式識(shí)別、計(jì)算機(jī)視覺等技術(shù)應(yīng)用到人群監(jiān)控中 在進(jìn)行密度估計(jì)的同時(shí)，實(shí)現(xiàn)運(yùn)動(dòng)檢測(cè)，提供另一用于人群監(jiān)控的有效參數(shù) 在人群密度估計(jì)方面，將背景減和邊緣檢測(cè)相結(jié)合，提高密度估計(jì)的準(zhǔn)確性 實(shí)現(xiàn)對(duì)人群的自動(dòng)、客觀、實(shí)時(shí)、定量分析，并將該分析以圖表形式提供給

12、用戶,Content,項(xiàng)目簡(jiǎn)介 項(xiàng)目研究背景 項(xiàng)目可行性分析 項(xiàng)目方案 特色與創(chuàng)新 進(jìn)度安排 參考文獻(xiàn),進(jìn)度安排（1）,6月8月：研究項(xiàng)目背景以及現(xiàn)有的相關(guān)技術(shù)，了解項(xiàng)目所用到的技術(shù)，學(xué)習(xí)使用matlab中神經(jīng)網(wǎng)絡(luò)這一塊以及研究opencv中涉及到視頻、圖像處理以及邊緣提取等相關(guān)問題的算法實(shí)現(xiàn)，對(duì)項(xiàng)目進(jìn)行框架性的理解。 8月8月中旬：進(jìn)行圖像采集，將采集到的圖像按人群密度進(jìn)行如下分類：很低、低、中等，高，并將其分為測(cè)試樣本和試驗(yàn)樣本。,進(jìn)度安排（2）,8月中旬9月中旬：完成軟件的整體框架的搭建，各部分的實(shí)現(xiàn)在此階段不做要求，只需畫出框架即可 9月中旬11月：小組成員進(jìn)行分工，李穎、王小斐完成背

13、景建模、前景圖像的提取，分析數(shù)據(jù)，得到前景像素與人群密度的線性關(guān)系。樊俏榕、王興馳完成邊緣提取，并分析得到邊緣像素與人群密度的線性關(guān)系。,進(jìn)度安排（3）,11月1月：項(xiàng)目組成員王小斐、樊俏榕整合分析結(jié)果，將前景像素和邊緣像素與人群密度的關(guān)系進(jìn)行綜合得到最終實(shí)驗(yàn)數(shù)據(jù)，驗(yàn)證實(shí)驗(yàn)方法的可行性。于此同時(shí)，李穎、王興馳對(duì)運(yùn)動(dòng)檢測(cè)算法進(jìn)行實(shí)現(xiàn)即光流法的實(shí)現(xiàn)。（里程碑） 1月3月：項(xiàng)目組成員將主要精力集中于軟件的可視化操作界面的美化和完善方面。 3月5月：重新審查項(xiàng)目，對(duì)項(xiàng)目不足之處進(jìn)行適當(dāng)修改或者增加在開發(fā)過程中新想到的功能，病撰寫總結(jié)性報(bào)告。,Content,項(xiàng)目簡(jiǎn)介 項(xiàng)目研究背景 項(xiàng)目可行性分析 項(xiàng)目

14、方案 特色與創(chuàng)新 進(jìn)度安排 參考文獻(xiàn),參考文獻(xiàn),1 Davies A C , Yin J H ,Velastin S A ,et al .Crowd monitoring using image processingJ . IEE Electronics and Communication Engineering Journal ,1995 ,7 (1) :37 - 47. 2 Marana A N ,Velastin S A ,Costa L F ,et al . Automatic estimation of crowd density using textureJ . Safety Science ,1998 ,28 (3) :165 - 175. 3 Ya-li Hou, Grantham K.H.Pang. Automated people counting at a