山東建筑大學(xué)信電學(xué)院課程設(shè)計(jì)說明書基于視頻的人體姿態(tài)檢測(cè)一、 設(shè)計(jì)目的和要求1.根據(jù)已知要求分析視頻監(jiān)控中行人站立和躺臥姿態(tài)檢測(cè)的處理流程，確定視頻監(jiān)中行人的檢測(cè)設(shè)計(jì)的方法，畫出流程圖，編寫實(shí)現(xiàn)程序，并進(jìn)行調(diào)試，錄制實(shí)驗(yàn)視頻，驗(yàn)證檢測(cè)方法的有效性，完成系統(tǒng)軟件設(shè)計(jì)。2.基本教學(xué)要求：每人一臺(tái)計(jì)算機(jī)，計(jì)算安裝matlab、visio等軟件。二、 設(shè)計(jì)原理2.1圖像分割中運(yùn)動(dòng)的運(yùn)用（運(yùn)動(dòng)目標(biāo)檢測(cè)）首先利用統(tǒng)計(jì)的方法得到背景模型，并實(shí)時(shí)地對(duì)背景模型進(jìn)行更新以適應(yīng)光線變化和場(chǎng)景本身的變化，用形態(tài)學(xué)方法和檢測(cè)連通域面積進(jìn)行后處理，消除噪聲和背景擾動(dòng)帶來的影響，在HSV色度空間下檢測(cè)陰影，得到準(zhǔn)確的運(yùn)動(dòng)目標(biāo)。噪聲的影響，會(huì)使檢測(cè)結(jié)果中出現(xiàn)一些本身背景的區(qū)域像素點(diǎn)被檢測(cè)成運(yùn)動(dòng)區(qū)域，也可能是運(yùn)動(dòng)目標(biāo)內(nèi)的部分區(qū)域被漏檢。另外，背景的擾動(dòng)，如樹枝、樹葉的輕微搖動(dòng)，會(huì)使這部分也被誤判斷為運(yùn)動(dòng)目標(biāo)，為了消除這些影響，首先對(duì)上一步的檢測(cè)結(jié)果用形態(tài)學(xué)的方法進(jìn)行處理，在找出經(jīng)過形態(tài)學(xué)處理的后的連通域，計(jì)算每個(gè)連通域中的面積，對(duì)于面積小于一定值的區(qū)域，將其拋棄，不看做是前景運(yùn)動(dòng)目標(biāo)。2.2 bwlabel函數(shù)用法：L = bwlabel(BW,n)L,num = bwlabel(BW,n)，這里num返回的就是BW中連通區(qū)域的個(gè)數(shù)。返回一個(gè)和BW大小相同的L矩陣，包含了標(biāo)記了BW中每個(gè)連通區(qū)域的類別標(biāo)簽，這些標(biāo)簽的值為1、2、num（連通區(qū)域的個(gè)數(shù)）。n的值為4或8，表示是按4連通尋找區(qū)域，還是8連通尋找，默認(rèn)為8。四連通或八連通是圖像處理里的基本感念：8連通，是說一個(gè)像素，如果和其他像素在上、下、左、右、左上角、左下角、右上角或右下角連接著，則認(rèn)為他們是聯(lián)通的；4連通是指，如果像素的位置在其他像素相鄰的上、下、左或右，則認(rèn)為他們是連接著的，連通的，在左上角、左下角、右上角或右下角連接，則不認(rèn)為他們連通。2.3 regionprops統(tǒng)計(jì)被標(biāo)記的區(qū)域的面積分布，顯示區(qū)域總數(shù)函數(shù)regionprops語法規(guī)則為：STATS = regionprops(L,properties)該函數(shù)用來測(cè)量標(biāo)注矩陣L中每一個(gè)標(biāo)注區(qū)域的一系列屬性。L中不同的正整數(shù)元素對(duì)應(yīng)不同的區(qū)域，例如：L中等于整數(shù)1的元素對(duì)應(yīng)區(qū)域1；L中等于整數(shù)2的元素對(duì)應(yīng)區(qū)域2；以此類推。返回值STATS是一個(gè) 長(zhǎng)度為max(L(:)的結(jié)構(gòu)數(shù)組，結(jié)構(gòu)數(shù)組的相應(yīng)域定義了每一個(gè)區(qū)域相應(yīng)屬性下的度量。Properties可以是由逗號(hào)分割的字符串列表、包含字符 串的單元數(shù)組、單個(gè)字符串a(chǎn)ll或者basic。如果properties等于字符串a(chǎn)ll，則表4.1中的度量數(shù)據(jù)都將被計(jì)算；如果properties等于字符串basic，則屬性：Area，Centroid和BoundingBox將被計(jì)算。Area圖像各個(gè)區(qū)域中像素總個(gè)數(shù)BoundingBox 包含相應(yīng)區(qū)域的最小矩形Orientation 與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的長(zhǎng)軸與x軸的交角（度）三、 設(shè)計(jì)內(nèi)容3.1理論依據(jù)3.1.1應(yīng)用背景與意義隨著監(jiān)控系統(tǒng)到位，以幫助人們甚至完成監(jiān)控任務(wù)?？梢詼p少人力和財(cái)力的投入，由于就業(yè)監(jiān)視人員進(jìn)行。另外，如果長(zhǎng)時(shí)間不運(yùn)動(dòng)圖像信息記錄，保存幾下，就失去了意義和視頻監(jiān)控系統(tǒng)的存儲(chǔ)資源浪費(fèi)存儲(chǔ)空間。因此，傳統(tǒng)的監(jiān)視系統(tǒng)浪費(fèi)了大量的人力，并有可能引起報(bào)警，性能差的實(shí)時(shí)監(jiān)控的泄漏。監(jiān)控等實(shí)時(shí)行為分析系統(tǒng)來識(shí)別人體，不僅可以替代監(jiān)控人員的工作的一部分，提高監(jiān)測(cè)系統(tǒng)的自動(dòng)化水平，同時(shí)也提高監(jiān)視存儲(chǔ)的效率，還有一個(gè)廣泛的應(yīng)用，并在視頻監(jiān)視系統(tǒng)的潛在經(jīng)濟(jì)價(jià)值之前。由于人的行為具有自由的偉大程度，因?yàn)樯眢w寬松長(zhǎng)裙不同程度和它的外貌和從圖像捕獲設(shè)備位置不同距離的表現(xiàn)風(fēng)格將是一個(gè)很大的分歧，這是人的行為分析，找出了一定的難度。但是，人類行為的實(shí)時(shí)分析，智能監(jiān)控系統(tǒng)，以確定關(guān)鍵技術(shù)及其廣闊的前景藥，安全性，虛擬現(xiàn)實(shí)，軍事和潛在的經(jīng)濟(jì)價(jià)值，國(guó)內(nèi)外研究機(jī)構(gòu)和學(xué)者越來越多的關(guān)注，并在許多全球領(lǐng)先的刊物和會(huì)議專題討論。美國(guó)和歐洲都進(jìn)行了一些相關(guān)的研究項(xiàng)目。3.1.2運(yùn)動(dòng)分割算法首先利用統(tǒng)計(jì)的方法得到背景模型，并實(shí)時(shí)地對(duì)背景模型進(jìn)行更新以適應(yīng)光線變化和場(chǎng)景本身的變化，用形態(tài)學(xué)方法和檢測(cè)連通域面積進(jìn)行后處理，消除噪聲和背景擾動(dòng)帶來的影響，在HSV色度空間下檢測(cè)陰影，得到準(zhǔn)確的運(yùn)動(dòng)目標(biāo)。本次采用了基于累積差分和數(shù)學(xué)形態(tài)學(xué)處理的運(yùn)動(dòng)區(qū)域提取算法。在時(shí)域窗口內(nèi)，首先對(duì)圖象進(jìn)行降級(jí)處理得到灰度帶圖象，對(duì)灰度帶差分圖象累積并進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理得到運(yùn)動(dòng)目標(biāo)的軌跡模版，將軌跡模版與當(dāng)前幀差分圖象與運(yùn)算得到當(dāng)前幀運(yùn)動(dòng)目標(biāo)象素，最后進(jìn)行多級(jí)數(shù)學(xué)形態(tài)學(xué)處理得到當(dāng)前幀運(yùn)動(dòng)區(qū)域。實(shí)驗(yàn)結(jié)果表明，該算法不僅能夠?qū)o止背景序列運(yùn)動(dòng)區(qū)域有較好的分割結(jié)果，而且在沒有進(jìn)行全局運(yùn)動(dòng)補(bǔ)償?shù)那闆r下，對(duì)部分運(yùn)動(dòng)背景序列也能成功的提取出運(yùn)動(dòng)區(qū)域。3.1.3研究人體姿態(tài)的特征描述BoundingBox 包含相應(yīng)區(qū)域的最小矩形Orientation 與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的長(zhǎng)軸與x軸的交角（度）3.2方案設(shè)計(jì)根據(jù)設(shè)計(jì)要求確定視頻監(jiān)控中行人分割和人體姿態(tài)識(shí)別的方法，選擇確定運(yùn)動(dòng)目標(biāo)檢測(cè)、行人人體姿態(tài)特征信息提取實(shí)現(xiàn)方法。畫出流程圖見附錄2并對(duì)各部分功能進(jìn)行說明。（1）判斷是否為人體 在目標(biāo)提取之前，首先要對(duì)輸入的圖片進(jìn)行檢測(cè)。本文通過連通域的面積來檢測(cè)判斷目標(biāo)是否為人體。 （2）人體目標(biāo)提取 如果是人體導(dǎo)入背景圖片與背景圖片做差，再通過背景差閾值分割法進(jìn)行提取。 （4）行為識(shí)別 在解決了以上的問題之后，接下來就是要選擇一種合適的算法來進(jìn)行人體姿態(tài)識(shí)別，這也是本文研究的重點(diǎn)和難點(diǎn)。本文采用人體目標(biāo)的連通區(qū)域的長(zhǎng)寬比例和方向角的方法來對(duì)人體行為進(jìn)行識(shí)別。3.3程序設(shè)計(jì)根據(jù)設(shè)計(jì)要求確定視頻中行人檢測(cè)和人體姿態(tài)特征信息提取方法，進(jìn)行程序設(shè)計(jì)，編寫實(shí)現(xiàn)程序，使用matlab等軟件。3.3.1圖像分割中運(yùn)動(dòng)的運(yùn)用（運(yùn)動(dòng)目標(biāo)檢測(cè)）運(yùn)動(dòng)目標(biāo)檢測(cè)首先利用統(tǒng)計(jì)的方法得到背景模型，并實(shí)時(shí)地對(duì)背景模型進(jìn)行更新以適應(yīng)光線變化和場(chǎng)景本身的變化，用形態(tài)學(xué)方法和檢測(cè)連通域面積進(jìn)行后處理，消除噪聲和背景擾動(dòng)帶來的影響，在HSV色度空間下檢測(cè)陰影，得到準(zhǔn)確的運(yùn)動(dòng)目標(biāo)。該段程序讀取了視頻從100幀到400幀的圖像。先對(duì)導(dǎo)入視頻采用近似中值濾波背景模型參考圖像實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)分割，然后創(chuàng)建邊長(zhǎng)為3的方形結(jié)構(gòu)元素，用于對(duì)分割結(jié)果形態(tài)學(xué)濾波。原視頻、近似中值濾波后的視頻以及采用形態(tài)學(xué)濾波后的視頻如圖3.3.11所示圖3.3.11原視頻、近似中值濾波后的視頻以及采用形態(tài)學(xué)濾波后的結(jié)果videoObj = VideoReader(gyz.avi);本程序使用了VideoReader函數(shù)， 該函數(shù)用于讀取視頻文件對(duì)象。函數(shù)調(diào)用格式：obj = VideoReader(filename)obj = VideoReader(filename,Name,Value)其中obj為結(jié)構(gòu)體，包括如下成員：Name - 視頻文件名Path - 視頻文件路徑Duration - 視頻的總時(shí)長(zhǎng)（秒）FrameRate - 視頻幀速（幀/秒）NumberOfFrames - 視頻的總幀數(shù)Height - 視頻幀的高度Width - 視頻幀的寬度se = strel(square,3);本程序通過創(chuàng)建方形結(jié)構(gòu)元素，用于對(duì)分割結(jié)果形態(tài)學(xué)濾波。pixInc = find(Idiff 0); fmed(pixInc) = fmed(pixInc) + beta; pixDec = find(Idiff ori_low)&(or_m(n)ors_low)&(or_m(n)ors_high) title(strcat(站立,NO. , int2str(n); elseif title(strcat(其他,NO. , int2str(n); end if ratio(n)bo_t2 title(strcat(躺臥,NO. , int2str(n); elseif ratio(n)bo_z1&ratio(n) 0); fmed(pixInc) = fmed(pixInc) + beta; pixDec = find(Idiff Threh; if ( numColor = 3) % color image fg = fg(:, :, 1) | fg(:, :, 2) | fg(:, :, 3); end %對(duì)分割結(jié)果進(jìn)行形態(tài)學(xué)濾波 fg2 = imopen(fg,se); fg2 = imclose(fg2,se); figure(1); subplot(2,3,1), imshow(newframe); title(strcat(Current Image, No. , int2str(n); subplot(2,3,2), imshow(fg); title(Segmented result using Approximate Median Filter); subplot(2,3,3), imshow(fg2); title(Segmented result using morphological filter); pause(0.01) L,num=bwlabel(fg2,4);%對(duì)連通域進(jìn)行標(biāo)記，num=6 img_reg = regionprops(L, Area, Orientation, boundingbox); %測(cè)量標(biāo)注矩陣 L中每一個(gè)標(biāo)注區(qū)域的area、orientation、boundingbox屬性。 all = img_reg.Area;%求出6個(gè)連通域的像素個(gè)數(shù) d,ind=max(all);%得到面積最大的連通域 or = img_reg.Orientation; or_m(n)=or(ind);%得到視頻每一幀的最大連通域的方向角 %對(duì)每一幀圖像的方向角進(jìn)行判斷姿態(tài) subplot(2,3,4), imshow(newframe); if (or_m(n)ori_low)&(or_m(n)ors_low)&(or_m(n)ors_high) title(strcat(站立,NO. , int2str(n); elseif title(strcat(其他,NO. , int2str(n); end bo = cat(1,img_reg.BoundingBox); ratio(n)= bo(ind,4)/bo(ind,3); %對(duì)每一幀圖像的長(zhǎng)寬比進(jìn)行判斷姿態(tài) subplot(2,3,