分類號 密級 編號 中國科學(xué)院研究生院 碩士學(xué)位論文 基于檢測的多人體目標(biāo)跟蹤算法研究 陳孝罡 指導(dǎo)教師 焦建彬 教授、博導(dǎo) 申請學(xué)位級別楊 輝 研究員 工程碩士 學(xué)科專業(yè)名稱論文提交日期軟件工程 學(xué)位授予單位中國科學(xué)院研究生院工程教育學(xué)院 中國科學(xué)院研究生院 答辯委員會主席 于華 中國科學(xué)院研究生院直屬院系 研究生學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究工作所取得的成果。盡我所知，除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫過的研究成果。對論文所涉及的研究工作做出貢獻(xiàn)的其他個人和集體，均已在文中以明確方式標(biāo)明或致謝。 作者簽名： 日 期： 中國科學(xué)院研究生院直屬院系 學(xué)位論文授權(quán)使用聲明 本人完全了解并同意遵守中國科學(xué)院有關(guān)保存和使用學(xué)位論文的規(guī)定，即中國科學(xué)院有權(quán)保留送交學(xué)位論文的副本，允許該論文被查閱，可以公布該論文的全部或部分內(nèi)容，可以采用影印、縮印或其他復(fù)制手段保存、匯編本學(xué)位論文。 涉密的學(xué)位論文在解密后適用本聲明。 作者簽名： 導(dǎo)師簽名： 日 期： 日 期： I 摘 要 人體目標(biāo)檢測與跟蹤作為計算機(jī)視覺中的重要研究方向，融合了檢測與跟蹤兩種重要技術(shù)，在視頻監(jiān)控、智能輔助駕駛等領(lǐng)域擁有很大的應(yīng)用前景。 但是，由于實際應(yīng)用環(huán)境的多變與復(fù)雜性、人體跟蹤過程中的遮擋、尺度變化等難點問題，人體目標(biāo)檢測跟蹤仍然距離實際應(yīng)用具有很大差距，具有較廣闊的研究空間。如何解決上述難點問題，使得人體目標(biāo)跟蹤具有較高的魯棒性，對于實際應(yīng)用系統(tǒng)具有重要意義。本文針對人體跟蹤的問題，提出了一種針對跟蹤的局部塊組合表示模型。該模型把人體目標(biāo)分為整體和局部兩個組成部分來考慮：整體上使用一個覆蓋人體的橢圓表示，并采用顏色直方圖作為特征；在局部表示上，將人體目標(biāo)劃分為多個局部塊，每個塊中提取梯度方向直方圖（顏色直方圖(of 為特征。在跟蹤過程中，提出了將整體表示與局部表示之間相互約束的表達(dá)方法。 在局部塊模型基礎(chǔ)上，本文提出了一種依據(jù)局部塊運(yùn)動趨勢計算目標(biāo)尺度變化，以及利用局部塊相似度計算整體目標(biāo)遮擋度的計算模型, 并且將該模型融入到基于檢測的人體目標(biāo)跟蹤算法過程中。實驗表明，該模型能夠有效處理跟蹤過程中的尺度變化及遮擋等情況，最終保證跟蹤算法的魯棒性。 關(guān)鍵詞：人體檢測、目標(biāo)跟蹤、數(shù)據(jù)關(guān)聯(lián)、局部塊模型 on is of of a in to in of is of An to of to a is an as is a in we as in a In a to on we a to s to a We on of V 目 錄 摘 要 . .論 . 課題背景及意義 .題來源 .題背景與研究意義 . 國內(nèi)外研究現(xiàn)狀 . 本文的主要研究內(nèi)容 . 本文的組織結(jié)構(gòu) .標(biāo)檢測與跟蹤算法基礎(chǔ) . 人體目標(biāo)檢測的主要算法 .體目標(biāo)特征描述子 .體目標(biāo)檢測分類器 . 目標(biāo)跟蹤的主要算法 .蹤目標(biāo)的表觀模型 .蹤目標(biāo)的運(yùn)動模型 . 基于檢測的多目標(biāo)跟蹤的主要算法 .于組合最優(yōu)化的多目標(biāo)跟蹤算法 .于組合概率最大化的多目標(biāo)跟蹤算法 .于人體運(yùn)動信息的人體目標(biāo)跟蹤算法 .于局部塊組合的人體目標(biāo)跟蹤算法 . 傳統(tǒng)整體模型的局限性 . 基于局部塊組合的跟蹤人體表示模型 . 局部塊特征提取與相似性度量 . 基于局部塊模型的跟蹤過程 .蹤模型的建立 .度更新與遮擋度的計算 .于檢測的多人體目標(biāo)跟蹤算法 . 人體檢測算法 . 跟蹤的初始化與終止 .I 測與跟蹤間的數(shù)據(jù)關(guān)聯(lián) . 基于檢測的多人體目標(biāo)跟蹤算法 . 實驗結(jié)果比較與算法性能分析 .驗數(shù)據(jù)集合 .驗結(jié)果分析與比較 . 算法實時性 . .目錄 圖 1 . 7圖 2 支持向量機(jī)原理圖 . 9圖 3 規(guī)劃算法網(wǎng)絡(luò)圖 . 15圖 4 文獻(xiàn)20中所使用的人體骨骼模型 . 20圖 5 跟蹤目標(biāo)遮擋導(dǎo)致整體偏移 . 23圖 6 人體檢測結(jié)果、整體橢圓模型、局部塊分解模型 . 24圖 7 0. 25圖 8 局部塊跟蹤與目標(biāo)尺度變化 . 31圖 9 遮擋度的計算結(jié)果 . 32圖 10 基于檢測的多人體目標(biāo)跟蹤算法流程圖 . 36圖 11 算法在視頻1中的測試結(jié)果示例 . 38圖 12 算法在視頻中的錯跟蹤及漏跟蹤示例 . 38圖 13 算法在視頻2中的測試結(jié)果 . 39 目錄 目錄 表 1 樣算法過程 . 28表 2 基于局部塊模型的跟蹤算法過程 . 30表 3 數(shù)據(jù)關(guān)聯(lián)中的貪心選擇算法 . 35表 4 跟蹤算法量化比較結(jié)果 . 40 X 第一章 緒論 1 第一章 緒論 題背景及意義 題來源 本研究受到以下課題資助： 1.“天目360度智能監(jiān)控系統(tǒng)產(chǎn)業(yè)化開發(fā)”，哈爾濱產(chǎn)業(yè)技術(shù)創(chuàng)新與育成專項資金項目，研； 2“視頻中人體目標(biāo)可靠檢性檢測方法與穩(wěn)定性跟蹤算法研究”，國家自然科學(xué)基金面上項目，（課題編號：60872143），研； 3. “基于多源數(shù)據(jù)的飛行器進(jìn)近威脅目標(biāo)檢測跟蹤及行為預(yù)測”，國家自然科學(xué)基金重點項目（課題編號：61039003），研。 題背景與研究意義 目標(biāo)檢測與跟蹤作為計算機(jī)視覺中的重要基礎(chǔ)性算法，是許多相關(guān)技術(shù)與應(yīng)用的基礎(chǔ)。該算法地進(jìn)步推動著計算機(jī)視覺及模式識別領(lǐng)域的發(fā)展。 人體檢測和跟蹤作為計算機(jī)視覺中十分具有應(yīng)用前景的方向，近年來受到了許多研究人員的關(guān)注，展開了廣泛的研究，如：視頻監(jiān)控、保護(hù)行人安全的車載行人檢測系統(tǒng)等等。該技術(shù)在以下領(lǐng)域?qū)l(fā)揮重要作用，在國防領(lǐng)域，人體目標(biāo)檢測可以應(yīng)用于自動識別危險目標(biāo)，在戰(zhàn)場監(jiān)控中發(fā)揮作用；在民用領(lǐng)域，該技術(shù)可用于重點建筑（核電站、水電站、水庫、銀行、重要橋梁等）及重要地點（國家重點保護(hù)建筑、博物館、體育場館、地鐵站、監(jiān)獄等）的安全保衛(wèi)工作；在智能交通領(lǐng)域，可以及時監(jiān)控交通事故并可以在十字路口、新建高速路端等進(jìn)行自動行人檢測和安全預(yù)警；也可在車載的智能系統(tǒng)中融入行人檢測與跟蹤技術(shù)，對駕駛員進(jìn)行駕駛狀況安全預(yù)警，有效避免車禍的發(fā)生。在民眾日常生活保障上，可用于檢測可疑人物可疑行為，用于小區(qū)監(jiān)控，減少犯罪率，為人民正常生活提供保障。 近年來目標(biāo)檢測與跟蹤技術(shù)的長足進(jìn)步，使其已開始逐步應(yīng)用于社會生活的基于檢測的多人體目標(biāo)跟蹤算法研究 2 方方面面。目標(biāo)檢測技術(shù)主要研究在圖像中對特定種類的目標(biāo)（人、車等）進(jìn)行檢測與定位，通過特征提取方法，提取目標(biāo)所共有的特性，導(dǎo)入分類器（如支持向量機(jī)，者通過聚類算法（如以實現(xiàn)對目標(biāo)與非目標(biāo)的判別分析。而目標(biāo)跟蹤技術(shù)主要著眼于在連續(xù)的視頻幀之間，通過提取運(yùn)動目標(biāo)的特征表達(dá)值，在連續(xù)幀中通過特征值匹配進(jìn)行搜索定位。通過確定性極值或者概率極值的方式，得到視頻序列中運(yùn)動目標(biāo)之間的對應(yīng)關(guān)系。 在構(gòu)建智能化的計算機(jī)視覺系統(tǒng)時，檢測與跟蹤技術(shù)是相輔相成的兩方面。跟蹤技術(shù)通常受限于需要指定跟蹤目標(biāo)以及初始化過程，而目標(biāo)檢測技術(shù)正好可以將檢測的結(jié)果輸入，作為跟蹤算法的初始條件；同時在跟蹤算法運(yùn)行過程中，目標(biāo)檢測的結(jié)果可以作為指導(dǎo)性信息，對跟蹤結(jié)果進(jìn)行修正；另一方面，目標(biāo)跟蹤算法計算過程所得到的空間分布概率也能對目標(biāo)檢測算法作為修正，加強(qiáng)正確結(jié)果的假設(shè)及排除可能錯誤的檢測結(jié)果。 近年來，該方面的研究工作在許多模式識別及計算機(jī)視覺領(lǐng)域的頂級國際會議如， 都有發(fā)表。同時在該領(lǐng)域重要期刊也刊載了很多相關(guān)工作。 盡管近年來計算機(jī)視覺及模式識別領(lǐng)域中目標(biāo)檢測與跟蹤技術(shù)已獲得了很大的發(fā)展，但復(fù)雜環(huán)境下人體目標(biāo)的檢測與跟蹤離實際應(yīng)用仍有距離，其難點主要是首先由于人體目標(biāo)姿態(tài)的多樣性，外觀的復(fù)雜性等，導(dǎo)致人體檢測算法在實際應(yīng)用中檢測效率不高；另外由于目標(biāo)運(yùn)動的不規(guī)律性，目標(biāo)自身與外界的遮擋等，使得跟蹤算法也面臨限制，而多目標(biāo)的檢測跟蹤，提出了更高的要求，這也成為該領(lǐng)域當(dāng)前亟待解決的問題。 內(nèi)外研究現(xiàn)狀 在靜止圖像中的人體檢測方面，研究人員經(jīng)過多年的研究和發(fā)展，已形成了幾種比較實用、有效的算法。在05年提出了梯度統(tǒng)計直方圖（征，要表達(dá)了目標(biāo)的輪廓信息，對于人體目標(biāo)著裝顏色的變化具有一第一章 緒論 3 定魯棒性，其在人體目標(biāo)檢測中取得了較好的效果。在等人提出了變尺度征，相比原始對于局部輪廓的變化更加敏感。在文獻(xiàn)3中，作者使用方差）算子特征來表示人體，由于協(xié)方差算子是由不同位置、不同尺度的對稱正定矩陣組成，作者認(rèn)為這些對稱正定矩陣處在連通的黎曼流形上，很好的表達(dá)了人體目標(biāo)多姿態(tài)多外觀的特性。在文獻(xiàn)4中，作者引入了在材質(zhì)分析中廣泛應(yīng)用的共生矩陣（征，結(jié)合變尺度得了十分明顯的改進(jìn)。文獻(xiàn)5則引入了在指紋識別中的局部二值模式（征，于表達(dá)人體目標(biāo)的紋理特性，同樣取得了很好的效果。 在目標(biāo)跟蹤方面，基于視覺特征的目標(biāo)跟蹤研究大致可分為表觀模型特征提取及運(yùn)動模型分析兩個層次。表觀模型特征提取主要研究對跟蹤目標(biāo)的表觀進(jìn)行特征提取，通過事先定義的相似性量函數(shù)，進(jìn)行全局的搜索與模板匹配。是該類方法最為典型的代表，其對目標(biāo)的顏色表觀進(jìn)行高斯加權(quán)統(tǒng)計，以巴氏系數(shù)（為相似性度量，在鄰域內(nèi)通過梯度下降方法搜索最匹配目標(biāo)。運(yùn)動模型分析一般引入自動控制系統(tǒng)中狀態(tài)空間的概念，利用狀態(tài)空間對當(dāng)前跟蹤系統(tǒng)的運(yùn)動進(jìn)行模型化，卡爾曼濾波（7和粒子濾波（8是其典型代表。當(dāng)目標(biāo)系統(tǒng)的運(yùn)動呈線性分布，且觀察模型也為線性時，卡爾曼濾波可對后驗概率分布進(jìn)行時序上的傳遞與更新。當(dāng)系統(tǒng)為非線性結(jié)構(gòu)時，粒子濾波（也被稱為時序蒙特卡羅（S 法，是目前最為廣泛使用的方法。粒子濾波方法基于在空間中的隨機(jī)采樣，通過積分建立后驗概率密度函數(shù)，獲得系統(tǒng)運(yùn)動模型。 為了解決跟蹤算法需要手工初始化目標(biāo)位置的問題，研究人員開始引入檢測算法，將其結(jié)果作為跟蹤的初始化，并在此基礎(chǔ)上發(fā)展出了許多的檢測跟蹤融合與多目標(biāo)跟蹤算法。 在當(dāng)前的研究中，主要有三個趨勢。 第一類方法主要依賴于視頻序列中的人體檢測的結(jié)果，將跟蹤問題轉(zhuǎn)化為在整個視頻序列中，檢測結(jié)果的關(guān)聯(lián)問題，該類方法主要利用數(shù)學(xué)規(guī)劃來求解問題。等為了解決跟蹤中多目標(biāo)長時間遮擋后軌跡融合的問題，引入了匈牙利算法（其通過對軌跡的相似度建立關(guān)聯(lián)函數(shù)，將融合問題轉(zhuǎn)化為數(shù)學(xué)規(guī)劃中的指派問題，采用匈牙利算法解決。0基于同樣的思路，基于檢測的多人體目標(biāo)跟蹤算法研究 4 將運(yùn)動軌跡視為圖中的節(jié)點，并為目標(biāo)間的遮擋情況建立遮擋節(jié)點，通過線性規(guī)劃方法來解匹配問題。1等建立了一個多層級的檢測響應(yīng)數(shù)據(jù)關(guān)聯(lián)方法，通過在不同時間間隔上的數(shù)據(jù)關(guān)聯(lián)，獲得較為魯棒的多目標(biāo)跟蹤結(jié)果，且有效的去除了目標(biāo)檢測中漏檢和錯檢。在該方法的基礎(chǔ)框架上，許多后續(xù)的改進(jìn)方法也被提出12-14，2在該框架基礎(chǔ)上，將匈牙利算法改用最小費(fèi)用網(wǎng)絡(luò)流算法來進(jìn)行匹配計算，3采用混合通過統(tǒng)計學(xué)習(xí)過程，建立多目標(biāo)跟蹤過程中的遮擋與關(guān)聯(lián)模型。4通過在線學(xué)習(xí)的表觀區(qū)分模型（ 進(jìn)行多目標(biāo)之間的區(qū)分。盡管該類方法取得了較好的跟蹤效果，但其是延后性的，不適合實時系統(tǒng)的要求。 第二類方法區(qū)別于第一種，主要針對實時性系統(tǒng)進(jìn)行算法設(shè)計，不做延后性的軌跡分析，一般通過將目標(biāo)檢測的結(jié)果與目標(biāo)跟蹤的概率分布合并到一起求聯(lián)合概率分布的極大，來求解跟蹤目標(biāo)的對應(yīng)。5等將檢測結(jié)果融合到粒子濾波的采樣中，將有檢測結(jié)果支持的粒子賦予高權(quán)重。6等首先進(jìn)行人體分塊檢測，通過貝葉斯融合得到人體目標(biāo)，在跟蹤過程中，針對目標(biāo)的表觀、運(yùn)動、數(shù)據(jù)關(guān)聯(lián)等，設(shè)計了一種概率分布函數(shù)作為目標(biāo)的表征，融入到7,40等提出了一套用于多目標(biāo)跟蹤的實時系統(tǒng)結(jié)構(gòu)，其中運(yùn)用了雙目立體視覺以及目標(biāo)檢測與跟蹤技術(shù)，在文獻(xiàn)18中，他們?nèi)诤狭塑囕v與行人的檢測算法，通過擴(kuò)展卡爾曼濾波（立運(yùn)動模型，運(yùn)用顏色統(tǒng)計直方圖建立數(shù)據(jù)關(guān)聯(lián)關(guān)系，實現(xiàn)了智能輔助駕駛系統(tǒng)的原型，在文獻(xiàn)19中，通過圖模型，利用置信傳播（法建立整個系統(tǒng)中檢測與跟蹤間的數(shù)學(xué)描述，通過二值二次型優(yōu)化（數(shù)據(jù)關(guān)聯(lián)問題。 第三類方法則是從人行走時的軀干運(yùn)動特性出發(fā)，在跟蹤過程中融入人的運(yùn)動特性。0過圖模型，將人體軀干四肢分解成圖模型中的節(jié)點，并針對節(jié)點間的關(guān)聯(lián)設(shè)計了運(yùn)動狀態(tài)概率分布函數(shù)，在整個算法過程中，將檢測、跟蹤以及人行走時的連貫關(guān)系，融入到一個求概率極值問題中。 實際應(yīng)用中，目標(biāo)檢測與跟蹤算法的魯棒融合將是該研究方向主要趨勢。同時，目標(biāo)檢測和跟蹤算法各自的發(fā)展都將為該系統(tǒng)帶來提升。人體檢測由于復(fù)雜的動態(tài)背景、人體視角的變化、人體形態(tài)的多變性、目標(biāo)遮擋、光線亮度信息的變化、檢測的速度等問題，目前尚有很大的提升空間。而目標(biāo)檢測的理論與方法第一章 緒論 5 依然處于發(fā)展當(dāng)中，其性能的提高與技術(shù)的改進(jìn)無疑將對整個應(yīng)用系統(tǒng)有大的提升。在未來，研究或許將著重于多目標(biāo)之間的互動，相互間運(yùn)動模型的影響，遮擋的建模，這樣當(dāng)在復(fù)雜的動態(tài)環(huán)境下進(jìn)行多目標(biāo)跟蹤是能夠獲得更高的魯棒性。 文的主要研究內(nèi)容 本文針對人體目標(biāo)的跟蹤過程，提出了一種新的針對跟蹤的基于局部塊組成和整體目標(biāo)結(jié)合的目標(biāo)表示模型，旨在通過該模型，有效處理跟蹤過程中的目標(biāo)遮擋、形變、尺度變化等問題，并將其融入到基于檢測的多人體目標(biāo)跟蹤算法過程中，構(gòu)建完整的行人檢測跟蹤算法。本文的主要研究內(nèi)容總結(jié)如下： 基于局部塊組成的目標(biāo)跟蹤模型：針對跟蹤目標(biāo)本身，提出了一種新的跟蹤目標(biāo)局部塊表示模型，將跟蹤目標(biāo)標(biāo)識為多個局部塊，每個局部塊中分別提取梯度方向直方圖和顏色直方圖特征，作為單獨(dú)的目標(biāo)在后續(xù)視頻幀檢索最佳匹配目標(biāo)。由各個局部塊的跟蹤結(jié)果對整體目標(biāo)的跟蹤進(jìn)行修正，并通過計算局部塊的匹配程度來計算整體目標(biāo)的遮擋情況，由局部塊運(yùn)動外擴(kuò)或內(nèi)斂的趨勢預(yù)測整體目標(biāo)的尺度變化。實驗結(jié)果表明了所提方法的有效性，能正確捕捉到跟蹤目標(biāo)的相應(yīng)變化。 基于檢測的多人體目標(biāo)跟蹤算法：在提出局部塊模型的基礎(chǔ)上，將該跟蹤模型融入到基于檢測的多人體目標(biāo)跟蹤算法框架中，依據(jù)人體檢測的結(jié)果進(jìn)行跟蹤目標(biāo)初始化以及局部塊初定義與修正。同時，實現(xiàn)了構(gòu)建整體算法過程中所需的相關(guān)支撐算法，包括：跟蹤目標(biāo)的初始化與終止，檢測結(jié)果與跟蹤目標(biāo)之間的數(shù)據(jù)關(guān)聯(lián)等。在公開數(shù)據(jù)集上的實驗驗證了所提出的算法的有效性。 文的組織結(jié)構(gòu) 第一章，緒論。主要論述了人體檢測與跟蹤算法的研究現(xiàn)狀及其應(yīng)用背景和意義。從檢測、跟蹤、基于檢測的跟蹤三方面闡述了當(dāng)前的研究現(xiàn)狀，列舉了本文的研究目的和方法及著重解決的問題。 第二章，目標(biāo)檢測與跟蹤算法基礎(chǔ)。詳細(xì)介紹了檢測、跟蹤、檢測與跟蹤結(jié)基于檢測的多人體目標(biāo)跟蹤算法研究 6 合三方面研究中的主要研究內(nèi)容與進(jìn)展，介紹了主流的方法。 第三章，基于局部塊組合的人體目標(biāo)跟蹤算法。論述了本文所提出的用于人體跟蹤的局部塊表示方法。介紹了局部塊的定位方式及特征提取過程，整體目標(biāo)跟蹤與局部塊跟蹤之間的相互修正關(guān)系?；谒崮Ｐ?，給出了通過局部塊的匹配度計算整體模型的遮擋度，及通過局部塊的運(yùn)動計算整體的尺度變化的方法。通過實例驗證了所提模型的有效性。 第四章，基于檢測的多人體目標(biāo)跟蹤算法。將第三章所提的跟蹤模型，融入到一般基于檢測的跟蹤算法框架中，詳細(xì)介紹了整個算法框架中數(shù)據(jù)關(guān)聯(lián)、跟蹤初始化與終止等構(gòu)建完整系統(tǒng)所需求的各個部分及所使用的方法。最后，給出了該算法在公開測試集上的實驗對比結(jié)果，對所提算法在處理遮擋和尺度變化方面的有效性進(jìn)行了驗證。 最后，對本文的工作進(jìn)行了總結(jié)與展望，對該研究的進(jìn)一步深入和實用化等進(jìn)行了探討。 第二章 目標(biāo)檢測與跟蹤算法基礎(chǔ) 7 第二章 目標(biāo)檢測與跟蹤算法基礎(chǔ) 體目標(biāo)檢測的主要算法 人體檢測作為計算機(jī)視覺中的重要研究領(lǐng)域，近年來受到許多研究人員的關(guān)注，并發(fā)表了一些代表性方法。當(dāng)前，人體目標(biāo)的特征表達(dá)提取以及判別的分類器構(gòu)建，是該領(lǐng)域?qū)W者們主要關(guān)注的研究方向。下面將就這兩方面介紹一些典型的方法。 體目標(biāo)特征描述子 當(dāng)前人體檢測算法中最有代表性的特征描述子當(dāng)屬梯度方向直方圖（征，最早由于2005年提出。借鑒于t 子的思想，表征區(qū)域內(nèi)目標(biāo)的邊緣結(jié)構(gòu)。由于對于較小的目標(biāo)形變以及噪聲具有較強(qiáng)的魯棒性。 某一塊狀區(qū)域內(nèi)，首先計算每個像素在水平以及垂直方向上的梯度幅值和梯度方向，然后將梯度幅值依據(jù)梯度方向，投影到直方圖上，歸一化后形成梯度方向直方圖描述子。 圖 1 人體目標(biāo)訓(xùn)練樣本統(tǒng)一為64*128像素，并按照8*8像素為一個字型4個近鄰的此整個人體目標(biāo)就形成了105個每個9維的向量來表示，形成每個基于檢測的多人體目標(biāo)跟蹤算法研究 8 終以36*105=3780維的向量來表示人體。 在2006年，為了改進(jìn)提出了變尺度 征，其對于像素的大小，構(gòu)造了如8*16、16*8等多種矩形局部塊，同時局部塊的位置也可以在圖像內(nèi)任意選取，不再定位于網(wǎng)格之上。V 般要結(jié)合由于能很好的表達(dá)輪廓信息，但對于顏色和紋理上的特性無法表達(dá)，針對該缺點，同時考慮到人體目標(biāo)由于著裝等因素，其在顏色紋理上也表現(xiàn)出某種共性，和先后在為紋理特征的補(bǔ)充，而實驗結(jié)果也表明，在引入顏色紋理信息后，檢測的準(zhǔn)確率有明顯提高。 提出了一種基于協(xié)方差矩陣（為特征的擇像素位置，像素灰度值、梯度以及角度等8個因素，兩兩統(tǒng)計其協(xié)方差，最終形成一個8*8維的矩陣作為目標(biāo)的特征表示。其使用協(xié)方差的方式，表示各個因素之間的統(tǒng)計關(guān)聯(lián)，形成了一個較完備的描述子。 近年來，由局部塊通過拓?fù)潢P(guān)系組合成整體表現(xiàn)目標(biāo)的方法也越來越收到重視，而新近的研究成果表明該方法在理論與應(yīng)用上都存在研究價值34。未來隨著特征表達(dá)研究的深入，人體檢測也必將從中受益。 體目標(biāo)檢測分類器 在人體檢測領(lǐng)域常用的分類器主要是支持向量機(jī)（3依據(jù)統(tǒng)計學(xué)習(xí)理論提出的模式分類和回歸分析方法，是一種基于結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則的機(jī)器學(xué)習(xí)算法。統(tǒng)計學(xué)習(xí)理論認(rèn)為，學(xué)習(xí)的風(fēng)險有經(jīng)驗風(fēng)險和結(jié)構(gòu)風(fēng)險兩部分組成47： ( / ) 1) )()+（器學(xué)習(xí)的過程不但要使經(jīng)驗風(fēng)險最小化，同時也要使第二章 目標(biāo)檢測與跟蹤算法基礎(chǔ) 9 能使實際風(fēng)險減小，使得學(xué)習(xí)機(jī)器有好的推廣性。圖 2 支持向量機(jī)原理圖 圖中以空心點和實心點分別代表兩類樣本，得兩類樣本間的分類間隔2/ 價于使212而整個分類問題就可歸為一優(yōu)化問題： 21w （ ) 1 ,.,wx b t n+ = （在線性可分的情況下，引入可將上述問題轉(zhuǎn)化為其對偶形式，即： 1 ,11( ) ( )2i ji j i ji yy x = =（1 0, 1,., =（解該問題之后就可以得到分類函數(shù)為: 基于檢測的多人體目標(biāo)跟蹤算法研究 10 *1( ) ( ) wx b y x x + = +（2 通常情況下，樣本并不是線性可分的，因此，引入松弛項，即考慮到在錯分一定樣本的情況下保持最大分類間隔。 211（ ) 1 ,.,t ty wx b t = （其中表了對于錯分樣本的懲罰程度。對于非線性問題，另一種思路為將樣本通過非線性變換到高維空間中，使得樣本在高維空間中是線性可分的。但是非線性變換通常形式比較復(fù)雜，難以計算，而過符合核函數(shù)就對應(yīng)于高維空間中樣本的內(nèi)積。通過這種方式，就可以將原問題的樣本映射到高維空間中求解。當(dāng)前向基函數(shù)、5是一種弱分類器組合準(zhǔn)則，其核心思想是由一組簡單的弱分類器，以加權(quán)投票的方式，組合成一個強(qiáng)分類器。在訓(xùn)練分類器階段，依據(jù)所有樣本訓(xùn)練一弱分類器，利用該弱分類器對所有樣本進(jìn)行判別，對于分類錯誤的樣本，加大其權(quán)重，也即樣本權(quán)重更新過程。通過加權(quán)的方式，使分類器更加關(guān)注于難分類的樣本。最終，各個弱分類器依其分類的準(zhǔn)確率作為權(quán)重，組合成一強(qiáng)分類器。一般情況下，訓(xùn)練樣本數(shù)量都比較大，造成弱分類器數(shù)量比較多，在應(yīng)用常要配合構(gòu)建多級分類器的方式，以期通過更小的計算代價，達(dá)到與強(qiáng)分類器同樣的判別效率。 在提出使用入了流形中的判別方法。其所使用的量空間的分類器不適用于其分類問題?？紤]到正定矩陣自然形成黎曼流形，同時黎曼流行在局部切空間同胚于一歐式空間，作者首先計算樣本的均值，得到其在流形空間中的均值點，然后將樣本映射到該均值點的切空間中，在該局部歐式空間中對樣本進(jìn)行分類。 近年來，隨著壓縮感知領(lǐng)域成果逐步被研究人員采納，1范數(shù)優(yōu)化模型越來第二章 目標(biāo)檢測與跟蹤算法基礎(chǔ) 11 越多的應(yīng)用到機(jī)器學(xué)習(xí)與模式識別領(lǐng)域中。5首先將1到的實驗結(jié)果表明，其與2有更好的檢測效率。在此基礎(chǔ)上，其又提出了一種基于1范數(shù)最小化學(xué)習(xí)和線性規(guī)劃組合的多級分類模型26。實驗結(jié)果表明，結(jié)合方法的檢測結(jié)果比同樣使用標(biāo)跟蹤的主要算法 目標(biāo)跟蹤與目標(biāo)檢測一樣，在計算機(jī)視覺領(lǐng)域也是研究熱點。在幾十年的發(fā)展歷程中，科研人員引入了許多相關(guān)學(xué)科的內(nèi)容如數(shù)學(xué)、自動控制、系統(tǒng)論等，而且跟蹤技術(shù)具有的廣闊應(yīng)用前景，使其存在極大的研究價值。跟蹤問題大體上也可歸為兩大研究方向，即目標(biāo)的表觀模型與目標(biāo)的運(yùn)動模型。 蹤目標(biāo)的表觀模型 目標(biāo)的表觀模型也即如何表示目標(biāo)，對其進(jìn)行特征提取的過程。特征提取對于目標(biāo)跟蹤的過程有較大的影響，考慮跟蹤目標(biāo)與背景的差別，提取最具有差異性的特征以及目標(biāo)所獨(dú)具有的特征，使目標(biāo)的表觀模型具有獨(dú)特性，是該方向的研究重點。近年來，科研人員提出了幾類表觀模型，如下所述： （1） 點模型 這類方法通過提取特征點來表示目標(biāo)，其中，最著名的方法是度不變特征變換）算子，由7在1999年提出。對于旋轉(zhuǎn)、尺度變化、亮度變化保持不變性，這些特性使其在視覺領(lǐng)域得到廣泛應(yīng)用。其他應(yīng)用較廣的點模型還有（2） 顏色模型 對目標(biāo)顏色的得到直方圖描述，也是一種常用的特征。8提出了一種帶權(quán)式的顏色直方圖統(tǒng)計方法，對離目標(biāo)中心較遠(yuǎn)的像素賦予低權(quán)重，統(tǒng)計得到的顏色直方圖配合視覺跟蹤中最為典型的算法之一。 （3） 邊緣模型 顏色模型的缺點在于其受光照的影響較大，而邊緣模型對于光照變化適應(yīng)性較好，因此也是一種優(yōu)秀的特征提取方式。9是邊緣檢測中應(yīng)用較為基于檢測的多人體目標(biāo)跟蹤算法研究 12 廣泛的一種方法，基于對邊緣信息進(jìn)行統(tǒng)計的梯度方向直方圖（近年來也得到了廣泛的應(yīng)用，0基于梯度直方圖和顏色直方圖，提出了一種綜合直方圖（型，并在跟蹤的過程中，對于特征的權(quán)值調(diào)整，提出了一種依據(jù)判別力與卡爾曼濾波融合的特征權(quán)重更新模型，運(yùn)用在目標(biāo)跟蹤上，取得了十分好的效果。 蹤目標(biāo)的運(yùn)動模型 在提取目標(biāo)的特征之后，就需要進(jìn)行特征的比較與匹配用于進(jìn)行跟蹤目標(biāo)的定位，而運(yùn)動模型的好壞，將直接影響到目標(biāo)定位的準(zhǔn)確性。常用的運(yùn)動模型有卡爾曼濾波（7和粒子濾波（8。 卡爾曼濾波是由卡爾曼在1960年提出的一種用于解決離散數(shù)據(jù)線性濾波的遞歸方法。其計算量小，預(yù)測具有無偏、穩(wěn)定和最優(yōu)的特點。它的提出對現(xiàn)代控制理論的發(fā)展做出了巨大的貢獻(xiàn)。在跟蹤算法中，通常將目標(biāo)的位置和速度設(shè)為系統(tǒng)的狀態(tài)，由卡爾曼濾波進(jìn)行預(yù)測與更新?？柭鼮V波的基本原理如下： 令離散時間過程的狀態(tài)變量變量由以下方程描述： 1 11k k X Bu w = + + （系統(tǒng)的觀測方程為： k X v=+ （2 設(shè)它們相互獨(dú)立，都為正態(tài)分布的白色噪聲： ( ) (0, ) Q （( ) (0, ) R （狀態(tài)的觀測方程（先驗估計）為： 1( | 1) ( 1 | 1) Xk k B u= + （2 經(jīng)觀測值修正過的后驗估計為： (|) (| 1) ( (| 1) z + （2 第二章 目標(biāo)檢測與跟蹤算法基礎(chǔ) 13 其中，( | 1)系統(tǒng)由(|)由觀測值( | 1)X k k是觀測估計與實際觀測之間的差值；來最小化卡爾曼濾波通過循環(huán)的預(yù)測對系統(tǒng)狀態(tài)進(jìn)行追蹤?？柭鼮V波對于線性系統(tǒng)有良好的適用性，但對于非線性系統(tǒng)，其應(yīng)用上存在不足。 粒子濾波（即序貫?zāi)Ｌ乜_（波，是一種目前研究較多的非線性條件下的系統(tǒng)狀態(tài)估計方法。其在計算機(jī)視覺中的應(yīng)用8與卡爾曼濾波一樣基于貝葉斯時序濾波框架，對于觀測模型是非線性非高斯的系統(tǒng)時，它提供了一種實現(xiàn)貝葉斯遞歸濾波的有效途徑。其主要思想是通過帶有相關(guān)權(quán)重的隨機(jī)樣本（觀測粒子），基于這些樣本來表示狀態(tài)的后驗概率分布1:(| )z。 令 0: 1 ,=表示后驗概率1:(| )中足1，則| )0: 1: 0: 0:1(|) ( )k k z x （粒子的權(quán)重法得到。若采樣點集0:| )第0: 1: