一種多特征穩(wěn)健主成分分析的視頻運動目標分割方法

0多特征融合相關(guān)理論目前，視頻序列的分析和理解是一個非?；钴S的研究領(lǐng)域。在諸如視頻監(jiān)控、基于視覺的人體行為分析等許多應(yīng)用中,首先需要的是能夠探測到由靜態(tài)相機拍攝的一個場景中的物體的移動。最基本的要求就是從靜態(tài)信息(背景)中分離出運動的物體(前景)。視頻運動目標分割就是這樣的一類方法,是自動視頻分析的關(guān)鍵技術(shù)之一,尤其是在視頻監(jiān)控領(lǐng)域里,它是靜態(tài)視頻處理的第一步,它的輸出結(jié)果的好壞對后續(xù)處理,如目標識別、追蹤和行為識別起著重大的影響。近年來,共5種基于穩(wěn)健主成分分析(RPCA)理論的方法被提出用來進行視頻運動目標分割:RPCAviaRobustSubspaceLearning(RSL)作為一種數(shù)據(jù)聚類問題,視頻運動目標分割的性能取決于特征空間的選擇。然而,很難找到一個單一的特征對不同場景的各種視頻圖像都能進行較好地描述,因為每個特征描述子一般都有各自的優(yōu)點和局限性:顏色描述子在描述顏色時能攜帶較多的信息,但不適合描述其他的視覺信息;梯度描述子能較好的保留目標的邊緣和輪廓,但可能會造成信息丟失。因此,整合不同類型的特征對獲得精確、可靠的前景是非常關(guān)鍵的解決方法。圖1說明了融合多個特征的優(yōu)越性。為了有效地利用多特征,將視頻運動目標分割看成稀疏追尋問題,提出了一種新的算法多特征穩(wěn)健主成分分析(MFRPCA),通過恢復(fù)多特征描述矩陣的低秩和稀疏部分來進行多特征融合。給定一個由多特征描述的圖像(視頻)序列,背景通常被認為是低秩的,而前景占整個圖像的少部分,則被認為是稀疏的。前景就是通過將多特征聯(lián)合矩陣分解為一系列的低秩和稀疏矩陣后的稀疏部分,該推導(dǎo)過程就是一個受限的核范數(shù)與L1相關(guān)工作1.1基于線性組合的數(shù)據(jù)pca主成分分析(PCA)是一種高效的高維數(shù)據(jù)處理、分析、壓縮和可視化工具,它是一種通過降維技術(shù)把多個變量化為少數(shù)幾個主成分(即綜合變量)的統(tǒng)計分析方法。這些主成分能夠反映原始變量的絕大部分信息,它們通常表示為原始變量的某種線性組合,假設(shè)給定的高維數(shù)據(jù)實質(zhì)上可由低維線性子空間進行建模,PCA的目標就是高效、準確地估計低維子空間。假設(shè)所給的數(shù)據(jù)是組成一個大矩陣D∈RminPCA已經(jīng)成為計算機數(shù)據(jù)分析的基本操作。它與低維子空間的數(shù)據(jù)相符合。然而,由于它對異?；驌p壞的觀察數(shù)據(jù)矩陣缺乏穩(wěn)健性,因此,在真實場景中的性能和適用性有限。傳統(tǒng)的PCA在同一分布的高斯噪聲的損壞下給出了最優(yōu)估計,只要噪聲的幅度比較小,工作效果就比較理想。但是,在大的噪聲損壞下,即使只影響了小部分的觀察數(shù)據(jù),其效果也比較差。然而,如異常數(shù)據(jù)和大幅度噪聲等損壞原始數(shù)據(jù)的情況普遍存在于各種圖像和視頻中,有些數(shù)據(jù)甚至可能由于遮擋被任意破壞,或者與設(shè)法確定的低維結(jié)構(gòu)根本不相干1.2健康分析穩(wěn)健主成分分析通過解決凸優(yōu)化問題對損壞的低秩矩陣的進行恢復(fù)給定一個矩陣D,RPCA的目標是通過最小化式中,‖A‖Wright等人1.3低秩和稀疏的背景模型在圖像和視頻處理方面,穩(wěn)健主成分分析(RP-CA)應(yīng)用廣泛,如背景建模、陰影消除、人臉圖像識別對于視頻運動目標分割的應(yīng)用,由于幀與幀之間的相聯(lián)性,可以很自然的將背景近似建模為低秩部分。前景一般只占據(jù)圖像像素的小部分,并可以被視為稀疏誤差。在文獻[5,9]已證明,即使在光照變化的情況下,RPCA仍然可以通過低秩和稀疏的分離得到更好的視覺效果。結(jié)果表明凸優(yōu)化方法作為一種工具,在視頻分析中具有潛在能力。2多尺度特征矩陣提取圖2為提出的MFRPCA算法流程框圖:給定一組視頻序列,對每幀圖像進行多尺度特征提取,包括顏色、梯度、Gabor濾波器特征,形成一個多維特征矩陣。然后用MFRPCA算法對多維特征矩陣分解為低秩和稀疏兩部分,其中稀疏部分即為運動目標等前景。2.1這個問題的陳述對于多特征,視頻運動目標分割問題可歸結(jié)如下:定義1假設(shè)D2.2主要特征穩(wěn)定性分析在定義1中,MFRPCA通過解決凸優(yōu)化問題來尋找聯(lián)合稀疏矩陣E,即式中,E=[E圖3所示方法使得矩陣E2.3引理介紹通過拉格朗日乘子法(ALM)式中,Y算法1:通過非精確的拉格朗日乘子法解多特征穩(wěn)健主成分分析問題輸入:數(shù)據(jù)矩陣{D初始化:AWhilenotconvergeddo{5)檢查收斂條件‖D如算法1中所示,步驟1)通過奇異值閾值操作子(SVT)來解軟閾值算子定義為式中,x∈R、ε>0。根據(jù)這種記法,有式中,USV要求解算法1中的步驟2),先回顧一下文獻[17]中的引理3.2。引理3.2Q=[q的最優(yōu)解為W步驟2)的解可以逐列的解決:式中,E(:,i)是矩陣E的第i列,i=1,…,N。3實驗3.1實驗設(shè)施3.1.1數(shù)據(jù)集在實驗中,使用變化檢測基準數(shù)據(jù)集3.1.2基于梯度的圖像數(shù)據(jù)處理對于給定的圖像,提取3個不同類型的視覺特征來描述:顏色、梯度和Gabor濾波器。從每個像素點中提取R、G、B3個顏色值產(chǎn)生3個顏色特征,每個特征稱為特征矩陣。在向量的微積分中,一個標量場的梯度是指向標量場的最大速率增加的方向的矢量場,其大小是增長速度的幅度。簡單而言,空間的任何數(shù)量的變化(如圖形方式)可以由一個斜率表示。梯度表示斜坡的陡度和方向。這里梯度被用于描述每個像素及其相鄰像素中的相對傾斜的水平、獲得目標物體的邊緣輪廓。實驗中通過Prewitt算子計算梯度。在圖像處理中,Gabor濾波器是一種用來邊緣檢測的線性濾波器。Gabor濾波器的頻率及方向特征和人類數(shù)據(jù)系統(tǒng)相似。綜合不同頻率和方向的Gabor濾波器可以從圖像中提取有用的特征,已經(jīng)發(fā)現(xiàn)它們特別適合描述紋理特征。實驗中使用的Gabor濾波器的參數(shù)如下:波長Wavelength(λ=8),方向(θ=0),相位偏移(φ=[0π/2]),縱橫比(γ=0.5),帶寬(b=1),方向數(shù)量(N=8)。3.1.3評價gt為了證明融合多種特征的優(yōu)勢,考慮算法采用不同特征情況下的結(jié)果:RPCA(顏色)、RPCA(梯度)、MFRPCA(梯度+顏色)和MFRPCA(梯度+顏色+Gabor濾波器)。從像素級上的表現(xiàn)來判斷結(jié)果的好壞。用于衡量和評價前景和標準結(jié)果(GT)好壞的4個術(shù)語為前景像素點中那些被正確地標記為前景的像素數(shù)目。背景像素點中那些被錯誤地標記為前景的像素數(shù)目。背景像素點中那些被正確地標記為背景的像素數(shù)目。前景像素點中那些被錯誤地標記為背景的像素數(shù)目。計算上述4個術(shù)語后,接著計算3個重要的評價參數(shù):查全率(R)、精確率(P)和F度量(F)。查全率計算前景像素點中那些被正確地標記為前景的像素數(shù)目占標準結(jié)果中的前景像素總數(shù)的比重,即精確率計算前景像素點中那些被正確地標記為前景的像素數(shù)目占整個結(jié)果被認為是前景的像素總數(shù)的比重,即F度量則是查全率和精確率的一個綜合,是反應(yīng)整個結(jié)果的好壞的一個綜合指標,即3.2結(jié)果3.2.1功能融合多特征融合實驗結(jié)果如3.1節(jié)所述,實驗在統(tǒng)一配置的環(huán)境下對不同算法的性能進行評估和比較。實驗結(jié)果見表1和表2,表1和表2中的結(jié)果證實了融合多特征的MFRPCA算法的優(yōu)越性。與將RPCA用于某些單特征的方法相比,表1中的結(jié)果清楚地顯示功能融合多特征的優(yōu)勢。圖4給出了一些實驗結(jié)果,也顯示了多特征融合的優(yōu)勢。圖5為關(guān)于falsepositive和truthpositive的ROC(receiveroperatingcharacteristiccurve)曲線,該結(jié)果的實驗數(shù)據(jù)為視頻種類baseline下的pedestrians視頻序列,選取了310幀圖像進行實驗,可以看出MFRPCA得出的結(jié)果最佳。圖6則給出了表2的圖示結(jié)果,可以看出,與其他的基于RPCA理論的方法相比,由MFRPCA分割產(chǎn)生的結(jié)果是更可靠、準確的。3.2.2不同圖像的聚合式和圖像轉(zhuǎn)換算法為了評價所提出的算法的優(yōu)勢,與其他5種基于RPCA理論的算法進行比較,分別為RSL、PCP,IALM、TFOCS和BRPCA。在這些算法中,將所有原始的圖像轉(zhuǎn)換為灰度圖像。從表2和圖4的平均結(jié)果來看,本文算法優(yōu)于其他算法,而且對于不同的視頻序列比其他方法具有更強的穩(wěn)健性。正如表2中所示,本文算法得到的查全率為0.4830、F為0.5597,在所有的算法中排在第1。實驗結(jié)果表明,本文算法在用于視頻運動目標分割時是可靠、準確和穩(wěn)健的。3.2.3算法運行所需時間本節(jié)將討論不同算法的效率,為了統(tǒng)一其他客觀因素,在同一臺電腦上使用同樣的數(shù)據(jù)對每種算法進行實驗,實驗數(shù)據(jù)為視頻序列pedestrians下的200幅視頻圖像。圖像的原尺寸大小為240×360,統(tǒng)一縮小尺寸為80×120大小。表3列出了不同算法的運行所需時間。實驗中每種算法均為離線處理模式,這種以批處理的離線分割模式對計算機內(nèi)存的消耗有較高的要求,而本文算法是對多特征矩陣進行分割處理,對內(nèi)存消耗有著更高的要求,當保存多特征矩陣消耗了大部分內(nèi)存后,只有少部分內(nèi)存用于進行算法計算等操作,導(dǎo)致計算速度變慢,其他算法對內(nèi)存消耗較低,因此都能取得較快的計算速度。目前出現(xiàn)了許多并行處理的方式來減少計算時間,利用硬件加速的方法來提高計算效率,如文獻[20-21]。同時也產(chǎn)生了一些在線的處理方法,如文獻[22],但是這種在線實時的方法需要事先進行訓(xùn)練獲得背景,在這過程中會消耗較多的時間,如果不對背景進行訓(xùn)練,取得的分割效果會比較差,而且當背景發(fā)生變化后,就得重新訓(xùn)練背景,也會消耗較多的時間。4轉(zhuǎn)化問題的求解提出了一種新的用于視頻運動目標分割的算法,多特征穩(wěn)健主成分分析。與其他方法相比,MFRPCA將多種特征的信息融合到一個統(tǒng)一的推理過程中,可以有效地通過一個凸優(yōu)化問題進行求解。該