第14章視頻圖像處理基礎《數(shù)字圖像處理》李俊山編著.《數(shù)字圖像處理（第5版）》

目前，基于視頻的運動目標檢測與識別已經成為圖像處理技術領域的一個熱點課題。

可視電話、IP視頻會議系統(tǒng)、有線電視、無線視頻通信、光盤存儲、視頻點播和遠程教學等數(shù)字視頻業(yè)務的廣泛應用，面向視頻通信的視頻信息壓縮編碼技術也已成為圖像處理技術領域的另一個熱點課題。14.1視頻圖像處理的概念

一、圖像、視頻、視頻圖像1、圖像靜態(tài)的畫面就稱為圖像，即圖像是指單幀靜態(tài)的圖片。2、視頻

視頻是以一系列在時間上相鄰的圖像信號的依次播放，因而給人眼呈現(xiàn)出連續(xù)動態(tài)圖像的一種信息媒介。

因為：當一系列在時間上相鄰的圖像依次以每秒超過24幀（frame）的畫面連續(xù)播放時，根據人的視覺短暫記憶特性，人眼就無法辨別每幅單獨的靜止畫面，感覺到的是連續(xù)平滑的視覺效果，這種連續(xù)的畫面就稱為視頻（Video）。

也即，視頻是指連續(xù)的、相互關聯(lián)的、動態(tài)變化的圖像序列。一、圖像、視頻、視頻圖像3、視頻圖像

視頻是由連續(xù)的圖像序列組成的，其基本成分是一幅一幅的靜態(tài)圖像。另外，由于對視頻圖像的各種處理都是建立在對每幅靜態(tài)圖像的處理基礎上的，所以當對其相關特性進行分析和處理時，就一般地把視頻也稱為視頻流，或視頻序列；進一步也稱為視頻圖像。一、圖像、視頻、視頻圖像1、圖像采集

單幀的圖像采集過程稱為攝影。

傳統(tǒng)上攝影也稱為照相。

攝影是指使用某種專門設備進行靜態(tài)影像記錄的過程。二、圖像與視頻圖像的采集

2、視頻采集

視頻圖像序列的采集過程稱為攝像。

攝像是指利用攝像機（視頻拍攝設備）進行連續(xù)動態(tài)的影像記錄過程。二、圖像與視頻圖像的采集

幀是組成視頻的基本單位，一個視頻是由很多連續(xù)的圖片（幀）組成的。

視頻圖像的幀速率（Framerate，也稱為視頻幀率）是指一秒鐘內錄制的圖片數(shù)量，或者說是指每秒所顯示的靜止幀數(shù)量。視頻幀率是一種用于測量顯示幀數(shù)的量度，單位為每秒幀數(shù)(FramesPerSecond，fps）或“赫茲”（Hz）一般用于影視制作和電子游戲。三、視頻幀率

對于電子游戲來說，幀速率是指每秒刷新圖片的幀數(shù)，也可以理解為圖形處理器每秒鐘能夠刷新的次數(shù)。要生成相對連貫的動畫效果，幀速率一般不小于8fps。對視頻和影片而言，幀速率指每秒所顯示的靜止幀數(shù)量。電影的幀速率為24fps。三、視頻幀率

視頻圖像是一組隨時間變化的圖像序列，具有給定的或假設的相對順序，并能提供獲取的相鄰幾幅圖像的時間間隔關系，一般可描述為：或其中：

N為視頻序列的總幀數(shù)，k為幀列序號，為獲取第i幀圖像的時刻。相鄰兩幀圖像獲取的時間間隔為。四、視頻圖像的形式化定義

視頻圖像處理是指將一系列的靜態(tài)影像以電信號方式進行捕捉、紀錄、儲存、處理，傳送和重現(xiàn)的各種技術的總稱。

一般意義上的視頻圖像處理更傾向于理解為：

通過把視頻圖像序列分離為相鄰的一幅一幅的靜態(tài)圖像，進而或利用傳統(tǒng)的圖像處理方法對單幀圖像進行處理，或利用其相鄰幀間存在的相關性進行運動特征檢測和進行運動特征分析，或同時利用同一幀內相鄰像素間的空間相關性和相鄰幀間的時間相關性進行視頻圖像壓縮處理。五、視頻圖像處理

14.2基于視頻圖像的運動目標檢測與識別

運動目標檢測是指從序列圖像中將變化的區(qū)域從背景環(huán)境中分離出來。

運動目標檢測與識別是視頻圖像最重要的應用之一。14.2.1幀差法

幀差法也稱為幀間差分法，是一種常用且最簡單的運動檢測方法，其基本思路是:

通過對視頻序列中兩幀（或多幀）圖像進行差分運算來提取運動目標的輪廓。

14.2.1幀差法

1.算法原理

14.2.1幀差法

1.算法原理

2.利用幀差法進行目標檢測的方法連通性處理:因為幀差法對于面積較大或顏色分布較為均勻的運動目標，在兩幀圖像相鄰較近的情況下重疊部分容易形成空洞，所以一般要進行連通性處理。運動目標輪廓提取（目標識別）：經過以上的幀差、去燥和連通性處理，就可得到圖像序列中運動目標的邊界（而非整個運動物體，因為許多情況下即使經過連通性處理，空洞仍很難全部補上），從而可確定圖像序列中的目標物體。14.2.1幀差法3.相鄰幀幀間差分法的優(yōu)勢和不足

優(yōu)勢：直接利用相距較近的兩幀圖像或利用相鄰幀作為背景來做差分，不需要背景積累和更新，程序復雜度低，且適合于檢測識別多目標。

不足：對環(huán)境噪聲較為敏感，其檢測效果過于依賴二值化閾值的選擇，若閾值過大則容易將圖像中有意義的運動區(qū)域排除掉，若閾值過小則容易引入過多的噪聲。

并且對于面積較大、顏色分布較為均勻的運動目標，在相鄰幀的重疊部分容易形成空洞，無法準確提取運動區(qū)域。

背景減法是先按某種規(guī)則選取一幀圖像作為背景圖像，通過用實時采集的觀測圖像幀與背景圖像進行比較來分割運動目標，所以背景圖像（背景模型）的提取是關鍵環(huán)節(jié)之一。

由于受場景環(huán)境變化、光照、天氣和外來因素的干擾，需要定期、實時、或按某種規(guī)則對背景模型進行更新，所以背景模型的更新策略也是背景減法的關鍵環(huán)節(jié)之一。14.2.2背景減法

1.算法原理14.2.2背景減法

1.算法原理14.2.2背景減法

2.背景建模方法14.2.2背景減法

2.背景建模方法14.2.2背景減法

2.背景建模方法14.2.2背景減法

2.背景建模方法14.2.2背景減法

3.背景模型更新

為什么要對背景模型進行更新呢？

當被被觀測區(qū)域的場景環(huán)境發(fā)生變化，如光照、天氣和風的強度等，已建立好的背景模型可能不再適應變化了的環(huán)境。另外，若背景目標發(fā)生變化，如運動目標長時間保持靜止成為背景的一部分，此時如果不更新背景模型，就有可能將背景點檢測為運動點。14.2.2背景減法

14.2.2背景減法

光流場分析法是指利用圖像灰度在時間上的變化和表觀運動及物體真實運動之間的關系，進行運動物體檢測的一種方法。14.2.3光流場分析法{自學，不做要求}14.3視頻編碼技術

視頻作為動態(tài)的圖像信息，數(shù)據量巨大，給存儲器的存儲容量、通信信道的帶寬以及計算機的處理速度帶來了很多壓力。

因此，在能保證一定重構質量的前提下，使用盡量少的比特數(shù)來表示視頻信息，也即對視頻原始數(shù)據進行壓縮編碼，就顯得十分重要。14.3.1視頻壓縮編碼的機理14.3.1視頻壓縮編碼的機理14.3.1視頻壓縮編碼的機理14.3.1視頻壓縮編碼的機理1、視頻編碼技術的發(fā)展

2、視頻編碼標準的發(fā)展3、視頻編碼標準H.264/AVC14.3.2視頻編碼技術及編碼標準

視頻壓縮是指通過對視頻進行一系列的運算，把原始的視頻信息編碼成碼流的過程。

視頻壓縮過程由一對互補系統(tǒng)編碼器和解碼器實現(xiàn)。首先編碼器對原始視頻進行壓縮，把原始的視頻信息編碼成規(guī)定的碼流進行傳輸和存儲；接著解碼器把編碼后的碼流還原成相應的視頻信息，以滿足應用的需求。14.3.3混合視頻編碼框架

主流的視頻編解碼技術采用的是綜合考慮預測編碼、變換編碼和熵編碼的傳統(tǒng)混合視頻編碼框架。14