1、昨晚上在群里和別人探討了一下H.264里的插值濾波器的原理。在這里做一點(diǎn)總結(jié)。（寫完以后回頭看，發(fā)現(xiàn)寫的十分羅嗦。懂信號理論的人可以速速瀏覽。）1插值與上采樣插值的過程從信號處理的角度其實(shí)就是一個上采樣（提升空間采樣頻率）的過程。因此我們首先從信號處理的角度回顧一下上采樣問題。下圖為某一維信號上采樣的例子：特性是低頻（0附近）豐富，高頻逐漸減小，直至土n處為0。此外這里還隱含了一個問題，就是該信號的原始采樣頻率恰好就是奈奎斯特頻率（所以周期性的頻譜恰好首尾相接），原始采樣頻率再低一點(diǎn)就要發(fā)生混疊了，這個將是第3節(jié)要著重考察的問題。A-vD描述的是2倍上采樣的過程。事實(shí)上我們都知道，插值無非就是

2、用一個N-tap的計(jì)算式得出一個值罷了（正如H.264的1/2像素插值）。但是在頻率域分析的時(shí)候?yàn)榱饲宄鹨?，通常會將這個過程分成兩個步驟：1.增加采樣率（壓縮頻譜橫軸）；2.低通濾波。需要說明的是這樣的兩個步驟只是為了分析需要，它與直接一個N-tap插值是等價(jià)的！B就是A增加采樣率后的結(jié)果，從數(shù)學(xué)推導(dǎo)上這個過程對應(yīng)的結(jié)果就是壓縮橫軸，可以想象把vA的頻譜從左右兩個方向向中間擠壓就得到了B。但是在B中高頻部分其實(shí)是次生的頻率（mirrorfrequency），因此我們需要一個低通濾波器把它濾掉，vC就是這樣一個理想的低通。最終得到了vD,上采樣結(jié)束。對比vA和D，其實(shí)不難理解。vA是用奈奎斯特

3、頻率（假設(shè)是f）采得的信號，那么如果我用2f去采，理所當(dāng)然頻譜的間隔會大。2H.264的插值濾波器我們知道H.264使用了兩種插值濾波器：1/2像素精度插值時(shí)用6-tapFIR；1/4像素精度插值時(shí)用bilinear。本節(jié)講為什么要采用這兩種濾波器。首先要明白，這里的兩種濾波器實(shí)質(zhì)上對應(yīng)的都是圖表1的C，也就是低通濾波器，只不過性能有區(qū)別而已。vC的低通是理想的，即邊緣完全是切下來的，過渡帶寬度為0。而在實(shí)際中不可能做到理想，實(shí)際濾波器都會有一個過渡帶。一般情況下，濾波器實(shí)現(xiàn)階數(shù)越高越復(fù)雜，對理想性能的逼近越好。下圖為一個概念性的示意圖（現(xiàn)實(shí)情況遠(yuǎn)比此復(fù)雜）：圖表2：低通濾波器示意圖圖表2：低

4、通濾波器示意圖6-tapBilinear6-tap要比bilinear復(fù)雜，因此低通性能要好。也許有人會說那為什么不采用階數(shù)更高的FIR而獲取更好的低通濾波器呢？原因就是這樣會給實(shí)現(xiàn)帶來巨大的復(fù)雜性。JVT專家經(jīng)過權(quán)衡計(jì)算，得出現(xiàn)有的6-tap濾波器低通性能是所有6-tap中最好的，并且6-tap的計(jì)算相對簡單。那么為什么1/4像素精度插值的時(shí)候，可以使用性能較差的bilinear濾波器就可以了呢？原因也很簡單，如下圖2n:/0nn原始/.2n:A/0nn1/2精度插值后A.2n:0nn1/4精度插值后圖表3：插值信號的頻率示意A-vB的過程中，由于vA的頻譜基本上占據(jù)了整個頻段，所以濾波的時(shí)

5、候必須要理想低通,否則在高頻處就會失真。因此要采用較好的低通濾波器。而B-vC的過程中，B并沒有占據(jù)全部頻段，高頻部分都是空的，所以這里的低通就不用那么嚴(yán)格要求了。總而言之，低通濾波器的選擇要兼顧性能與復(fù)雜度。此外，第一步插值對低通性能的要求最高，之后的插值要求就大為降低了。36-tapFIR的問題至此，H.264的插值濾波器基本上說明清楚了。下面說一點(diǎn)高級的話題，關(guān)于6-tap濾波器存在的問題。留給有興趣的人吧。在圖表1中提過，A的采樣頻率恰好是奈奎斯特頻率，因此沒有任何混疊（aliasing）失真。但是視頻圖像在有些高頻區(qū)域（比如頭發(fā)，密線條等）很容易就違背奈奎斯特采樣而出現(xiàn)混疊失真。下面來一個混疊失真的實(shí)例：當(dāng)視頻中出現(xiàn)這樣的區(qū)域時(shí)，插值將受到很大的破壞。進(jìn)而嚴(yán)重影響ME的效果，最終導(dǎo)致壓縮性能的下降。前面說明了6-tapFIR是個低通性能相對較好的濾波器，但是低通性能好并不能抵抗混疊失真。這