圖像處理之逆透視變換,智能車背景理論知識 系列專題講座之一,主講人：虞坤霖,目錄,第零章 前言 第一章 基礎(chǔ)知識 第二章 基本線性變換 第三章 智能車攝像頭透視變換陣 第四章 不可逆與信息丟失 第五章 逆透視變換陣的求解與應(yīng)用 第六章 用逆透視變換陣處理圖形 附 線性變換陣在空間定位中的應(yīng)用,第零章 前言,本文以智能車攝像頭圖像處理為背景 解決了根據(jù)圖像信息逆透視變換得到賽道信息的問題 以線性變換陣作為理論基礎(chǔ)給出了矩陣變換公式,第一章 基礎(chǔ)知識,點的表示 向量的表示 線性變換 線性變換的表示,點的表示,三維空間中的點用14的矩陣表示： (x, y, z, 1) 一般的： (x, y, z, w) 與 (x/w, y/w, z/w, 1) 表示同一點 其中 w=1 為標(biāo)準(zhǔn)型,向量的表示,三維空間中的向量用14的矩陣表示： (x, y, z, 0) 最后一位不得非零，否則表示點,點與向量之間的運(yùn)算,向量向量=向量 點向量=點 點點點=點,線性變換,變換即映射，記為： 滿足如下兩個條件的變換為線性變換 或簡記為：,四維向量空間,三維點由14的矩陣表示 三維向量由14的矩陣表示 14的矩陣構(gòu)成四維向量空間,四維向量空間中線性變換的表示,對于三維空間中的點和向量，都由四維向量表示 四維向量空間中線性變換可由四階方陣表示,四維向量空間中線性變換的表示,若將四維向量看成行向量，則線性變換可表示成對四維向量右乘變換陣的形式： A是線性變換陣，前者表示三維點，后者表示三維向量 乘法按照矩陣相乘的計算法則計算,線性變換的表示,也可將四維向量看成列向量，此時線性變換可表示為左乘線性變換陣 相應(yīng)的變換陣轉(zhuǎn)置,第二章基本線性變換,恒等變換 變換陣分區(qū) 平移變換 縮放變換 旋轉(zhuǎn)變換 切變變換 投影變換 平行投影變換 透視投影變換 組合變換 逆變換,恒等變換,任意三維點與向量乘以單位陣后不變,變換陣分區(qū),平移變換,平移變換只對點有效，對向量無效,縮放變換,主對角線前三維能分別縮放某個維度 第四維整體縮放所有維度,旋轉(zhuǎn)變換,二維旋轉(zhuǎn)變換： 已知點 求該點繞原點逆時針旋轉(zhuǎn)后的坐標(biāo),二維旋轉(zhuǎn)變換,推廣到三維旋轉(zhuǎn)變換,沿Z軸正方向旋轉(zhuǎn)的旋轉(zhuǎn)變換陣 （旋轉(zhuǎn)方向用右手法則確定）,各個方向的旋轉(zhuǎn)變換陣,切變變換,在第x列y行（第一列第二行）放一個系數(shù)k 點的y、z坐標(biāo)不變，x坐標(biāo)增加 y越大，x增加得越多 正方形被拉伸為梯形,投影變換,平行投影變換（Z方向）,投影變換,透視投影變換 空間中任意一點與(-d,0,0)點的連線與Y,Z平面的交點,投影變換,(-d,0,0)為投影點，Y,Z平面為投影面 同理，以(0,-d,0)為投影點，X,Z平面為投影面的變換陣，以(0,0,-d)為投影點，X,Y平面為投影平面的透視變換陣分變?yōu)椋?組合變換,將兩個或以上基本變換陣相乘，得到組合變換陣 相乘的順序表示基本變換執(zhí)行的順序,逆變換,變換陣的逆矩陣表示其對應(yīng)變換的逆變換,第三章 智能車攝像頭透視變換陣,坐標(biāo)系 坐標(biāo)變換 坐標(biāo)變換陣 透視變換陣,坐標(biāo)系,世界坐標(biāo)系（W） 在地面選取兩個垂直的方向為X,Y軸 豎直向上為Z軸 智能車坐標(biāo)系（C） 正右方為X軸 前進(jìn)方向為Y軸 豎直向上為Z軸 攝像頭坐標(biāo)系（G） 視線方向為Z軸負(fù)方向 正右方為X軸 正上方為Y軸,坐標(biāo)變換,將攝像頭坐標(biāo)與智能車坐標(biāo)重合（攝像頭質(zhì)心置于智能車質(zhì)心處并向下看） 將攝像頭向上平移一個高度h 攝像頭沿X軸旋轉(zhuǎn)一個仰角 攝像頭沿著Z軸方向透視 如此可由智能車坐標(biāo)得攝像頭坐標(biāo),坐標(biāo)變換,將攝像頭固定，上述過程可等價為： 智能車以及賽道向下平移一個高度h 智能車以及賽道沿X負(fù)方向旋轉(zhuǎn)一個仰角 智能車以及賽道沿著攝像頭Z軸方向透視,坐標(biāo)變換陣,向下平移（h為平移高度）,坐標(biāo)變換陣,沿X軸負(fù)方向旋轉(zhuǎn),坐標(biāo)變換陣,沿Z軸方向透視變換,透視變換陣,將上述三者相乘即可得到透視變換陣,第四章 不可逆與信息丟失,透視變換陣不可逆 不可逆的意義,透視變換陣不可逆,上一章得到的透視變換陣第三列為零 則其可表示為其他三列的線性組合 故該矩陣的不滿秩 故該矩陣不可逆,透視變換陣不可逆,該矩陣在計算時的一個因子已經(jīng)是奇異的了 這個奇異性導(dǎo)致相乘后的矩陣也是奇異的 歸根結(jié)底在于投影變換將三維空間的點映射到二維空間，信息丟失。 不同的點可能映射到相同的點，故無法求出其逆變換,不可逆的意義,從映射關(guān)系上看，不可逆是因為不是一一映射，不同的值映射到相同的象 從信息的角度看，變換時有部分信息丟失，所以無法還原 從空間的角度看，三維空間變?yōu)槎S空間，丟失了一個維度 從矩陣的角度看，矩陣奇異，第三列的代數(shù)余子式為零，不存在逆矩陣。,第五章 逆透視變換陣的求解與應(yīng)用,補(bǔ)充信息使透視變換陣可逆 求逆矩陣 補(bǔ)充信息的幾何意義 逆透視變換陣的應(yīng)用,補(bǔ)充信息使透視變換陣可逆,只要將透視變換陣的主對角線全部補(bǔ)充為1即可,求逆矩陣,將修改的透視變換陣求逆,求逆矩陣,如此我們便得到了逆透視變換陣 （以下將三角函數(shù)簡記為首字母）,補(bǔ)充信息的幾何意義,假設(shè)被變換點為P，則：,補(bǔ)充信息的幾何意義,為求得小車坐標(biāo)系下點的坐標(biāo)，需知道攝像頭坐標(biāo)下的Z坐標(biāo)（深度）。 由此可見，透視變換陣新加入的信息是攝像頭看到的每個像素點的深度信息。 根據(jù)上述公式，只要知道點在圖像上的位置以及深度信息，即可求得小車坐標(biāo)系下對應(yīng)的坐標(biāo)。 而根據(jù)攝像頭圖像只能知道點在圖像上的位置。如何得到深度信息呢？,逆透視變換陣的應(yīng)用,上一節(jié)中發(fā)現(xiàn)，為完成逆透視變換，需先知道攝像頭的深度信息，而實際上攝像頭本身無法測得該信息。 回憶透視變換的過程發(fā)現(xiàn)，透視變換陣將三維空間映射到二維空間，補(bǔ)充信息后的透視變換將三維空間映射到三維空間。 即如果知道攝像頭的深度信息，可以還原出小車坐標(biāo)系下完整的三維信息 而賽道本身是二維的，我們不需要逆透視變換出三維空間，故現(xiàn)在的思路是，利用賽道是二維的這一點解出攝像頭深度信息。,逆透視變換陣的應(yīng)用,已知智能車坐標(biāo)系下賽道的Z坐標(biāo)為0，故,逆透視變換陣的應(yīng)用,代入原公式可得,第六章 用逆透視變換陣處理圖形,圖像與圖形的區(qū)別 賽道的圖形表示方法 對圖形逆透視變換,圖像與圖形的區(qū)別,圖像與圖形就是通常所說的位圖與矢量圖 圖像由像素矩陣構(gòu)成，每個像素記錄通道的強(qiáng)度 圖形由描述圖形的點、曲線方程、方程的參數(shù)組成。 攝像頭捕獲的是圖像，即像素矩陣 對攝像頭拍攝的賽道進(jìn)行提取的本質(zhì)就是將圖像提取為圖形的過程。,賽道的圖形表示方法,最常見的賽道的圖形表示方法是離散點列 即用離散點列的連線作為賽道的近似描述 其中點的Y坐標(biāo)為該點在圖像上對應(yīng)的行號 點的X坐標(biāo)為該點在所在行上的左右偏移量 這種方法可以表示賽道的邊線，也可以表示中心線,對圖形逆透視變換,如果對圖像進(jìn)行逆透視變換，則要對每個像素點所處位置進(jìn)行變換，計算量過大，而且還要在像素之間插值，這樣做不現(xiàn)實 對圖形逆透視變換，只需對離散點列變換，計算量是完全可以接受的。,對圖形逆透視變換,首先分析