PAGEPAGE10《計算機視覺》思考題與習題參考答案胡永利2024年10月第1章 緒論分析人類視覺系統(tǒng)的特點，并敘述這些特點如何影響計算機視覺系統(tǒng)的設計。人類視覺系統(tǒng)對計算機視覺系統(tǒng)設計的影響體現(xiàn)在以下幾個方面：1）自適應算法：計算高分辨率圖像處理：為了提高圖像識別的準確性，計算機視覺系統(tǒng)需要處理高分辨率圖像，并提取細節(jié)特征；3）局部到全局的處理：計算機視覺系統(tǒng)需要設計從局部特征到全局場景的處理流程，以模擬人類的感受野機制；4）多任務并行處理：計算機視覺系統(tǒng)需要設計并行處理機制，以同時處理多種視覺信息（如顏色、形狀、運動等。圖像處理在計算機視覺系統(tǒng)中有何作用？通過兩個常用的圖像處理實例來進行說明。圖像處理在計算機視覺系統(tǒng)中主要用于改善圖像質量、提取有用的視覺特征和信息，為Canny邊緣檢測、Sobel算子等，可以提取圖像中的邊緣信息，用于物體檢測和識別。解釋馬爾計算視覺理論中的”三維重建”馬爾計算視覺理論中的三維重建是指從二維圖像中恢復出物體的三維形狀。這一過程包2.5維表達，即包含深度信息的中間表示；3）三維表達：將2.5維表達轉換為物體的三維幾何形狀。三維重建在計算機視覺中至關重要，因為它使計算機能夠理解物體的三維結構和空間關基于學習的視覺理論與傳統(tǒng)視覺理論有何不同？請敘述深度學習如何改變了計算機視覺領域的研究和應用?；趯W習的視覺理論與傳統(tǒng)視覺理論的不同主要在于傳統(tǒng)視覺理論依賴于人工設計的特HarrisSIFT特征提取自動化：深度學習通過卷積神經(jīng)網(wǎng)絡（CNN）自動提取圖像特征，減少了人工設計特征的復雜性；2）舉例說明那些計算機視覺理論受到人類視覺機制的啟發(fā)。以馬爾計算視覺理論、主動視覺理論和多視幾何視覺理論為例，馬爾的理論借鑒了人類視覺系統(tǒng)從二維圖像到三維形狀的重建過程，提出了從圖像基元提取到三維表達的視覺計算框架；主動視覺理論借鑒了人類視覺系統(tǒng)的注意力機制，強調視覺系統(tǒng)應根據(jù)任務需求主動選擇和處理視覺信息；多視幾何視覺理論借鑒了人類雙目視覺系統(tǒng)的深度感知機制，通過多視圖像計算深度信息，實現(xiàn)三維重建。討論跨模態(tài)學習在計算機視覺中的重要性，并舉例說明在實際應用那些場景需要跨模態(tài)學習。（（如病歷、語音（如醫(yī)生診斷）等多模態(tài)數(shù)據(jù)，以提高診斷的準確性；在智能監(jiān)控場景，系統(tǒng)需要融合視頻、音頻、文本等多模態(tài)數(shù)據(jù)，以實現(xiàn)對異常事件的全面檢測和分析。調研現(xiàn)有視覺大模型的研究現(xiàn)狀，并分析其中一個典型模型的原理和特點。（VisionTransformerCLIP等）在計算機視覺領域取得了顯著進展。這些模型通過大規(guī)模預訓練和微調，能夠在多種視覺任務Visionransformer(ViT)ViTpatTransformer模型中。通過自注意力機制，ViT能夠捕捉圖像中的全局依賴關系。從而使得ViT具有以下特點：1）全局依賴：ViT通過自注意力機制捕捉圖像中的全局信息，克服了傳統(tǒng)CNN局部感受野的局限性；2）可擴展性：ViT模型可以通過在圖像分類、目標檢測、圖像分割等多種任務上表現(xiàn)出色。思考計算機視覺與其他學科（如神經(jīng)科學、認知科學）交叉可能帶來的新方向，并分析這些交叉研究如何幫助解決計算機視覺領域的難題。通過交叉研究可以解決復雜場景泛化等解決難題。例如，通過借鑒人類視覺系統(tǒng)的多模第2章 圖像表示與處理解釋采樣和量化在數(shù)字圖像處理中的作用，并描述它們之間的區(qū)別。采樣是對圖像坐標離散化，決定圖像空間分辨率。它將連續(xù)圖像函數(shù)在成像平面的x、y軸方向采樣，得到離散采樣點，使計算機可處理圖像。若采樣間隔大，圖像細節(jié)丟失、模糊；間隔小則數(shù)據(jù)量和處理復雜度增加。例如對高精度衛(wèi)星圖像，合適采樣間隔能平衡數(shù)據(jù)量與圖像質量。量化是對采樣后圖像灰度值離散化，確定圖像灰度分辨率。如8位量化將灰度值映射到2565×5(3,3)。計算該中心像素與其周圍所有像素的歐幾里得距離和曼哈頓距離。對于坐標為(3,3)的中心像素，其周圍像素坐標分別為(2,2)、(2,3)、(2,4)、(3,2)、(3,e ? ?e √ ?e ? ?e √ ? ? e √ ? ?根據(jù)歐幾里得距離公式D(p,q)= (x u)2+(y v)2以(2,2)為例與中心像素距離為D= (3 2)2+(3 2)2=√23)與中心像素距離為D= (3 2)2+(3 3)2=1。同理可得其他像素的歐氏距離，(2,4)、(4,2)、(4,4)與中心像素距離為√2，(3,2)、(3,4)、(4,3)與中心像素距離為1。依據(jù)曼哈頓距離公式D4(p,q)=|x?u||y?v|，(2,2)與中心像素距離為D4=|3?2||32|2；(2,3)與中心像素距離為D4|32||33|1。其他像素中，(2,4)、(4,2)(4,4)與中心像素曼哈頓距離為2，(3,2)(3,4)(4,3)與中心像素曼哈頓距離為1。什么是連通性？什么是區(qū)域？什么是單連通區(qū)域？4-（8-（兩像素棋盤距離為區(qū)域是圖像像素子集，若子集中任意兩像素連通且連接它們的鏈路像素都在子集中，則該子集為連通集，即區(qū)域。例如在二值圖像中，白色像素組成的連續(xù)部分可視為一個區(qū)域。單連通區(qū)域是特殊區(qū)域，區(qū)域內任意簡單閉曲線可連續(xù)變形收縮為區(qū)域內一點，直觀理解是內部無孔洞。如實心圓形區(qū)域是單連通區(qū)域，而帶孔洞的環(huán)形區(qū)域不是。圖像的空間域濾波與頻率域濾波有什么區(qū)別和聯(lián)系?？臻g域濾波和頻率域濾波都是圖像處理的重要手段，二者既有區(qū)別又有聯(lián)系。設圖像f(x,y)的傅里葉變換為F(u,v)，則該圖像的灰度平均值與傅里葉變換的什么量有關系？如何計算？MNMN式F(u,v)=1MNMN式F(u,v)=1∑M?1∑N?1f(m,n)e?2πi(mu+nv)u=0且v=0e?2πi(mu+nv)=1，此時F(0,0)= 1∑M?1∑N?1f(m,n)。而∑M?1∑N?1f(m,n)是圖像所有像素灰度值MNn=0MNn=0n=0之和，MN為圖像像素總數(shù)，所以圖像灰度平均值f=MNn=0MNn=0n=0傅里葉變換得到頻譜F(u,v)，直接獲取F(0,0)的值，該值就是圖像灰度平均值。如何設計一個低通濾波器的傳遞函數(shù)？D0，在截止頻率內信號完全通過，超過則完全阻止，傳遞函數(shù)為0, D(u,v)>D0H(u,v)=1, 0, D(u,v)>D0這里D(u,v)=√u2+v2。但它會產(chǎn)生振鈴效應。巴特沃斯低通濾波器傳遞函數(shù)為H(u,v)=D(u,v)2n 1 D(u,v)2n1+( )D0鈴效應弱。梯形低通濾波器傳遞函數(shù)是分段函數(shù)H(u,v)=

D1?D(u,v), D<D(u,v) D0 10 11, D(u,v)≤D0?D D0, D1<D(u,v)通過調整D0和D1，可平衡圖像平滑度和清晰度，振鈴效應較理想低通濾波器弱。而指數(shù)低D(u,v)2n通濾波器傳遞函數(shù)為H(u,v)=e?(D0)，從通過頻率到截止頻率有平滑過渡帶，振鈴現(xiàn)象不明顯。根據(jù)同態(tài)濾波的原理，設計一個自己的傳遞函數(shù)，并測試其效果。同態(tài)濾波基于照射反射模型，旨在分離并分別處理圖像的照射分量和反射分量，以改善圖像質量。我設計的傳遞函數(shù)為：H(u,v)=0.2+0.8×e?5(

D(u,v))2D022其中，D(u,v√(u?)2v?N)2，(MN根據(jù)圖像頻譜特性22設為頻譜半徑的0.4倍。該傳遞函數(shù)中，0.2抑制低頻照度分量，0.8增強高頻反射分量，指數(shù)部分控制頻率衰減程度。什么是圖像的噪聲？常見的去噪方法有哪些？簡述其原理。0，通過對像素鄰域平均來減弱噪聲影響，如用3×3卷積核取鄰域像素均值代替中心像素值，簡單但會模糊圖像；2）中值濾波：利用像素鄰域中值代替當前像素值，能有效去除椒鹽噪聲。因為椒鹽噪聲多為極端值，鄰域中值可代表正常像素，在去除噪聲時保留圖像邊緣；3）高斯濾波：基于高?(f?f0)2考慮一個高通濾波器，其傳遞函數(shù)為H(f1e率，a是一個常數(shù)。

2a2 f0是中心頻ff01，H(f遠離f0時，指數(shù)項減小，H(f)a（3）當頻率遠低于f0時，濾波器的頻率響應接近于什么：此時(f?f0)2大，指數(shù)項趨近0，H(f)接近1，低頻信號幾乎完全被抑制。（4）當頻率遠高于f0時，濾波器的頻率響應接近于什么：同樣(f?f0)2大，指數(shù)項趨近0，H(f)接近1，高頻信號幾乎無衰減通過。（5）畫出此濾波器的頻率響應圖：圖1:頻率響應圖第3章 圖像的點特征表示Harris角點檢測算法是否具有尺度不變性？為什么？Harris角點檢測算法不具備尺度不變性。該算法基于圖像局部灰度變化檢測角點，計算時依據(jù)滑動窗口內像素灰度變化量E(u,vHarris角點檢測算法在計算過程中，沒有針對圖像尺度變化進行特殊處理，缺乏對尺度的適應性，所以它不具有尺度不變性。SIFT特征描述子為什么具有旋轉和尺度不變性？SIFTSIFT特征描述子具有尺度不變性。對于給定圖像，采用一種人為設計的點特征檢測算法檢測其特征點。查考OpenCV的SIFT算法。簡述HardNet的采樣過程，并分析為什么該過程可以提高算法效率。HardNet（正樣本對該過程提高算法效率的原因在于，它采用雙分支網(wǎng)絡結構，相比三分支網(wǎng)絡結構減少了30%的存儲和計算量。并且通過挑選困難負樣本對參與訓練，避免了對大量簡單負樣本的無結合手工設計和學習特征有何好處？對于給定圖像，采用一種學習的點特征檢測算法檢測其特征點。請參考Key.Net算法實現(xiàn)。/axelBarroso/Key.NetOpenCV像處理算法。請使用Python調用OpenCV的SIFT算法，實現(xiàn)圖3-14中的兩幅圖像配準。參考圖像拼接的教學案例。請將SIFT算法提取得到的描述符向量替換為HardNet學習得到的描述符向（預訓練權重可以在ttps:///DagyT/hardnet獲取圖3-14中的兩幅圖像配準。參考HardNet項目和圖像拼接的教學案例。第4章 圖像的線特征表示簡述常見微分邊緣檢測算子的原理。RobertsPrewitt算子和Sobel算子，主要基于圖像梯度檢測邊緣。圖像梯度反映灰度變化率，通過計算圖像在x和yRoberts算子采用2×245°或-45°邊緣檢測效果好，但對噪聲敏感且邊緣輪廓較粗。Prewitt算子用3×3模板，對圖像平滑處理范圍更大，噪聲魯棒性更好，但簡單的邊緣判定方法易造成誤判。Sobel算子結合高斯平滑和一階微分，加大中心像素權重，抗噪聲能力和魯棒性良好。二階微分算子如Laplace算子，通過判斷圖像中心像素與周圍像素灰度值差異進行邊緣檢測，其濾波響Laplace算子與高斯濾波結合的LOGLaplace簡要描述Canny邊緣檢測的基本原理和其主要步驟。Canny邊緣檢測基于檢測準則、定位準則和單一響應準則設計。檢測準則確保檢測出真正邊緣且減少誤報；定位準則保證檢測到的邊緣位置準確；單一響應準則避免對同一邊緣產(chǎn)生多重響應。主要步驟包括：首先進行高斯濾波，抑制圖像噪聲，使圖像平滑，參數(shù) 越大，平滑效果越顯著。接著計算梯度，采用有限差分法計算圖像在x和y方向的梯度，進而得到梯度幅值和方向以此確定邊緣的強度和方向然后是非極大值抑制通過梯度方向量化和逐像素處理細化邊緣去除非邊緣響應僅保留局部梯度幅值極大的像素點之后進行雙閾值處理設置高閾值TH和低閾值TL（通常TL設為TH的一半將邊緣像素分為強邊緣弱邊緣和非邊緣三類最后是邊緣連接檢查弱邊緣像素與強邊緣像素的連接情況保留與強邊緣相連的弱邊緣像素，迭代處理直至所有弱邊緣像素都被處理，從而獲得連續(xù)完整的邊緣檢測結果。選擇高閾值TH和低閾值TL（TL通常為TH一半）時，可考慮以下策略：先根據(jù)圖像特TH設為圖像灰度最大值的50%，TL為25%，運行Canny邊緣檢測算法，觀察結果。若邊緣過多且有大量虛假邊緣，說明高閾值過低，需提高；若邊緣不完整，在Canny邊緣檢測的非極大值抑制中為什么只在梯度的四個方向上搜索極大值？在Canny邊緣檢測的非極大值抑制中，只在梯度的四個主方向（0度、45度、90度和135度在Snake在Snae算法中，通過最小化能量函數(shù)E?nake=Ein(v(s))+Eimg(v(s))+Eex(v(s))來v(s) d2v(s)inds控制輪廓點移動內部能量E(v(s))=α(s)|d |2+β(s)| |2，α(s)和β(s)分別是彈性inds和剛性權重因子。它考慮曲線變形屬性，α(s)較大時曲線彈性小，抵抗拉伸變形能力強；β(s)Eimg(v(s))和外部約束力Eex(v(s))Eimg(v(sωimgEimg(v(sωedgeEedge(v(s))，Eedge(v(s可定義在ASM的訓練階段為什么要進行樣本歸一化？并簡述歸一化的過程。在ASM訓練階段進行樣本歸一化，是因為原始標注的樣本圖像中，對象形狀存在尺度、方向和位置差異的影響，使后續(xù)基于這些樣本建立的ASM模型更具代表性和穩(wěn)定性，在進行目標形狀搜索時，能更準確地匹配目標對象的形狀輪廓。簡述ASM目標輪廓檢測的原理。ASM前k個特征值及其對應的特征向量建立統(tǒng)計形變模型。在目標圖像上，先對平均形狀進行仿射變換得到初始人臉特征點位置，將初始模型覆蓋在目標圖像上，在特征點垂直于相鄰點的方向采樣，計算局部特征，通過馬氏距離與樣本統(tǒng)計局部特征比較，得到偏移量，更新模型。不斷重復搜索匹配和模型更新過程，根據(jù)設定的閾值或最大迭代次數(shù)終止迭代，最終實現(xiàn)對目標對象輪廓的精確搜索，確定目標輪廓形狀。在Hough變換中，為什么要將直線方程從斜率-截距形式轉換為極坐標形式？在Hough-解決斜率-xρ和法線與x軸的夾角θ變換直線檢測的完整性。同時，轉換為極坐標形式后，在參數(shù)空間的檢測原理和操作與斜率-截距形式類似，依然通過將圖像空間的點映射到參數(shù)空間，檢測參數(shù)空間中的交點來確定圖像中的直線，且不會增加過多計算復雜度，使Hough變換在直線檢測上更加穩(wěn)定和可靠。在Hough變換中，參數(shù)空間的每個點代表什么？Hough-截距的參數(shù)空間中，點(kq)代表圖像空間中斜率為k、截距為q的直線。圖像空間中共線的點，在參數(shù)空間中對應的直線會交于一點，該交點的坐標(kq)就是這些共(ρ,θ代表圖像空間中到原點法線長度為ρ、法線與x軸夾角為θ的直線。圖像空間中直線上的點，在極坐標參數(shù)空間中對應(ρ,θ(c1c2c3)代表圓心坐標為(c1c2)、半徑為c3的圓。通過在參數(shù)空間中尋找這些代表特定曲線參數(shù)的點，實現(xiàn)從復雜圖像中識別出相應曲線的目的。第5章 區(qū)域分割簡述區(qū)域分割的定義，并解釋其核心任務。區(qū)域分割是指將圖像分割成具有相似特征的連續(xù)區(qū)域或對象的過程。其核心任務是把一張圖像依據(jù)事先定義的準則，細分為多個獨立區(qū)域。這些準則包括相似性準則，基于像素特列舉區(qū)域分割中常見的分割準則，并解釋它們的作用。常見分割準則有相似性、連續(xù)性、緊湊性和唯一性準則。相似性準則依據(jù)像素顏色、亮解釋閾值分割的原理，并說明其優(yōu)缺點。（閾值多閾值分割與全局閾值分割有何區(qū)別？何時使用多閾值分割？全局閾值分割對整個圖像采用統(tǒng)一閾值，將像素分為兩類；多閾值分割與圖像局部特征解釋區(qū)域生長法的原理，并說明其優(yōu)缺點。區(qū)域生長法依據(jù)預定義的相似性準則，從一個或多個種子像素開始，逐步將相鄰像素合生長準則的選擇對區(qū)域生長法的結果有何影響？舉例說明。聲點可能因局部對比度變化被誤判為邊緣像素，導致區(qū)域錯誤增長，如在一張有噪點的細胞解釋分裂合并法的原理，并說明其優(yōu)缺點。解釋分水嶺算法的原理，并說明其優(yōu)缺點?；谏疃葘W習的圖像分割與傳統(tǒng)方法相比有哪些優(yōu)勢？基于深度學習的圖像分割自動從數(shù)據(jù)中學習特征，降低了對領域專業(yè)知識的依賴，不像傳統(tǒng)方法需手工設計特征。深度學習模型能學習到更復雜、更具代表性的特征，提升分割精解釋網(wǎng)絡的結構特點，并說明其優(yōu)缺點。FCN是用于圖像語義分割的網(wǎng)絡，結構特點是取消了傳統(tǒng)CNN最后的全連接層，代之以全卷積層和上采樣層。全卷積層不改變特征圖空間維度，用于映射到像素級預測圖；上采樣層恢復特征圖尺寸到原圖大小。還通過跳躍連接合并中間層和高層輸出，結合低層級細節(jié)特征和高層級語義信息。優(yōu)點是能接受任意尺寸輸入圖像，實現(xiàn)像素級分類；作為早期神經(jīng)網(wǎng)絡為后續(xù)研究奠定基礎。缺點是上采樣結果模糊，缺乏細節(jié)；編碼器池化操作會丟失信息，導致解碼器難以準確恢復細節(jié)，對邊界和小目標分割效果不佳。不過后續(xù)有引入注意力機制等改進方法來解決這些問題。解釋U-net網(wǎng)絡的結構特點，并說明其在醫(yī)學圖像分割中的應用。U-net網(wǎng)絡結構呈U型，由編碼器、解碼器、跳躍連接和最后一層卷積層組成。編碼器通過上采樣層和卷積層減小特征圖尺寸、提取高級語義信息；解碼器利用反卷積層和卷積層應用廣泛。例如在腫瘤識別中，能精確分割腫瘤和非腫瘤組織，輔助醫(yī)生早期診斷；器官定量方面，U-net簡述DeepLab系列模型的發(fā)展歷程，并解釋其主要改進。DeepLabDeepLab-V1基于全卷積網(wǎng)絡架構修改引入ASPP結構，采用不同空洞率卷積捕捉多尺度特征，還替換基礎網(wǎng)絡為ResNet-101，提高了語義分割準確性。DeepLab-V3在ASPP結構中加入批歸一化DeepLab-V3+結合編碼-解碼器架構，以DeepLabv3為編碼器，還替換網(wǎng)絡提高精度和速度，在目標邊界分割方面表現(xiàn)優(yōu)異。這些改進逐步提升了模型對多尺度信息的捕捉、對邊界的刻畫以及分割的準確性和效率。解釋SAM模型的原理，并說明其與其他分割模型的區(qū)別。SAM（SAM泛化能力強，能適應多種場景和用戶需求，處理不明確提示時可輸出多種掩碼，還能根據(jù)提示調整輸出，交互性更強。選擇一張圖像，并使用不同的閾值進行分割，觀察并分析分割結果的變化。選擇一張含有不同灰度物體的圖像，如一幅包含黑色文字和白色背景的圖片。當采用較選擇一個圖像分割數(shù)據(jù)集，使用U-net模型進行訓練，并評估其分割效果。參考U-net來實現(xiàn)：/milesial/Pytorch-UNet/DeepLab參考DeepLab：選擇一張圖像，并使用SAM參考SAM實現(xiàn)：/facebookresearch/segment-anything第6章 紋理分析什么是紋理？紋理分析有哪些方法？簡述兩種方法的原理。Gabor小波這兩種方法為例，灰度共生矩陣屬于統(tǒng)計方法，它通過統(tǒng)計不同距離像素間的灰度差異來構建矩陣，之后利用基于該矩陣計算出的統(tǒng)計量描述紋理特征。Gabor小波屬于信號處理方法，它使用由正弦平面波調制的高斯核函數(shù)構成的濾波器，能在空域和頻域同時實現(xiàn)較好的分辨率，從而提取紋理特征。什么是灰度共生矩陣？描述它在圖像分析中的作用。灰度共生矩陣是對圖像中不同距離像素間灰度差異的統(tǒng)計結果，體現(xiàn)了圖像灰度的空間描述以下灰度共生矩陣特征的物理含義：1）對比度；2）相關性；3）能量；4）均勻性。對比度：反映了共生矩陣值的分布情況以及圖像局部變化程度。當對比度較高時，意相關性：用于衡量鄰域灰度的線性依賴性。若圖像在某一方向上紋理較為明顯，那么在對應方向的灰度共生矩陣中，相關性通常會較高。能量：體現(xiàn)了圖像灰度分布的均勻程度和紋理的粗細度。能量值較小，表明紋理較為細致；能量值較大，則表示紋理具有均一性且變化規(guī)則。均勻性：與能量的概念類似，均勻性越高，說明圖像的灰度分布越均勻，紋理也就越規(guī)則。圖像旋轉90°后，灰度共生矩陣的特征如何變化？圖像旋轉90°后，灰度共生矩陣通常會發(fā)生轉置變化，但其特征可能不變或改變，依賴于具體采用的矩陣。45Gabor在Python中，可借助OpenCV和NumPy庫實現(xiàn)。首先，依據(jù)Gabor函數(shù)公式定義濾波器，例如‘kernel=cv2.getGaborKernel((ksize,ksize),sigma,theta,lambd,gamma)‘，其中‘ksize‘代表濾波器大小，‘sigma‘是高斯函數(shù)標準差，‘theta‘為方向（45度需轉換為弧度），‘lambd‘設為波長8，‘gamma‘是空間縱橫比。接著，運用‘cv2.filter2D‘函數(shù)對示例圖像進行卷積操作，最后通過‘cv2.imshow‘函數(shù)可視化輸出結果。使用一組Gabor例如SVM、k-NN）的性能。先利用一組不同頻率和方向的Gabor濾波器對圖像數(shù)據(jù)集進行卷積操作，以此獲取各圖像在不同頻率鄰域的響應特征。隨后，將這些特征作為分類器（如SVM、k-NN）的輸入進行訓練和測試。以SVM為例，可使用‘sklearn.svm.SVC‘構建模型，并通過交叉驗證調整參數(shù)，評估指標可選擇準確率、召回率等。若分類器在數(shù)據(jù)集上的準確率較高，表明Gabor濾波器提取的特征能夠有效區(qū)分不同紋理；反之，則需要調整濾波器參數(shù)或更換分類器。對比傳統(tǒng)的紋理分析方法與基于深度學習的紋理分析方法，分析它們各自的優(yōu)缺點以及適用場景。傳統(tǒng)紋理分析方法，像灰度共生矩陣和Gabor小波，具有原理直觀、計算相對簡單的優(yōu)PCANet和基于CNN的紋簡述PCANet的基本架構和工作原理。PCANet主要由PCAPCA訓練得到PCA簡述基于CNN的紋理合成網(wǎng)絡的基本架構和工作原理?；贑NN的紋理合成網(wǎng)絡以VGG19Gram矩陣描述特征之間的相關性，以Gram矩陣的均方距離，逐步生成新的紋理圖像。最終生成的圖像與原始圖像的紋理高度一致，可應用于紋理生成、圖像風格遷移等領域。第7章 攝像機成像模型簡述相機的成像原理？相機成像基于小孔成像原理，光線沿直線傳播，通過小孔或透鏡在成像平面上形成物體的像。小孔成像時，物體光線經(jīng)小孔在成像平面匯聚成倒立像，像的大小與物距、像距有關，但孔徑大小影響成像效果。凸透鏡成像依據(jù)光的折射定律，不同位置的物體經(jīng)凸透鏡折射后，成像特性各異，如物體在1倍焦距內成正立放大虛像等。相機為解決小孔成像的問題，增加透鏡裝置和光圈。光線經(jīng)透鏡折射聚焦，光圈控制進光量，通過調整焦距和光圈可改變景深。同時，相機一般采用薄透鏡，其成像可用小孔成像近似計算，滿足薄透鏡方程。什么是齊次坐標？它的作用是什么？n維歐氏空間基礎上增加一個維度得到n+1維坐標。攝像機成像模型如何表示？其中攝像機內、外參數(shù)的物理意義。攝像機成像模型可表示為m=PM，投影矩陣P由內參數(shù)矩陣K和外參數(shù)R、T組dd成，即P=K[R|T]。內參數(shù)矩陣K=dd成，即P=K[R|T]。內參數(shù)矩陣K=0 fy v0，其中fx=、fyy是與焦距相0 0 1關的參數(shù)，反映了圖像在x、y方向的縮放情況；u0、v0是主點坐標，代表攝像機光軸與成像R3×3移向量T3×1什么是攝像機標定？常用的方法有哪些？攝像機標定是估計攝像機成像模型參數(shù)的過程，目的是確定現(xiàn)實世界中3D點與圖像中對應2D投影點的映射關系。常用方法有直接線性變換法（D、平面標定法（如張正友標定法法根據(jù)三維空間點與圖像點的對應關系建立方程，至少需6組對應點求解投影矩陣P6幅不同姿態(tài)圖像。如何利用攝像機成像模型從二維圖像中提取三維信息？M在世界mmPM，PK[R|T，可建焦距和光圈分別成像有什么樣的影響？什么是單應矩陣？如何求解？單應矩陣是空間平面到圖像的映射矩陣，在平面標定法中用于描述標定板所在平面上的M與圖像對應點mmHM，HK[r1|r2|T，H即為單應矩陣。求解單應矩陣時，可利用直接線mHMm×HM0，將其轉化為線性方程。每對匹配點H8匹配點數(shù)多于4對時，通過對由約束方程構成的矩陣A進行奇異值分解，取A矩陣最小奇異值對應的向量作為單應矩陣H的向量形式。10-20張，以涵蓋足夠的信息用于準確標定。角點檢測：將拍攝的圖像導入計算機，利用OpenCV等計算機視覺庫進行角點檢測。這些庫提供了專門的函數(shù)，能快速準確地識別棋盤格上的角點，并獲取它們在圖像中的像素坐標。求解單應矩陣：根據(jù)張正友標定法，假設世界坐標系位于棋盤格平面上，每個角點的三維坐標可依據(jù)棋盤格尺寸確定。通過角點的圖像坐標和對應的世界坐標，建立關于單應矩計算攝像機內、外參數(shù)：由單應矩陣和旋轉矩陣的性質，建立關于攝像機內參數(shù)矩陣K的方程。通過求解這些方程，得到內參數(shù)，如焦距fx、fy，主點坐標u0、v0以及傾斜因子γ。確定內參數(shù)后，依據(jù)公式計算旋轉矩陣R和平移向量T，從而得到外參數(shù)。k1、k2。優(yōu)化結果：利用最大似然方法對所有參數(shù)進行優(yōu)化，使投影得到的像素坐標與實際獲LevenbergMarquardt第8章 三維視覺重建什么是極幾何約束？基礎矩陣的極幾何約束如何表示？極幾何約束是指在多視圖立體視覺中，兩幅圖像間對應點之間存在的固有射影性質，與場景幾何結構無關。假設三維點M在圖像I1和I2上的像點分別為m1和m2，兩個攝像機中心為O1、O2，O1、O2、M確定的平面為極平面，O1O2與像平面交點e1、e2為極點，極平面與圖像平面交線l1、l2為極線?；A矩陣F刻畫了兩幅圖像間的極幾何，其極幾何約束表示為：對于任意m1I1，在圖像I2上存在一條極線l2與之對應，且對應的像點m2l2；反之，對于任意m2I2，在圖像I1上存在一條極線l1與之對應，且對應的像點m1l1；所有的極線均交于極點。數(shù)學表達式為mTFm1=0，其中F=K?T[t]×RK?1。2 2 1如何求基礎矩陣？8m′TFm0Af0f9個元素的向量，A為n×9的矩陣。由于計算基礎矩陣存在未知尺度因子，可歸一化基礎矩陣的最后一個元素F33=1，這樣待求解參數(shù)為8個，理論上8對對應點就能求解基礎矩陣。但實際應用中，為降低噪聲及錯誤匹配影響，一般采用遠超8對對應點的數(shù)量求解。得到的基礎矩陣一般是滿秩的，而其實際秩為2，需用秩為2的矩陣逼近，對矩陣F進行奇異值分解F=Udiag(s1,s2,s3)VT，取F=Udiag(s1,s2,0)VT作為其估計值。什么是視差？雙目立體視覺中視差和深度的關系如何表示？視差是指在雙目立體視覺系統(tǒng)中，同一個目標在左右兩個攝像機成像時，成像點在水平M在左攝像機成像點為m1，在右攝像機成像點為m2，和m2在對應像平面坐標系下水平方向坐標分別為x1和x2，則點M的視差d|x1x2|。d離b和焦距f，點M到投影中心平面的深度Z與視差d的關系可表示為Z=bfd簡述基于Structurefrommotion的三維重建方法的原理?；赟tructurefrommotion（SFM）的三維重建旨在從一組二維圖像序列中推算三維信SFMF后，結合已標定的攝像機內參數(shù)矩陣得到本質矩陣E，對E進行奇異值分解，會得到4個可能的旋轉與平移運動組合，根據(jù)深度值篩選出正確的攝像機位姿。確定攝像機位姿后，結合內參數(shù)矩陣構造相機投影矩陣P，使用三角測量的方式，根據(jù)匹配點在不同視角下的像素坐標和投影矩陣，求解得到三維點坐標，完成重建。多視角SFM簡述多目立體視覺MVS三維重建的過程。多目立體視覺MVS三維重建是針對圖像中每個像素點的稠密重建，主要過程如下：首先是極線校正，實際的雙目視覺系統(tǒng)中對應點極線不在同一水平線上，通過旋轉相機然后進行立體匹配，在極線校正后的左右圖像中尋找對應點。先對圖像預處理，包括濾ICP，主要步驟如下：圖像采集：使用相機從兩個不同視角拍攝同一場景，獲取兩幅圖像。特征點提取：運用Harris角點檢測、SIFT特征點檢測等算法，提取兩幅圖像中的特征點。特征點匹配：采用特征描述子匹配的方法，如SIFT特征描述子的歐氏距離匹配，找到兩幅圖像中的對應點。計算基礎矩陣：根據(jù)8點算法，利用對應點構建約束方程Af0，求解基礎矩陣F，并進行奇異值分解優(yōu)化。計算本質矩陣：結合已知的攝像機內參數(shù)矩陣，由基礎矩陣得到本質矩陣E。R和平移向量t。三角測量：利用攝像機位姿和內參數(shù)構建投影矩陣，通過三角測量計算對應點的三維坐標，得到稀疏三維點云。做一做，利用MVSNet模型完成多視角三維重建測試實驗。主要步驟如下：數(shù)據(jù)準備：收集同一物體不同視角的圖像，整理并標注好每張圖像對應的相機內參和外參信息。MVSNet（如搭建模型，包含特征提取、構造匹配代價、代價累計、深度估計和深度圖優(yōu)化等模塊。模型訓練：將準備好的數(shù)據(jù)輸入模型，以真實深度圖和估計深度圖之間的L1損失作為訓練損失，只考慮有效像素點，訓練模型直至收斂。測試實驗：選取測試圖像，輸入訓練好的模型，模型輸出參考圖像的深度圖。結果評估：將重建得到的深度圖與真實深度圖對比，通過計算誤差指標（如均方誤差等）評估重建效果，分析模型性能。第9章 運動分析假設一個像素的像素值在背景下服從均值為50、標準差為560，請計算其與背景的差異程度。σ在單高斯模型中，用公式D=I?μ|計算像素與背景的差異程度，其中I是當前像素值，σ5μ是均值，σ是標準差。已知μ=50，σ=5，I=60，代入可得D=60?50|=2。這表明該像素值與背景均值的差異程度為2，一般當D大于閾值系數(shù)（2.5-3）時會被判定為前景，5此像素目前未達該標準。假設一個像素的像素值在背景下由兩個高斯分布組成，分別為均值為50、標準差為5和均值為100、標準差為10的高斯分布，各自的權重為0.7和0.3。如果某一時刻這個像素的像素值為70，請計算其與背景的差異程度。5對于混合高斯模型，先分別計算像素值與各高斯分布的差異程度。分布1：D1=|70?50|=5104；分布2：D2=70?100|3。再根據(jù)權重計算總的差異程度Dw1D1w2D2，w10.7，10w2=0.3，則D=0.7×4+0.3×3=3.7。D值越大，像素與背景差異越大，3.7反映了該像素在這種混合高斯背景下與背景的差異情況。在背景建模中，混合高斯模型相比于單高斯模型有哪些優(yōu)勢和劣勢？混合高斯模型優(yōu)勢明顯，它能處理背景像素的多模式變化，像水面波紋、搖動樹枝這類簡要描述ViBe算法如何使用鄰域像素進行背景建模和前景檢測。ViBe算法在背景建模時，初始化階段利用單幀圖像，為每個像素點設置背景樣本空間，替代原樣本集中的樣本；若像素連續(xù)被判斷為前景，則更新為背景，還會按時間采樣率更新，并通過空間鄰域更新策略保持背景模型的空間一致性。在實際應用中，什么情況下適合選擇CodeBook模型作為背景減除法的實現(xiàn)？CodeBookCodeBook結構，雖消耗較多內存，但能處理像素什么是光流？如何建立光流基本方程？光流是圖像中像素點在相鄰幀之間的運動模式，用于描述物體表面的視覺運動。建立光流基本方程基于相鄰圖像幀之間物體表面亮度不變的假設。設像素點(x,y)在時刻t的像素值為I(x,ytdt后位移為(dx,dyI(xdx,ydytdtI(x,ytI(xdx,ydytdtw=(u,v)（u=dx，v=ydt dtI=?Iu+?Iv，該方程建立了圖像空間梯度與時間方向像素變化的關聯(lián)，是光流?t ?x ?y算法的基礎。第10章 計算機視覺應用簡要描述ResNet網(wǎng)絡結構。ResNet即殘差網(wǎng)絡，其核心亮點有超深的網(wǎng)絡結構、殘差模塊以及使用BN加速訓練。以ResNet18為例，輸入圖像為3×224×224，由五組卷積層、一個最大池化、一個平均池化和一個全連接層構成。卷積組1由一個7×7卷積層組成；最大池化對數(shù)據(jù)進行下采樣；卷積組2-5由多個3×3卷積層構成，部分卷積組通過1×1卷積和下采樣改變通道數(shù)和數(shù)據(jù)大??；平均池化將數(shù)據(jù)維度進一步壓縮；全連接層輸出最終特征維度。不同深度的ResNet版本在卷積組的層數(shù)和結構上有所差異，如ResNet34、ResNet50等，以適應不同的任務需求。簡要描述Vision網(wǎng)絡結構。VisionTransformer（V