視頻信號處理與傳輸課程研究報告課程目的：讓學生系統(tǒng)地理解和掌握視頻信息的采集，壓縮編碼，運動估計，濾波，數(shù)字水印的嵌入與抽取、視頻信息檢索，視頻信息傳輸?shù)葦?shù)字視頻技術，并靈活應用。注重理論與實踐結(jié)合，培養(yǎng)學生在視頻信息處理與傳輸應用領域從事科研，教學，產(chǎn)品設計與管理工作的初步能力。視頻信號采集： CCD圖像傳感器,也就是電荷耦合器件圖像傳感器?？梢詫D像資料由光信號轉(zhuǎn)換成電信號,是一種進入影像世界不可缺少的取像元件。CCD圖像傳感器與傳統(tǒng)的攝像管比較,具有體積小、重量輕、用電省、價格低、壽命長、防震性強以及不受磁場影響等優(yōu)點。近年來在多種多樣的電子產(chǎn)品中,CCD圖像傳感器取代攝像管,成為電子影像輸入的最佳元件。目前,CCD圖像傳感視頻采集卡又稱視頻捕捉卡，用它可以獲取數(shù)字化視頻信息，并將其存儲和播放出來。很多視頻采集卡能在捕捉視頻信息的同時獲得伴音，使音頻部分和視頻部分在數(shù)字化時同步保存、同步播放。視頻采集卡，“VideoCaptureCard”，其功能是將視頻信號采集到電腦中，以數(shù)據(jù)文件的形式保存在硬盤上。它是我們進行視頻處理必不可少的硬件設備，通過它對數(shù)字化的視頻信號進行后期編輯處理、比如剪切畫面、添加濾鐿、字幕和音效、設置轉(zhuǎn)場效果以及加入各種視頻特效等等，最后將編輯完成的視頻信號轉(zhuǎn)換成標準的VCD、DVD以及網(wǎng)上流媒體等格式，方便傳播。視頻（Video)是多幅靜止圖像(圖像幀）與連續(xù)的音頻信息在時間軸上同步運動的混合媒體，多幀圖像隨時間變化而產(chǎn)生運動感，因此視頻也被稱為運動圖像。按照視頻的存儲與處理方式不同，可分為模擬視頻和數(shù)字視頻兩種.視頻采集就是將視頻源的模擬信號通過處理轉(zhuǎn)變成數(shù)字信號（即0和1），并將這些數(shù)字信息存儲在電腦硬盤上的過程。這種模擬/數(shù)字轉(zhuǎn)變是通過視頻采集卡上的采集芯片進行的。視頻壓縮編碼必要性：以較少的數(shù)據(jù)來表示圖像，可以節(jié)約存儲器的空間，節(jié)省傳輸信道帶寬，加快處理速度?？尚行裕喝哂嘣酱?，可壓縮的程度就越高。由于相鄰像素之間存在關聯(lián)而產(chǎn)生大量的空間冗余。由于彩色元素間存在相互關聯(lián)而產(chǎn)生大量的頻譜冗余。魚油人類視覺系統(tǒng)特點而引起的大量心理視覺冗余。視頻壓縮的評價指標： 壓縮速度，壓縮質(zhì)量，客觀保真度，主觀保真度，計算量壓縮編碼的方法：1.變換編碼：變換編碼的作用是將空間域描述的圖像信號變換到頻率域，然后對變換后的系數(shù)進行編碼處理。一般來說，圖像在空間上具有較強的相關性，變換到頻率域可以實現(xiàn)去相關和能量集中。常用的正交變換有離散傅里葉變換，離散余弦變換等等。數(shù)字視頻壓縮過程中應用廣泛的是離散余弦變換。離散余弦變換簡稱為DCT變換。它可以將L*L的圖像塊從空間域變換為頻率域。所以，在基于DCT的圖像壓縮編碼過程中，首先需要將圖像分成互不重疊的圖像塊。假設一幀圖像的大小為1280*720，首先將其以網(wǎng)格狀的形式分成160*90個尺寸為8*8的彼此沒有重疊的圖像塊，接下來才能對每個圖像塊進行DCT變換。2.運動估計和運動補償

3.熵編碼熵編碼是因編碼后的平均碼長接近信源熵值而得名。熵編碼多用可變字長編碼（VLC，VariableLengthCoding）實現(xiàn)。其基本原理是對信源中出現(xiàn)概率大的符號賦予短碼，對于出現(xiàn)概率小的符號賦予長碼，從而在統(tǒng)計上獲得較短的平均碼長?？勺冏珠L編碼通常有霍夫曼編碼、算術編碼、游程編碼等。其中游程編碼是一種十分簡單的壓縮方法，它的壓縮效率不高，但編碼、解碼速度快，仍被得到廣泛的應用，特別在變換編碼之后使用游程編碼，有很好的效果。4.混合編碼混合編碼（即變換編碼+運動估計和運動補償+熵編碼）的模型。該模型普遍應用于MPEG1，MPEG2，H.264等標準中?；旌暇幋a模型從圖中我們可以看到，當前輸入的圖像首先要經(jīng)過分塊，分塊得到的圖像塊要與經(jīng)過運動補償?shù)念A測圖像相減得到差值圖像X，然后對該差值圖像塊進行DCT變換和量化，量化輸出的數(shù)據(jù)有兩個不同的去處：一個是送給熵編碼器進行編碼，編碼后的碼流輸出到一個緩存器中保存，等待傳送出去。另一個應用是進行反量化和反變化后的到信號X’，該信號將與運動補償輸出的圖像塊相加得到新的預測圖像信號，并將新的預測圖像塊送至幀存儲器。視頻信號傳輸：OSI體系結(jié)構(gòu)，意為開放式系統(tǒng)互聯(lián)。國際標準組織（國際標準化組織）制定了OSI模型。這個模型把網(wǎng)絡通信的工作分為7層，分別是物理層,數(shù)據(jù)鏈路層,網(wǎng)絡層,傳輸層,會話層，表示層和應用層。1至4層被認為是低層，這些層與數(shù)據(jù)移動密切相關。5至7層是高層，包含應用程序級的數(shù)據(jù)。每一層負責一項具體的工作，然后把數(shù)據(jù)傳送到下一層。Osi層 功能應用層文件傳輸，電子郵件，文件服務，虛擬終端表示層數(shù)據(jù)格式化，代碼轉(zhuǎn)換，數(shù)據(jù)加密會話層解除或建立與別的節(jié)點和聯(lián)系傳輸層 提供端對端的接口網(wǎng)絡層為數(shù)據(jù)包選擇路由數(shù)據(jù)鏈路層傳輸有地址的幀以及錯誤檢測功能物理層以二進制數(shù)據(jù)形式在屋里媒體上傳輸數(shù)據(jù)TCP/IP協(xié)議：TCP/IP協(xié)議是一個協(xié)議簇。里面包括很多協(xié)議的。UDP只是其中的一個。之所以命名為TCP/IP協(xié)議，因為TCP,IP協(xié)議是兩個很重要的協(xié)議，就用他兩命名了。 TCP/IP協(xié)議是INTERNET事實上的工業(yè)標準。應用層（telnet，F(xiàn)TPHTTPDNSSMTP等）傳輸層（tcp和udp）網(wǎng)絡層（IPICMPIGMP）網(wǎng)絡接口和物理層（以太網(wǎng)令牌環(huán)網(wǎng)fddi等）TCP（TransmissionControlProtocol，傳輸控制協(xié)議）是面向連接的協(xié)議，也就是說，在收發(fā)數(shù)據(jù)前，必須和對方建立可靠的連接。一個TCP連接必須要經(jīng)過三次“對話”才能建立起來，其中的過程非常復雜，只簡單的描述下這三次對話的簡單過程：主機A向主機B發(fā)出連接請求數(shù)據(jù)包：“我想給你發(fā)數(shù)據(jù)，可以嗎？”，這是第一次對話；主機B向主機A發(fā)送同意連接和要求同步（同步就是兩臺主機一個在發(fā)送，一個在接收，協(xié)調(diào)工作）的數(shù)據(jù)包：“可以，你什么時候發(fā)？”，這是第二次對話；主機A再發(fā)出一個數(shù)據(jù)包確認主機B的要求同步：“我現(xiàn)在就發(fā)，你接著吧！”，這是第三次對話。三次“對話”的目的是使數(shù)據(jù)包的發(fā)送和接收同步，經(jīng)過三次“對話”之后，主機A才向主機B正式發(fā)送數(shù)據(jù)。詳細點說就是：（文章部分轉(zhuǎn)載，主要是這個人講解得很到位，的確很容易使人理解！）TCP三次握手過程1主機A通過向主機B發(fā)送一個含有同步序列號的標志位的數(shù)據(jù)段給主機B,向主機B請求建立連接,通過這個數(shù)據(jù)段,主機A告訴主機B兩件事:我想要和你通信;你可以用哪個序列號作為起始數(shù)據(jù)段來回應我.2主機B收到主機A的請求后,用一個帶有確認應答(ACK)和同步序列號(SYN)標志位的數(shù)據(jù)段響應主機A,也告訴主機A兩件事:我已經(jīng)收到你的請求了,你可以傳輸數(shù)據(jù)了;你要用哪佧序列號作為起始數(shù)據(jù)段來回應我3主機A收到這個數(shù)據(jù)段后,再發(fā)送一個確認應答,確認已收到主機B的數(shù)據(jù)段:"我已收到回復,我現(xiàn)在要開始傳輸實際數(shù)據(jù)了這樣3次握手就完成了,主機A和主機B就可以傳輸數(shù)據(jù)了.3次握手的特點沒有應用層的數(shù)據(jù)SYN這個標志位只有在TCP建產(chǎn)連接時才會被置1握手完成后SYN標志位被置0UDP（UserDataProtocol，用戶數(shù)據(jù)報協(xié)議）（1）UDP是一個非連接的協(xié)議，傳輸數(shù)據(jù)之前源端和終端不建立連接，當它想傳送時就簡單地去抓取來自應用程序的數(shù)據(jù)，并盡可能快地把它扔到網(wǎng)絡上。在發(fā)送端，UDP傳送數(shù)據(jù)的速度僅僅是受應用程序生成數(shù)據(jù)的速度、計算機的能力和傳輸帶寬的限制；在接收端，UDP把每個消息段放在隊列中，應用程序每次從隊列中讀一個消息段。（2）由于傳輸數(shù)據(jù)不建立連接，因此也就不需要維護連接狀態(tài)，包括收發(fā)狀態(tài)等，因此一臺服務機可同時向多個客戶機傳輸相同的消息。（3）UDP信息包的標題很短，只有8個字節(jié)，相對于TCP的20個字節(jié)信息包的額外開銷很小。（4）吞吐量不受擁擠控制算法的調(diào)節(jié)，只受應用軟件生成數(shù)據(jù)的速率、傳輸帶寬、源端和終端主機性能的限制。（5）UDP使用盡最大努力交付，即不保證可靠交付，因此主機不需要維持復雜的鏈接狀態(tài)表（這里面有許多參數(shù)）。（6）UDP是面向報文的。發(fā)送方的UDP對應用程序交下來的報文，在添加首部后就向下交付給IP層。既不拆分，也不合并，而是保留這些報文的邊界，因此，應用程序需要選擇合適的報文大小。我們經(jīng)常使用“ping”命令來測試兩臺主機之間TCP/IP通信是否正常，其實“ping”命令的原理就是向?qū)Ψ街鳈C發(fā)送UDP數(shù)據(jù)包，然后對方主機確認收到數(shù)據(jù)包，如果數(shù)據(jù)包是否到達的消息及時反饋回來，那么網(wǎng)絡就是通的。UDP的包頭結(jié)構(gòu)：源端口16位目的端口16位長度16位校驗和16位TCP與UDP的區(qū)別：1.基于連接與無連接；2.對系統(tǒng)資源的要求（TCP較多，UDP少）；3.UDP程序結(jié)構(gòu)較簡單；4.流模式與數(shù)據(jù)報模式；5.TCP保證數(shù)據(jù)正確性，UDP可能丟包，TCP保證數(shù)據(jù)順序，UDP不保證。Ip協(xié)議IP協(xié)議是TCP/IP協(xié)議簇中的核心協(xié)議，也是TCP/IP的載體。所有的TCP，UDP，ICMP及IGMP數(shù)據(jù)都以IP數(shù)據(jù)報格式傳輸。IP提供不可靠的，無連接的數(shù)據(jù)傳送服務。不可靠指它不能保證IP數(shù)據(jù)報能成功到達目的地。IP僅提供最好的傳輸服務。當發(fā)生某種錯誤時，如某個路由器暫時用完了緩沖區(qū)，IP有一個簡單的錯誤處理算法：丟棄該數(shù)據(jù)報，然后發(fā)送ICMP消息給信源。任何要求的可靠性必須由上層來提供。無連接指IP并不維護任何關于后續(xù)數(shù)據(jù)報的狀態(tài)信息。每個數(shù)據(jù)報的處理是相互獨立的。IP數(shù)據(jù)報可以不按發(fā)送順序接收。如果一信源向相同的信宿發(fā)送兩個連續(xù)的數(shù)據(jù)報（先是A，然后是B）每個數(shù)據(jù)報都是獨立的進行路由選擇，可能選擇不同的路線，因此B可能在A到達之前先到達。

IP包頭國際規(guī)定：把所有的IP地址劃分為A，B，C，D，EA類地址:范圍從0-127，0是保留的并且表示所有IP地址，而127也是保留的地址，并且是用于測試環(huán)回用的。因此A類地址的范圍其實是從1-126之間。B類地址：范圍從128-191，如，第一和第二段號碼為網(wǎng)絡號碼，剩下的2段號碼為本地計算機的號碼。轉(zhuǎn)換為2進制來說，一個B類IP地址由2個字節(jié)的網(wǎng)絡地址和2個字節(jié)的主機地址組成，網(wǎng)絡地址的最高位必須是“10”，地址范圍從到55?？捎玫腂類網(wǎng)絡有16382個，每個網(wǎng)絡能容納6萬多個主機。以子網(wǎng)掩碼來進行區(qū)別：C類地址：范圍從192-223，如，第一，第二，第三段號碼為網(wǎng)絡號碼，剩下的最后一段號碼為本地計算機的號碼。轉(zhuǎn)換為2進制來說，一個C類IP地址由3字節(jié)的網(wǎng)絡地址和1字節(jié)的主機地址組成，網(wǎng)絡地址的最高位必須是“110”。范圍從到55。C類網(wǎng)絡可達209萬余個，每個網(wǎng)絡能容納254個主機。以子網(wǎng)掩碼來進行區(qū)別：D類地址：范圍從224-239，D類IP地址第一個字節(jié)以“1110”開始，它是一個專門保留的地址。它并不指向特定的網(wǎng)絡，目前這一類地址被用在多點廣播(Multicast)中。多點廣播地址用來一次尋址一組計算機，它標識共享同一協(xié)議的一組計算機。E類地址：范圍從240-254，以“11110”開始，為將來使用保留。全零(“”)地址對應于當前主機。全“1”的IP地址(“55”)是當前子網(wǎng)的廣播地址。http協(xié)議：HTTP是一個屬于應用層的面向?qū)ο蟮膮f(xié)議，由于其簡捷、快速的方式，適用于分布式超媒體信息系統(tǒng)。它于1990年提出，經(jīng)過幾年的使用與發(fā)展，得到不斷地完善和擴展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的規(guī)范化工作正在進行之中，而且HTTP-NG(NextGenerationofHTTP)的建議已經(jīng)提出。HTTP協(xié)議的主要特點可概括如下：1.支持客戶/服務器模式。2.簡單快速：客戶向服務器請求服務時，只需傳送請求方法和路徑。請求方法常用的有GET、HEAD、POST。每種方法規(guī)定了客戶與服務器聯(lián)系的類型不同。由于HTTP協(xié)議簡單，使得HTTP服務器的程序規(guī)模小，因而通信速度很快。3.靈活：HTTP允許傳輸任意類型的數(shù)據(jù)對象。正在傳輸?shù)念愋陀蒀ontent-Type加以標記。4.無連接：無連接的含義是限制每次連接只處理一個請求。服務器處理完客戶的請求，并收到客戶的應答后，即斷開連接。采用這種方式可以節(jié)省傳輸時間。5.無狀態(tài)：HTTP協(xié)議是無狀態(tài)協(xié)議。無狀態(tài)是指協(xié)議對于事務處理沒有記憶能力。缺少狀態(tài)意味著如果后續(xù)處理需要前面的信息，則它必須重傳，這樣可能導致每次連接傳送的數(shù)據(jù)量增大。另一方面，在服務器不需要先前信息時它的應答就較快。

http（超文本傳輸協(xié)議）是一個基于請求與響應模式的、無狀態(tài)的、應用層的協(xié)議，?；赥CP的連接方式，HTTP1.1版本中給出一種持續(xù)連接的機制，絕大多數(shù)的Web開發(fā)，都是構(gòu)建在HTTP協(xié)議之上的Web應用。

http請求由三部分組成，分別是：請求行、消息報頭、請求正文

在接收和解釋請求消息后，服務器返回一個HTTP響應消息。HTTP響應也是由三個部分組成，分別是：狀態(tài)行、消息報頭、響應正文

HTTP消息由客戶端到服務器的請求和服務器到客戶端的響應組成。請求消息和響應消息都是由開始行（對于請求消息，開始行就是請求行，對于響應消息，開始行就是狀態(tài)行），消息報頭（可選），空行（只有CRLF的行），消息正文（可選）組成。HTTP消息報頭包括普通報頭、請求報頭、響應報頭、實體報頭。

每一個報頭域都是由名字+“：”+空格+值組成，消息報頭域的名字是大小寫無關的。視頻信號處理與傳輸?shù)膽?HD-SDI高清視頻信號處理作為數(shù)字串行接口的SDI，在高清音視頻信號處理應用中并不比HDMI損色多少，由于串行數(shù)字信號的數(shù)據(jù)率很高，在傳送前必須經(jīng)過處理。SDI視頻信號處理比一般的高清視頻處理叫麻煩，因此SID視頻設備產(chǎn)品也比一般的其他視頻接口的同作用的高清視頻處理設備要貴很多，SDI雖然存在著一定的優(yōu)勢，但是在當前數(shù)字模擬并存的情況下，SDI的使用還是存在著一定的弊端：支持的分辨率較少，目前HD-SDI標準的格式只有720P和1080P兩種，目前尚不能滿足對分辨率有更高需求的市場;在同三維高清視頻采集卡中，SID采集卡所支持的分辨率遠遠也沒有HDMI高清采集卡、VGA模擬接口的VGA采集卡所支持的采集分辨率那么多，由于對很多分辨率沒有良好的支持，也沒有配套的高清分辨率的顯示設備，所以很多情況下都是將HD-SDI轉(zhuǎn)換成HDMI輸出。HD-SDI以未經(jīng)壓縮的數(shù)字資料在同軸電纜上傳輸，不會失真。HD-SDI信號傳輸距離比較短，只能在小范圍應用，對傳輸線纜等要求較高;超過100米就必須是HD-SDI光端機，無法和HDMI信號延長器、DVI光纖傳輸設備相比，同三維高清信號傳輸設備中有傳輸500米/10千米/15千米的DVI/HDMI光纖延長器，有支持40-100米傳輸?shù)膆dmi信號放大器，100米-3000米模擬VGA信號傳輸?shù)腣GA信號放大器，性價比遠遠高于HD-SDI信號傳輸設備。雖然HD-SDI是數(shù)字產(chǎn)品，但是其應用模式跟傳統(tǒng)模擬相類似。HD-SDI因其無壓縮、無延時、不失真等特性，在一些特殊的行業(yè)中，特別是對實時性、穩(wěn)定性、安全性要求較高行業(yè)用戶。未壓縮過的數(shù)字高清圖像，圖像的完整性有保障，帶對存儲設備、存儲容量的要求較高;HD-SDI在傳輸過程中沒有產(chǎn)生壓縮與封包化的處理，不會像一般數(shù)字高清視頻產(chǎn)生圖像延遲問題，沒有延時及信號延時所帶來的圖像偏差，而已更為重要的是HD-SDI視頻信號即使經(jīng)過多次傳輸和處理，圖像質(zhì)量并不會有太多的損耗，較大程度上保留信號源視頻效果和提高了終端顯示圖像視頻效果;在一些特殊的行業(yè)有低延時的特性，需要觀看高清晰的視頻圖像要求，HD-SDI數(shù)字高清視頻信號輸出可以直接接到大屏顯示器等高清顯示設備上，HD-SDI數(shù)字高清視頻信號沒有經(jīng)過壓縮，不會有因為碼率不足而產(chǎn)生的失真，色斑，鋸齒等編碼帶來的問題，同時也不會有網(wǎng)絡傳輸，編解碼帶來的幾百毫秒甚至幾秒的延時問題。針對高清SDI信號采集，同三維推出的SDI采集卡中，同三維T150Mini高清SDI采集卡以MPEG-4實時壓縮采集技術，通過視頻采集編碼壓縮將高清視頻信號編碼處理后，高清視頻就和標清視頻在信號傳輸，特別是遠距離傳輸中的成本就大大降低。同三維專業(yè)高清SID采集卡可連接SDI攝影機等高畫質(zhì)影音設備進行預覽及錄像，適合IPC或?qū)I(yè)使用者安裝應用。基于socket的網(wǎng)絡通信網(wǎng)絡中的進程是通過socket來通信的，那什么是socket呢？socket起源于Unix，而Unix/Linux基本哲學之一就是“一切皆文件”，都可以用“打開open–>讀寫write/read–>關閉close”模式來操作。我的理解就是Socket就是該模式的一個實現(xiàn)，socket即是一種特殊的文件，一些socket函數(shù)就是對其進行的操作（讀/寫IO、打開、關閉），這些函數(shù)我們在后面進行介紹。在組網(wǎng)領域的首次使用是在1970年2月12日發(fā)布的文獻IETFRFC33中發(fā)現(xiàn)的，撰寫者為StephenCarr、SteveCrocker和VintCerf。根據(jù)美國計算機歷史博物館的記載，Croker寫道：“命名空間的元素都可稱為套接字接口。一個套接字接口構(gòu)成一個連接的一端，而一個連接可完全由一對套接字接口規(guī)定?！庇嬎銠C歷史博物館補充道：“這比BSD的套接字接口定義早了大約12年。intbi