課程總結(jié),第一講緒論,通信的基本模型三網(wǎng)合一，哪三種網(wǎng)絡(luò)，各自的特點(diǎn)，為什么多媒體通信要以計(jì)算機(jī)網(wǎng)為基礎(chǔ)，存在的問題數(shù)字化為什么會對帶寬的需求大大增加？主流的通信協(xié)議標(biāo)準(zhǔn)，ITU系列，VoIP的相關(guān)標(biāo)準(zhǔn)。,第二講信源的數(shù)字化,語音的頻率范圍，常用的采樣率，采樣率變換，抽取與內(nèi)插，奈奎斯特采樣率，是否帶來誤差？標(biāo)量量化，均勻量化的量化誤差，最佳量化的分層電平與重建電平，對數(shù)量化和最佳量化的關(guān)系，實(shí)際中采用折線近似，PCM編碼矢量量化，碼本的概念，矢量量化的壓縮性能。,第三講編碼的基本技術(shù),預(yù)測編碼，空間預(yù)測，時(shí)間預(yù)測變換域編碼子帶編碼,第四講文本編碼,無損壓縮，保熵。游程編碼，適用于灰度圖像，連續(xù)的同樣像素值，編碼為（長度，像素值），特別是二值圖像，在傳真中的應(yīng)用。Huffman編碼，香農(nóng)編碼，算術(shù)編碼。編碼效率的計(jì)算,第五講語音編碼,回聲的產(chǎn)生，分類，抵消的模型，語音和噪聲的時(shí)域波形，過零率、基因周期，短時(shí)能量。常用語音壓縮算法的重要參數(shù)，編碼速率，幀長，采樣率。人的發(fā)聲模型，清音，濁音語音編碼技術(shù)分類：波形編碼，參數(shù)編碼，混合編碼。應(yīng)用范圍。CELP模型，碼本的獲得，固定碼本和自適應(yīng)碼本,第六講靜止圖像編碼,靜止圖像的采樣，像素的定義，采樣是否帶來誤差；靜止圖像量化，色彩空間，RGB,YUV圖像為什么能壓縮，各種冗余；壓縮分類，有損壓縮和無損壓縮。變換域編碼的目的，通過變換在另一種坐標(biāo)度量下，可以讓一部分分量很小，從而可以忽略掉。DCT的物理意義，空間頻率的概念，空間像素值的“傅立葉變換”，DCT基函數(shù)圖樣。JPEG標(biāo)準(zhǔn)流程，色彩空間轉(zhuǎn)換，降采樣率，DCT，量化，熵編碼。,第七、八講運(yùn)動圖像編碼,運(yùn)動圖像的時(shí)間冗余性，消除時(shí)間冗余的技術(shù)：幀間預(yù)測，運(yùn)動估計(jì)運(yùn)動估計(jì)的方法：塊匹配法，像素遞歸法。如何估值，應(yīng)用范圍，區(qū)別。前向預(yù)測，后向預(yù)測和雙向預(yù)測；幀間內(nèi)插。運(yùn)動圖像編碼系統(tǒng)，編解碼器框圖。發(fā)送端的速度控制策略：反饋模型。發(fā)送端的速度范圍：VBV模型。QoS伸縮性：空間域，時(shí)間域，頻率域，信噪比域，混合應(yīng)用I,P,B幀的定義H.26x標(biāo)準(zhǔn)系列，制定組織，設(shè)計(jì)目的，支持的圖像模式(CIF,QCIF)，碼流層次MPEG系列，制定組織，設(shè)計(jì)目的，應(yīng)用，碼流層次結(jié)構(gòu)H.261和MPEG-1的比較,第九講多媒體通信網(wǎng)技術(shù),多媒體通信對網(wǎng)絡(luò)的要求，網(wǎng)絡(luò)的性能指標(biāo)，延時(shí)，吞吐量，抖動，誤碼率網(wǎng)絡(luò)的分類，電路交換與分組交換，面向連接和無連接QoS保障方式：資源預(yù)留與盡力而為模式，例子。幾種分組交換網(wǎng)中的QoS技術(shù)，RSVP，DiffServ，MPLS幾種接入網(wǎng)技術(shù)，DSL，光纖，無線接入方式，各自的特點(diǎn)，優(yōu)缺點(diǎn)。,第十講TCP/IP(1),ISO的七層模型，IETF的TCP/IP四層模型，各層的功能描述。IP地址的格式，分類；組播，廣播，子網(wǎng)，超網(wǎng)的概念和用途。物理層技術(shù)，Ethernet幀結(jié)構(gòu)ARP的作用，利用廣播的特點(diǎn)完成。IP頭的格式，各個(gè)域的作用，以及與路由這一功能的關(guān)聯(lián)。UDP頭的格式，各個(gè)域的作用，”端”的概念。,第十一講TCPIP(2)，VoIP概述,TCP頭的格式，各個(gè)域的作用，如何保證可靠傳輸。應(yīng)用層協(xié)議RTP,DNS,FTP，應(yīng)用層協(xié)議的運(yùn)行，是如何靠底層協(xié)議支持的？給一個(gè)實(shí)際的Internet數(shù)據(jù)包，應(yīng)該能分析出各層協(xié)議頭部數(shù)據(jù)的位置，長度，關(guān)鍵信息等內(nèi)容。VoIP的相關(guān)技術(shù)：語音處理，網(wǎng)絡(luò)技術(shù)，通信協(xié)議，系統(tǒng)應(yīng)用。VoIP和傳統(tǒng)PSTN的比較。,第十二講H.323,H.323的制定時(shí)間，目標(biāo)，組織。H.323的組件，協(xié)議，包括H.225.0RAS,H.225.0CallSignaling和H.245的具體作用，以及它們具體的消息分類。完整的呼叫流程（基本流程），以及其中存在的問題，針對問題作了哪些改進(jìn)？NAT作用，原理，私網(wǎng)地址定義，NAT分類。H.323在通過NAT時(shí)面臨的問題，以及解決方法。,第十四講SIP，MGCP,SIP的制定時(shí)間，組織，其組件和涉及到的相關(guān)協(xié)議。SIP消息的分類，和H323相比的特點(diǎn)。消息的具體格式和關(guān)鍵的消息域。典型的SIP呼叫流程。MGCP的基本思路和網(wǎng)絡(luò)結(jié)構(gòu)的最大特點(diǎn)MGCP消息的分類，關(guān)鍵的消息域。,多媒體通信系統(tǒng)的總結(jié),多媒體通信系統(tǒng)的總結(jié),通信系統(tǒng)的模型信源分類信源的數(shù)字化壓縮編碼后處理與復(fù)接信道編碼與傳輸通信的建立，維護(hù)和釋放通信原語的設(shè)計(jì)通信流程的設(shè)計(jì)通信系統(tǒng)的擴(kuò)展性,信源分類,多媒體的信源根據(jù)其特性，可分為如下幾類文本語音靜止圖像運(yùn)動圖像音樂圖形,信源的數(shù)字化(1),數(shù)字化，目的在于用二進(jìn)制序列表示信源的信息。不同的多媒體信源，要有不同的數(shù)字化的規(guī)格和精度。對于符號型信源，比如文件，可以將不同的符號分配為不同的0,1序列對于語音，由于頻率限制在300-3400Hz，可用8K進(jìn)行采樣，再根據(jù)傳輸?shù)男旁氡纫?，決定量化間隔和量化位數(shù)。一般來說，13-16bit的量化位數(shù)就滿足了語音的信噪比要求,信源的數(shù)字化(2),對于音樂，由于其頻率范圍為20-20kHz，因此采用44.1K的采樣頻率，為了達(dá)到更高的信噪比，一般采用16-18bit的量化位數(shù)無論是語音，還是音樂，都是隨著時(shí)間推移的能量變化，因此數(shù)字化就是時(shí)間方向的采樣，能量方向的量化。對于靜止圖像不再有時(shí)間方向的變化，而是在二維空間域的變化。另外圖像的色彩也不再只有一個(gè)能量分量，而是RGB三基色。因此靜止圖像的數(shù)字化需要在色彩空間和平面空間共同進(jìn)行。平面空間進(jìn)行采樣，分割成一個(gè)個(gè)的像素點(diǎn)，采樣的精度和顯示尺寸相關(guān)。色彩空間在這些像素點(diǎn)上，分為YUV三個(gè)子空間進(jìn)行量化，在每個(gè)子空間上，量化位數(shù)一般都是8bits。,信源的數(shù)字化(3),對于運(yùn)動圖像，可以認(rèn)為是在時(shí)間軸上，一系列靜止圖像的排列。因此運(yùn)動圖像的數(shù)字化，是在靜止圖像數(shù)字化的基礎(chǔ)上，在加上時(shí)間軸上的采樣。采樣頻率和人眼的視覺特性有關(guān)，如果要保證運(yùn)動圖像的連續(xù)性，采樣頻率應(yīng)大于50Hz,壓縮編碼,經(jīng)過數(shù)字化后的信源，就可以根據(jù)信源特性，采用不同的方式壓縮編碼了有損壓縮語音：利用人耳的聽覺特性和語音的相關(guān)性靜止圖像：利用圖像空間上的相關(guān)性(DCT變換)和人眼的視覺效應(yīng)(減少U,V分量)。運(yùn)動圖像：在靜止圖像的基礎(chǔ)上，利用圖像的時(shí)間相關(guān)性。無損壓縮一般用于非感知類型的接收端，由于沒有人的感覺特性可以利用，必須無損的傳輸數(shù)據(jù)。遵守香農(nóng)定理。常應(yīng)用于數(shù)據(jù)壓縮。,后處理,為了在信道上傳輸，經(jīng)過壓縮后的信息往往要進(jìn)行后處理，以適應(yīng)信道的特性。緩沖技術(shù)：對于變速率的編碼器配合恒定速率信道，必須通過緩沖來調(diào)節(jié)碼流的輸出速率。緩沖技術(shù)中包括流量控制，反饋機(jī)制等技術(shù)難點(diǎn)成幀技術(shù)：由于信源在數(shù)字化的過程中，會涉及到多個(gè)方向和空間上的采樣，因此采樣數(shù)據(jù)的組織結(jié)構(gòu)必須在碼流中體現(xiàn)出來，解碼器才能正確地恢復(fù)原始信息。這種組織結(jié)構(gòu)的體現(xiàn)就是成幀技術(shù)。以運(yùn)動圖像編碼為例，通過一層層的幀結(jié)構(gòu)，就體現(xiàn)出了時(shí)間上，空間上和色彩上的組織結(jié)構(gòu),復(fù)接,多媒體通信的一個(gè)特點(diǎn)就是多種信源業(yè)務(wù)的并發(fā)與同步。因此我們有必要把同一時(shí)間段的不同媒體信碼放在一起傳送，這樣收端才能正確重現(xiàn)。這就是復(fù)接。不同媒體的碼流差異極大，時(shí)間軸上的采樣也不一致（語音是8000樣點(diǎn)，而圖像只有幾十幀），因此就可能出現(xiàn)如下情況，某個(gè)時(shí)間的復(fù)接幀中只有語音，而沒有圖像，而某個(gè)時(shí)間的復(fù)接幀中，卻有大量的圖像數(shù)據(jù)，語音只占很小一部分。這就要求復(fù)接的設(shè)計(jì)必須有很大的靈活性。,信道編碼,通信的方式多種多樣，信道的特性也各個(gè)不同。為了減小信道差錯(cuò)對通信的影響，可以使用信道編碼，在收端即使出現(xiàn)誤碼，也可以糾正過來。信源編碼是為了壓縮信息的冗余，而信道編碼則是增加了信息的冗余。只不過這種冗余是有序的，和信源無關(guān)的，可以為收端所利用的。信道編碼的核心是信道碼的選取，和數(shù)學(xué)大量相關(guān)，在此不作具體分析了,傳輸,傳輸協(xié)議：傳輸就是把信息從發(fā)端送到收端，其間可能經(jīng)過各種各樣的物理介質(zhì)，也可以有各種各樣的傳輸方式，傳輸協(xié)議就保證了信息的正確傳遞。具體包括了尋址、路由、流控等內(nèi)容。TCP/IP協(xié)議族就是一個(gè)典型的傳輸協(xié)議。調(diào)制技術(shù)：傳輸協(xié)議面對的，還只是0,1的比特序列。而真正在物理介質(zhì)上傳輸?shù)?，則是電信號或光信號，把0,1比特變成物理信號的過程，就是調(diào)制過程。信道的速率，與信道的物理介質(zhì)和調(diào)制技術(shù)都有關(guān)系。,通信原語,前面講述的內(nèi)容，都是多媒體數(shù)據(jù)編碼和傳輸?shù)膯栴}。但在真正的通信中，必須要先建立通信，在傳輸多媒體數(shù)據(jù)的過程中，還要對通信通道進(jìn)行維護(hù)，通信結(jié)束后還要進(jìn)行釋放。在上面描述的流程中，重點(diǎn)不在于如何把信息正確的，占用最小帶寬的去傳到對方，而在于雙方如何通過協(xié)商去建立這個(gè)通道。雙方要能正確地理解對方的行為，必須定義通用的信息原語。對于數(shù)字通信來說，信息原語從邏輯上是一系列有意義的字符，而實(shí)際傳輸?shù)?，則是0,1序列。因此在從字符到0,1的過程中，又涉及到了信息原語的編碼。這個(gè)編碼和前面對文本的編碼要求有所不同，對文本編碼，要求數(shù)據(jù)盡可能壓縮；而對原語編碼，要求的是通信中的實(shí)時(shí)性。因此我們可以采用ASN1或者直接的ASCII碼,通信流程,通信流程是建立在通信原語上的一種交流機(jī)制。通過交流，通信的雙方就可以知道涉及通信的各種信息，從而為后面真正的數(shù)據(jù)通信做好準(zhǔn)備。既然是交流，就有各種交流方式，比如對等協(xié)商，直接命令，Client/Server模式等等。具體選用的方式，和整個(gè)業(yè)務(wù)模型的設(shè)計(jì)都有關(guān)系。通信流程設(shè)計(jì)上還有一個(gè)重要的任務(wù)，就是保證信令的正確到達(dá)。為此，我們可以采用有質(zhì)量保證的傳輸層（如TCP），也可以采用沒有質(zhì)量保證的傳輸層（如