1、海量視頻點(diǎn)播系統(tǒng)的云計(jì)算技術(shù)與建模實(shí)現(xiàn)Cloud computing technology and modeling of mass VOD systemCHEN Xu?we，n HUANG Ying?ming(Department of Information Engineering， JieyangVocational & Technical College， Jieyang 522000 ， China )： With the promotion of the triple?net fusion， themass VOD emerges out some characteristics

2、such as complicating data ， multiple platforms and huge business ， which make a huge challenge to the traditional on?demand mode. By using the powerful computing ability and mass data efficient processing of cloud computation， theapplication of cloud computation in mass VOD system is discussed on th

3、e basis of analysis of the basic framework and technical characteristicsof cloud computationand incombination with the characteristics of VOD service. The framework and working principle of the cloud computing system are analyzed. Some main technologies， such asredundancy backup of data ， heartbeat

4、detection ， replacement of intelligent nodes and load balancing are elaborated. A new idea to make the mass video propagation smooth is put forward.Keywords： cloud computation ； mass VOD； Hadoop system ； modeling隨著互聯(lián)網(wǎng)技術(shù)和多媒體技術(shù)的迅猛發(fā)展， 基于網(wǎng)絡(luò)的視頻 點(diǎn)播（Video On Dema nd VOD業(yè)務(wù)成為了網(wǎng)絡(luò)應(yīng)用的一大熱點(diǎn)。 人們通過手機(jī)、 掌上電腦等簡(jiǎn)易的終端設(shè)備隨

5、意欣賞視頻的新型 模式極大地顛覆了傳統(tǒng)的電視觀看模式， 逐步成為視頻點(diǎn)播的主 流。雖然流媒體及P2P技術(shù)1的應(yīng)用在一定程度上減輕了中央 服務(wù)器和骨干網(wǎng)絡(luò)的負(fù)擔(dān)， 優(yōu)化了節(jié)目流的播放質(zhì)量， 但當(dāng)面對(duì) 熱點(diǎn)視頻時(shí)， 海量視頻的處理傳播極大地考驗(yàn)著視頻運(yùn)營(yíng)商的實(shí) 力。另外，隨著電信網(wǎng)、計(jì)算機(jī)網(wǎng)和有線電視網(wǎng)三網(wǎng)融合步伐的 快速推進(jìn)，對(duì)于視頻點(diǎn)播業(yè)務(wù)的需求也將呈現(xiàn)出數(shù)據(jù)量劇增和多 平臺(tái)共存的局面，光靠原有的硬件基礎(chǔ)絕對(duì)無法滿足形勢(shì)的發(fā) 展，而增加投入勢(shì)必會(huì)增加企業(yè)的運(yùn)營(yíng)成本， 租用第三方運(yùn)營(yíng)平 臺(tái)將成為一種發(fā)展趨勢(shì)。作為一種新型的商業(yè)計(jì)算模型， 云計(jì)算提供了強(qiáng)大靈活的計(jì) 算能力和高效快捷的海量數(shù)據(jù)處理方

6、法， 其高可靠性也是普通的 第三租賃方所無法比擬的。 本文以云計(jì)算為平臺(tái)， 研究了基于云 平臺(tái)的視頻點(diǎn)播模式，為解決海量視頻的高效傳輸提供了新方 法。云計(jì)算技術(shù)及海量視頻點(diǎn)播的技術(shù)特點(diǎn)云計(jì)算的概念自云計(jì)算（ Cloud Computing ）概念提出以來，至今仍沒有 統(tǒng)一、公認(rèn)的定義，比較獲得業(yè)界認(rèn)可的是 2011 年由美國(guó)國(guó)家 標(biāo)準(zhǔn)和技術(shù)研究院（NIST）提出的2:云計(jì)算是一種通過網(wǎng)絡(luò) 以便利的、按需付費(fèi)的模式獲取計(jì)算資源（包括網(wǎng)絡(luò)、服務(wù)器、 存儲(chǔ)、應(yīng)用和服務(wù)）并提高其可用性的模式，這些資源來自一個(gè) 共享的、 可配置的資源池， 并能夠以最省力和無人干預(yù)的方式獲 取和釋放。云計(jì)算是網(wǎng)格計(jì)算、并

7、行計(jì)算、分布式計(jì)算、效用計(jì)算、網(wǎng) 絡(luò)存儲(chǔ)、 虛擬化、 負(fù)載均衡等傳統(tǒng)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn) 物，它以虛擬化為核心， 通過網(wǎng)絡(luò)把多個(gè)成本較低的計(jì)算實(shí)體整 合成一個(gè)具有強(qiáng)大計(jì)算能力的資源系統(tǒng)， 以按需、易擴(kuò)展的方式 為用戶提供所需的各種資源和服務(wù)。 云是一個(gè)包含大量可用虛擬 資源的資源池， 云中的資源在使用者看來是可以無限擴(kuò)展、 隨時(shí) 獲取、按需使用、按量付費(fèi)的 3 。云模式 4 也即電廠模式，利 用電廠的規(guī)模效應(yīng)來降低電力價(jià)格， 用戶根據(jù)用電量付費(fèi)， 便可 源源不斷獲取電力資源，而無需維護(hù)和購(gòu)買任何發(fā)電設(shè)備。云計(jì)算具有低成本、 高性能、超大規(guī)模、 虛擬化、高可靠性、 通用性、高可擴(kuò)展性、按需

8、服務(wù)等特點(diǎn) 5 。目前比較成熟的云 計(jì)算業(yè)務(wù)和應(yīng)用有： Google的AppEngine、Amazon的彈性計(jì)算 云EC2微軟的Azure云平臺(tái)和IBM的藍(lán)云等。1.2 云計(jì)算的架構(gòu) 51 )軟件即服務(wù)( Software as a Service ， SaaS)： SaaS 服務(wù)供應(yīng)商將各類應(yīng)用軟件統(tǒng)一部署在服務(wù)器上， 用戶通過簡(jiǎn)易 的互聯(lián)網(wǎng)接入終端就能直接使用， 并按需按量付費(fèi)。 云中的軟硬 件設(shè)施由供應(yīng)商負(fù)責(zé)維護(hù)和管理， 用戶不需顧慮類似安裝、 升級(jí) 和防毒等瑣事，且免去初期高昂的硬件投入、人員配置、軟件許 可證等費(fèi)用的支出，經(jīng)濟(jì)便捷。（2）平臺(tái)即服務(wù)（ Platform as a Se

9、rvice ， PaaS）： PaaS 主要面向開發(fā)人員提供一個(gè)應(yīng)用的開發(fā)和部署平臺(tái)，包括SDK、文檔、測(cè)試環(huán)境和部署環(huán)境等。 平臺(tái)的部署和運(yùn)維均由供應(yīng)商負(fù) 責(zé)，用戶可一心一意致力于研發(fā)工作。（ 3）基礎(chǔ)設(shè)施即服務(wù) （ Infrastructure as a Service ，IaaS ）： IaaS 由底層硬件或虛擬機(jī)資源構(gòu)建而成，用戶從供應(yīng)商那里獲 取所需的計(jì)算或存儲(chǔ)資源來裝載相關(guān)應(yīng)用， 且僅需為所租借的那 部分資源付費(fèi)。海量視頻點(diǎn)播的技術(shù)特點(diǎn)（1）文件龐大，數(shù)據(jù)量多。單個(gè)視頻文件非常大，視頻資 源繁多，數(shù)據(jù)海量化。（2）編碼多樣，業(yè)務(wù)復(fù)雜。隨著三網(wǎng)融合的推進(jìn)及視頻播 放技術(shù)的改革， 必將

10、出現(xiàn)多編碼、 多平臺(tái)共存及多業(yè)務(wù)共享的局 面。（3）質(zhì)量至上，要求嚴(yán)格。龐大的數(shù)據(jù)量對(duì)服務(wù)器性能及 網(wǎng)絡(luò)帶寬要求甚高， 而隨著點(diǎn)播量的快速增長(zhǎng)， 對(duì)于計(jì)算能力及 處理強(qiáng)度的要求也相應(yīng)劇增。海量視頻點(diǎn)播系統(tǒng)的云計(jì)算技術(shù)與建模實(shí)現(xiàn)系統(tǒng)架構(gòu) 根據(jù)視頻點(diǎn)播業(yè)務(wù)的技術(shù)特征及云計(jì)算技術(shù)的特點(diǎn)， 本文提 出了基于云計(jì)算的海量視頻點(diǎn)播平臺(tái)的基本架構(gòu)， 其拓?fù)鋱D如圖 1所示。用戶通過 Wet交互服務(wù)器向視頻點(diǎn)播系統(tǒng)發(fā)出業(yè)務(wù)請(qǐng)求， 經(jīng)We皎互服務(wù)器受理后將具體的業(yè)務(wù)要求提交給云核心服務(wù) 器，由核心服務(wù)器對(duì)整個(gè)云文件系統(tǒng)進(jìn)行控制處理， 完成視頻文 件的調(diào)用并反饋回客戶端。圖 1 系統(tǒng)架構(gòu)圖系統(tǒng)工作原理系統(tǒng)采用Had

11、oop系統(tǒng)實(shí)現(xiàn)云點(diǎn)播平臺(tái)SaaS層的構(gòu)建。 根據(jù)點(diǎn)播系統(tǒng)的功能要求及 Hadoop系統(tǒng)的基本構(gòu)成，包括以下 幾個(gè)功能組件，闡述如下：Web 交互服務(wù)器在整個(gè)點(diǎn)播系統(tǒng)中，Web交互服務(wù)器作為系統(tǒng)前端窗口，負(fù) 責(zé)受理用戶的點(diǎn)播、注冊(cè)、用戶管理等常規(guī)業(yè)務(wù)，當(dāng)涉及視頻文 件調(diào)用時(shí)，則將業(yè)務(wù)請(qǐng)求轉(zhuǎn)交給后臺(tái)的云核心服務(wù)器處理， Web 交互服務(wù)器僅負(fù)責(zé)點(diǎn)播信息的傳遞工作， 沒有涉及具體視頻文件 的傳輸內(nèi)容。云核心服務(wù)器云核心服務(wù)器位于云計(jì)算的最上層， 負(fù)責(zé)整個(gè)云系統(tǒng)的資源 管理及任務(wù)控制。(1 )資源管理。作為Hadoop系統(tǒng)的主控節(jié)點(diǎn)，云核心服務(wù)器負(fù)責(zé)記錄文件的數(shù)據(jù)塊分割規(guī)則及這些數(shù)據(jù)塊的具體存儲(chǔ)位 置

12、，對(duì)內(nèi)存及 I/O 進(jìn)行集中管理。為加快維護(hù)效率，同時(shí)減輕本 身負(fù)擔(dān)，云核心服務(wù)器通過與各集群主控服務(wù)器進(jìn)行交互控制， 對(duì)集群中的所有節(jié)點(diǎn)和所有虛擬機(jī)進(jìn)行實(shí)時(shí)控制， 維護(hù)系統(tǒng)的資 源狀態(tài)信息表。 為提高系統(tǒng)的運(yùn)作性能， 云核心服務(wù)器僅管理文 件系統(tǒng)的元數(shù)據(jù)，具體的數(shù)據(jù)訪問則交由下層服務(wù)器負(fù)責(zé) 7 。(2)任務(wù)控制。響應(yīng) Web交互服務(wù)器的點(diǎn)播請(qǐng)求，檢索資 源狀態(tài)信息表， 獲取資源的具體位置， 然后通過集群主控服務(wù)器 匯總節(jié)點(diǎn)信息， 建立客戶端與各虛擬機(jī)實(shí)例的通信， 實(shí)現(xiàn)數(shù)據(jù)傳 輸。集群主控服務(wù)器為提高云系統(tǒng)的運(yùn)作效率， 減輕核心服務(wù)器的負(fù)擔(dān)， 將云系 統(tǒng)的資源劃分成多個(gè)集群， 由集群主控服務(wù)器

13、負(fù)責(zé)管理該集群中 的所有資源。集群主控服務(wù)器主要有以下作用：集群主控服務(wù)器管理其集群中的所有節(jié)點(diǎn)控制器和虛 擬機(jī)，對(duì)系統(tǒng)資源進(jìn)行實(shí)時(shí)監(jiān)控，形成子資源狀態(tài)信息表，并將 結(jié)果反饋給云核心服務(wù)器，更新整個(gè)云系統(tǒng)的資源狀態(tài)信息表。響應(yīng)云核心服務(wù)器的任務(wù)要求，快速調(diào)用集群中的虛 擬機(jī)實(shí)例，建立與客戶端機(jī)器的連接，傳輸數(shù)據(jù)。擔(dān)任Hadoop系統(tǒng)的主節(jié)點(diǎn)，控制集群中的所有從節(jié)點(diǎn)，對(duì)集群中所有虛擬機(jī)實(shí)例及系統(tǒng)資源進(jìn)行統(tǒng)籌管理， 提高系統(tǒng)的 響應(yīng)效率。節(jié)點(diǎn)控制器節(jié)點(diǎn)控制器是整個(gè)云系統(tǒng)的前沿陣地， 在節(jié)點(diǎn)控制器上真正 運(yùn)行著虛擬機(jī)實(shí)例， 并通過虛擬機(jī)管理器進(jìn)行管理， 虛擬機(jī)實(shí)例 的數(shù)量由節(jié)點(diǎn)控制器的資源及計(jì)算任務(wù)

14、的類型決定，一般為3-5 臺(tái)。節(jié)點(diǎn)控制器的功能包括以下三方面 8 ：（1）節(jié)點(diǎn)控制器負(fù)責(zé)監(jiān)控節(jié)點(diǎn)上運(yùn)行的所有虛擬機(jī)實(shí)例的 運(yùn)行狀態(tài)及資源的使用情況， 并將監(jiān)控狀況實(shí)時(shí)返回給上層的集 群主控服務(wù)器。（2）響應(yīng)集群主控服務(wù)器的需求，啟動(dòng)虛擬機(jī)實(shí)例實(shí)現(xiàn)數(shù) 據(jù)通信。 當(dāng)任務(wù)完成后或在規(guī)定時(shí)間內(nèi)客戶端無響應(yīng) （如客戶異 常退出）時(shí)，則停止虛擬機(jī)實(shí)例運(yùn)作， 釋放網(wǎng)絡(luò)帶寬及點(diǎn)播資源。（3）監(jiān)控和管理虛擬機(jī)實(shí)例。包括虛擬機(jī)資源的存儲(chǔ)備份、 虛擬機(jī)宕機(jī)的應(yīng)急處理等。系統(tǒng)設(shè)計(jì)的關(guān)鍵技術(shù)2.3.1 數(shù)據(jù)的冗余備份云系統(tǒng)的文件傳輸采用流媒體技術(shù)實(shí)現(xiàn)， 即將多媒體文件壓 縮后分解成若干大小相等的數(shù)據(jù)塊 （數(shù)據(jù)塊的大小可

15、根據(jù)實(shí)際情 況進(jìn)行配置） ，并統(tǒng)一編號(hào)， 再由服務(wù)器對(duì)客戶端進(jìn)行實(shí)時(shí)傳送。 為了容錯(cuò)，文件的所有數(shù)據(jù)塊都會(huì)有副本，即冗余備份。系統(tǒng)運(yùn) 行時(shí)，節(jié)點(diǎn)控制器利用虛擬機(jī)管理器對(duì)虛擬機(jī)上的文件系統(tǒng)進(jìn)行 監(jiān)控，產(chǎn)生一份數(shù)據(jù)塊與本地文件對(duì)應(yīng)關(guān)系的列表， 形成塊報(bào)告返回給節(jié)點(diǎn)控制器， 節(jié)點(diǎn)控制器根據(jù)塊報(bào)告進(jìn)行完善 (如增加數(shù)據(jù)塊具體路徑等)后反饋給集群主控服務(wù)器更新資源狀態(tài)信息云系統(tǒng)的集群一般運(yùn)行在多個(gè)機(jī)架上， 不同機(jī)架上的數(shù)據(jù)通 信必須通過交換機(jī)， 通常機(jī)架內(nèi)節(jié)點(diǎn)之間的帶寬比跨機(jī)架節(jié)點(diǎn)之 間的帶寬要大， 這有可能影響云系統(tǒng)的可靠性和性能。 采用機(jī)架 感知(Rack?aware)策略9，將數(shù)據(jù)塊以多個(gè)副本形式

16、部署在 本地機(jī)架和不同機(jī)架上， 改進(jìn)數(shù)據(jù)的可靠性、 可用性和網(wǎng)絡(luò)帶寬 的利用率。 此策略可防止機(jī)架失效時(shí)的數(shù)據(jù)丟失， 也可保證系統(tǒng) 的性能。 2.3.2 心跳檢測(cè)技術(shù)在任何系統(tǒng)設(shè)計(jì)中， 硬件異常檢測(cè)總是極其重要的。 云系統(tǒng) 采用心跳檢測(cè) 10 技術(shù)來控制系統(tǒng)硬件的異常情況。 集群主控服 務(wù)器周期性地通過節(jié)點(diǎn)控制器接受虛擬機(jī)的心跳包和塊報(bào)告， 以 此判斷虛擬機(jī)的存活狀態(tài)： 收到心跳包說明工作正常； 若在特定 時(shí)間 t 內(nèi)沒有收到心跳包信息， 則認(rèn)為宕機(jī)， 系統(tǒng)將不會(huì)發(fā)給它 們?nèi)魏涡碌?I/O 請(qǐng)求。對(duì)于宕機(jī)的虛擬機(jī)， 系統(tǒng)將不斷進(jìn)行檢測(cè) 并通過虛擬機(jī)管理器進(jìn)行故障修復(fù)，若在特定時(shí)間內(nèi)仍無法恢 復(fù)，則將重新復(fù)制該數(shù)據(jù)塊， 避免該數(shù)據(jù)塊副本數(shù)減少所造成的 影響。智能節(jié)點(diǎn)替換技術(shù) 智能節(jié)點(diǎn)替換技術(shù)與心跳檢測(cè)技術(shù)聯(lián)合應(yīng)用， 當(dāng)系統(tǒng)在特定 時(shí)間內(nèi)仍無法檢測(cè)到某數(shù)據(jù)塊的心跳包時(shí)， 則將該數(shù)據(jù)包重新復(fù) 制，此時(shí)，節(jié)點(diǎn)控制器將更新數(shù)據(jù)包的新位置，并使用新節(jié)點(diǎn)替 換原來的故障節(jié)點(diǎn)，保證數(shù)據(jù)傳輸?shù)倪B貫性。負(fù)載均衡技術(shù) 負(fù)載均衡是很多系統(tǒng)中需要解決的重要問題。在云系統(tǒng)中， 云核心服務(wù)器根據(jù)節(jié)點(diǎn)控制器發(fā)送的心跳信息和存儲(chǔ)的數(shù)據(jù)塊 情況，掌握各節(jié)點(diǎn)的當(dāng)前狀態(tài)， 通過平衡資源狀態(tài)信息表中的資 源分配情況， 將數(shù)據(jù)塊分配給負(fù)載較輕