中國科學(xué):信息科學(xué)SCIENTIASINICAInformationis進展進展數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā)朱文武1*,王智21.清華大學(xué)計算機系,北京1000862.清華大學(xué)深圳國際研究生院,深圳518055*通信作者.E-mail:wwzhu@收稿日期:2020–02–03;修回日期:2020–03–15;接受日期:2020–04–22;網(wǎng)絡(luò)出版日期:2021–03–02國家自然科學(xué)基金面上項目(批準號:61872215)和國家自然科學(xué)基金重大項目(批準號:U1611461)資助摘要近年來,網(wǎng)絡(luò)多媒體迅猛發(fā)展.相較于傳統(tǒng)固定網(wǎng)絡(luò)多媒體內(nèi)容服務(wù),興起的移動化多媒體服務(wù)中的用戶行為發(fā)生了根本變化.傳統(tǒng)內(nèi)容分發(fā)架構(gòu)依靠中心化基礎(chǔ)設(shè)施、全局流行度趨勢,無法有效感知和服務(wù)移動多媒體內(nèi)容.利用邊緣網(wǎng)絡(luò)架構(gòu)結(jié)合數(shù)據(jù)驅(qū)動策略服務(wù)動態(tài)移動多媒體內(nèi)容,提升服務(wù)質(zhì)量成為一種新的選擇.通過數(shù)據(jù)驅(qū)動與跨域協(xié)同的研究方法,本文深入研究移動多媒體內(nèi)容服務(wù)規(guī)律、系統(tǒng)架構(gòu)、策略設(shè)計等.本文首先探討數(shù)據(jù)驅(qū)動的大規(guī)模移動多媒體內(nèi)容分發(fā)模式挖掘與網(wǎng)絡(luò)性能分析,揭示邊緣多媒體內(nèi)容分發(fā)與傳統(tǒng)內(nèi)容分發(fā)的本質(zhì)區(qū)別;進一步,本文給出一般性的邊緣多媒體網(wǎng)絡(luò)與內(nèi)容分發(fā)的研究方法,包括數(shù)據(jù)驅(qū)動與跨域協(xié)同的多媒體邊緣網(wǎng)絡(luò)內(nèi)容分發(fā)研究框架.最后,本文給出幾種代表性框架,包括基于社交媒體傳播預(yù)測進行內(nèi)容部署的SocialCDN,基于內(nèi)容提供商智能的CPCDN,基于邊緣網(wǎng)絡(luò)設(shè)備進行移動多媒體內(nèi)容分發(fā)的EdgeCDN,以及基于用戶眾籌資源的CrowdCDN.關(guān)鍵詞多媒體網(wǎng)絡(luò),大規(guī)模內(nèi)容分發(fā),數(shù)據(jù)驅(qū)動策略,邊緣計算,資源分配1引言1.1多媒體內(nèi)容分發(fā)的社交化與移動化趨勢大規(guī)模網(wǎng)絡(luò)多媒體是異構(gòu)網(wǎng)絡(luò)環(huán)境下大規(guī)模用戶與海量媒體內(nèi)容交互、傳播、演化形成的媒體形態(tài),用以滿足高動態(tài)、高并發(fā)的多模態(tài)信息訪問需求,已成為數(shù)字內(nèi)容產(chǎn)業(yè)、寬帶信息服務(wù)、公共安全等國家重大戰(zhàn)略需求的重要共性支撐.大規(guī)模網(wǎng)絡(luò)多媒體本質(zhì)是一個由內(nèi)容、網(wǎng)絡(luò)和用戶3個域相互耦合所形成的復(fù)雜系統(tǒng).傳統(tǒng)網(wǎng)絡(luò)多媒體分發(fā)理論與方法一直受限于3個域相互獨立的簡化假設(shè),在單一域割裂地對網(wǎng)絡(luò)資源進行局部優(yōu)化配置,導(dǎo)致有限的網(wǎng)絡(luò)資源與用戶高動態(tài)高并發(fā)媒體需求之間產(chǎn)生難以逾越的鴻溝.而用戶對媒體信息的訪問頻率及交互方式等行為數(shù)據(jù)已經(jīng)成為內(nèi)容分發(fā)的重要引用格式:朱文武,王智.數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā).中國科學(xué):信息科學(xué),2021,51:468–504,doi:10.1360/SSI-2020-0008ZhuWW,WangZ.Data-drivenmultimediaedgenetworkandcontentdelivery(inChinese).SciSinInform,2021,51:468–504,doi:10.1360/SSI-2020-0008?c2021《中國科學(xué)》雜志社3期驅(qū)動要素.如何揭示媒體內(nèi)容、網(wǎng)絡(luò)拓撲和用戶行為的內(nèi)在相互作用機理,發(fā)展大規(guī)模多媒體的資源跨域協(xié)同計算理論與方法,突破信源–網(wǎng)絡(luò)–終端獨立假設(shè)的局限,實現(xiàn)系統(tǒng)性跨域協(xié)同的資源優(yōu)化配置,是國際學(xué)術(shù)界共同關(guān)注的前沿課題.傳統(tǒng)的多媒體內(nèi)容分發(fā)主要通過優(yōu)化網(wǎng)絡(luò)性能,向日益增長的用戶提供多媒體下載及流媒體服務(wù).然而,社交網(wǎng)絡(luò)與多媒體內(nèi)容分發(fā)網(wǎng)絡(luò)的相互滲透,使得在線多媒體內(nèi)容的分發(fā)越來越多受到社交網(wǎng)絡(luò)的影響,給傳統(tǒng)多媒體內(nèi)容分發(fā)系統(tǒng)帶來巨大沖擊.傳統(tǒng)多媒體內(nèi)容分發(fā)系統(tǒng)由于僅被動地從內(nèi)容訪問角度出發(fā),無法主動感知用戶個體行為借助社交關(guān)系相互影響產(chǎn)生的在線多媒體傳播規(guī)律和趨勢,現(xiàn)有依賴多媒體內(nèi)容流行度進行內(nèi)容分發(fā)的方法針對社交視頻內(nèi)容不再完全有效,無法適應(yīng)社交化多媒體內(nèi)容分發(fā)同時受到用戶屬性、內(nèi)容屬性和傳播屬性等影響的新特性.傳統(tǒng)方法網(wǎng)絡(luò)域獨立的資源分配,因此無法突破靜態(tài)規(guī)劃、結(jié)構(gòu)固化,以及單向被動的局限性.為滿足社交化多媒體服務(wù)中用戶區(qū)域化分布、內(nèi)容動態(tài)生成與傳播,以及異構(gòu)化內(nèi)容處理的要求,需要靈活、可配置的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)資源分配策略,根據(jù)社交關(guān)系、用戶行為、內(nèi)容傳播制定的內(nèi)容部署策略,以及計算、存儲、帶寬資源優(yōu)化的社交多媒體服務(wù)部署策略.本文通過數(shù)據(jù)驅(qū)動方法,從內(nèi)容、用戶、傳播角度研究多媒體內(nèi)容邊緣分發(fā)的關(guān)鍵策略.1.2多媒體網(wǎng)絡(luò)與內(nèi)容分發(fā)架構(gòu)的邊緣化趨勢網(wǎng)絡(luò)和存儲基礎(chǔ)設(shè)施的邊緣化是近年來內(nèi)容分發(fā)技術(shù)發(fā)展的趨勢,逐漸形成基于邊緣網(wǎng)絡(luò)基礎(chǔ)設(shè)施的內(nèi)容分發(fā)形態(tài),并推動了基于共享資源的邊緣內(nèi)容服務(wù)新模式.在邊緣內(nèi)容分發(fā)中,內(nèi)容提供商將內(nèi)容數(shù)據(jù)從距離用戶較遠的傳統(tǒng)數(shù)據(jù)中心服務(wù)器推送到距離用戶近得多的小基站、智能路由、機頂盒等邊緣設(shè)備,向用戶提供近距離內(nèi)容服務(wù).近年來,這一新的內(nèi)容服務(wù)模式在工業(yè)界得到驗證,以谷歌邊緣網(wǎng)絡(luò)(Googleedgenetwork)、英特爾邊緣虛擬化(Intelnetworkedgevirtualization)、迅雷水晶、優(yōu)酷路由寶等為代表的服務(wù)驗證其內(nèi)容分發(fā)效率,數(shù)百萬分散用戶共享存儲帶寬資源,參與邊緣內(nèi)容分發(fā),緩解骨干網(wǎng)絡(luò)壓力,同時提升服務(wù)質(zhì)量.與中心化內(nèi)容分發(fā)模式相比,邊緣網(wǎng)絡(luò)設(shè)備分散導(dǎo)致存儲和網(wǎng)絡(luò)資源分配策略局部化,內(nèi)容分發(fā)策略受用戶移動和內(nèi)容交互行為影響動態(tài)化,使得傳統(tǒng)內(nèi)容分發(fā)策略效率低.基于邊緣網(wǎng)絡(luò)資源的內(nèi)容分發(fā)給網(wǎng)絡(luò)部署、內(nèi)容放置、資源分配、數(shù)據(jù)傳輸?shù)葞硇碌奶魬?zhàn).與傳統(tǒng)內(nèi)容分發(fā)相比,邊緣內(nèi)容分發(fā)同時受網(wǎng)絡(luò)部署、內(nèi)容放置、用戶行為等影響,具有以下新變化.首先,邊緣網(wǎng)絡(luò)和邊緣設(shè)備通常分散部署,具有網(wǎng)絡(luò)拓撲多變和資源分布不規(guī)律的特點.由于大量的自發(fā)部署,邊緣網(wǎng)絡(luò)呈現(xiàn)資源的分布不均勻與網(wǎng)絡(luò)的多樣性.一方面,小型基站等蜂窩網(wǎng)絡(luò)資源以及機頂盒、寬帶網(wǎng)關(guān)、家庭智能路由器等用戶資源采用按需逐步迭代式部署,無法進行細致規(guī)劃,用戶家庭資源主要受商業(yè)推廣或者用戶實際需求自主安裝等模式驅(qū)動,邊緣網(wǎng)絡(luò)資源呈現(xiàn)出分布不規(guī)劃、不均勻等特征;另一方面,不同鏈路中的擁塞程度不同,不同時間段網(wǎng)絡(luò)狀態(tài)也動態(tài)變化,邊緣網(wǎng)絡(luò)資源呈現(xiàn)高度動態(tài)性.如何高效地對邊緣資源進行優(yōu)化配置是邊緣內(nèi)容分發(fā)的前提.用戶行為、偏好、小群體特性,以及內(nèi)容局部流行度特征共同影響邊緣內(nèi)容分發(fā)策略.與中心化內(nèi)容分發(fā)相比,邊緣內(nèi)容傳輸還受用戶行為影響.一方面,用戶行為呈現(xiàn)區(qū)域偏好差異:由于不同區(qū)域的屬性不同,對應(yīng)用戶的偏好呈現(xiàn)出異構(gòu)性.基于全局流行度部署和復(fù)制內(nèi)容的方法忽略了區(qū)域偏好差異,將大大降低邊緣內(nèi)容分發(fā)效率;另一方面,用戶在網(wǎng)絡(luò)邊緣呈現(xiàn)小群體特性:相對于中心內(nèi)容服務(wù)器而言,邊緣設(shè)備所服務(wù)的用戶數(shù)量遠遠少于內(nèi)容服務(wù)器的用戶數(shù)量,造成在邊緣網(wǎng)絡(luò)所看到的用戶請求、用戶行為等數(shù)據(jù)更加稀疏,隨機性大,離群體統(tǒng)計顯著.傳統(tǒng)的基于全局流行度的內(nèi)容分發(fā)策略利用宏觀用戶群體特性不再實用.刻畫用戶行為、理解內(nèi)容交互規(guī)律、掌握小群體用戶特征、實時預(yù)朱文武等:數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā)測局部內(nèi)容流行度是邊緣內(nèi)容分發(fā)的基礎(chǔ).1.3邊緣多媒體分發(fā)面臨的主要挑戰(zhàn)邊緣內(nèi)容分發(fā)設(shè)備容量小、用戶群體變化大、內(nèi)容更新快,造成邊緣內(nèi)容分發(fā)策略動態(tài)變化.由于用戶行為的動態(tài)性,在邊緣內(nèi)容分發(fā)中策略的性能反饋也常常具有動態(tài)特性.(1)用戶移動使得邊緣設(shè)備的群體隨時變化;(2)在線內(nèi)容流行度隨時空變化強度高;(3)不同設(shè)備受各自用戶群體、局部內(nèi)容等影響呈現(xiàn)差異化,使得內(nèi)容分發(fā)策略具有很強的異構(gòu)性.邊緣內(nèi)容分發(fā)主要面臨的挑戰(zhàn)如下.用戶生成內(nèi)容的可擴展性.未來多媒體內(nèi)容分發(fā)的首要挑戰(zhàn)來自海量的用戶生成內(nèi)容.社交多媒體產(chǎn)生量遠遠超過傳統(tǒng)內(nèi)容提供商所生產(chǎn)的內(nèi)容量.龐大的用戶生成內(nèi)容數(shù)量,給傳統(tǒng)內(nèi)容分發(fā)網(wǎng)絡(luò)的體系結(jié)構(gòu),以及存儲、帶寬資源分配帶來巨大挑戰(zhàn):首先,這些數(shù)據(jù)需要從用戶端上傳到社交多媒體服務(wù)系統(tǒng),消耗大量上傳帶寬,傳統(tǒng)內(nèi)容分發(fā)網(wǎng)絡(luò)面向用戶下載的非對稱帶寬分配方式不適應(yīng)用戶生成內(nèi)容;其次,由于用戶生成內(nèi)容數(shù)量大,傳統(tǒng)內(nèi)容分發(fā)系統(tǒng)的基于熱點內(nèi)容的分發(fā)策略在保證所有內(nèi)容的可用性上面臨挑戰(zhàn);最后,由于用戶的全球化分布,依賴于多區(qū)域數(shù)據(jù)中心的網(wǎng)絡(luò)支持,用戶生成內(nèi)容的海量化使得多媒體數(shù)據(jù)在不同數(shù)據(jù)中心間的遷移帶來巨大代價.內(nèi)容傳播的動態(tài)性.大規(guī)模多媒體內(nèi)容通過社交關(guān)系鏈進行傳播,并直接影響受眾產(chǎn)生對多媒體內(nèi)容的訪問.內(nèi)容的傳播由于同時受到社交關(guān)系拓撲、用戶行為、內(nèi)容屬性等影響,具有很強的動態(tài)性特征[1],用戶屬性和內(nèi)容屬性可以同時影響內(nèi)容的傳播強度.在傳統(tǒng)內(nèi)容分發(fā)中,缺少對內(nèi)容傳播的分析,尤其是傳播受內(nèi)容屬性、用戶行為影響的分析,難以把握在社交網(wǎng)絡(luò)環(huán)境下內(nèi)容訪問的模式.社交多媒體內(nèi)容流行度的扁平化.由于用戶關(guān)系與用戶行為影響,傳統(tǒng)內(nèi)容分發(fā)系統(tǒng)的流行度分布在社交網(wǎng)絡(luò)中發(fā)生了變化,其顯著特性在于流行度分布的扁平化.在傳統(tǒng)內(nèi)容分發(fā)系統(tǒng)中,內(nèi)容流行度分布具有明顯熱點化的特性,使得基于熱點緩存的內(nèi)容部署策略能夠有效服務(wù)大部分用戶.而社交多媒體的內(nèi)容流行度,由于受用戶行為影響,大量內(nèi)容在小圈子中分享,呈扁平化分布,使得傳統(tǒng)內(nèi)容部署策略無法達到預(yù)期目標.內(nèi)容處理與內(nèi)容分發(fā)的融合.新型多媒體服務(wù)系統(tǒng)提供大量開放接口為開發(fā)者提供了利用各種社交網(wǎng)絡(luò)信息的能力,涌現(xiàn)出不同目的的社交多媒體應(yīng)用,這些應(yīng)用通常需要不同的內(nèi)容處理方式,包括內(nèi)容分析、編輯、增強等.而由于社交多媒體內(nèi)容生成、傳播、分發(fā)的時效性,內(nèi)容處理需要與內(nèi)容分發(fā)聯(lián)合調(diào)度,才能即時滿足用戶對動態(tài)社交多媒體應(yīng)用的需求.在傳統(tǒng)內(nèi)容服務(wù)中,內(nèi)容分發(fā)網(wǎng)絡(luò)通常作為一個管道,在給定模式下,簡單地將內(nèi)容從內(nèi)容提供商傳輸?shù)接脩舳?而在社交網(wǎng)絡(luò)背景下,除了用戶生成內(nèi)容之外,由于人們對動態(tài)內(nèi)容的需求,大量的內(nèi)容處理在分發(fā)的路徑中出現(xiàn),與內(nèi)容分發(fā)緊密相連.內(nèi)容場景自身的邊緣化.社交網(wǎng)絡(luò)開始流行之后,內(nèi)容如何到達用戶已經(jīng)不受中心內(nèi)容提供商影響:邊緣用戶生成內(nèi)容、上傳內(nèi)容,并且在用戶間直接分享內(nèi)容,使內(nèi)容分發(fā)變成一種邊緣到邊緣的模式.這一分發(fā)模式改變帶來的挑戰(zhàn)一方面體現(xiàn)在,由于不受中心內(nèi)容提供商的控制,用戶行為將直接影響內(nèi)容訪問,傳統(tǒng)的網(wǎng)絡(luò)資源分配策略無法及時響應(yīng)內(nèi)容訪問受用戶影響而具有的隨機性和動態(tài)性;另一方面,邊緣化內(nèi)容分發(fā)大大增加了非流行內(nèi)容的分發(fā)成本,由于系統(tǒng)中存在大量這類用戶生成內(nèi)容,給傳統(tǒng)內(nèi)容分發(fā)方法帶來巨大部署代價.邊緣網(wǎng)絡(luò)部署復(fù)雜多樣.如何挖掘影響邊緣內(nèi)容分發(fā)性能的網(wǎng)絡(luò)、用戶、內(nèi)容因素及其影響規(guī)律,預(yù)測用戶的移動、用戶–內(nèi)容交互,以及內(nèi)容局部流行度規(guī)律,從而對邊緣網(wǎng)絡(luò)態(tài)勢的測量和深度感知是邊緣內(nèi)容分發(fā)的基礎(chǔ).而對邊緣網(wǎng)絡(luò)進行大規(guī)模測量覆蓋影響存儲、計算、網(wǎng)絡(luò)資源分配策略的用戶線上和線下行為等.隨著邊緣網(wǎng)絡(luò)部署規(guī)模的增大,邊緣內(nèi)容分發(fā)節(jié)點的可信性問題日益明顯且3期對多媒體分發(fā)性能具有顯著影響,Wang等[2]分析了大量視頻瀏覽歷史被非可信節(jié)點獲得而帶來的隱私問題.2研究現(xiàn)狀與相關(guān)工作2.1用戶域與多媒體內(nèi)容分發(fā)社交媒體的理念在于用戶在系統(tǒng)中生成內(nèi)容,同時對內(nèi)容進行傳播,使得用戶可以通過好友等社交關(guān)系,獲得需要的內(nèi)容[3].在社交媒體背景下,視頻內(nèi)容的訪問特性發(fā)生巨大的變化,下面綜述社交網(wǎng)絡(luò)自身特性及其對用戶訪問視頻內(nèi)容的影響.2.1.1社交化多媒體內(nèi)容訪問與用戶興趣特性社交化多媒體內(nèi)容訪問.在線社交網(wǎng)絡(luò)與在線視頻網(wǎng)絡(luò)分別代表了互聯(lián)網(wǎng)上人的網(wǎng)絡(luò)和多媒體內(nèi)容的網(wǎng)絡(luò),它們的流量占據(jù)著整個互聯(lián)網(wǎng)流量的最大比例.在線視頻網(wǎng)絡(luò)與在線社交網(wǎng)絡(luò)融合,使得工業(yè)界和學(xué)術(shù)界都開始關(guān)注社交化多媒體服務(wù).在Web2.0時代,視頻服務(wù)開始越來越關(guān)注由在線社交網(wǎng)絡(luò)引起的社會效應(yīng),Cha等[4]研究了以YouTube為代表的基于用戶生成內(nèi)容(user-generatedcontent,UGC)視頻分享系統(tǒng)中內(nèi)容的流行度、訪問模式,以及針對用戶生成內(nèi)容的視頻服務(wù)系統(tǒng)的設(shè)計原則.Li等[5]研究了面向在線社交網(wǎng)絡(luò)的視頻分享,給出了內(nèi)容流行度的變化規(guī)律以及用戶行為數(shù)量的冪律分布,由于個性化的用戶行為的廣泛引入,社交網(wǎng)絡(luò)中內(nèi)容之間形成了以用戶行為為紐帶的關(guān)聯(lián)性.Cheng等[6]進一步研究在基于用戶生成內(nèi)容的視頻分享系統(tǒng)中形成的內(nèi)容之間的這種關(guān)聯(lián),他們給出,在社交化用戶生成視頻系統(tǒng)中,由于用戶行為導(dǎo)致內(nèi)容關(guān)聯(lián)形成的網(wǎng)絡(luò),也具有類似社交網(wǎng)絡(luò)的網(wǎng)絡(luò)特性,如小世界特性等.由于社交網(wǎng)絡(luò)提供了各種用戶交互,Benevenuto等[7]研究了在社交化多媒體訪問中用戶的交互式行為及其特點,指出在社交化多媒體系統(tǒng)中,用戶行為有時會出現(xiàn)一定隨機性.Lemlouma等[8]則從用戶使用社交網(wǎng)絡(luò)的上下文角度,研究了用戶行為的動態(tài)性對內(nèi)容分發(fā)中資源分配的影響.Li等[9]研究發(fā)現(xiàn),由于用戶設(shè)備、網(wǎng)絡(luò)性能的差異,用戶生成的視頻版本也存在巨大差異,影響視頻內(nèi)容的分發(fā),例如,手機上傳的視頻質(zhì)量低,需要傳輸?shù)膸捹Y源也相對較少.Bakshy等[10]研究了在線社交網(wǎng)絡(luò)中用戶的影響力模型,給出在社交網(wǎng)絡(luò)中存在擁有巨大影響力的個體,決定內(nèi)容在社交網(wǎng)絡(luò)中的傳播結(jié)論.用戶偏好決定了用戶對視頻內(nèi)容的選擇,帶來視頻請求模式的差異,并最終影響視頻分發(fā)系統(tǒng)的設(shè)計與性能.用戶使用社交化多媒體內(nèi)容時,具有一定的偏好動態(tài)性[11],即偏好隨時間、上下文不斷發(fā)生變化.在社交化多媒體內(nèi)容分發(fā)背景下,社交網(wǎng)絡(luò)不但擁有用戶間社交關(guān)系,同時還記錄了用戶的行為,可以用來學(xué)習(xí)用戶的偏好模型.Debnath等[12]指出,可以通過社交網(wǎng)絡(luò)中用戶關(guān)系推測用戶對不同在線內(nèi)容的偏好.然而,不同的社交關(guān)系實際上對用戶偏好的反映是不同的,針對這個問題,Walter等[13]研究了利用用戶間的信任等級來過濾用戶訪問內(nèi)容中的無關(guān)信息,從而有效利用了社交網(wǎng)絡(luò)中的高質(zhì)量社交關(guān)系,發(fā)現(xiàn)用戶感偏好的內(nèi)容.由于社交關(guān)系反映了重要的用戶隱私,在這一方面,Isaacman等[14]提出一種分布式的矩陣分解方法,只在相關(guān)用戶間進行社交關(guān)系信息的交換,在保證用戶隱私前提下,對用戶偏好進行分析.2.1.2在線社交網(wǎng)絡(luò)對多媒體內(nèi)容分發(fā)的影響傳統(tǒng)內(nèi)容分發(fā)網(wǎng)絡(luò)結(jié)構(gòu)與內(nèi)容部署,沒有考慮社交網(wǎng)絡(luò)中人的影響力對視頻分發(fā)的影響,因此,傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)與內(nèi)容部署策略在在線社交網(wǎng)絡(luò)背景下的社交化多媒體分發(fā)中,通常無法獲得理想的網(wǎng)絡(luò)朱文武等:數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā)表1不同內(nèi)容分發(fā)網(wǎng)絡(luò)結(jié)構(gòu)對社交化多媒體內(nèi)容分發(fā)的能力Table1Impactofdi?erentnetworktopologiesonsocialmultimediacontentdistributionScalabilityDistributedProcessingcapabilityStabilityCostCentralized([21,22])NormalWeakWeakHighHighPeer-to-Peer([2325])StrongStrongWeakLowLowCCN([2629])StrongNormalWeakHighHighCloud-based([3335])StrongNormalStrongHighLowEdge-based([3032])StrongStrongNormalHighLow性能與用戶體驗.Saxena等[15]發(fā)現(xiàn),在某些用戶區(qū)域,用戶進行YouTube視頻播放時平均啟動延遲超過6.5s,嚴重影響用戶體驗.Ager等[16]研究指出,由于社交網(wǎng)絡(luò)帶來的內(nèi)容分發(fā)模式的改變,傳統(tǒng)的內(nèi)容分發(fā)系統(tǒng)已經(jīng)無法滿足今天多樣化的社交化多媒體內(nèi)容分發(fā)需求.而這些性能問題,主要由網(wǎng)絡(luò)結(jié)構(gòu)與視頻內(nèi)容部署策略造成[17].例如,內(nèi)容在不同區(qū)域的部署和帶寬分配無法適應(yīng)用戶訪問規(guī)模的迅速變化.在社交網(wǎng)絡(luò)視頻分享背景下,社交網(wǎng)絡(luò)記錄了社交關(guān)系和用戶行為的重要信息.這些信息可以用來對整個社會中的各種現(xiàn)象進行描述.研究者提出不同模型用于視頻內(nèi)容流行度預(yù)測,包括基于線性回歸模型[18]和機器學(xué)習(xí)模型[19]兩大類.從網(wǎng)絡(luò)拓撲角度,社交網(wǎng)絡(luò)的結(jié)構(gòu)同樣對社交媒體內(nèi)容分發(fā)產(chǎn)生影響,Xu等[20]發(fā)現(xiàn)了社群結(jié)構(gòu)對提升移動對等網(wǎng)絡(luò)傳輸?shù)淖饔?2.1.3面向社交化多媒體的內(nèi)容分發(fā)網(wǎng)絡(luò)結(jié)構(gòu)在社交網(wǎng)絡(luò)系統(tǒng)中,一方面,用戶基數(shù)大,例如,Facebook可以給任何一個社交媒體應(yīng)用提供數(shù)十億潛在用戶;另一方面,用戶分布廣,不同的用戶處于不同的區(qū)域、時間等.因此,內(nèi)容分發(fā)系統(tǒng)結(jié)構(gòu)需要適應(yīng)基于社交網(wǎng)絡(luò)的社交化多媒體應(yīng)用的自身規(guī)模的動態(tài)擴大.在表1[21～35]中,對不同內(nèi)容分發(fā)網(wǎng)絡(luò)結(jié)構(gòu)進行了對比:在集中式CDN(contentdeliverynetwork)中[21,22],內(nèi)容分發(fā)節(jié)點部署在少量數(shù)據(jù)中心,以增加中心節(jié)點、帶寬的方式提高服務(wù)能力,缺點主要是集中性強、成本高,且不具有內(nèi)容處理的計算能力;基于P2P的視頻分發(fā)[23～25],盡管價格低廉,但是由于節(jié)點本身穩(wěn)定差,用戶友好度低(如需要安裝特定程序),在高質(zhì)量視頻服務(wù)中存在有缺陷;近年來,內(nèi)容為中心的網(wǎng)絡(luò)(content-centricnetwork,CCN)得到廣泛關(guān)注,在內(nèi)容為中心的網(wǎng)絡(luò)中[26～29],內(nèi)容本身可以直接作為路由的查詢目標[27],在視頻服務(wù)方面,內(nèi)容為中心的網(wǎng)絡(luò)已經(jīng)在原型視頻系統(tǒng)中得到驗證[28];Xu等[26]進一步驗證其在5G環(huán)境下的優(yōu)勢,對邊緣計算未來發(fā)展具有參考意義;然而,目前內(nèi)容中心網(wǎng)絡(luò)的部署規(guī)模有限,基于云計算的內(nèi)容分發(fā)平臺[33～35],由于網(wǎng)絡(luò)、計算資源的多區(qū)域、靈活按需分配,可以有效滿足社交化多媒體服務(wù)的基本需求,其主要局限是對小內(nèi)容提供商的成本壓力.隨著基礎(chǔ)設(shè)施的邊緣化,一系列邊緣內(nèi)容分發(fā)策略被提出[30～32],為解決前述挑戰(zhàn)提供了新的思路.2.1.4社交化多媒體內(nèi)容分發(fā)基本策略傳統(tǒng)的內(nèi)容分發(fā)策略主要考慮內(nèi)容本身的流行度,并根據(jù)歷史流行度分配存儲與帶寬資源[36].2005年之后,用戶生成內(nèi)容的誕生使得海量內(nèi)容由用戶生成.爆炸式的內(nèi)容增長使得大量冷門內(nèi)容出現(xiàn),這些冷門內(nèi)容無法通過流行度進行差異性部署和傳輸.Cheng等[37]提出利用內(nèi)容之間的相關(guān)性,有效地將不同內(nèi)容連接起來,指導(dǎo)內(nèi)容預(yù)取等策略.然而,近年來興起的社交網(wǎng)絡(luò),改變了傳統(tǒng)內(nèi)容分發(fā)模式[38],例如,內(nèi)容分發(fā)從“中心→邊緣”的模式轉(zhuǎn)移到“邊緣→邊緣”的方式,導(dǎo)致社交化多媒體內(nèi)容的流行度出現(xiàn)扁平化.為了更好地服務(wù)這類社會化內(nèi)容,出現(xiàn)了一些基于社交網(wǎng)絡(luò)信息的內(nèi)容3期部署策略,包括基于利用用戶生成內(nèi)容模式進行傳輸策略設(shè)計.由于在線社交網(wǎng)絡(luò)被人們廣泛用來訪問視頻內(nèi)容,對社交關(guān)系和用戶行為的研究可以幫忙人們理解以下問題:一個視頻內(nèi)容被不同用戶分享之后,如何利用社交網(wǎng)絡(luò)信息得知該內(nèi)容會被哪些其他用戶使用.Li等[39]研究了在線視頻內(nèi)容在社交網(wǎng)絡(luò)的傳播特性,以及通過一個Branching模型,對內(nèi)容傳播的刻畫,從而以模型的形式給出視頻內(nèi)容在社交網(wǎng)絡(luò)中與用戶關(guān)聯(lián)的過程.基于傳播,Li等[40]提出一種利用對等網(wǎng)絡(luò)進行內(nèi)容部署的策略,通過挖掘用戶興趣相似性和社交關(guān)系進行內(nèi)容有效部署.Nguyen等[41]研究了如何在服務(wù)器出現(xiàn)故障的情況下的系統(tǒng)恢復(fù)問題,提出利用社交關(guān)系局部性對數(shù)據(jù)進行備份,從而達到容災(zāi)目的.在內(nèi)容預(yù)取方面,Wang等[42]也研究了高效的社交化多媒體預(yù)提策略,利用用戶間的社交關(guān)系和偏好歷史記錄,對即將觀看的視頻內(nèi)容的最關(guān)鍵數(shù)據(jù)塊進行預(yù)取,降低視頻播放時的啟動延遲,提高用戶體驗.從本節(jié)的綜述可以看到,傳統(tǒng)工作將用戶與內(nèi)容分離考慮,然而,在社交網(wǎng)絡(luò)中,內(nèi)容如何在用戶之間傳播,同時受到用戶社交關(guān)系、用戶行為,以及內(nèi)容本身的綜合影響.為了解決這一問題,本文作者在社交媒體傳輸中的相關(guān)工作[32]中,提出一種基于傳播的社交感知的社交化多媒體內(nèi)容傳輸機制.這一機制一方面通過數(shù)據(jù)驅(qū)動方法,理解傳播模型;另一方面,基于對傳播的理解,給出多媒體內(nèi)容在社交網(wǎng)絡(luò)中傳播參數(shù)的預(yù)測,從而直接指導(dǎo)帶寬資源分配、緩存替換等策略設(shè)計.2.2網(wǎng)絡(luò)域與多媒體內(nèi)容分發(fā)2.2.1多媒體內(nèi)容分發(fā)中計算與網(wǎng)絡(luò)資源優(yōu)化近年來,隨著云計算平臺和技術(shù)的發(fā)展,一種基于云計算的內(nèi)容分發(fā)模式逐漸成為人們解決視頻分發(fā)問題的新選擇.在這種視頻內(nèi)容分發(fā)模式中,存儲、帶寬等資源根據(jù)用戶規(guī)模,動態(tài)地在不同的區(qū)域進行分配,從而經(jīng)濟地滿足來自不同區(qū)域的用戶的請求[43,44].在云計算模式下,硬件和軟件資源通過虛擬化技術(shù)[31],被抽象為服務(wù)提供給用戶[45].不同的云計算提供商,向用戶提供不同類型的服務(wù)[46],包括基礎(chǔ)設(shè)施即服務(wù)(IaaS)、平臺即服務(wù)(PaaS),以及軟件即服務(wù)(SaaS)模式.云計算服務(wù)類型之間也存在靈活的轉(zhuǎn)換現(xiàn)象,Chohan等[47]研究發(fā)現(xiàn),通過模式擴展可以在分布式的物理平臺上,獲得一種平臺即服務(wù)的效果.云計算平臺的彈性資源已經(jīng)被小型在線應(yīng)用提供商廣泛使用,滿足他們動態(tài)增長的資源需求[48].Agarwal等[49]研究了在云計算框架下,數(shù)據(jù)如何有效自動部署,提高用戶訪問性能.工業(yè)界的相關(guān)實踐還發(fā)現(xiàn),同時使用多個云計算提供商,多種云計算服務(wù),可以有效地滿足應(yīng)用的不同資源需求.在利用多個云計算服務(wù)的研究中,Li等[50]提出了一種云計算服務(wù)的對比方法,用于為云計算用戶根據(jù)價格、服務(wù)質(zhì)量等指標選擇不同的云提供商.Rehman等[51]進一步擴展了這些指標的使用方法,提出了一種多目標的云計算服務(wù)選擇策略,滿足更加復(fù)雜的用戶需求.在傳統(tǒng)的文件下載[52]、Web服務(wù)[53]方面,云計算平臺已經(jīng)展示了其高效性和經(jīng)濟性.而在本文關(guān)注的視頻服務(wù)中,云計算的彈性資源分配也逐漸在視頻內(nèi)容分發(fā)中展示出其有效性.從2010年起,視頻公司Net?ix就開始在基于Amazon的云計算平臺上部署視頻服務(wù).一方面,Amazon的云存儲服務(wù)S3為視頻內(nèi)容提供了可擴展的存儲資源,另一方面,部署在各地的EC2提供了不同區(qū)域用戶的帶寬資源.Net?ix的成功經(jīng)歷,驗證了云計算平臺可以提供進行大規(guī)模視頻服務(wù)所需的存儲、網(wǎng)絡(luò)資源.由于云計算資源的靈活配置特性,Cervino等[24]進一步研究了一種利用云計算服務(wù)器節(jié)點與對等網(wǎng)節(jié)點結(jié)合的視頻傳輸框架.Wang等[54]研究了如何在用戶對視頻內(nèi)容動態(tài)訪問條件下,利用云計算服務(wù)支持直播類視頻應(yīng)用.社交網(wǎng)絡(luò)催生大量社交化多媒體應(yīng)用,這些應(yīng)用增長迅速,需要動態(tài)化、多區(qū)域網(wǎng)絡(luò)和計算資源.基于云計算的內(nèi)容分發(fā)網(wǎng)絡(luò)結(jié)構(gòu)與資源分配模式為這一新的趨勢提供了資源保障.朱文武等:數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā)2.2.2邊緣基礎(chǔ)架構(gòu)與多媒體內(nèi)容分發(fā)急速增長的網(wǎng)絡(luò)流量與緩慢升級的底層網(wǎng)絡(luò)硬件設(shè)施的溝壑越來越大,同時用戶對服務(wù)質(zhì)量的期望越來越高.傳統(tǒng)集中式內(nèi)容傳送方式面臨著如下問題:(1)用戶所請求的內(nèi)容需要跨越整個網(wǎng)絡(luò)從原始服務(wù)器獲取,導(dǎo)致用戶體驗到的服務(wù)延遲大;(2)原始服務(wù)器負載大,網(wǎng)絡(luò)中間鏈路擁塞狀態(tài)動態(tài)變化,造成整個服務(wù)可靠性差;(3)原始服務(wù)器的出口帶寬決定著可以服務(wù)的請求數(shù),系統(tǒng)可擴展性差.針對這些問題,邊緣內(nèi)容分發(fā)逐漸被研究者關(guān)注.工業(yè)界和學(xué)術(shù)界開始重新思考,探索內(nèi)容分發(fā)架構(gòu).5G系統(tǒng)提出把內(nèi)容推送到更靠近用戶的地方,追求將端到端延遲減少到1ms以內(nèi)[55].分散在網(wǎng)絡(luò)邊緣靠近用戶的廉價閑置資源作為潛在的可利用資源受到工業(yè)界和學(xué)術(shù)界的極大關(guān)注.與在骨干網(wǎng)絡(luò)部署內(nèi)容分發(fā)網(wǎng)絡(luò)節(jié)點不同,新的研究開始著眼于收集離散的海量邊緣資源,在網(wǎng)絡(luò)邊緣進行內(nèi)容分發(fā).這種分發(fā)模式能夠減少用戶感知的服務(wù)延遲,同時緩解骨干網(wǎng)絡(luò)的流量壓力.為了應(yīng)對移動流量的爆炸增長,移動網(wǎng)絡(luò)運營商探索通過部署更多的小型蜂窩基站,并在小基站上緩存內(nèi)容減少高峰時期骨干網(wǎng)絡(luò)負載[56].一些研究工作圍繞著蜂窩網(wǎng)絡(luò)緩存效率優(yōu)化展開.文獻[57]綜合考慮基站覆蓋范圍以及基站的帶寬大小形式化定義路由和緩存聯(lián)合優(yōu)化問題,提出最大化內(nèi)容請求被小區(qū)基站服務(wù)的內(nèi)容放置算法.文獻[58]在考慮路由、緩存的基礎(chǔ)上,進一步設(shè)計協(xié)同蜂窩網(wǎng)絡(luò)中的頻道分配策略,最大化整個系統(tǒng)的吞吐率.文獻[59]從內(nèi)容提供商的角度出發(fā),提出在多個蜂窩網(wǎng)絡(luò)間在線協(xié)同緩存算法,最小化內(nèi)容提供商用戶流失以及存儲開銷.文獻[60]采用遷移學(xué)習(xí)框架預(yù)測內(nèi)容流行度,指導(dǎo)在異質(zhì)蜂窩網(wǎng)絡(luò)(基站/小基站混合)中的內(nèi)容緩存.Li等[61]針對發(fā)展中國家,網(wǎng)絡(luò)帶寬低、服務(wù)質(zhì)量不穩(wěn)定等問題,設(shè)計出網(wǎng)絡(luò)中間件,通過聯(lián)合基于云主機以及基于智能路由器的下載方法,實現(xiàn)更好的離線下載體驗,即中間件提前下載用戶請求的內(nèi)容;下載完成后,用戶就可以高速獲取該內(nèi)容.Chen等[62]利用分散在用戶家庭的智能路由器的閑散帶寬資源和存儲資源,開發(fā)出基于眾包的內(nèi)容分發(fā)模式,并通過實際部署測量該系統(tǒng)的性能.Ma等[63]從逆向工程的角度,通過大規(guī)模的數(shù)據(jù)測量分析,推斷優(yōu)酷利用路由寶進行內(nèi)容分發(fā)時所采用的內(nèi)容放置以及資源調(diào)度策略.Zhang等[29]提出在網(wǎng)絡(luò)中間協(xié)同緩存策略,緩存算法基于底層的網(wǎng)絡(luò)拓撲以及對等網(wǎng)絡(luò)節(jié)點特性決策是否緩存,實現(xiàn)減少內(nèi)容重復(fù)緩存的目的.Gharaibeh等[59]從內(nèi)容提供商的角度出發(fā),提出在多個蜂窩網(wǎng)絡(luò)間在線(online)協(xié)同緩存算法,最小化內(nèi)容提供商用戶流失以及存儲開銷.3研究方法:數(shù)據(jù)驅(qū)動與跨域協(xié)同的邊緣內(nèi)容分發(fā)框架本文提出跨域協(xié)同與數(shù)據(jù)驅(qū)動的邊緣多媒體分發(fā)的一般框架:通過內(nèi)容域、用戶域、網(wǎng)絡(luò)域數(shù)據(jù)挖掘,研究用戶域與網(wǎng)絡(luò)域?qū)?nèi)容分發(fā)的影響規(guī)律,進而通過跨域協(xié)同的方法對內(nèi)容分發(fā)進行指導(dǎo).3.1數(shù)據(jù)驅(qū)動的大規(guī)模多媒體內(nèi)容分發(fā)數(shù)據(jù)挖掘通過數(shù)據(jù)驅(qū)動的研究方法,本文從內(nèi)容、用戶、傳播角度揭示社交化多媒體內(nèi)容分發(fā)特性.在研究中,利用在線社交網(wǎng)絡(luò)與在線多媒體內(nèi)容網(wǎng)絡(luò)中的真實數(shù)據(jù),對社交化多媒體內(nèi)容生成、傳播和傳輸特性進行測量.本文將揭示社交化多媒體內(nèi)容分發(fā)與傳統(tǒng)內(nèi)容分發(fā)的本質(zhì)區(qū)別,包括社交關(guān)系、用戶行為對社交化多媒體內(nèi)容分發(fā)的影響;多媒體內(nèi)容在社交網(wǎng)絡(luò)中分發(fā)的邊緣化、小圈子化,以及流行度的扁平化;用戶興趣的異構(gòu)性以及社交關(guān)系對用戶興趣的反映;以及內(nèi)容傳播的動態(tài)性、差異性和影響局部性.3期3.2用戶域+內(nèi)容域:基于傳播模式的邊緣網(wǎng)絡(luò)資源分配解決社交化多媒體內(nèi)容分發(fā)問題的關(guān)鍵在于理解用戶域與內(nèi)容分發(fā)的關(guān)聯(lián)和規(guī)律,并設(shè)計相應(yīng)的網(wǎng)絡(luò)資源分配和內(nèi)容部署策略.本文給出下面的研究路徑,首先,通過數(shù)據(jù)驅(qū)動的大規(guī)模測量,研究在線社交網(wǎng)絡(luò)多媒體內(nèi)容傳播模式,并設(shè)計基于傳播模式的傳播預(yù)測模型,以及通過傳播預(yù)測指導(dǎo)社交化多媒體內(nèi)容進行部署;進一步,給出基于內(nèi)容和用戶智能的內(nèi)容部署,通過研究基于上下文信息的內(nèi)容復(fù)制方法和基于用戶信息的內(nèi)容流行度分析方法,指導(dǎo)提高內(nèi)容在傳統(tǒng)內(nèi)容提供商CDN中的部署,提升用戶內(nèi)容服務(wù)質(zhì)量.3.3網(wǎng)絡(luò)域+內(nèi)容域:基于內(nèi)容訪問預(yù)測的多媒體內(nèi)容邊緣部署使用一種邊緣基礎(chǔ)設(shè)施進行內(nèi)容分發(fā)可以有效滿足社交化多媒體應(yīng)用的用戶全局化、規(guī)模動態(tài)增長的需求.本文給出下面的研究路徑.首先,研究基于用戶行為的邊緣網(wǎng)絡(luò)內(nèi)容部署,通過數(shù)據(jù)驅(qū)動的方法對邊緣化內(nèi)容服務(wù)模式和移動視頻流中的用戶行為進行研究,揭示邊緣內(nèi)容服務(wù)中的內(nèi)容請求時空模式,以及用戶移動行為和地理遷移行為對邊緣內(nèi)容分發(fā)的影響;同時,本文給出基于眾籌資源的邊緣內(nèi)容分發(fā),通過對大規(guī)模邊緣CDN的邊緣設(shè)備的組織和邊緣內(nèi)容部署策略進行反向分析,驗證邊緣分發(fā)架構(gòu)改善內(nèi)容分發(fā)大生態(tài)的潛力.3.4本文使用的數(shù)據(jù)集描述3.4.1社交媒體與視頻網(wǎng)絡(luò)數(shù)據(jù)集在本文研究中,使用了以下數(shù)據(jù)集.在社交網(wǎng)絡(luò)方面,使用了騰訊微博數(shù)據(jù),包括原始的微博記錄以及用戶間社交關(guān)系.在視頻內(nèi)容方面,使用了多家在線視頻網(wǎng)絡(luò)中的視頻數(shù)據(jù),研究社交視頻內(nèi)容的分發(fā)方法.在騰訊微博中,同時允許基于關(guān)注好友和基于關(guān)注兩種社交關(guān)系.通過騰訊微博技術(shù)團隊,本文獲得寶貴的數(shù)據(jù)資源,包括用戶發(fā)表、轉(zhuǎn)發(fā)和評論的微博數(shù)據(jù),包括用戶發(fā)布的每條微博記錄,對應(yīng)著微博的ID、用戶,以及用戶的IP地址等信息.通過這些數(shù)據(jù),可以研究用戶在社交網(wǎng)絡(luò)中的行為,以及視頻內(nèi)容在社交網(wǎng)絡(luò)中的傳播.除此之外,微博還提供了用戶之間的社交關(guān)系,包括用戶關(guān)注的其他用戶的ID列表,基于此可以構(gòu)建微博的社交關(guān)系拓撲.由于本文主要研究視頻內(nèi)容的分發(fā)問題,在這些數(shù)據(jù)中,將主要關(guān)心其中視頻內(nèi)容的微博和對應(yīng)用戶記錄,為此,本文通過不同視頻網(wǎng)站中的視頻內(nèi)容對微博數(shù)據(jù)進行了過濾.騰訊微博中用戶間分享的視頻內(nèi)容來自優(yōu)酷等多個視頻網(wǎng)站,使得騰訊微博成為了眾多在線視頻網(wǎng)站的內(nèi)容匯集入口.在本文研究中,使用了其中最重要的5家視頻網(wǎng)站,包括優(yōu)酷、酷6、土豆、迅雷和騰訊視頻.從這些視頻網(wǎng)站,本文采集了350860個視頻內(nèi)容信息,這些視頻分散在目前流行的14個視頻種類中,包括“娛樂”、“原創(chuàng)”、“音樂”等.基于以上視頻集合的一個采樣子集(包括2000多個采樣視頻),本文設(shè)計一種視頻流行度爬蟲,對該子集內(nèi)的視頻內(nèi)容進行了以小時為時間間隔的視頻播放數(shù)量爬取.3.4.2移動視頻與邊緣熱點數(shù)據(jù)集移動視頻數(shù)據(jù)集.這部分數(shù)據(jù)集來自合作方愛奇藝,由北京市180萬用戶兩周內(nèi)的視頻觀看記錄組成,包含用戶觀看40萬個視頻產(chǎn)生的590萬條會話記錄.每條記錄包含以下字段:(1)設(shè)備ID,可以用來跟蹤每個用戶的視頻觀看記錄;(2)用戶開始觀看視頻的時刻;(3)用戶觀看視頻的地理位置信息(經(jīng)、緯度信息):視頻播放器通過設(shè)備GPS定位功能或者通過獲取附近蜂窩基站位置匯報給視頻服務(wù)器;(4)視頻標題.利用這個數(shù)據(jù)集,可以分析用戶在不同區(qū)域的視頻觀看模式以及偏好.而愛奇朱文武等:數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā)藝作為中國視頻行業(yè)的領(lǐng)頭公司,對其用戶數(shù)據(jù)集的分析,具有普適效果,能一定程度代表所有用戶的觀看模式以及偏好.Wi-Fi熱點分布數(shù)據(jù)集.這部分數(shù)據(jù)集來自另一合作方騰訊公司,包含騰訊手機管家在北京市探測到無線熱點的地理分布信息.重要字段信息包括:(1)硬件基本服務(wù)集標識符(basicservicesetidenti?er,BSSID),唯一標識一臺無線熱點設(shè)備;(2)無線熱點的位置信息,即經(jīng)度、緯度信息.這部分數(shù)據(jù)集作為所有無線熱點的一個采樣,為研究北京市邊緣資源的分布提供了重要依據(jù).3.5代表工作簡介下面,本文給出幾個代表性的研究工作,對以上研究思路進行驗證.?SocialCDN:基于傳播預(yù)測的社交化多媒體內(nèi)容部署.通過測量揭示了在線社交網(wǎng)絡(luò)視頻傳播模式,設(shè)計基于傳播模式的傳播預(yù)測模型,有效指導(dǎo)社交化多媒體內(nèi)容進行部署.這部分給出了一種基于數(shù)據(jù)驅(qū)動的視頻內(nèi)容部署框架,通過預(yù)測社交化多媒體的傳播規(guī)模影響區(qū)域和小圈子分享模式,指導(dǎo)內(nèi)容在云計算節(jié)點的復(fù)制策略和在節(jié)點間的緩存策略,滿足不同分享類型的視頻內(nèi)容的有效傳輸.?CPCDN:基于內(nèi)容和用戶智能的內(nèi)容部署.內(nèi)容提供商(contentprovider,CP)構(gòu)建自身內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)進行差異化內(nèi)容分發(fā)成為今天重要的內(nèi)容分發(fā)模式.與傳統(tǒng)內(nèi)容分發(fā)網(wǎng)絡(luò)提供商相比,內(nèi)容提供商可以利用重要的CP層信息,設(shè)計智能的網(wǎng)絡(luò)結(jié)構(gòu)和內(nèi)容分發(fā)策略.這部分工作研究通過測量驅(qū)動的方法,揭示內(nèi)容提供商支持的內(nèi)容分發(fā)網(wǎng)絡(luò)(CPCDN)的潛在性能提升空間,以及如何構(gòu)建高性能CPCDN策略.研究提出兩種CPCDN中的內(nèi)容分發(fā)策略:基于上下文信息的內(nèi)容復(fù)制方法和基于用戶信息的內(nèi)容流行度分析方法.這兩類方法在Web和社交內(nèi)容分發(fā)中有效提高內(nèi)容復(fù)制以及流行度預(yù)測的準確率,提升用戶內(nèi)容服務(wù)質(zhì)量.?EdgeCDN:基于用戶行為的邊緣網(wǎng)絡(luò)內(nèi)容部署.當(dāng)今的互聯(lián)網(wǎng)見證了移動視頻流的普及.從區(qū)域CDN服務(wù)器到對等CDN服務(wù)器(例如,用戶家中的智能路由器)的邊緣網(wǎng)絡(luò)分發(fā)基礎(chǔ)結(jié)構(gòu),緩存內(nèi)容并為用戶提供附近的存儲和網(wǎng)絡(luò)資源.在邊緣網(wǎng)絡(luò)內(nèi)容緩存范例中,Wi-Fi接入點緩存和蜂窩基站緩存已成為兩種主流解決方案.因此了解現(xiàn)有解決方案對于實現(xiàn)高性能大規(guī)模移動視頻分發(fā)至關(guān)重要.然而,在實際的無線網(wǎng)絡(luò)中,移動視頻流的特性和請求模式尚不清楚.本文第6節(jié)使用了真實數(shù)據(jù)集對中國代表性城市內(nèi)容請求模式和移動視頻流中的用戶行為進行研究.為了了解用于移動視頻流的邊緣內(nèi)容緩存的性能,將首先介紹邊緣CDN視角下視頻請求的時空模式,然后使用頻域和熵分析方法分析它們對緩存性能的影響.本文同時研究移動視頻的用戶行為,包括其移動性和地理遷移行為對邊緣內(nèi)容分發(fā)的影響.?CrowdCDN:基于眾籌資源的邊緣內(nèi)容分發(fā).針對互聯(lián)網(wǎng)視頻流量激增的現(xiàn)狀,視頻提供商開始利用數(shù)百萬邊緣設(shè)備的存儲和網(wǎng)絡(luò)資源構(gòu)建一種新型內(nèi)容分發(fā)框架——邊緣視頻CDN,通過將流行內(nèi)容預(yù)部署到用戶邊緣,達到減少用戶內(nèi)容訪問延遲以及緩解CDN服務(wù)器和骨干網(wǎng)流量負載的目標.通過對大規(guī)模邊緣CDN的關(guān)鍵策略(如邊緣設(shè)備的組織管理、邊緣內(nèi)容部署策略)進行分析,這部分驗證了邊緣分發(fā)架構(gòu)改善分發(fā)生態(tài)的潛力,同時揭示了現(xiàn)有系統(tǒng)的缺陷.針對現(xiàn)有系統(tǒng)基于全局流行度的中心控制推送策略未考慮邊緣用戶興趣差異以及就近請求路由導(dǎo)致系統(tǒng)負載失衡的缺陷,這部分提出基于內(nèi)容聚合的存儲資源協(xié)同分發(fā)的負載均衡調(diào)度策略,有效提升邊緣網(wǎng)絡(luò)的用戶請求服務(wù)率.4SocialCDN:基于傳播預(yù)測的社交化多媒體內(nèi)容部署策略近年來,在線社交網(wǎng)絡(luò)成為互聯(lián)網(wǎng)上最重要的服務(wù),涌現(xiàn)出一大批在線社交網(wǎng)絡(luò)應(yīng)用,包括基于3期好友關(guān)系的Facebook、基于關(guān)注關(guān)系的Twitter、基于職業(yè)關(guān)系的LinkedIn,以及國內(nèi)的人人網(wǎng)、新浪微博等.在社交網(wǎng)絡(luò)系統(tǒng)中,人們不但可以維護與他人的社交關(guān)系(包括朋友關(guān)系、關(guān)注關(guān)系等),還可以直接獲取到各種各樣的多媒體內(nèi)容.其中在線視頻是重要的組成部分,其流量占互聯(lián)網(wǎng)流量總量的80%以上.在線社交網(wǎng)絡(luò)與在線視頻服務(wù)系統(tǒng)密切相連:用戶可以將在線視頻服務(wù)系統(tǒng)中的內(nèi)容引入到在線社交網(wǎng)絡(luò)中,并且通過社交關(guān)系進行傳播.這一模式帶動了視頻內(nèi)容的社交化,社交化視頻服務(wù)從根本上改變了人們獲取視頻內(nèi)容的方式:在線社交網(wǎng)絡(luò)成為人們訪問視頻內(nèi)容的入口,而用戶間內(nèi)容分享為人們提供了多樣化的視頻內(nèi)容選擇.這些改變,深刻影響著視頻內(nèi)容分發(fā)系統(tǒng)的策略設(shè)計.在社交化多媒體內(nèi)容服務(wù)中,用戶參與內(nèi)容的產(chǎn)生、分發(fā)及消費全過程,社會化視頻內(nèi)容服務(wù),已經(jīng)成為互聯(lián)網(wǎng)視頻內(nèi)容應(yīng)用的發(fā)展趨勢.根據(jù)ForeSee的報道,超過18%的用戶在選擇在線視頻觀看時,會直接受到社交網(wǎng)絡(luò)的影響.這帶來一個新的研究問題,即如何有效地在前一節(jié)給出的網(wǎng)絡(luò)結(jié)構(gòu)、用戶劃分和網(wǎng)絡(luò)資源分配基礎(chǔ)上,有效地進行社交化多媒體內(nèi)容部署,實現(xiàn)高質(zhì)量社交化多媒體內(nèi)容服務(wù).用戶在不同區(qū)域的分布,以及用戶對不同區(qū)域服務(wù)器資源的偏好,決定了網(wǎng)絡(luò)資源的分配策略;而用戶對內(nèi)容的生成、偏好、傳播、訪問模式則決定了內(nèi)容在網(wǎng)絡(luò)資源上的部署策略.與傳統(tǒng)的中心式內(nèi)容共享系統(tǒng)相比,在線社交網(wǎng)絡(luò)中的內(nèi)容傳播特性使得社交化多媒體內(nèi)容有著特殊的生成、訪問模式:第一,內(nèi)容本身不再由少量集中式的內(nèi)容提供商提供,而是由全體用戶共同產(chǎn)生;第二,內(nèi)容的推廣也不再由內(nèi)容提供商完成,用戶之間的社會關(guān)系以及用戶的社交活動決定了內(nèi)容在用戶間的傳播.在這一背景下,社交化多媒體內(nèi)容部署面臨以下挑戰(zhàn).大規(guī)模社交化多媒體內(nèi)容生成.由于在社交化多媒體服務(wù)中用戶成為視頻內(nèi)容的生產(chǎn)者,每個人都能貢獻視頻,使得社交化多媒體系統(tǒng)中出現(xiàn)大量內(nèi)容.龐大的視頻內(nèi)容基數(shù),以及隨著移動設(shè)備、無線網(wǎng)絡(luò)發(fā)展而迅速增長的用戶生成速度,給傳統(tǒng)內(nèi)容部署策略帶來巨大壓力.用戶興趣時效性.在社交網(wǎng)絡(luò)中,新生成的視頻往往是吸引最大用戶群的內(nèi)容,但是,由于缺少歷史訪問信息,無法對這些內(nèi)容的真實流行度進行估計,從而很難對這些內(nèi)容進行提前部署[64].小眾內(nèi)容影響.在社交化多媒體內(nèi)容分享中,個性化內(nèi)容是人們分享的重要內(nèi)容形式,而這些個性化內(nèi)容,通常只在很小的圈子內(nèi)流行,例如,在家庭成員之間,這些內(nèi)容無法很好地被今天流行的內(nèi)容分發(fā)架構(gòu)處理.第1個挑戰(zhàn)使得早期經(jīng)典的全量內(nèi)容部署模式不適用,因為海量內(nèi)容的全量化部署將帶來巨大的存儲和網(wǎng)絡(luò)資源開銷,一種有效的解決方法是將社交化多媒體內(nèi)容按傳播和訪問特性,有差異地部署到不同的服務(wù)區(qū)域,充分利用分布式的網(wǎng)絡(luò)和存儲資源進行內(nèi)容的異構(gòu)化服務(wù),在分布式網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)資源分配環(huán)境下,不同內(nèi)容可以動態(tài)地被全球各地的服務(wù)器存儲、服務(wù),一方面分散了大規(guī)模內(nèi)容數(shù)量的壓力,另一方面提高具有不同內(nèi)容偏好用戶的服務(wù)質(zhì)量.第2個和第3個挑戰(zhàn)使得傳統(tǒng)內(nèi)容分發(fā)網(wǎng)絡(luò)中的基于流行度的內(nèi)容部署不能有效發(fā)揮作用.由于社交網(wǎng)絡(luò)環(huán)境下內(nèi)容流行度差異的急劇變化,在線社交網(wǎng)絡(luò)中內(nèi)容無法根據(jù)歷史流行度得到有效部署.Mislove[65]已經(jīng)觀察到,在社交化多媒體內(nèi)容緩存中,利用流行度的部署方法,會帶來巨大的緩存命中率下降:基于傳統(tǒng)緩存策略,將有高達68%的請求無法在緩存中命中.基于數(shù)據(jù)驅(qū)動的測量,本文發(fā)現(xiàn)與傳統(tǒng)內(nèi)容訪問不同,社交化多媒體內(nèi)容的訪問不是一種隨機的模式,相反,內(nèi)容沿著人與人之間的社交網(wǎng)絡(luò)拓撲,根據(jù)一系列規(guī)則傳播.在線社交網(wǎng)絡(luò)獲得的統(tǒng)計信息,可以用于指導(dǎo)社交化多媒體內(nèi)容部署,本文進行了大規(guī)模的測量研究,探索內(nèi)容傳播和內(nèi)容部署之間的聯(lián)系,發(fā)現(xiàn)了社交化多媒體內(nèi)容的傳播模式,包括社交關(guān)系局部性(內(nèi)容在傳播中在社交關(guān)系上傳播距離有限)、空間局部性(內(nèi)容在社交網(wǎng)絡(luò)傳播中的地域集中特性),以及時間局部性(內(nèi)容在社交網(wǎng)絡(luò)傳播中的短時效特性).朱文武等:數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā)luenceferenceluenceferencecalityexterentutlocalityraphicallocalitymporallocalityopagationpatterngionpredictionGlobal-audiencepredictionLocal-audiencepredictionpagationredictiongyhitectureeplicationbasedonropagation圖1邏輯框架Figure1Researchframework基于社交化視頻的傳播模式,本文設(shè)計了多媒體內(nèi)容在社交網(wǎng)絡(luò)中傳播的預(yù)測模型,包括傳播區(qū)域預(yù)測、全局用戶預(yù)測,以及局部用戶預(yù)測.該模型回答了以下問題:對于一個視頻內(nèi)容,是否需要將它部署到邊緣云服務(wù)器?如果需要,應(yīng)該選擇哪些邊緣云服務(wù)器?對于部署某一內(nèi)容的服務(wù)器,應(yīng)該保留多少帶寬資源用于內(nèi)容的傳輸?哪些視頻內(nèi)容需要對等網(wǎng)中節(jié)點的資源協(xié)作內(nèi)容傳輸?進一步,本文給出了一種基于傳播的社會化內(nèi)容分發(fā)框架.該框架利用了邊緣云計算服務(wù)器和對等網(wǎng)絡(luò)中節(jié)點資源共同完成視頻內(nèi)容分發(fā),基于傳播預(yù)測,內(nèi)容被部署到不同地理位置的邊緣云服務(wù)器和對等網(wǎng)節(jié)點:一方面,根據(jù)傳播區(qū)域預(yù)測與全局用戶預(yù)測,設(shè)計一種基于邊緣云的內(nèi)容部署策略,確定該地區(qū)內(nèi)容復(fù)制方法;另一方面,本文設(shè)計節(jié)點協(xié)作機制,根據(jù)局部用戶的興趣,決定視頻內(nèi)容在對等網(wǎng)節(jié)點上的緩存替換策略.4.1基于傳播特性的社交化多媒體內(nèi)容部署框架基于微博中視頻傳播及用戶社交關(guān)系,本小節(jié)將首先給出社交化多媒體傳播中與內(nèi)容部署最密切相關(guān)的特性,然后,將設(shè)計基于傳播特性的內(nèi)容部署策略.圖1給出了本小節(jié)的研究框架.以下按邏輯流程進行分析介紹.輸入.用戶、內(nèi)容信息是框架設(shè)計的主要輸入部分.具體來說,在用戶方面,可以得到用戶間的社會關(guān)系和影響力,以及用戶對不同視頻內(nèi)容的偏好;在內(nèi)容方面,可以得到內(nèi)容特性,以及內(nèi)容本身流行度信息;同時,本文還使用了不同云計算服務(wù)器和用戶的空間(區(qū)域)分布信息,以及用戶對不同服務(wù)器區(qū)域的偏好,例如從不同內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)器獲得不同下載質(zhì)量.傳播模式.由于社交網(wǎng)絡(luò)中內(nèi)容傳播決定了內(nèi)容最終訪問規(guī)模和用戶分布,對視頻內(nèi)容傳播模式的研究將決定內(nèi)容的部署策略.基于輸入信息,本文研究視頻內(nèi)容在社交網(wǎng)絡(luò)中的傳播模式.我們發(fā)現(xiàn)內(nèi)容在傳播中具有社交關(guān)系局部性、空間局部性,以及時間局部性,這部分內(nèi)容將在下文中詳細給出.傳播預(yù)測.傳播模式定性地分析了視頻內(nèi)容在社交關(guān)系上傳播具有的特性,為了決定內(nèi)容的復(fù)制和緩存策略,還需要進一步得到傳播的定量分析.本文基于傳播模式,提出一組傳播量的預(yù)測模型,包括傳播區(qū)域預(yù)測(即內(nèi)容在傳播中影響到的用戶所在的區(qū)域)、全局用戶的預(yù)測(即內(nèi)容在傳播中,影響到的用戶規(guī)模),以及局部用戶預(yù)測(即內(nèi)容在小圈子傳播時在好友間的分享比例).基于傳播的內(nèi)容部署.以傳播模式為基礎(chǔ),本文提出一種結(jié)合邊緣云服務(wù)器和對等網(wǎng)絡(luò)節(jié)點資源對社交化多媒體內(nèi)容進行復(fù)制和緩存的方法.基于傳播預(yù)測,本文分別設(shè)計邊緣云節(jié)點的內(nèi)容復(fù)制策略以及節(jié)點的緩存策略.3期4.2社交化多媒體傳播對內(nèi)容部署影響(1)社交關(guān)系局部性.在社交網(wǎng)絡(luò)中,視頻內(nèi)容的引入和傳播形成一棵以引入用戶為根節(jié)點的傳播樹.每一個參與視頻內(nèi)容轉(zhuǎn)發(fā)的用戶都會成為這棵樹的節(jié)點.因為一個視頻內(nèi)容發(fā)布之后,在不同的時間點,會被不同的用戶分別引入到社交網(wǎng)絡(luò)中,形成不同的傳播樹.以下給出對大量傳播樹研究之后,得到的傳播樹形態(tài)特性.傳播樹規(guī)模.見參考文獻[32]中的圖6,圖中給出了5種不同類型的視頻內(nèi)容在社交網(wǎng)絡(luò)中的傳播樹規(guī)模的分布情況:其中,每個樣本代表了該傳播樹規(guī)模(X軸)對應(yīng)的傳播樹的個數(shù)(Y軸).可以看到,只有少量的傳播樹的規(guī)模比較大,而絕大多數(shù)的傳播樹的規(guī)模都非常小.根據(jù)統(tǒng)計,超過90%的傳播樹的規(guī)模小于100.傳播樹高度.進一步,本文研究了傳播樹的高度.一個傳播樹的高度定義為該視頻內(nèi)容在社交關(guān)系鏈上,所有節(jié)點與根節(jié)點之間的平均距離(即社交關(guān)系的平均跳數(shù)).參考文獻[32]中的圖7給出了這5種類型的視頻的傳播樹高度分布.與圖6類似,圖中每個樣本代表了視頻的傳播樹的高度(X軸)與傳播樹的數(shù)量(Y軸).可以看到,絕大部分的傳播樹的高度非常小.通過統(tǒng)計本文得到,絕大部分傳播的社交關(guān)系鏈不超過10跳(hop).綜上所述,從傳播樹模態(tài)上分析,絕大多數(shù)的視頻形成了規(guī)模很小的傳播樹;而即使是流行的視頻,它們通常也不會形成很高的樹,即傳播關(guān)系鏈長,而是一系列形狀低矮粗壯的傳播樹,即傳播樹種節(jié)點與根節(jié)點社交關(guān)系很近.這些研究結(jié)果給社交化多媒體內(nèi)容部署帶來以下啟示:(i)絕大多數(shù)社交化多媒體內(nèi)容的傳播具有明確的特定社會圈子和范圍,為了有效傳輸這些內(nèi)容,需要研究傳播圈子的大小和空間(區(qū)域)分布;(ii)在社交網(wǎng)絡(luò)中,存在大量的傳播規(guī)模小、社交關(guān)系緊密相連的視頻傳播圈子,傳統(tǒng)內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)無法有效處理這些小眾內(nèi)容,一種節(jié)點之間相互協(xié)作的策略是解決這些內(nèi)容傳輸?shù)挠行侄?(2)空間局部性.本文利用用戶的社交關(guān)系、用戶位置屬性信息,進一步研究視頻內(nèi)容傳播在空間區(qū)域上的特性.研究傳播在空間上的特性對視頻內(nèi)容的部署具有重要意義,例如,當(dāng)內(nèi)容提供商進行內(nèi)容遷移和復(fù)制時,需要決定內(nèi)容在哪些區(qū)域服務(wù).由于不同的用戶從不同的服務(wù)器區(qū)域獲得的服務(wù)質(zhì)量存在差異,研究內(nèi)容傳播時的區(qū)域特性可以提高內(nèi)容部署效率,進而提高用戶體驗.下面,從內(nèi)容傳播過程中影響到的區(qū)域數(shù)量角度進行分析.通過研究視頻內(nèi)容在傳播中用戶的區(qū)域分布,可以推測內(nèi)容部署時需要復(fù)制的區(qū)域情況,因為通常用戶偏向于從本地服務(wù)器或節(jié)點獲取數(shù)據(jù),從而達到好的內(nèi)容服務(wù)質(zhì)量.圖2給出了騰訊社交化多媒體內(nèi)容傳播中,所有用戶所處的區(qū)域數(shù)量統(tǒng)計.圖中每個樣本代表了一個視頻內(nèi)容在微博傳播到的區(qū)域個數(shù)(Y軸),樣本按傳播區(qū)域個數(shù)降續(xù)排序(X軸).可以觀察到,對于絕大部分視頻內(nèi)容,在傳播過程中,加入的用戶所處的區(qū)域數(shù)量非常少.通過統(tǒng)計,超過90%的內(nèi)容都只在5個區(qū)域內(nèi)傳播.這部分研究表明,在社交化多媒體內(nèi)容部署中,絕大部分視頻內(nèi)容在小圈子分享,需要被部署到的區(qū)域數(shù)量很少.(3)時間局部性.為了有效隨時間變化進行內(nèi)容部署策略的調(diào)整,本文進一步研究了社交化多媒體內(nèi)容在時間上的傳播特性.在本文統(tǒng)計中,總體而言,最近引入的社交化多媒體內(nèi)容,更容易引起更多用戶的轉(zhuǎn)發(fā)行為.文獻[66]的圖3.2給出這一現(xiàn)象,其中每個樣本給出內(nèi)容在特定的時間段內(nèi)被用戶轉(zhuǎn)發(fā)的數(shù)量(Y軸),與轉(zhuǎn)發(fā)發(fā)生的時間與內(nèi)容被引入的時間差(X軸)之間的關(guān)系.可以看到,絕大部分的轉(zhuǎn)發(fā)都發(fā)生在內(nèi)容引入的最近幾個小時內(nèi).經(jīng)過統(tǒng)計,超過95%的社交化多媒體內(nèi)容轉(zhuǎn)發(fā)行為發(fā)生在內(nèi)容引入的最初24個小時以內(nèi).轉(zhuǎn)發(fā)數(shù)量與時間間隔的關(guān)系,可以用一個Zipf分布近似給出朱文武等:數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā)NumberNumberofregionsinvolvedankofcontent圖2(網(wǎng)絡(luò)版彩圖)社交化多媒體內(nèi)容傳播區(qū)域數(shù)量Figure2(Coloronline)Numberofregionsinvolvedinpropagationversustherankofcontent(時間以小時為間隔做離散化).在這組數(shù)據(jù)中,參數(shù)為s=1.5070的Zipf分布給出一個最佳擬合.這一結(jié)果表明,用戶對社交化多媒體內(nèi)容的轉(zhuǎn)發(fā)行為具有高度的時間聚集性.對內(nèi)容部署的影響是:大量的社交化多媒體內(nèi)容觀看行為會發(fā)生在一個很小的時間段內(nèi),而之后,這些內(nèi)容通常會變成冷門內(nèi)容.在后文的設(shè)計中,將利用這一特性指導(dǎo)內(nèi)容部署.不同研究者還對其他代表性社交網(wǎng)絡(luò)中內(nèi)容傳播進行了研究,驗證以上傳播特性的一般性.首先,針對具有單向社交關(guān)系(如“關(guān)注(follow)”)的社交網(wǎng)絡(luò),本文已經(jīng)對微博進行了大規(guī)模數(shù)據(jù)測量,發(fā)現(xiàn)了傳播樹高度的類冪律分布,即大量傳播樹高度低.而與本文最接近的針對單向社交關(guān)系的工作中,Ye等[67]對Twitter進行了測量,發(fā)現(xiàn)了類似的傳播時間規(guī)律,驗證了傳播的“時間局部性”,并最終會導(dǎo)致大量高度低的傳播樹.其次,針對具有雙向關(guān)系(如“好友”)的社交網(wǎng)絡(luò),作者對其他設(shè)計網(wǎng)絡(luò)的測量工作進行了跟進,Li等[39]對具有雙向關(guān)系的“人人網(wǎng)”內(nèi)容傳播進行了大規(guī)模測量,發(fā)現(xiàn)了傳播樹高度呈類韋伯分布(Weibull),趨勢與本文結(jié)果也類似.4.3邊緣云與對等網(wǎng)結(jié)合的內(nèi)容部署框架基于社交化多媒體內(nèi)容傳播模式,本文給出社交化多媒體內(nèi)容部署框架.為了有效地同時傳輸社交化多媒體應(yīng)用中的流行內(nèi)容與非流行內(nèi)容,在前文基于多云提供商的分布式網(wǎng)絡(luò)結(jié)構(gòu)(簡稱邊緣云結(jié)構(gòu))基礎(chǔ)上,本文提出一種擴展方法,即使用邊緣云與對等網(wǎng)結(jié)合的內(nèi)容部署結(jié)構(gòu),對兩類視頻內(nèi)容有效部署.在邊緣云上,內(nèi)容可以按照用戶請求,在不同的區(qū)域得到部署并且分配網(wǎng)絡(luò)資源;而在對等網(wǎng)節(jié)點上,處于相同圈子的用戶之間可以相互協(xié)助.由于處于相同社會圈子的用戶通常不但具有更近的物理距離,還具有更好的網(wǎng)絡(luò)連接(如高帶寬),能夠有效進行節(jié)點間協(xié)作并進行數(shù)據(jù)傳輸.圖3給出了這一體系結(jié)構(gòu)的概念圖.可以看到,在這個設(shè)計中,存在處于不同邏輯層面的兩種覆蓋網(wǎng)絡(luò).社交網(wǎng)絡(luò).這個覆蓋網(wǎng)絡(luò)基于社交關(guān)系,決定了內(nèi)容在好友間的傳播.而通過上文中的傳播特性,本文將設(shè)計一系列基于該覆蓋網(wǎng)絡(luò)的傳播預(yù)測方法.傳輸網(wǎng)絡(luò).這個覆蓋網(wǎng)絡(luò)是基于云平臺與用戶節(jié)點的,決定了內(nèi)容如何部署和傳輸.本文給出的這一內(nèi)容部署架構(gòu),可以利用邊緣云服務(wù)器穩(wěn)定性和資源擴展性,向處于不同區(qū)域的用戶進行流行視頻內(nèi)容服務(wù);而在對等網(wǎng)中,節(jié)點資源則提供了對非流行內(nèi)容的有效存儲和服務(wù)能力,在小范圍內(nèi),用3期ropagationerMappingsocialnetworktodeliverynetworkerServeraphicegionsEdge-cloudandpeerassistedreplication圖3基于傳播的內(nèi)容部署策略Figure3Propagation-basedcontentdeployment戶可以利用節(jié)點間的優(yōu)質(zhì)網(wǎng)絡(luò)質(zhì)量相互獲取視頻內(nèi)容.(1)邊緣云內(nèi)容復(fù)制策略目標.在邊緣云服務(wù)器的內(nèi)容部署上,視頻內(nèi)容一般需要被復(fù)制到多個區(qū)域.內(nèi)容在不同區(qū)域復(fù)制的主要目標在于,使得位于不同區(qū)域的用戶在下載視頻內(nèi)容時,可以從離他們網(wǎng)絡(luò)距離近的邊緣云服務(wù)器獲得數(shù)據(jù),從而達到好的視頻服務(wù)體驗.設(shè)計原則.在傳統(tǒng)基于流行度的內(nèi)容部署模式中,邊緣云服務(wù)器根據(jù)內(nèi)容的流行度以及服務(wù)器負載情況,將內(nèi)容復(fù)制到不同的區(qū)域.傳統(tǒng)設(shè)計原則的缺點在于,社交網(wǎng)絡(luò)中視頻內(nèi)容流行度具有短時特性(即時間局部性,見第4.2小節(jié)),對絕大部分社交化多媒體內(nèi)容,歷史流行度無法反映未來用戶訪問該內(nèi)容情況.為了解決這一問題,本文設(shè)計一種基于傳播的內(nèi)容復(fù)制方法.該方法依靠社交網(wǎng)絡(luò)中的用戶和傳播信息,包括用戶的空間分布及社交關(guān)系,預(yù)測內(nèi)容傳播區(qū)域和傳播量,從而決定視頻在邊緣云的部署.(2)節(jié)點內(nèi)容緩存策略目標.使用對等網(wǎng)中節(jié)點的資源進行社交化多媒體內(nèi)容部署,目標有以下兩層:第一,用戶生成大量視頻內(nèi)容,這些內(nèi)容完全依賴邊緣云節(jié)點進行分發(fā)需要消耗大量服務(wù)器資源,給社交化多媒體應(yīng)用提供商帶來很大部署成本,使用節(jié)點內(nèi)容部署可以節(jié)省中心服務(wù)器資源,擴展社交化多媒體系統(tǒng)分發(fā)能力;第二,大部分社會化視頻內(nèi)容只在小圈子中傳播,當(dāng)內(nèi)容在這些小圈子中分享時,用戶具有緊密的社交關(guān)系,這通常意味著他們具有更近的物理距離和網(wǎng)絡(luò)距離[68],例如,這些用戶可能處于相同的小區(qū)網(wǎng)絡(luò)或家庭網(wǎng)絡(luò)環(huán)境,當(dāng)這些用戶進行相互協(xié)作時,可以獲得很好的網(wǎng)絡(luò)質(zhì)量[69],提高視頻服務(wù)性能.設(shè)計原則.在傳統(tǒng)的對等網(wǎng)視頻分發(fā)中,節(jié)點的緩存策略通?；谧罹檬褂锰鎿Q算法(leastre-centlyused,LRU)以及最近最少使用替換算法(leastfrequentlyused,LFU)等常規(guī)方法.這些策略與前文邊緣云策略遇到的問題相似,它們也依賴于歷史流行度的準確性.而由于社交化多媒體內(nèi)容的動態(tài)性,需要設(shè)計新的緩存機制.朱文武等:數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā)復(fù)雜性分析.本文提出一種基于局部傳播預(yù)測的緩存替換機制.對局部用戶訪問社交化多媒體的預(yù)測,依賴于用戶對好友節(jié)點的興趣的了解.在社交網(wǎng)絡(luò)中,社交關(guān)系、用戶行為等信息正好提供了獲得這種偏好的能力.本文設(shè)計除了提高緩存的命中率,還同時考慮節(jié)點的負載.本文通過讓節(jié)點緩存服務(wù)網(wǎng)絡(luò)資源稀缺的小圈子內(nèi)容,達到平衡整個對等網(wǎng)節(jié)點負載的目的.在實際系統(tǒng)的復(fù)雜性方面,在不同的區(qū)域得到部署并且分配網(wǎng)絡(luò)資源部分的復(fù)雜度主要由全局的用戶分配(用戶與邊緣服務(wù)節(jié)點的關(guān)聯(lián)指派)造成.由于用戶與邊緣服務(wù)器之間同樣存在“距離”關(guān)系(如基于帶寬),用戶分配問題可以轉(zhuǎn)化為容量限制的Voronoi劃分,而尋找其最優(yōu)解是NP完全問題[70].傳統(tǒng)的Voronoi劃分需要提前指定若干個稱為“種子”的節(jié)點,然后以這些點為中心分割區(qū)域.本文給出了一種性能優(yōu)化的算法,無需提前知道小區(qū)域的個數(shù)以及每個小區(qū)域的中心點,因此稱為類Voronoi區(qū)域劃分策略,具體見第6.3.5小節(jié).第二,處于相同圈子的用戶之間可以相互協(xié)助,在每個劃分的圈子內(nèi)部,傳輸通常依賴傳統(tǒng)的對等網(wǎng)絡(luò)協(xié)議;在系統(tǒng)實現(xiàn)中已經(jīng)存在一系列高效的節(jié)點發(fā)現(xiàn)算法,包括中心化的方法[29]和基于分布哈希表的分布式方法[71].5CPCDN:內(nèi)容提供商信息支持的內(nèi)容分發(fā)網(wǎng)絡(luò)大型多媒體內(nèi)容提供商(CP)正在建立和定制自己的內(nèi)容分發(fā)網(wǎng)絡(luò)以向其用戶提供內(nèi)容服務(wù),形成了基于內(nèi)容提供商的內(nèi)容分發(fā)網(wǎng)絡(luò)的新趨勢(在本文中,我們將術(shù)語CPCDN稱為由內(nèi)容提供商智能提供支持的內(nèi)容分發(fā)網(wǎng)絡(luò)).作為內(nèi)容提供商,盡管有潛力提高各種內(nèi)容提供商的內(nèi)容分發(fā)質(zhì)量,但尚未對此類CPCDN中的分發(fā)策略進行深入研究.本文將重點放在CPCDN允許的設(shè)計空間上,并提出可以提高內(nèi)容分發(fā)質(zhì)量的代表性分發(fā)策略.今天的互聯(lián)網(wǎng)見證了這類定制化的內(nèi)容分發(fā)網(wǎng)絡(luò)的迅速興起,例如,YouTube長期以來一直使用其GoogleGlobalCache來交付視頻.Net?ix通過使用自己的內(nèi)容交付框架——OpenConnect與Internet服務(wù)提供商(Internetserviceprovider,ISP)直接協(xié)作來分發(fā)流數(shù)據(jù).Facebook正在開放計算項目OpenComputing中增強其邊緣網(wǎng)絡(luò).基于邊緣云服務(wù)提供商(如AmazonCloudFront)提供的彈性存儲和網(wǎng)絡(luò)資源,即使是小型的內(nèi)容提供商也可以自定義自己的CDN[43].內(nèi)容分發(fā)的以下新特征和趨勢推動了內(nèi)容分發(fā)網(wǎng)絡(luò)向CPCDN的遷移,這些新特征和趨勢對傳統(tǒng)的內(nèi)容分發(fā)提出了挑戰(zhàn).首先,對于內(nèi)容提供商而言,以實時方式為不同的自定義上下文“生產(chǎn)”內(nèi)容正變得越來越普遍,例如,針對不同的用戶設(shè)備和網(wǎng)絡(luò)條件動態(tài)處理圖像和視頻.由于針對不同上下文的這種內(nèi)容產(chǎn)生是以在線和實時方式進行的,而CP和CDN之間固有的去耦使得傳統(tǒng)的CDN不適合確保良好的用戶體驗.相比之下,CPCDN知道消費內(nèi)容的確切上下文,便能夠利用上下文智能捕獲在不同上下文中如何動態(tài)處理和合成內(nèi)容,從而優(yōu)化用戶體驗和內(nèi)容交付過程中的服務(wù)質(zhì)量.其次,在內(nèi)容生態(tài)系統(tǒng)中,用戶不再只是消費者,而是已經(jīng)成為內(nèi)容生成和分發(fā)中必不可少的參與者[72].由于不考慮用戶的參與,對傳統(tǒng)CDN來說很難利用固有的用戶內(nèi)容偏好模式和用戶–用戶社會影響力來優(yōu)化用戶體驗和服務(wù)質(zhì)量.利用用戶智能捕獲內(nèi)容如何在社交網(wǎng)絡(luò)用戶之間動態(tài)共享和分發(fā),CPCDN可以將內(nèi)容分發(fā)效率和用戶體驗提升到一個新的水平.為了研究CP級智能如何給內(nèi)容分發(fā)帶來性能提升,本文對代表性內(nèi)容提供商騰訊的熱門在線多媒體服務(wù)進行測量研究.其內(nèi)容分發(fā)的新特征如下.(1)投放環(huán)境.本文研究給出,內(nèi)容不再單獨分發(fā),而是通過各種上下文進行.(2)群體模式.本文研究給出,即使在內(nèi)容組件級別,也存在有規(guī)律的內(nèi)容群組模式,即特定的用戶群對特定的內(nèi)容組的固有偏好.(3)社會影響力.本文的測量研究還顯示,在線社交網(wǎng)絡(luò)用戶社交行為對內(nèi)容是否會變得流行具有重大影響.3期IntelligenceIntelligencefordeliveryinCPCDNContextContextintelligenceanduserintelligencewdpatternsandropagationersNewcontentflowentprocessingnthesizationrationandationentext圖4(網(wǎng)絡(luò)版彩圖)通過內(nèi)容數(shù)據(jù)流驅(qū)動的CPCDN設(shè)計Figure4(Coloronline)CPCDNbasedondata-drivenstrategies為了了解CP級別的智能如何幫助內(nèi)容分發(fā)并挖掘其潛力,本文系統(tǒng)地探索了CPCDN的設(shè)計空間,并提出了使用“上下文智能”和“用戶智能”來應(yīng)對出現(xiàn)的新挑戰(zhàn)的體系結(jié)構(gòu)和算法.(1)利用內(nèi)容在不同上下文中具有不同重要性的事實,本文建議通過機會性地選擇對等服務(wù)器并排隊請求,根據(jù)上下文感知的內(nèi)容重要性對內(nèi)容分發(fā)進行優(yōu)先級排序.(2)基于人群模式,本文根據(jù)興趣組主動復(fù)制內(nèi)容,以便用戶可以從附近的CPCDN服務(wù)器獲取他們感興趣的內(nèi)容.(3)基于內(nèi)容分發(fā)的社會影響,本文設(shè)計了一種利用用戶的社會關(guān)系和用戶社會活動的新的流行度推斷策略,以指導(dǎo)帶寬預(yù)留.5.1研究背景與框架在傳統(tǒng)的內(nèi)容傳遞中,內(nèi)容由內(nèi)容提供者產(chǎn)生后,將通過CDN直接傳遞給一組用戶.而該CDN充當(dāng)了連接“管道”,忽略了消費內(nèi)容的上下文和用戶行為.CDN無法獲得用戶的行為反饋信息.然而,今天的內(nèi)容分發(fā)路徑如圖4所示,用戶生成的內(nèi)容[4]通過一定的內(nèi)容分發(fā)上下文[72],最終達到內(nèi)容消費者用戶[73].這一變化挑戰(zhàn)了傳統(tǒng)的內(nèi)容分發(fā)范式.具體來說,內(nèi)容分發(fā)受到分發(fā)上下文和用戶行為的影響.?內(nèi)容分發(fā)具有一定的上下文:在內(nèi)容提供商或用戶生成內(nèi)容之后,與其他內(nèi)容組件(文本、圖片等)組合,最終將在給定上下文中提供給其他用戶.后文的測量將表明,內(nèi)容組件將以不同的上下文進行組合.?內(nèi)容分發(fā)是用戶行為敏感的:用戶已成為重要的內(nèi)容生產(chǎn)者和傳播者[4,64],而不僅僅是內(nèi)容的被動接收者.用戶活動和社交傳播已極大地改變了人們消費內(nèi)容的方式[32]:用戶參與了從內(nèi)容生成到內(nèi)容分發(fā)的內(nèi)容傳遞.CPCDN的想法可以極大地改善用于上下文感知和社交內(nèi)容傳遞的常規(guī)CDN.如果CDN可以從CP收集有關(guān)用戶和上下文的信息,則他們也將能夠執(zhí)行本文中提出的改善內(nèi)容分發(fā)的策略.但是,由于用戶和上下文信息通常受CP保護,因此這種合并有時是不夠的.因此,本文僅關(guān)注CP和CDN緊密耦合的CPCDN框架,在該框架中可以實時使用用戶和上下文信息.由于大多數(shù)上下文和用戶信息僅對內(nèi)容流中的內(nèi)容提供者可用,因此CP可以從大量數(shù)據(jù)中開發(fā)出智能策略,從而指導(dǎo)內(nèi)容分發(fā).CP可以利用的資源包括:內(nèi)容是如何生成和聚合的,在不同上下文中如何處理和合成內(nèi)容,以及社交網(wǎng)絡(luò)用戶之間的內(nèi)容傳播方式.因此,CPCDN能夠利用上下文和用戶智能來避免簡單管道式內(nèi)容分發(fā):它不僅優(yōu)化了下層內(nèi)容分發(fā)策略,而且還提高了對上層內(nèi)容特朱文武等:數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)多媒體邊緣內(nèi)容分發(fā)性的理解.CPCDN系統(tǒng)架構(gòu)的設(shè)計仍然需要解決以下新出現(xiàn)挑戰(zhàn):(1)如何定義分發(fā)上下文并加以利用;(2)如何衡量用戶對內(nèi)容分發(fā)的影響,以及(3)如何利用在線社交網(wǎng)絡(luò)中的信息來改善內(nèi)容分發(fā).特別是,必須解決了以下研究問題才能在大規(guī)模、動態(tài)發(fā)展的系統(tǒng)中實現(xiàn)CPCDN:挖掘內(nèi)容分發(fā)上下文,根據(jù)用戶–內(nèi)容關(guān)聯(lián)的群體模式來改善內(nèi)容的分發(fā),利用社交影響力更好地進行社交/社交化內(nèi)容分發(fā).為了解決這些問題,本文提出了基于上下文和用戶智能的CPCDN分發(fā)策略.一方面,本文通過了解內(nèi)容在不同上下文中分發(fā)時的重要性設(shè)計內(nèi)容復(fù)制和用戶請求計劃策略.另一方面,本文讓CPCDN預(yù)測社交網(wǎng)絡(luò)用戶之間共享的內(nèi)容的流行度,以便更好地分配網(wǎng)絡(luò)資源.5.2大規(guī)模CPCDN測量研究為了對當(dāng)前加入CPCDN的動機有具體的了解,本文對中國最大的內(nèi)容提供商之一騰訊提供的大規(guī)模服務(wù)進行評估研究.該公司提供包括網(wǎng)絡(luò)服務(wù)在內(nèi)的流行在線內(nèi)容服務(wù)、在線社交網(wǎng)絡(luò)服務(wù)和在線視頻流.5.2.1內(nèi)容分發(fā)相關(guān)的代表性系統(tǒng)本文使用以下代表性的內(nèi)容服務(wù)來進行CPCDN的度量研究.WWW服務(wù).WWW的巨大成功使Web對象成為內(nèi)容分發(fā)的主要形式,并且動態(tài)生成網(wǎng)頁已成為一種新趨勢[74],即相同的內(nèi)容組件(簡稱組件)可以組成不同的網(wǎng)頁,而一個網(wǎng)頁最多可以包含數(shù)百個多媒體組件.這些組件是在不同的上下文中動態(tài)組織和分發(fā)的.在線社交網(wǎng)絡(luò)服務(wù).在一個在線社交網(wǎng)絡(luò)中,內(nèi)容由用戶生成并通過社交連接[75]傳播.從某種意義上說,它改變了內(nèi)容的分發(fā)方式,即社交關(guān)系和用戶行為將影響哪些內(nèi)容將由哪些用戶查看.在線視頻流.在線視頻服務(wù)的流量仍然占據(jù)著互聯(lián)網(wǎng)的大部分帶寬,是重要的多媒體在線服務(wù)和應(yīng)用.在視頻流服務(wù)中,CDN將視頻用作“塊”進行分發(fā).如何有效處理上下文和社交屬性是當(dāng)今CDN的一大挑戰(zhàn).5.2.2數(shù)據(jù)驅(qū)動的測量本文在騰訊CPCDN中針對上述內(nèi)容服務(wù)進行了數(shù)據(jù)驅(qū)動的測量研究,在研究期間,該CPCDN服務(wù)已在中國電信、中國聯(lián)通和中國移動等國內(nèi)主要ISP以及數(shù)家海外ISP上部署了數(shù)以萬計的服務(wù)器.為了