中國(guó)移動(dòng)通信集團(tuán)浙江有限公司 承擔(dān)部門：網(wǎng)管中心 2010年 5月 課題名稱：視頻流媒體業(yè)務(wù)質(zhì)量監(jiān)控與評(píng)測(cè)分析系統(tǒng) 項(xiàng)目類型： 集團(tuán)重點(diǎn) 一、項(xiàng)目信息 課題名稱 視頻流媒體業(yè)務(wù)質(zhì)量監(jiān)控與評(píng)測(cè)分析系統(tǒng) 課題分類 主題詞 課題預(yù)計(jì)開始時(shí)間 2010-6 預(yù)計(jì)結(jié)束時(shí)間 2010-12 立項(xiàng)經(jīng)費(fèi)、預(yù)算 二、立項(xiàng)背景和意義 隨著 3G多媒體業(yè)務(wù)的繁榮發(fā)展 ， 網(wǎng)絡(luò)視頻流媒體業(yè)務(wù)正成為吸引用戶的主要應(yīng)用之一 。 如何有效評(píng)估 3G視頻流媒體業(yè)務(wù)性能成為一個(gè)需要迫切研究和解決的問題 。 評(píng)估視頻流媒體業(yè)務(wù)的用戶感知 、 發(fā)現(xiàn)網(wǎng)絡(luò)異常是推廣移動(dòng)視頻流媒體業(yè)務(wù) ， 優(yōu)化網(wǎng)絡(luò)運(yùn)營(yíng) ， 以用戶為中心定制服務(wù)的關(guān)鍵問題 。 二、立項(xiàng)背景和意義 本項(xiàng)目面向移動(dòng)業(yè)務(wù)推廣的需求 ， 以用戶感知為核心 ， 以視頻通信的質(zhì)量檢測(cè)為重點(diǎn) ， 以網(wǎng)絡(luò)優(yōu)化為目標(biāo) ， 針對(duì)其基礎(chǔ)性關(guān)鍵技術(shù) ， 開展關(guān)鍵技術(shù)攻關(guān) ， 建立一套移動(dòng)視頻質(zhì)量檢測(cè)評(píng)估分析系統(tǒng) ， 通過圖像分析評(píng)估視頻質(zhì)量 ， 發(fā)現(xiàn)網(wǎng)絡(luò)傳輸問題 ，通過包捕獲 、 碼流分析 ， 定位網(wǎng)絡(luò)異常 ，為保障視頻通信質(zhì)量提供技術(shù)支持 。 三、課題研究目標(biāo) 實(shí)現(xiàn)視頻流媒體用戶感知評(píng)估 實(shí)現(xiàn)視頻質(zhì)量自動(dòng)檢測(cè)，為運(yùn)營(yíng)商流媒體業(yè)務(wù)評(píng)估手段、度量標(biāo)準(zhǔn)的規(guī)范化創(chuàng)造了技術(shù)可能 修正移動(dòng)視頻流媒體故障診斷規(guī)則，提高網(wǎng)絡(luò)故障診斷準(zhǔn)確率 四、課題研究主要內(nèi)容 課題研究的主要內(nèi)容 （可展開多頁(yè)） K P I - K Q I 映 射 模 型數(shù) 據(jù) 庫(kù)普 通 用 戶研 發(fā) 維 護(hù)網(wǎng) 管客 觀 評(píng) 價(jià)數(shù) 據(jù) 采 集 模 塊客 觀 評(píng) 價(jià)數(shù) 據(jù) 處 理 模 塊質(zhì) 量 評(píng) 價(jià) 模 型腳 本 模 擬 測(cè) 試測(cè) 試 評(píng) 估 模 塊輸 出 評(píng) 價(jià) 分 析 報(bào) 告Q o E - t o - Q o S 映 射四、課題研究主要內(nèi)容 準(zhǔn)確評(píng)估移動(dòng)視頻流媒體用戶感知質(zhì)量 面向視頻連續(xù)圖像的缺陷檢測(cè) 視覺特征加權(quán)修正算法 視頻流媒體業(yè)務(wù)的客觀質(zhì)量數(shù)據(jù)和主觀評(píng)測(cè)結(jié)果的獲取 主觀感知和客觀質(zhì)量指標(biāo)關(guān)聯(lián)映射規(guī)則 四、課題研究主要內(nèi)容 準(zhǔn)確診斷視頻流媒體業(yè)務(wù)網(wǎng)絡(luò)故障 通過 “ 碼流分析 ” 建立 “ 視頻質(zhì)量 ” 與 “網(wǎng)絡(luò)傳輸 ” 的映射關(guān)系 將視頻質(zhì)量惡化定位到具體的網(wǎng)絡(luò)數(shù)據(jù)包傳輸過程 基于專家知識(shí)形成移動(dòng)視頻流媒體故障診斷規(guī)則 五、研究總體框架 系統(tǒng)采用如圖所示的組成結(jié)構(gòu) 系統(tǒng)由視頻傳輸單元、視頻預(yù)處理單元、視頻缺陷提取與定位單元、特征融合與決策分析單元等組成 視頻圖像 傳輸單元 視頻缺陷提取與定位單元 視頻預(yù) 處理單元 特征融合與決策分析單元 五、研究總體框架 算法和軟件功能主要包括圖像數(shù)據(jù)解壓預(yù)處理、缺陷和基本視頻特征提取與定位處理、特征融合與決策分析、結(jié)果輸出 4個(gè)模塊 圖像數(shù)據(jù)解壓等 預(yù)處理 缺陷 和基本視頻特征 提取與定位處理 視頻圖像 提取的各類特征的融合與決策分析 缺陷和基本視頻特征庫(kù)與提取算法 知識(shí) 五、研究總體框架 圖像數(shù)據(jù)解壓預(yù)處理部分 從信道中獲得圖像信息，解壓成數(shù)字圖像 經(jīng)過圖像格式的預(yù)處理得到適合進(jìn)一步處理的與軟、硬件兼容的圖像數(shù)據(jù) 缺陷和基本視頻特征提取與定位處理部分 建立特征數(shù)據(jù)庫(kù)和算法庫(kù) 實(shí)現(xiàn)對(duì)視頻數(shù)據(jù)中的缺陷和典型視頻的檢測(cè)和定位 五、研究總體框架 特征融合與決策分析部分 提取多元特征融合 判斷缺陷的類型、數(shù)量和位置 給出視頻質(zhì)量的評(píng)估結(jié)果 結(jié)果輸出部分 將最終結(jié)果存貯與顯示 移動(dòng)視頻流媒體 用戶感知評(píng)估 視頻流媒體 碼流分析 網(wǎng)絡(luò)傳輸故障 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 移動(dòng)視頻流媒體質(zhì)量評(píng)測(cè)實(shí)施路線 判斷開始 設(shè)定判斷區(qū)域 將畫面分為多個(gè)小塊 取第一個(gè)小塊并計(jì)算其灰度總和 OldAccount 取下一個(gè)小塊并計(jì)算其灰度總和 Account Account與OldAccount之間差值是否超過門限 是否最后一個(gè)小塊？ 判定為黑場(chǎng) 判斷結(jié)束 判定不是黑場(chǎng) 視頻信號(hào)中的黑場(chǎng)檢測(cè)流程 否 是 是 否 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 黑屏檢測(cè)示例 灰度總和 9 黑場(chǎng) 當(dāng)前幀圖像 圖像分區(qū) 分區(qū)求灰 度值 0 1 1 1 1 1 1 1 2 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 靜幀檢測(cè)示例 靜幀 當(dāng)前幀圖像 上一幀圖像 圖像分區(qū) 分區(qū)差分圖像 灰度總和 7 1 1 0 1 1 1 0 1 1 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 視頻信號(hào)中的馬賽克檢測(cè)流程 當(dāng)前幀圖像 邊緣分析 （形態(tài)分析） （位置分析） （面積分析等） 邊緣處理圖像 多特征分析器 檢測(cè)結(jié)果輸出 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 馬賽克檢測(cè) 當(dāng)前幀圖像 邊緣圖像 結(jié)果標(biāo)記 邊緣分析 與綜合 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 視頻信號(hào)中的跳幀檢測(cè)流程 當(dāng)前幀圖像 上一幀圖像 顏色差分圖像 邊緣處理圖像 邊緣處理圖像 邊緣差分圖像 多特征分析器 檢測(cè)結(jié)果輸出 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 視頻特征指標(biāo)評(píng)估 原始視頻流 飽和度圖像 色度圖像 邊緣圖像 差分圖像 多特征評(píng)估器 評(píng)估結(jié)果輸出 灰度圖像 紋理圖像 對(duì)比度 清晰度 損失度 分辨率 色度 /飽和度 /亮度 壞 好 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 基于特征的視頻質(zhì)量評(píng)估模型 視頻質(zhì)量評(píng)估總體策略框圖 待評(píng)圖像 缺陷檢測(cè)與評(píng)估 靜態(tài)質(zhì)量評(píng)估 動(dòng)態(tài)質(zhì)量評(píng)估 綜合評(píng)估 對(duì)比度 色度 飽和度 亮度 清晰度 熵 紋理 圖像功率 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)誤差功率 運(yùn)動(dòng)矢量 黑場(chǎng)檢測(cè) 跳幀檢測(cè) 馬賽克檢測(cè) 靜幀 檢測(cè) 視頻和特征數(shù)據(jù)庫(kù) 算法庫(kù) 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 視頻質(zhì)量自動(dòng)評(píng)估檢測(cè)實(shí)施方案 基于視頻文件的質(zhì)量檢測(cè) 基于 WEB訪問的視頻質(zhì)量檢測(cè) 基于 P2P訪問的視頻質(zhì)量檢測(cè) 視頻信息獲取 視頻質(zhì)量分析 實(shí)時(shí)檢測(cè) 結(jié)果 AVI WEB P2P 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 基于 web訪問的視頻采集 視頻源 視頻卡 媒體文件 （ asf、 avi、 nsv等 ） 服務(wù)器 encoder HTTP TCP/IP WEB Access CGI 數(shù)據(jù)流接收 存儲(chǔ)管理 視頻 數(shù)據(jù)包 視頻 解碼 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 基于 P2P訪問的系統(tǒng)架構(gòu) VIDEO 文件搜索（ ed2k， kad網(wǎng)絡(luò)） 其它提供 文件的節(jié)點(diǎn) 其它請(qǐng)求 文件的節(jié)點(diǎn) 服務(wù)進(jìn)程 任務(wù)處理線程 （文件上傳下載） 文件數(shù)據(jù)緩沖區(qū) 物理內(nèi)存 AREA1 物理內(nèi)存 AREA2 播放進(jìn)程 進(jìn)程通信 數(shù)據(jù)讀取進(jìn)程 數(shù)據(jù)緩沖區(qū) 解碼進(jìn)程 Decder 匿名管道 匿名管道 創(chuàng)建子進(jìn)程 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 標(biāo)題欄 檢測(cè)功能區(qū)域 視頻播放區(qū)域 播放控制區(qū)域 檢測(cè)功能控制 檢測(cè)狀態(tài)指示 檢測(cè)參數(shù)控制 功能擴(kuò)展 視頻質(zhì)量自動(dòng)評(píng)估檢測(cè)實(shí)施方案 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 P2P AVI web 鏈接建立 資源地址 視頻數(shù)據(jù)流 視頻數(shù)據(jù) 視頻數(shù)據(jù) 數(shù)據(jù)緩存 視頻解碼 幀圖像 預(yù)處理 檢測(cè)算法 結(jié)果記錄 END 結(jié)束 Y N 視頻質(zhì)量自動(dòng)評(píng)估檢測(cè)實(shí)施方案 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -用戶感知評(píng)估 移動(dòng)視頻流媒體 用戶感知評(píng)估 視頻流媒體 碼流分析 網(wǎng)絡(luò)傳輸故障 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -碼流分析 移動(dòng)視頻流媒體質(zhì)量評(píng)測(cè)實(shí)施路線 應(yīng)用層 流媒體感知測(cè)試評(píng)估 網(wǎng)絡(luò)層 網(wǎng)絡(luò)傳輸參數(shù)和性能 視頻質(zhì)量評(píng)價(jià) 發(fā)現(xiàn)第 N幀停頓問題 媒體流（信息、用戶數(shù)據(jù)、視頻、音頻） 第 N幀圖像數(shù)據(jù) 定位第 i - j數(shù)據(jù)包 移動(dòng)網(wǎng)絡(luò) 從捕獲的數(shù)據(jù)分組中重組得到網(wǎng)絡(luò)傳輸媒體數(shù)據(jù)的傳輸或系統(tǒng)碼流信息、視頻中各圖像編碼類型及其編碼長(zhǎng)度信息、視頻流中編碼詳細(xì)信息等 。 目的：建立了視頻數(shù)據(jù)與網(wǎng)絡(luò)數(shù)據(jù)包統(tǒng)計(jì)分析之間的映射關(guān)系，明確各圖像質(zhì)量評(píng)估結(jié)果與網(wǎng)絡(luò)傳輸時(shí)間上的對(duì)應(yīng)關(guān)系。 流媒體碼流分析模塊 六、主要技術(shù)方案和關(guān)鍵技術(shù) - - -碼流分析 六、主要技術(shù)方案和關(guān)鍵技術(shù) -