電視顧客數(shù)據(jù)分析

文檔修改記錄修改日期修改人修改闡明版本號修改頁 目錄TOC\o"1-3"\h\z1 總體描述 41.1 建設(shè)目的 41.2 整體架構(gòu) 42 功能實(shí)現(xiàn) 62.1 數(shù)據(jù)采集模塊 62.1.1 數(shù)據(jù)搜集 62.1.2 數(shù)據(jù)處理 62.2 數(shù)據(jù)分析 72.3 數(shù)據(jù)可視化 82.4 系統(tǒng)管理 93 初步方案 103.1 C平臺接口日志分析 103.2 流水文獻(xiàn)分析 114 技術(shù)實(shí)現(xiàn) 11總體描述建設(shè)目的互聯(lián)網(wǎng)電視是建立在通信網(wǎng)絡(luò)上的互動(dòng)性視頻服務(wù)，可以非常靈活地實(shí)現(xiàn)電子菜單、節(jié)目預(yù)約、實(shí)時(shí)快進(jìn)、快退等操作。通過對OTT顧客的實(shí)時(shí)數(shù)據(jù)搜集，記錄分析，建設(shè)實(shí)時(shí)數(shù)據(jù)分析系統(tǒng)，對OTT的EPG界面設(shè)計(jì)、內(nèi)容運(yùn)行有著重要意義。系統(tǒng)在通過對OTT業(yè)務(wù)運(yùn)行平臺數(shù)據(jù)搜集的基礎(chǔ)上，實(shí)時(shí)（定期）獲取顧客行為數(shù)據(jù)，結(jié)合業(yè)務(wù)運(yùn)行平臺數(shù)據(jù)日志、顧客端APK上報(bào)日志等數(shù)據(jù)，通過大數(shù)據(jù)處理平臺（如Hadoop），對OTT的各緯度指標(biāo)進(jìn)行記錄分析，并提供顧客自定義分析功能，進(jìn)行數(shù)據(jù)展示，為EPG的界面設(shè)計(jì)和運(yùn)行建設(shè)提供決策根據(jù)。整體架構(gòu)數(shù)據(jù)抓取負(fù)責(zé)整個(gè)互聯(lián)網(wǎng)電視運(yùn)行中心平臺或者分平臺系統(tǒng)的原始基礎(chǔ)數(shù)據(jù)的獲取，包括2部分內(nèi)容：（1）平臺日志：結(jié)合運(yùn)行平臺的日志管理模塊，實(shí)現(xiàn)獲取并接受顧客的行為數(shù)據(jù)；（2）APK日志上報(bào)。提供數(shù)據(jù)接口，且支持FTP等傳播導(dǎo)入。數(shù)據(jù)抓取用于接入存儲數(shù)據(jù)，目前分為三部分：（1）C平臺各業(yè)務(wù)系統(tǒng)通過AOP方式將各接口調(diào)用狀況輸出原則日志，由FLUME進(jìn)行抓??；再通過KAFKA將數(shù)據(jù)輸送到STORM中；STORM將元數(shù)據(jù)直接寄存到HDFS中。（2）各業(yè)務(wù)系統(tǒng)的錯(cuò)誤日志轉(zhuǎn)換為json后直接寄存到ES中，以便查找。（3）將流水文獻(xiàn)（需轉(zhuǎn)換為csv格式）和流水日志（導(dǎo)出txt格式）通過文檔上傳系統(tǒng)上傳到HDFS中，文獻(xiàn)所在的文獻(xiàn)夾以當(dāng)日日期命名（減少需處理的文獻(xiàn)數(shù)量，提高效率）。數(shù)據(jù)分析基于hadoop大數(shù)據(jù)處理技術(shù)，將數(shù)據(jù)搜集獲取到的基礎(chǔ)數(shù)據(jù)，進(jìn)行數(shù)據(jù)預(yù)處理、數(shù)據(jù)記錄計(jì)算，包括數(shù)據(jù)排重、數(shù)據(jù)清洗、成果展示指標(biāo)計(jì)算等，并將原始數(shù)據(jù)、成果表數(shù)據(jù)進(jìn)行存儲和備份。根據(jù)多維度的數(shù)據(jù)展示需求，設(shè)計(jì)成果表數(shù)據(jù)，并對其進(jìn)行實(shí)時(shí)記錄計(jì)算，并將成果數(shù)據(jù)，推送給前端展示平臺。此外還提供顧客自定分析功能，用于對原始數(shù)據(jù)和成果表數(shù)據(jù)的自定義查詢和分析功能，便于非數(shù)據(jù)分析人員對系統(tǒng)進(jìn)行二次分析。數(shù)據(jù)分析用于對指定數(shù)據(jù)進(jìn)行切割分解為各個(gè)維度，給展示系統(tǒng)提供數(shù)據(jù)支撐：（1）由STORM對C平臺接口日志進(jìn)行處理，將處理后的數(shù)據(jù)寄存到ELK中進(jìn)行展示。（2）由SPARK離線處理HDFS上的流水文獻(xiàn)，將處理后的數(shù)據(jù)保留到mongodb中。（設(shè)定期任務(wù)每天零點(diǎn)自動(dòng)開始SPARK任務(wù)，對此前一天日期命名的文獻(xiàn)夾下的數(shù)據(jù)進(jìn)行處理）?？梢暬到y(tǒng)（BI）BI系統(tǒng)負(fù)責(zé)可視化數(shù)據(jù)分析模塊建設(shè)，將數(shù)據(jù)分析的數(shù)據(jù)，在顯示終端進(jìn)行可視化圖形展示。BI系統(tǒng)是對分析后成果進(jìn)行展示，用于圖形化展示最終的分析成果：初期是使用ECharts等圖表插件繪制展示圖形；后期由項(xiàng)目根據(jù)傳來的數(shù)據(jù)和模型自動(dòng)繪制圖形。數(shù)據(jù)挖掘數(shù)據(jù)挖掘?qū)﹄x線數(shù)據(jù)進(jìn)行分析，形成有關(guān)模型，并用模型對數(shù)據(jù)進(jìn)行計(jì)算分析：使用SPARKMllib（機(jī)器學(xué)習(xí)）訓(xùn)練模型，來完畢精確推薦和視頻打分等功能。元數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量管理系統(tǒng)元數(shù)據(jù)管理對接入的數(shù)據(jù)進(jìn)行管理，數(shù)據(jù)質(zhì)量管理是對云平臺上存儲數(shù)據(jù)進(jìn)行質(zhì)量控制，保證數(shù)據(jù)真實(shí)可靠。功能實(shí)現(xiàn)數(shù)據(jù)采集模塊數(shù)據(jù)搜集互聯(lián)網(wǎng)電視運(yùn)行大數(shù)據(jù)分析數(shù)據(jù)來源于各業(yè)務(wù)運(yùn)行平臺，數(shù)據(jù)分為APK上報(bào)數(shù)據(jù)、業(yè)務(wù)平臺后臺日志數(shù)據(jù)。（1）終端初次開機(jī)上電后，積極向運(yùn)行平臺上報(bào)認(rèn)證信息，終端通過認(rèn)證后才能激活，認(rèn)證信息包括了終端的基本信息；（2）獲取到終端開機(jī)、心跳、瀏覽訪問、直播、點(diǎn)播、回看、訂購、遙控器按鍵、停留時(shí)間等行為數(shù)據(jù)；（3）獲取到OT終端SN/MAC、軟件版本號；（4）獲取各終端活躍度信息：初次活躍時(shí)間，最終活躍時(shí)間，活躍總時(shí)長等活躍詳情。（5）獲取顧客搜索影視內(nèi)容關(guān)鍵詞信息，包括影視名稱、演員名稱等。（6）獲取顧客點(diǎn)播詳情：開始結(jié)束時(shí)間、點(diǎn)播內(nèi)容、點(diǎn)播時(shí)長等。（7）獲取顧客訂購信息：訂購時(shí)間、訂購金額、退購時(shí)間、訂購次數(shù)、退購次數(shù)等。數(shù)據(jù)處理（1）將運(yùn)行平臺上報(bào)提交的數(shù)據(jù)進(jìn)行搜集和預(yù)處理；（2）顧客行為原始數(shù)據(jù)，經(jīng)由數(shù)據(jù)原則化處理，支持對日志合并、數(shù)據(jù)清洗。數(shù)據(jù)過濾操作，形成統(tǒng)一的數(shù)據(jù)構(gòu)造；數(shù)據(jù)分析通過對互聯(lián)網(wǎng)電視運(yùn)行平臺的數(shù)據(jù)搜集，建立OTT顧客行為數(shù)據(jù)庫，并在此基礎(chǔ)上建立OTT顧客行為分析指標(biāo)，該指標(biāo)重要包括如下內(nèi)容：（1）提供OTT關(guān)鍵指標(biāo)識錄分析，包括日（總）顧客數(shù)、日（總）訪問量、視頻播放量、人均停留時(shí)間等。實(shí)時(shí)記錄OTT在線顧客數(shù)、總活躍顧客數(shù)、總點(diǎn)擊顧客數(shù)、開機(jī)顧客數(shù)、視頻播放顧客數(shù)、視頻播放轉(zhuǎn)化率、播放時(shí)長等指標(biāo)；針對各指標(biāo)展示，提供可視化圖表展示，以及歷史數(shù)據(jù)查詢功能。（2）提供顧客健康度分析記錄OTT總顧客數(shù)、當(dāng)日顧客數(shù)、新安裝顧客數(shù)、留存率、活躍度等健康度指標(biāo)，并提供圖形化圖表展示，以及歷史數(shù)據(jù)查詢功能；（3）提供顧客終端信息記錄分析，包括終端型號、MAC地理位置分析按終端盒子廠商、型號為緯度，記錄分析OTT的訪問顧客數(shù)、播放顧客數(shù)、播放量、播放轉(zhuǎn)化率等指標(biāo)，并提供可視化圖形展示和歷史數(shù)據(jù)查詢；按終端軟件版本，記錄分析OTT的訪問顧客數(shù)、播放顧客數(shù)、播放轉(zhuǎn)化率等指標(biāo)，并提供可視化圖形展示和歷史數(shù)據(jù)查詢；按省份、運(yùn)行商為緯度，記錄OTT的訪問顧客數(shù)、播放顧客數(shù)、播放量、播放轉(zhuǎn)化率等指標(biāo)，并提供可視化圖形展示和歷史數(shù)據(jù)查詢；（4）提供顧客所有頁面的訪問量、人均停留時(shí)間分析等記錄OTT的各個(gè)頁面的訪問量、訪問時(shí)間、訪問時(shí)長等指標(biāo)，并提供可視化圖形展示；記錄OTT各頁面的來源途徑和流出途徑的顧客量、訪問次數(shù)等指標(biāo)數(shù)據(jù)，并提供可視化圖形展示；（5）提供節(jié)目內(nèi)容播放途徑分析按照關(guān)鍵途徑分析，記錄各關(guān)鍵業(yè)務(wù)的轉(zhuǎn)化率，分析顧客在原則途徑中各環(huán)節(jié)的流失狀況，并以直觀圖表展現(xiàn)。（6）提供頁面熱力圖分析提供頁面熱力圖功能，顧客可以框選熱力圖區(qū)域，頁面顯示該區(qū)域的顧客量、轉(zhuǎn)化率、播放內(nèi)容、次數(shù)等數(shù)據(jù)。（7）提供節(jié)目內(nèi)容分析，提供按播放類型分析，如點(diǎn)播、專題等；提供按內(nèi)容分析，包括電視、電影、綜藝、體育等對點(diǎn)播業(yè)務(wù)，提供從內(nèi)容分類到節(jié)目名稱不一樣緯度的指標(biāo)識錄，記錄指標(biāo)包括訪問量、播放量、播放轉(zhuǎn)化率、排名等指標(biāo)；對其他業(yè)務(wù)類型，按照節(jié)目內(nèi)容的不一樣緯度，提供訪問量、播放量、播放時(shí)長、節(jié)目排名等指標(biāo)識錄。（8）提供顧客訂購分析，訂購與否成功、訂購來源、訂購失敗原因、訂購編號、訂購時(shí)間等分析。針對訂購業(yè)務(wù)，記錄產(chǎn)品的訂購量、取消訂購量、續(xù)訂、訂購總數(shù)計(jì)費(fèi)、業(yè)務(wù)量排名等指標(biāo)識錄；記錄訂購業(yè)務(wù)的結(jié)算數(shù)據(jù)，提供地區(qū)、周期、產(chǎn)品名稱等緯度對消費(fèi)金額、訂購次數(shù)的記錄；記錄多產(chǎn)品的顧客訂購分布狀況。（9）提供顧客愛好分析根據(jù)顧客產(chǎn)品包訂購記錄及觀看記錄進(jìn)行顧客畫像，并對顧客觀看偏好進(jìn)行分析，建立顧客愛好表。數(shù)據(jù)可視化（1）提供大屏數(shù)據(jù)可視化針對大屏數(shù)據(jù)展示，進(jìn)行定制化，實(shí)時(shí)展示目前在線顧客數(shù)、點(diǎn)播顧客數(shù)、直播顧客數(shù)、回看顧客數(shù)等關(guān)鍵指標(biāo)。（2）提供多種顧客視角，多種指標(biāo)緯度數(shù)據(jù)可視化展示針對OTT的各項(xiàng)數(shù)據(jù)，系統(tǒng)提供基于整體概況、分業(yè)務(wù)、地理信息、頁面、途徑、內(nèi)容、運(yùn)行等多種緯度，包括訪問量、轉(zhuǎn)化率、播放量等多項(xiàng)指標(biāo)的記錄，并提供可視化展示。（3）支持顧客自定義分析系統(tǒng)支持顧客自定義查詢，容許顧客根據(jù)自身業(yè)務(wù)需要，自定義查詢分析系統(tǒng)數(shù)據(jù)，并支持選擇指標(biāo)，定制折線圖、餅圖等可視化圖形進(jìn)行展示，可以將分析成果以EXCEL形式輸出。（4）提供數(shù)據(jù)導(dǎo)出功能提供將記錄成果的數(shù)據(jù)以EXCEL文獻(xiàn)的形式導(dǎo)出，便于有關(guān)人員對數(shù)據(jù)進(jìn)行二次分析和圖表制作。系統(tǒng)管理（1）顧客權(quán)限管理針對業(yè)務(wù)不一樣層次的需求，提供系統(tǒng)管理員、一般顧客等不一樣角色的頁面權(quán)限管理；（2）提供自定義功能任務(wù)管理針對自定義分析，提供任務(wù)管理功能，包括任務(wù)創(chuàng)立、刪除、狀態(tài)查看、成果查看等功能。（3）元數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理對接入的數(shù)據(jù)進(jìn)行管理，數(shù)據(jù)質(zhì)量管理是對云平臺上存儲數(shù)據(jù)進(jìn)行質(zhì)量控制，保證數(shù)據(jù)真實(shí)可靠。初步方案C平臺接口日志分析通過C平臺VOD/OMS/BMS等模塊搜集系統(tǒng)日志，F(xiàn)lume是一種分布式、可靠、和高可用的海量日志聚合的系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于搜集數(shù)據(jù)；同步，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡樸處理，并寫到多種數(shù)據(jù)接受方（可定制）的能力。采用分布式消息系統(tǒng)kafka中間件，處理顧客行為（登錄、瀏覽、點(diǎn)擊、分享、喜歡）以及系統(tǒng)運(yùn)行日志（CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、系統(tǒng)及進(jìn)程狀態(tài)）。對采集到的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，采用apache的storm。HDFS分布式文獻(xiàn)系統(tǒng)完畢海量消息信息的存儲。HDFS通過一種高效的分布式算法，將數(shù)據(jù)的訪問和存儲分布在大量服務(wù)器之中，在可靠地多備份存儲的同步還能將訪問分布在集群中的各個(gè)服務(wù)器之上，是老式存儲構(gòu)架的一種顛覆性的發(fā)展。采用分布式計(jì)算算法，完畢數(shù)據(jù)分析、數(shù)據(jù)挖掘 。流水文獻(xiàn)分析一期：完畢數(shù)據(jù)抓取保留元數(shù)據(jù)。二期：完畢數(shù)據(jù)分析，完畢BI系統(tǒng)。三期：優(yōu)化全套流程，提高性能，顧客可自定義模型，BI系統(tǒng)自動(dòng)完畢對應(yīng)維度的圖形展示。四期：完畢數(shù)據(jù)挖掘。技術(shù)實(shí)現(xiàn)采用Hadoop處理系統(tǒng)，實(shí)現(xiàn)對顧客行為數(shù)據(jù)的實(shí)時(shí)處理和記錄分析，重要功能如下：（1）采用Hadoop2.X，支持多種平臺組件Hadoop系統(tǒng)最新的版本，并支持HDFS、Hbase、Map/Reduce、YARN、Hive等一系列組件。（2）平臺管理可對平臺的系統(tǒng)服務(wù)，硬件進(jìn)行安裝布署，監(jiān)控告警，以便運(yùn)維人員對系統(tǒng)進(jìn)行管理。對所有功能提供基于Web的控制臺操作頁面，并支持良好的UI操作，使得管理員可以輕松駕馭大數(shù)據(jù)平臺。對常用的管理功能，如軟件的啟停、軟件中某類服務(wù)的啟停、節(jié)點(diǎn)角色配置、高可用設(shè)置、負(fù)載均衡等，管理系統(tǒng)也將提供一鍵式的操作，減少管理員的工作復(fù)雜度，減少管理工作量。（3）監(jiān)控功能提供各組件全面的監(jiān)控功能，對平臺中各個(gè)層次的軟硬件狀態(tài)、性能等進(jìn)行全方位的監(jiān)控，并以直觀的方式加以展現(xiàn)。設(shè)備監(jiān)控將提供各服務(wù)器節(jié)點(diǎn)、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備的狀態(tài)和運(yùn)行性能監(jiān)控，以及設(shè)備中各部件的基本信息監(jiān)控，如CPU、網(wǎng)卡、硬盤等部件的信息。（4）告警功能對平臺中各軟硬件資源全面監(jiān)控的基礎(chǔ)上，提供健全的告警機(jī)制，在故障發(fā)生的第一時(shí)間將告警告知給管理員。管理系統(tǒng)提供多種方式的告警探測方式，可以對多種狀態(tài)異常直接進(jìn)行告警，也可以基于某項(xiàng)監(jiān)控指標(biāo)設(shè)定閾值進(jìn)行告警，如磁盤空間運(yùn)用率到90%需告警。（5）調(diào)參功能實(shí)現(xiàn)大數(shù)據(jù)平臺內(nèi)多種軟件的參數(shù)修改，自動(dòng)完畢有關(guān)參數(shù)在各軟件、各服務(wù)節(jié)點(diǎn)上