基于通信數(shù)據(jù)的移動用戶行為分析[摘要]認為分析移動用戶行為特征與分類，對移動應(yīng)用個性化服務(wù)的改進具有重要的參考價值?；趪鴥?nèi)電信運營商隨機抽取某市一萬移動用戶一周的日志記錄，其中含有4萬余條通話記錄和200余萬條網(wǎng)絡(luò)請求，每條請求包含對應(yīng)的基站標號以及基站地理位置。本研究從消費能力、通話量、網(wǎng)絡(luò)請求量、位移量四個維度從這批數(shù)據(jù)中提取14種基本特征指標。利用K-Means聚類方法將移動用戶區(qū)分成規(guī)律通話型、隨機上網(wǎng)型、居家節(jié)約型和隨機高消費型等四類用戶模型。[關(guān)鍵詞]用戶行為分析;移動用戶研究;聚類分析;數(shù)據(jù)挖掘[分類號]G351引言隨著移動通信技術(shù)的迅猛發(fā)展和廣泛應(yīng)用，移動終端大量普及于民眾，也產(chǎn)生了大量用戶信息記錄，如何利用大數(shù)據(jù)來了解移動用戶行為與習(xí)慣特征的研究不斷涌現(xiàn)。通過對移動用戶的分析與了解，許多企業(yè)與政府部門可以依據(jù)結(jié)果提供各式各樣的服務(wù)與應(yīng)用方案。移動用戶行為分析通常是指基于地理信息涉及用戶訪問網(wǎng)絡(luò)、通話的行為規(guī)律與活動研究。電信運營商通過獲取用戶訪問移動互聯(lián)網(wǎng)、使用移動應(yīng)用及通話的行為規(guī)律,能夠有效地配置網(wǎng)絡(luò)資源并提供具有針對性的服務(wù)。近年來，針對桌面端日志挖掘的研究層出不窮，[15,16,17]都是針對桌面端web服務(wù)的后臺日志挖掘入手，通過分析用戶訪問頁面的占比、用戶訪問的頁面順序等對用戶的行為進行建模。而針對移動用戶的行為分析研究則在很多方面借鑒了桌面端的研究，同時利用移動端設(shè)備的地理位置位置記錄，挖掘出用戶移動軌跡模式，找出軌跡中重要的位置并結(jié)合通信數(shù)據(jù)、互聯(lián)網(wǎng)日志數(shù)據(jù)以及移動應(yīng)用數(shù)據(jù)作為研究的基礎(chǔ)，分析挖掘移動用戶的需求、行為、興趣，甚至是通過預(yù)測用戶的目的地、推測用戶下一步即將到達的位置以便提供針對性的推薦服務(wù)[1，13]。傳統(tǒng)的移動用戶軌跡分析，多數(shù)利用軟件采集仿真數(shù)據(jù)，屬于細時空粒度下的數(shù)據(jù)，即可以采集到用戶一天中連續(xù)時間段的位置數(shù)據(jù)。Y.Zhu等作者著眼于用戶位置數(shù)據(jù)中經(jīng)常出現(xiàn)的地點，并根據(jù)出現(xiàn)時間來推測用戶所處的位置是家還是公司[2]。此外，S.Akoush和A.Sameh則通過指定時間粒度，聚類用戶在多日同一時間段的行動軌跡，利用稀疏數(shù)據(jù)擬合出用戶在這時間段移動軌跡的目的[3]。研究用戶的移動軌跡，實現(xiàn)預(yù)測用戶下一步位置目的的方法，包括利用貝葉斯算法、聚類、數(shù)據(jù)挖掘方法等。實際上，電信運營商服務(wù)器上的數(shù)據(jù)是粗時間粒度的，唯有請求通信或上網(wǎng)時才會被記錄，因此用戶位置變化是不連貫的，具有隨機性、稀疏性的特點，不能支持用戶行為軌跡直接且連續(xù)的刻畫描述。譚均元等人提出了生活熵概念作為用戶移動軌跡規(guī)律程度的度量[4]，采用了個人多天時段移動序列的算法來彌補實際數(shù)據(jù)的這種不足，即通過對多天數(shù)據(jù)的分析來獲得更準確的用戶移動軌跡。S.A.Shad則結(jié)合地理信息與用戶提供的上下文語義信息來增加預(yù)測準確性[5]。梁鵬等作者則透過在WAP網(wǎng)關(guān)進行數(shù)據(jù)采集，并對數(shù)據(jù)進行數(shù)值分析和擬合,最后得到用戶行為的統(tǒng)計性特征來建立用戶行為分析模型[6]。呂洋利用上網(wǎng)數(shù)據(jù)研究用戶的網(wǎng)絡(luò)請求行為、時間、網(wǎng)頁應(yīng)用、數(shù)據(jù)包大小等信息建立用戶行為模型[7]。Y.Liu關(guān)注于移動用戶上網(wǎng)過程中訪問頻率、訪問時間、訪問深度之間的關(guān)系[8]。G.F.Zhao等作者則利用二分網(wǎng)絡(luò)模型來分析移動用戶上網(wǎng)過程中用戶與不同網(wǎng)站之間的關(guān)聯(lián)。對移動用戶上網(wǎng)請求過程中數(shù)據(jù)包的大小、請求響應(yīng)時間等的研究也是與運營商相關(guān)的研究方向[9,10,11,12]。由此可知，國內(nèi)外對移動用戶行為的研究呈現(xiàn)向上的趨勢，研究的方法也越來越多樣。筆者基于運營商提供的移動數(shù)據(jù)，提取用戶特征，并將選取的特征作為聚類分析的輸入?yún)?shù)，以發(fā)現(xiàn)具有不同行為特征的用戶類別。利用消費能力、通話量、網(wǎng)絡(luò)請求量、位移量四個維度作為分析用戶行為的基礎(chǔ)，從該批數(shù)據(jù)中提取相關(guān)的評價指標。通過聚類算法對用戶的分類，分析各類型用戶所獨有的屬性、行為特征。各類用戶模型分析結(jié)果可以作為電信運營商、服務(wù)或應(yīng)用提供企業(yè)根據(jù)不同用戶類型提供更好的推薦服務(wù)。2數(shù)據(jù)集及預(yù)處理2.1數(shù)據(jù)集本研究的數(shù)據(jù)集來自國內(nèi)移動電信運營商某市內(nèi)的一萬注冊用戶的一周數(shù)據(jù)，時間為2013年12月的第一周。數(shù)據(jù)包括用戶基本信息、通話記錄、上網(wǎng)記錄、以及使用基站地理位置等，其中共有456006條通話記錄和21441422條網(wǎng)絡(luò)請求記錄。該批數(shù)據(jù)中的所使用到的具體的信息字段包括:用戶編號(user_id)、移動產(chǎn)品品牌(brand_name)、用戶通話產(chǎn)生的費用(call_fee)、用戶上網(wǎng)產(chǎn)生的流量費用(gprs_fee)、增值業(yè)務(wù)費(databusiness_fee)、終端品牌(brand_chn)、手機操作系統(tǒng)(operation_sys)、通話開始時間(start_time)、通話結(jié)束時間(end_time)、通話基站緯度(longitude)、通話基站經(jīng)度(latitude)、網(wǎng)絡(luò)請求時間(start_time)、網(wǎng)絡(luò)請求基站緯度(longitude)、網(wǎng)絡(luò)請求基站經(jīng)度(latitude)等?？紤]到商業(yè)機密和隱私保護，筆者只對部份信息進行分析和結(jié)果展示。2.2數(shù)據(jù)預(yù)處理 數(shù)據(jù)預(yù)處理的主要工作包含刪除空記錄；刪除通話數(shù)據(jù)異常記錄(單一通話連續(xù)時長超過十小時)；清除與標記部份字段值缺失記錄；以及清理用戶請求基站服務(wù)的異常記錄。通過數(shù)據(jù)清理與預(yù)處理，最后共8916個有效用戶。（1）部份字段值缺失記錄該批數(shù)據(jù)用戶的基本信息記錄中，對于用戶通話產(chǎn)生的費用、用戶上網(wǎng)產(chǎn)生的流量費用、增值業(yè)務(wù)費數(shù)據(jù)缺失的情況，這是由于用戶在相應(yīng)字段意義內(nèi)未產(chǎn)生額外費用，統(tǒng)一賦值為0；對于手機品牌或操作系統(tǒng)值缺失的情況，我們推測這是由于用戶是用的手機并不屬于主流品牌或主流操作系統(tǒng)，統(tǒng)一賦值為其他(OTHER)；用戶的通話與上網(wǎng)數(shù)據(jù)記錄有開始時間或結(jié)束時間缺失，對這部分記錄做了刪除處理；并且用戶通話和上網(wǎng)數(shù)據(jù)中的位置信息的經(jīng)緯度缺失的情況，也做了清除處理。（2）用戶請求基站服務(wù)的異常記錄根據(jù)同一用戶不同時間的連續(xù)位移數(shù)據(jù)分析，發(fā)現(xiàn)部份記錄用戶在極短時間內(nèi)進行了極大的位移。本研究利用通話起始、結(jié)束時間、上網(wǎng)請求時間、基站緯度、基站經(jīng)度來計算用戶位移時速，將時速大于100km/h的用戶記錄清除。在數(shù)據(jù)的處理過程中，通過Python這種簡單易用的編程語言結(jié)合其用于數(shù)據(jù)分析處理的類庫Numpy、Pandas[14]等大大降低了的我們的工作難度。圖2一天8個時段的通話時長分布(圖中橫線為各時段的四分位線)利用這時段的切割具體分析每位移動用戶的通話行為，將個得到該用戶隱性的特征。舉例來說，以“21:00-24:00”時段中，將通話時長最長的用戶一天的通話數(shù)據(jù)作展示分析，如圖3所示。該用戶一天內(nèi)平均通話時長比較80%的用戶高，早上6點前，該用戶處于不通話的狀態(tài)，隨后的時間段通話量即高出90%的用戶，而在后面5個時間段里皆是通話時長最高的用戶。由此可知，該用戶是生活規(guī)律型上班族，而且全天均有大量通話行為，推測該用戶的工作業(yè)務(wù)與通話的相關(guān)度較高，同時在下班時段也有很多公務(wù)及私人通話的需求。綜合以上的統(tǒng)計，不同用戶間的通話習(xí)慣差別很大，本研究利用這8個時段的平均通話時長作為分析參數(shù)之一。圖3某用戶一天的通話時長折線圖3.3網(wǎng)絡(luò)請求量與通話量的特征選取方法一樣，利用平均網(wǎng)絡(luò)請求次數(shù)、各時間段的網(wǎng)絡(luò)請求分布作為描述用戶上網(wǎng)習(xí)慣的特征，將一周上網(wǎng)請求次數(shù)總和除以天數(shù)作為平均每天網(wǎng)絡(luò)請求次數(shù)。經(jīng)統(tǒng)計的結(jié)果，用戶每天的平均網(wǎng)絡(luò)請求次數(shù)為313.39次，并且四分之三的用戶平均每日網(wǎng)絡(luò)請求次數(shù)維持在382.14次以下。請求最多的用戶高達到13845次。本研究仍然利用8個時間段作為用戶一天上網(wǎng)請求行為的分析。80%的用戶的移動上網(wǎng)請求多數(shù)是在早上6點以后，且在“9點至12點”、“12點至15點”及“15點至18點”三個時段處于上網(wǎng)高峰，18點以后漸漸趨緩。說明多數(shù)人利用白天或上班時間移動上網(wǎng)，晚上則改成其它方式使用網(wǎng)絡(luò)或從事其他活動。3.4位移量（1）基站與位移量的計算由于該批數(shù)據(jù)的限制，缺少用戶每個時刻的基站位置，只具有通話及上網(wǎng)請求時的基站位置記錄，因此，本研究利用通話及上網(wǎng)請求行為中所使用的基站數(shù)、各時段使用的基站數(shù)和位移量這三個特征來描述用戶一天的運動情況。該批數(shù)據(jù)中，多數(shù)用戶一天的平均通信基站數(shù)比較少，只有3.68個，而75%的用戶每天使用基站數(shù)在5個以下，盡管有個別用戶一天的通信行為中出現(xiàn)的基站數(shù)在20個以上。同時，統(tǒng)計不同時間段的平均基站數(shù)后，以連續(xù)5個時間段”6點至21點”中，每時間段內(nèi)出現(xiàn)的基站數(shù)超過2個即判定為全天都有移動行為的用戶占55.44%。本研究利用取得的基站位置粗略表現(xiàn)為用戶運動的距離，假設(shè)用戶在一天中第一次發(fā)起請求所在基站為A，隨后發(fā)起請求的基站分別為B、C、D、以及最后的基站E，則該用戶一天的總移動距離SdaySday=SAB+通過這各距離運算公式，統(tǒng)計出所有用戶每日平均移動距離為31.62公里，有68.67%的用戶移動距離低于平均值。（2）生活熵除了上述的各項移動用戶的特征參數(shù)以外，本研究利用生活熵作為刻畫用戶移動規(guī)律的重要特征參數(shù)之一。生活熵大的用戶移動軌跡相對不規(guī)則，難以預(yù)測。而生活熵小的用則否，在特定時間粒度下有固定的行為模式。生活熵是將用戶的移動信息視為離散時間序列。假設(shè)x(t)為時間指標t所在的位置，則該用戶的生活熵LEuser的表示式如下LE其中n為用戶位置信息總共的時間段，以及Ψ為所有的位置集合。圖4將顯示生活熵的統(tǒng)計結(jié)果，縱軸與橫軸分別代表相應(yīng)用戶數(shù)與全體用戶的比例與生活熵。結(jié)果顯示75%的用戶生活熵低于16，由于生活熵低于20的用戶是屬于移動規(guī)律或甚至較少出門，因此可以得知該市至少75%的用戶生活規(guī)律，并容易預(yù)測其運動軌跡。圖4生活熵分布圖4移動用戶的聚類與分析通過對這批數(shù)據(jù)的統(tǒng)計與分析后，提取出上述的特征參數(shù)。本研究使用Z-score算法對這些特征參數(shù)先進行歸一化處理，再用K-Means聚類算法迭代25次之后，通過對聚類中心的分析，將聚類出的四類用戶結(jié)果分別與消費能力、通話量、網(wǎng)絡(luò)請求量、位移量的特征參數(shù)關(guān)系展示在圖5。圖5聚類類型與特征關(guān)系圖規(guī)律通話型用戶有規(guī)律的日?；顒樱咳盏囊苿恿颗c移動路線大同小異，平均生活熵低，90%以上的用戶使用電信運營商提供的動感地帶品牌，使用的手機系統(tǒng)種類多且相對均勻，平時利用手機移動上網(wǎng)需求少，而在上下班時間網(wǎng)絡(luò)請求占的比重稍高，表示用戶平時多有處于具有無線上網(wǎng)的區(qū)域停留，進而可判斷這類用戶以固定坐班的上班族和以通話業(yè)務(wù)為主的商務(wù)人士為主。此外，這類用戶盡管通話次數(shù)較少，但平均通話時長高。隨機上網(wǎng)型用戶的平均生活熵高表示日常移動量大，沒有規(guī)律移動量與行動路線，80%以上的用戶使用電信運營商提供的動感地帶品牌，并且使用的手機系統(tǒng)種類以蘋果機為主，使用手機移動上網(wǎng)的需求量是這四類中最高的，進而可以判斷這類用戶屬于年輕群體或高消費族群的移動上班族。居家節(jié)約型用戶的生活熵和位移量均最低，95%以上的用戶使用電信運營商提供的神州行品牌，使用的手機系統(tǒng)中普通系統(tǒng)或其他安卓系統(tǒng)占70%以上，平時利用手機移動上網(wǎng)需求也很少且請求的時間均勻，并且通話量與通話時長是四類用戶中最少的，表示用戶平時多在某些地區(qū)停留，并只用手機進行簡單的通話與交流，不常以手機作為上網(wǎng)的工具，且消費能力普通，進而可判斷這類用戶以退休老年人、家庭主婦、青少年或小孩等為主，不善使用高端手機的人群。隨機高消費型的聚類用戶數(shù)是四類中最低的，但這類用戶在消費能力和位移量兩個維度下與其他類差異明顯。這類用戶通話花費高，40%以上的用戶使用電信運營商提供的全球通品牌，使用的手機系統(tǒng)多以高端安卓與蘋果系統(tǒng)為主，除了通話量與平均通話時長都是四類中最高的，平時利用手機移動上網(wǎng)需求也非常高，通話、上網(wǎng)請求都不與上下班時間有明顯的關(guān)系，加上這類用戶的生活熵與平均移動量都是四類最高的，表示用戶平時多處于移動狀態(tài)，利用手機移動上網(wǎng)與通話的需求量大，進而可判斷這類用戶有大量業(yè)務(wù)需求的商務(wù)人士或無固定上班時間的高階主管。5結(jié)語本研究對2013年12月一周的一批移動用戶的基本信息、通話記錄、上網(wǎng)記錄、以及使用基站地理位置等記錄進行了分析，通過消費能力、通話量、網(wǎng)絡(luò)請求量、位移量四個維度提取用戶行為的14個特征，歸一化處理后，利用K-Means算法聚類，得出四個具有比較明顯特征的用戶類別：規(guī)律通話型、隨機上網(wǎng)型、居家節(jié)約型和隨機高消費型。利用這分類模型，總結(jié)每類移動用戶特征與提出相關(guān)的服務(wù)建議，提供電信運營商或相關(guān)企業(yè)強化用戶需求的服務(wù)內(nèi)容。規(guī)律通話型用戶，日常生活比較規(guī)律，消費能力普通，上下班時間網(wǎng)絡(luò)請求比重高。針對這一類用戶，建議電信運營商可以提供綜合性優(yōu)惠套餐，例如將通話、上網(wǎng)流量的優(yōu)惠配合簡單型手機的捆綁銷售。同時基于用戶位置推送實時周邊信息（點評推薦、優(yōu)惠信息、訂購信息、餐飲信息等），以及配合實時的天氣、交通信息提高用戶使用的興趣。隨機上網(wǎng)型用戶，行動比較沒有規(guī)律，平均移動量比較大，用戶消費能力比較高，且有使用網(wǎng)絡(luò)的需求。由于這類用戶有年輕化與追求流行的趨勢，建議可以提供優(yōu)惠的流量套餐，推送新潮商品的信息（數(shù)字產(chǎn)品、流行服飾、媒體影音等），以及配合實時的電影院、餐廳等優(yōu)惠信息提高用戶使用的興趣。居家節(jié)約型用戶，日常生活比較單純，消費能力低，在通話和上網(wǎng)方面需求量小。建議電信運營商可以提供家庭優(yōu)惠套餐，將通話、上網(wǎng)流量配合對應(yīng)的用戶共同分享數(shù)據(jù)量與信息。同時基于用戶位置推送與其它用戶實時共享信息，以及配合家用電器、學(xué)習(xí)資訊及快餐、超市商場優(yōu)惠信息提高用戶使用的興趣。隨機高消費型用戶，消費能力和日常移動明顯比其他類用戶高，活動路徑也不規(guī)律，通話與使用網(wǎng)絡(luò)的需求也是最大的。建議電信運營商可以配合高端商場與百貨公司提供線上線下(O2O,On-linetoOff-line)的應(yīng)用服務(wù)，同時基于用戶位置推送高端商品、理財?shù)膬?yōu)惠或即時信息（黃金珠寶、實時股市、銀行交易等）提高用戶使用的興趣。隨著移動用戶數(shù)量的快速增長，基于地理位置結(jié)合通信與上網(wǎng)數(shù)據(jù)挖掘已成為移動用戶行為分析領(lǐng)域的熱點研究方向之一。由于移動用戶的數(shù)據(jù)請求時間不連續(xù)，信息需求的地域性強，通過移動智能終端設(shè)備記錄用戶的地理位置信息，合并電信運營商的數(shù)據(jù)，加以模擬用戶軌跡預(yù)測用戶下一個位置，將用戶通話內(nèi)容、使用互聯(lián)網(wǎng)與應(yīng)用服務(wù)的日志等數(shù)據(jù)信息相結(jié)合用戶行為分析后，進而提供個性化的服務(wù)是未來移動用戶行為研究的一個重要方向。參考文獻：[1]HungCC,PengWC.Aregression-basedapproachforminingusermovementpatternsfromrandomsampledata[J].Data&KnowledgeEngineering,2011,70(1):1-20.[2]ZhuY,ZhangY,ShangW,etal.Trajectoryenabledservicesupportplatformformobileusers'behaviorpatternmining[C].MobileandUbiquitousSystems:Networking&Services,MobiQuitous,2009.MobiQuitous'09.6thAnnualInternational.IEEE,2009:1-10.[3]AkoushS,SamehA.Mobileusermovementpredictionusingbayesianlearningforneuralnetworks[C].Proceedingsofthe2007internationalconferenceonWirelesscommunicationsandmobilecomputing.ACM,2007:191-196.[4]譚鈞元,宋國杰,謝昆青,等.一種有效的基于生活熵的移動用戶分類算法[J].計算機研究與發(fā)展,2009,46(46):433-438.[5]ShadSA.移動用戶軌跡與行為模式挖掘方法研究[D].中國科學(xué)技術(shù)大學(xué),2013.[6]梁鵬,李兵,郭文君.移動數(shù)據(jù)業(yè)務(wù)用戶行為模型研究[J].中興通訊技術(shù),2005,11(4):70-74.[7]呂洋.基于用戶行為數(shù)據(jù)分析的移動互聯(lián)業(yè)務(wù)推薦模型[D].華中科技大學(xué),2011.[8]LiuY,YuanP.AstudyofuserdownloadingbehaviorinmobileInternetusingclickstreamdata[C].IntelligentInformationTechnologyandSecurityInformatics(IITSI),2010ThirdInternationalSymposiumon.IEEE,2010:255-257.[9]ZhaoG,LaiW,XuC,etal.AnalysisofUserBehaviorinMobileInternetUsingBipartiteNetwork[C].MobileAd-hocandSensorNetworks(MSN),2012EighthInternationalConferenceon.IEEE,2012:38-44.[10]賴志偉,梁勇華.移動互聯(lián)網(wǎng)用戶行為分析[J].科技風(fēng),2014,27(4):249-249.[11]李勇,徐振寧.Internet個性化信息服務(wù)研究綜述[J].計算機工程與應(yīng)用,2002,38(19):183-18