手機(jī)信令處理實(shí)時(shí)交通信息2018年7月01背景0203目錄CONTENT基于信令的實(shí)時(shí)交通信息處理信令數(shù)據(jù)與浮動(dòng)車數(shù)據(jù)融合3背景4基于信令的實(shí)時(shí)交通信息處理架構(gòu)離線預(yù)處理數(shù)據(jù)清洗信令定位路徑推測路況生成數(shù)據(jù)融合5架構(gòu)5手機(jī)信令處理引擎數(shù)據(jù)采集客戶端處理系統(tǒng)清洗軌跡積攢推測融合系統(tǒng)單車計(jì)算發(fā)布系統(tǒng)多車融合城市分組填補(bǔ)平滑特殊模型處理服務(wù)端客戶端實(shí)時(shí)處理離線處理數(shù)據(jù)輪轉(zhuǎn)HDFS文件系統(tǒng)MongokafkaRedisCouchbase常駐點(diǎn)挖掘道路基站對(duì)挖掘切換點(diǎn)與道路匹配預(yù)處理切換點(diǎn)間路徑推測預(yù)處理6離線預(yù)處理目的：為清洗數(shù)據(jù)進(jìn)行預(yù)處理，提前預(yù)編譯好切換點(diǎn)間路徑，提升處理效率。1.常駐點(diǎn)挖掘2.道路基站對(duì)挖掘3.切換點(diǎn)與道路匹配預(yù)處理4.切換點(diǎn)間路徑推測預(yù)處理7數(shù)據(jù)清洗-刪除無效數(shù)據(jù)

現(xiàn)有無線移動(dòng)數(shù)據(jù)存在支持路況信息計(jì)算的條件，并且保持路況的鮮度，故采用5分采樣周期，1分鐘滑動(dòng)窗口模式處理。

無效數(shù)據(jù)是指處理周期內(nèi)未行駛在道路范圍內(nèi)或移動(dòng)通信記錄缺失的用戶數(shù)據(jù)。實(shí)際處理中應(yīng)刪除以下數(shù)據(jù)：處理周期內(nèi)存在記錄中基站未覆蓋城際高速手機(jī)數(shù)據(jù)。一個(gè)處理周期內(nèi)記錄數(shù)少于三條的手機(jī)數(shù)據(jù)，則刪除該手機(jī)記錄序列。切換序列內(nèi)存在兩個(gè)切換點(diǎn)時(shí)間間隔大于10分鐘或距離大于5公里的手機(jī)數(shù)據(jù)。8數(shù)據(jù)清洗-刪除非移動(dòng)數(shù)據(jù)

9數(shù)據(jù)清洗-刪除非車載數(shù)據(jù)

重復(fù)切換是指處理周期內(nèi)手機(jī)數(shù)據(jù)切換序列中出現(xiàn)環(huán)路。根據(jù)異常數(shù)據(jù)特征分析中定義的重復(fù)切換特點(diǎn)，尋找非車載數(shù)據(jù)進(jìn)行剔除。10數(shù)據(jù)清洗-刪除非車載數(shù)據(jù)

重復(fù)切換是指處理周期內(nèi)手機(jī)數(shù)據(jù)切換序列中出現(xiàn)環(huán)路。根據(jù)異常數(shù)據(jù)特征分析中定義的重復(fù)切換特點(diǎn)，尋找非車載數(shù)據(jù)進(jìn)行剔除。11數(shù)據(jù)清洗-刪除常駐人口數(shù)據(jù)

根據(jù)預(yù)處理挖掘的常駐人口與基站的映射表，進(jìn)行相應(yīng)的信令清洗過濾。12信令定位-基于測試車輛采集的匹配點(diǎn)通過測試采集車輛，通過記錄切換點(diǎn)基站信息以及信令切換時(shí)刻的GPS定位信息，進(jìn)行切換點(diǎn)與道路的匹配定位13信令定位-基于切換點(diǎn)定位手機(jī)發(fā)生切換，且切換基站間距離小于2公里的，基站切換范圍內(nèi)(A區(qū)域)所有的路鏈與基站連線的垂直平分線交點(diǎn)作為切換點(diǎn)R=Distance(C1,C2)/2/0.8Distance:求距離C1/C2基站點(diǎn)位置注：該算法是在未知基站影響范圍的情況下的理想估算范圍，如果可提供基站影響范圍，我們會(huì)按照實(shí)際基站影響范圍來計(jì)算14信令定位-基于基站定位此定位主要應(yīng)用于,手機(jī)發(fā)生基站切換操作，且兩個(gè)基站之間的距離大于理論值時(shí)(目前定義為2km，即中途有無信號(hào)情況),那么使用此方式定位。通過計(jì)算基站覆蓋范圍內(nèi)與道路Link的交點(diǎn)，將交點(diǎn)定義為信令切換點(diǎn)。15路徑推測

按照預(yù)先標(biāo)定好的切換網(wǎng)絡(luò)，在理想條件下每條道路都有一條穩(wěn)定的切換序列與之對(duì)應(yīng)路徑推測算法主要是把上一章節(jié)位置匹配得出的結(jié)果(即切換點(diǎn)位置及備選link)進(jìn)行邏輯連接,把可以連通的多個(gè)切換點(diǎn)形成的備選link連接成一條/多條軌跡信息,然后經(jīng)過篩選得出最優(yōu)的車輛行駛軌跡。16路況生成-單車計(jì)算通過軌跡推測最終確定車輛行駛的軌跡，以及切換點(diǎn)在地圖上的具體位置，然后根據(jù)相鄰切換點(diǎn)間的距離以及切換點(diǎn)間的時(shí)間差計(jì)算出當(dāng)前信令軌跡所經(jīng)過的每根Link的速度及路況信息17路況生成-多車融合聚類加權(quán)平均方法：首先將每輛車的行駛速度按照3個(gè)設(shè)定的速度區(qū)間（配置文件中設(shè)定的每種道路等級(jí)的路況計(jì)算速度區(qū)間）進(jìn)行聚類，計(jì)算各自的權(quán)重比例；再對(duì)每輛車的速度乘上這個(gè)比例并求和(設(shè)為SpeedSum)，同時(shí)將每輛車的速度權(quán)重比例也求和(設(shè)為ScaleSum)，最后用SpeedSum/ScaleSum即為該Link的平均速度。舉例如下：【例】某條Link上有10輛車經(jīng)過，速度分別為V1，V2，……，V10，其中V1~V2屬于一個(gè)速度區(qū)間，V3~V5屬于一個(gè)速度區(qū)間，V6~V10屬于一個(gè)速度區(qū)間。則SpeedSum=(V1+V2)*(2/10)+(V3+V4+V5)*(3/10)+(V6+V7+V8+V9+V10)*(5/10)ScaleSum=2*(2/10)+3*(3/10)+5*(5/10)該Link的平均車速=SpeedSum/ScaleSum18路況生成-狀態(tài)確定道路等級(jí)暢通緩慢擁堵高速(+∞,60km/h](60km/h,40km/h](40km/h,0km/h]城快(+∞,40km/h](40km/h,20km/h](20km/h,0km/h]國道(+∞,25km/h](25km/h,15km/h](15km/h,0km/h]省道(+∞,25km/h](25km/h,15km/h](15km/h,0km/h]其他道路(+∞,20km/h](20km/h,10km/h](10km/h,0km/h]常規(guī)閾值算法自由流算法基于歷史的交通流數(shù)據(jù)，得到每條道路的自由流速方法一：可以采用低峰時(shí)段（或夜間）的道路速度平均值近似自由流速度方法二：類似85%位車速理論，取道路的p%位車速（速度從小到大排序）根據(jù)歐美的標(biāo)準(zhǔn)，擁緩區(qū)間取自由流速度的72%與36%作為暢通與擁堵的分界線。19信令路況與CN路況相關(guān)對(duì)比整體說明鑒于以上特點(diǎn)，需要進(jìn)行手機(jī)信令與浮動(dòng)車數(shù)據(jù)的融合，通過浮動(dòng)車數(shù)據(jù)提升城市內(nèi)道路路況的品質(zhì)，彌補(bǔ)由于手機(jī)信令精度問題造成的質(zhì)量損耗；而對(duì)于覆蓋的范圍更廣數(shù)據(jù)量更大手機(jī)信令數(shù)據(jù)，可以補(bǔ)充浮動(dòng)車數(shù)據(jù)源覆蓋不到區(qū)域的路況，二者的融合將會(huì)發(fā)揮各自的優(yōu)勢，必將帶來更高品質(zhì)的路況信息，提高整體的服務(wù)質(zhì)量。對(duì)比項(xiàng)手機(jī)信令CENNAVI數(shù)據(jù)量海量級(jí)別車輛數(shù):200萬+/分鐘（2000W+Gps點(diǎn)/分鐘）數(shù)據(jù)覆蓋范圍全域全國300+城市內(nèi)及城際間高速數(shù)據(jù)品質(zhì)數(shù)據(jù)精度差、數(shù)據(jù)載體對(duì)象復(fù)雜、噪音多城市內(nèi)主要道路覆蓋率高，數(shù)據(jù)精度高；城際間高速國省道覆蓋相對(duì)較差擁緩暢區(qū)間劃分基于道路等級(jí)設(shè)定速度區(qū)間整體基于道路等級(jí)，并結(jié)合自由流速度，針對(duì)特殊道路進(jìn)行特殊處理路況更新周期每5分鐘支持:5分鐘、1分鐘、30秒路況發(fā)布精度基于TMC位置參考、無路況精細(xì)化、路況表達(dá)粗礦支持多種位置參考，支持基于LINK、亞LINK的精細(xì)化路況發(fā)布對(duì)比項(xiàng)手機(jī)信令CENNAVI數(shù)據(jù)量

數(shù)據(jù)覆蓋范圍

數(shù)據(jù)品質(zhì)

擁緩暢區(qū)間劃分

路況更新周期

路況發(fā)布精度

優(yōu)勢項(xiàng)對(duì)比強(qiáng)強(qiáng)聯(lián)合20融合方案整合方案

-特征級(jí)融合方案方案概述基于過程的融合方案：即結(jié)合信令終端與CN車輛在同時(shí)間段內(nèi)、相同LINK上，基于各自速度與權(quán)重等信息的優(yōu)化與融合處理。融合周期為1分鐘。21特征級(jí)融合方案融合結(jié)構(gòu)圖特征融合主要包含4部分處理:主要應(yīng)對(duì)于輸入數(shù)據(jù)中的異常過濾數(shù)據(jù)清洗基于LINK速度的融合處理融合處理主要是防止交通狀態(tài)發(fā)生異常跳變,使交通狀態(tài)更加有連續(xù)性數(shù)據(jù)平滑速度閥值過濾、速度離群過濾、完走率過濾交通事件過濾時(shí)間平滑空間平滑計(jì)算數(shù)據(jù)鮮度權(quán)重加權(quán)融合010203主要是防止因某個(gè)時(shí)間點(diǎn)無車輛通過而導(dǎo)致無路況發(fā)布填補(bǔ)處理時(shí)間填補(bǔ)空間填補(bǔ)0422數(shù)據(jù)清洗功能※主要應(yīng)對(duì)于輸入數(shù)據(jù)中的異常過濾,主要包含四個(gè)方面：速度閥值過濾：按照不同道路等級(jí)的自由流速度*1.2,進(jìn)行過濾超過閥值的異常數(shù)據(jù)。速度離群過濾：通過對(duì)當(dāng)前融合周期內(nèi)的所有數(shù)據(jù)進(jìn)行離群操作,過濾掉不符合條件的數(shù)據(jù)。完走率過濾：通過對(duì)不同車輛的完走率計(jì)算,過濾掉不符合條件的車輛數(shù)據(jù)。交通事件過濾：通過對(duì)封路/施工等不允許車輛通過的路段進(jìn)行過濾清洗CN有專門的交通事件平臺(tái),集合了全國各個(gè)地區(qū)的事件數(shù)據(jù)(包括:施工/封路/積水/事故等)

[自由流速度]-自由流速度是一個(gè)交通工程術(shù)語，指不受上下游條件影響的交通流運(yùn)行速度。CN利用近4年的歷史數(shù)據(jù)分析挖掘，計(jì)算出每條道路的具體自由流速度,存入緩存區(qū),提供使用。

[完走率]-當(dāng)前車輛在當(dāng)前路段上行駛里程占路段長度的比例(如果完走率過低,那么標(biāo)識(shí)車輛的軌跡在當(dāng)前路段上不具有代表意義)。

[離群點(diǎn)過濾]-是在融合周期內(nèi)，剔除GPS速度顯著不同于其他GPS速度的點(diǎn)，處理包含如下4步：

Step3：利用方差思想大范圍剔除速度異常離群點(diǎn)，得到速度矩陣M2及速度矩陣M2的平均速度值a2

Step1：計(jì)算得到每條Link上單車速度矩陣M1的速度平均值a1

Step2：計(jì)算得到M1速度矩陣的標(biāo)準(zhǔn)方差σ

Step4：小范圍剔除離群點(diǎn)，得到速度矩陣M3及速度矩陣M3的平均速度值a3，x,y暫均取1/2備注23融合處理功能※

把基于LINK的不同類別的速度數(shù)據(jù)融合到一起的過程,主要包含四個(gè)方面：權(quán)重計(jì)算：數(shù)據(jù)鮮度:計(jì)算出每條數(shù)據(jù)在當(dāng)前融合周期內(nèi)的數(shù)據(jù)鮮度:狀態(tài)權(quán)重:即狀態(tài)相同的越多，在此狀態(tài)下的數(shù)據(jù)融合權(quán)重越高,計(jì)算出每條數(shù)據(jù)在當(dāng)前融合周期內(nèi)的狀態(tài)權(quán)重加權(quán)融合方法：通過權(quán)重進(jìn)行加權(quán)平均得到最終融合后的速度值。記錄貢獻(xiàn)度：通過記錄每次融合的結(jié)果數(shù)據(jù)中各類型數(shù)據(jù)的貢獻(xiàn)度，用于后續(xù)對(duì)數(shù)據(jù)質(zhì)量的評(píng)價(jià)和分析。

通過上述基于過程的融合，將各類基于LINK的速度進(jìn)行融合計(jì)算，最終評(píng)選出最優(yōu)的速度，并以此速度來評(píng)價(jià)當(dāng)前LINK的實(shí)際通行能力（即：路況狀態(tài)）。概述

單條數(shù)據(jù)鮮度變量說明:C=融合周期(秒);

dt=數(shù)據(jù)時(shí)間(秒);et=融合周期結(jié)束點(diǎn)時(shí)間(秒)單條數(shù)據(jù)狀態(tài)權(quán)重變量說明:N=與當(dāng)前數(shù)據(jù)狀態(tài)相同的數(shù)據(jù)數(shù)量L=數(shù)據(jù)總數(shù)量(W)=N/L融合后速度變量說明:V1=車輛速度X1=數(shù)據(jù)鮮度W1=狀態(tài)權(quán)重(S)=V1*X1*W1+V2*X2*W2/(X1*W1+X2*W2)變量說明:VA1=A數(shù)據(jù)源車輛速度XA1=A數(shù)據(jù)源數(shù)據(jù)鮮度WA1=A數(shù)據(jù)源狀態(tài)權(quán)重A數(shù)據(jù)源融合貢獻(xiàn)度(B)=VA1*XA1*WA1+VA2*XA2*WA2/(XA1*WA1+XA2*WA2)24平滑處理功能※

主要是防止交通狀態(tài)發(fā)生異常跳變,使交通狀態(tài)更加有連續(xù)性,主要包含兩個(gè)方面：時(shí)間平滑：主要是防止數(shù)據(jù)在時(shí)間序列上連續(xù)異常跳變。例：當(dāng)前時(shí)間戳擁堵,下一個(gè)時(shí)間戳?xí)惩?再下一個(gè)又變回?fù)矶碌漠惓Ｌ?，故使用平滑算法提升路況連續(xù)性空間平滑：主要是防止數(shù)據(jù)在空間序列上連續(xù)異常跳變例：比如兩段暢通路段夾雜著1個(gè)很短的擁堵，在平滑過程中可以平滑掉異常的路況。

平滑處理主要是從時(shí)間序列和空間序列兩個(gè)方面對(duì)路況產(chǎn)生跳變情況的優(yōu)化，時(shí)間平滑主要是針對(duì)相同LINK在連續(xù)的不同時(shí)間點(diǎn)上產(chǎn)生跳變情況的優(yōu)化；空間跳變主要是針對(duì)一組連續(xù)的LINK序列上產(chǎn)生跳變情況的優(yōu)化。通過平滑處理使得路況表達(dá)更為接近實(shí)際交通行為。概述25填補(bǔ)處理功能※主要是防止因某個(gè)時(shí)間點(diǎn)，某個(gè)路段無車輛通過而導(dǎo)致無路況發(fā)布，主要包含三個(gè)方面：時(shí)間填補(bǔ)：對(duì)于近期內(nèi)，有車輛通過可以計(jì)算出路況的路段,那么用最近時(shí)間戳的路況數(shù)據(jù)進(jìn)行填補(bǔ)?？臻g填補(bǔ)：當(dāng)某條Link上沒有實(shí)時(shí)交通流信息并且時(shí)間填補(bǔ)失敗，就在當(dāng)前時(shí)間的數(shù)據(jù)中查找該Link的前后接續(xù)Link是否存在實(shí)時(shí)交通流信息，如果存在，就進(jìn)行空間填補(bǔ)否則不進(jìn)行填補(bǔ)。歷史Pattern填補(bǔ)：CN通過對(duì)歷史浮動(dòng)車路況進(jìn)行深度挖掘分析，而形成一套路況TrafficPattern系統(tǒng)，可以查詢出歷史當(dāng)前時(shí)間特征下的路況信息進(jìn)行數(shù)據(jù)填補(bǔ)。

三種填補(bǔ)方式的優(yōu)先順序?yàn)闀r(shí)間

空間Pattern，通過這三種不同的填補(bǔ)方式，來保證滿足填補(bǔ)條件的數(shù)據(jù)的正常發(fā)布。概述[備注]-TrafficPattern為CN公司歷史數(shù)據(jù)分析的一套工具,通過聚類/平滑/決策樹等方法，計(jì)算出每個(gè)特征日，每個(gè)時(shí)間段等多個(gè)特征下，當(dāng)前時(shí)間戳的交通狀態(tài),如當(dāng)前時(shí)間17點(diǎn)30分，特征是周五晚高峰/暴雨天那么就可以分析出歷史周五晚高峰/暴雨天當(dāng)前路況的運(yùn)行狀態(tài)用作填補(bǔ)。26融合方案小結(jié)融合的優(yōu)勢通過基于過程的[特征級(jí)融合]可以將基于速度的準(zhǔn)原始數(shù)據(jù)，以CN的處理流程進(jìn)行路況處理，并將得到的路況結(jié)果，再以基于結(jié)果的[決策級(jí)融合]處理，對(duì)處理結(jié)果的再校驗(yàn)，通過兩次不同的切入方式融合邏輯處理，必將會(huì)得到更加準(zhǔn)確的路況結(jié)果。補(bǔ)充CN部分區(qū)域數(shù)據(jù)源不足的問題，提升CN數(shù)據(jù)源較少區(qū)域的路況覆蓋及路況準(zhǔn)確率。更短的融合周期(每分鐘)為信令路況發(fā)布的時(shí)效性提供了更好的保證。通過二者的融合，可以對(duì)發(fā)布結(jié)果進(jìn)行相互校驗(yàn)與評(píng)判，最終提升發(fā)布路況服務(wù)的質(zhì)量通過融合后的結(jié)果數(shù)據(jù)與為參與融合的信令路況數(shù)據(jù)、以及實(shí)地路況間的對(duì)比可以對(duì)現(xiàn)存處理的問題進(jìn)行發(fā)掘，為信令路況準(zhǔn)確率提供處理參考。綜述27融合方案小結(jié)01CN與信令路況的相互校驗(yàn)整體路況質(zhì)量的提升路況質(zhì)量提升數(shù)據(jù)分析信令路況更新周期：5分鐘；CN路況更新周期：1分鐘更好的時(shí)效性CN路況:提供更精準(zhǔn)的路況數(shù)據(jù)信令路況:補(bǔ)充CN的部分區(qū)域數(shù)據(jù)源覆蓋低數(shù)據(jù)的相互補(bǔ)充指標(biāo)1.補(bǔ)充CN部分區(qū)域數(shù)據(jù)源不足的問題，提升CN數(shù)據(jù)源較少區(qū)域的路況覆蓋及路況準(zhǔn)確率。020304指標(biāo)1.通過二者的融合，可以對(duì)發(fā)布結(jié)果進(jìn)行相互校驗(yàn)與評(píng)判，最終提升發(fā)布路況服務(wù)的質(zhì)量。指標(biāo)1.更短的融合周期(每分鐘)為信令路況發(fā)布的時(shí)效性提供了更好的保證。指標(biāo)1.通過融合后的結(jié)果數(shù)據(jù)與為參與融合的信令路況數(shù)據(jù)、以及實(shí)地路況間的對(duì)比可以對(duì)現(xiàn)存處理的問題進(jìn)行發(fā)掘，為信令路況準(zhǔn)確率提供處理參考。數(shù)據(jù)中問題不斷挖掘，質(zhì)量不斷提升

通過基于過程的[