智慧城市交通行業(yè)大數(shù)據(jù)平臺技術創(chuàng)新

變革未來智慧城市交通行業(yè)大數(shù)據(jù)平臺技術創(chuàng)新變革未來12城市交通大數(shù)據(jù)技術應用與發(fā)展09年開始建設交通行業(yè)數(shù)據(jù)中心，2014啟動大數(shù)據(jù)基礎設施建設基礎設施可視化數(shù)據(jù)應用2城市交通大數(shù)據(jù)技術應用與發(fā)展09年開始建設交通行業(yè)數(shù)據(jù)中23基礎平臺Step1（十一五）Step2（十二五）Step3（十三五）數(shù)據(jù)采集和存儲數(shù)據(jù)管理與應用平臺化數(shù)據(jù)服務09年北京探索建設交通行業(yè)數(shù)據(jù)中心，實現(xiàn)從無到有突破以關系型數(shù)據(jù)庫為主數(shù)據(jù)接入與共享梳理信息資源元數(shù)據(jù)標準形成初步資源管理平臺升級行業(yè)數(shù)據(jù)中心為交通行業(yè)大數(shù)據(jù)中心大數(shù)據(jù)存儲與計算智能動態(tài)監(jiān)測與管理規(guī)范化管理體系（ISO20000）初步的數(shù)據(jù)服務和定制服務全面打造開放數(shù)據(jù)服務平臺，數(shù)據(jù)開放共享不再以“搬家式”為主，更強調(diào)以服務的形式數(shù)據(jù)服務開放平臺定制可視化平臺3

.

信息服務資源平臺3基礎平臺Step1（十一五）Step2（十二五）Step334交通行業(yè)大數(shù)據(jù)中心建設交通行業(yè)大數(shù)據(jù)中心高技術、強管理、重服務！以接入、管理和應用大數(shù)據(jù)為主；存儲方式更多樣化；處理和存儲能力達到較高水平；更強調(diào)數(shù)據(jù)應用與服務；數(shù)據(jù)中心發(fā)展的目標以技術和管理為基礎，以服務為核心！4交通行業(yè)大數(shù)據(jù)中心建設交通行業(yè)大數(shù)據(jù)中心以接入、管理和應用45基礎平臺服務創(chuàng)新資源目錄定制化服務大數(shù)據(jù)處理平臺信息服務資源發(fā)布管理創(chuàng)新可視化管理與監(jiān)測全流程規(guī)范化管理技術創(chuàng)新集約化大數(shù)據(jù)中心整體框架、分布式數(shù)據(jù)存儲與處理平臺5基礎平臺服務創(chuàng)新資源目錄管理創(chuàng)新可視化管理與監(jiān)測技術創(chuàng)新集56基礎平臺-技術創(chuàng)新結合主流技術架構打造交通行業(yè)大數(shù)據(jù)中心框架，構建大數(shù)據(jù)存儲、大數(shù)據(jù)計算、共享交換、應用服務和管理支撐五大平臺。截止目前共接入業(yè)務系統(tǒng)41個，數(shù)據(jù)量40T，處理速度可達3.3億條/5分鐘，日接入量26G。6基礎平臺-技術創(chuàng)新結合主流技術架構打造交通行業(yè)大數(shù)據(jù)中心框67虛擬化平臺對前置器、中間庫、處理服務器進行虛擬化管理提高服務器利用率和管理精細化水平；SAN存儲網(wǎng)絡安全管理域VCENTER互聯(lián)網(wǎng)域集群4

ESXI主機559G

內(nèi)存100GHz

CPU外部應用域集群4

ESXI主機575G

內(nèi)存165GHz

CPU外部數(shù)據(jù)域集群3

ESXI主機487G

內(nèi)存108GHz

CPU共享交換域集群2

ESXI主機127G

內(nèi)存50GHz

CPU內(nèi)部應用域集群5

ESXI主機319G

內(nèi)存159GHz

CPU內(nèi)部數(shù)據(jù)域集群3

ESXI主機190G

內(nèi)存95GHz

CPU7虛擬化平臺對前置器、中間庫精細化水平；SAN存儲網(wǎng)絡安全管78數(shù)據(jù)存儲EMC-1（高速）6THDS（高速）25TEMC-2（低速）50T磁帶庫交互區(qū)存儲0-1年數(shù)據(jù)整合區(qū)存儲0-3年數(shù)據(jù)近線區(qū)存儲3-10年數(shù)據(jù)歸檔區(qū)存儲大于10年數(shù)據(jù)存儲池業(yè)務庫歷史庫備份庫數(shù)據(jù)生命周期創(chuàng)新數(shù)據(jù)存貯管理技術應用，一是歷史庫與業(yè)務庫二元模式，對存儲進行合理劃分和功能定位；二是，實現(xiàn)數(shù)據(jù)的分級及周期管理，實現(xiàn)存儲介質(zhì)的池化管理，最大化利用空間資源；三是實現(xiàn)對關系數(shù)據(jù)庫數(shù)據(jù)和文件數(shù)據(jù)的統(tǒng)籌管理，根據(jù)數(shù)據(jù)應用特點選擇合理的存儲方式。8數(shù)據(jù)存儲EMC-1（高速）HDS（高速）25TEMC-2（89技術創(chuàng)新之分布式處理平臺分布式處理技術創(chuàng)新，基于開源平臺在數(shù)據(jù)安全、故障恢復、性能優(yōu)化、中間件和工具、平臺化服務。9技術創(chuàng)新之分布式處理平臺分布式處理910管理創(chuàng)新之可視化監(jiān)測管理10管理創(chuàng)新之可視化監(jiān)測管理1011管理創(chuàng)新之規(guī)范化全流程管理線下審批流程與運維考核建立規(guī)范化流程,每年完成批辦50余項，形成巡檢報告300余篇，平均處理故障125個！并于2014年4月通過獲得ISO20000認證，同年12月規(guī)范化管理軟件平臺投入試運行，實現(xiàn)線上線下全流程管理。線上規(guī)范化流程11管理創(chuàng)新之規(guī)范化全流程管理線下審批流程與運維考核建立規(guī)范1112基礎平臺-服務創(chuàng)新結構定制權限發(fā)布資源識別智能檢索配置向?qū)畔⒄故緮?shù)據(jù)報表定制分析圖表定制在線分析定制科學數(shù)據(jù)下載服務頁面定制發(fā)布權限定制業(yè)務規(guī)則定制大數(shù)據(jù)綜合查詢流程實例介紹API二次開發(fā)數(shù)據(jù)處理集群環(huán)境管理信息服務管理權限配置服務發(fā)布AK

密鑰申請API

樣例說明SDK

下載定制化服務大數(shù)據(jù)開放平臺數(shù)據(jù)資源目錄信息服務發(fā)布12基礎平臺-服務創(chuàng)新結構定制數(shù)據(jù)報表定制大數(shù)據(jù)綜合查詢信息1213城市交通大數(shù)據(jù)技術應用與發(fā)展圍繞交通監(jiān)測與信息服務，致力于大數(shù)據(jù)處理與應用技術研究基礎設施可視化數(shù)據(jù)應用13城市交通大數(shù)據(jù)技術應用與發(fā)展圍繞交通監(jiān)測與信息服務，致1314處理應用案例分享-出租車出租行業(yè)數(shù)據(jù)計算主要涉及GPS數(shù)據(jù)、交易數(shù)據(jù)、司機合同數(shù)據(jù)、審批數(shù)據(jù)、電召數(shù)據(jù)等，總數(shù)據(jù)量1.1~1.2億條/天，存儲量約17-20G/天。這些數(shù)據(jù)主要用于計算運營指標（50余項字段）、設備完好率、小時出車率、重點區(qū)域小時出車數(shù)量、電召日均訂單數(shù)量等，主要服務于行業(yè)考核、監(jiān)管與監(jiān)測。計算能力得到提升：計算33億條出租車數(shù)據(jù)，計算耗時由原來20小時縮短到20分鐘，提高60倍。14處理應用案例分享-出租車出租行業(yè)數(shù)據(jù)計算主要涉及GPS數(shù)1415處理應用案例分享—地面公交地面公交數(shù)據(jù)與地理信息數(shù)據(jù)在線匹配

實時計算公交走廊運行速度、預測公交到站時間和預測公交客流分布；基于穩(wěn)態(tài)理論的信號交叉口均衡延誤模型、速度缺失路段填補算法，實現(xiàn)對每個路口、路段的預測預報，提高信息的準確度。15處理應用案例分享—地面公交地面公交數(shù)據(jù)與地理信息數(shù)據(jù)在線1516處理應用--移動信令技術研究基于移動終端定位數(shù)據(jù)的居民出行調(diào)查方法，處理每日數(shù)據(jù)總量100G的移動信令數(shù)據(jù)。完成居民出行OD、出行時空分布分析，實現(xiàn)居民出行行為的自動、及時、準確獲取，為交通政策制定、交通規(guī)劃、設計和管理等提供數(shù)據(jù)支持和決策依據(jù)。16處理應用--移動信令技術研究基于移動終端定位數(shù)據(jù)的居民出1617城市交通大數(shù)據(jù)技術應用與發(fā)展依托交通行業(yè)大數(shù)據(jù)中心，打造交通映像平臺，讓數(shù)據(jù)會說話基礎設施可視化數(shù)據(jù)應用17城市交通大數(shù)據(jù)技術應用與發(fā)展依托交通行業(yè)大數(shù)據(jù)中基礎設施1718數(shù)據(jù)可視化將大數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息的處理過程。直觀化：直觀形象地呈現(xiàn)數(shù)據(jù)關聯(lián)化：挖掘、突出呈現(xiàn)數(shù)據(jù)之間的關聯(lián)藝術化

:

增強數(shù)據(jù)呈現(xiàn)的藝術效果交互性：實現(xiàn)用戶與數(shù)據(jù)的交互，增強用戶對數(shù)據(jù)的控制18數(shù)據(jù)可視化將大數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開1819數(shù)據(jù)可視化D3.JS+R語言+Google

Charts+ProcessingOD分布圖公交路網(wǎng)路況軌道換乘圖軌道客流分布出租汽車熱點圖在數(shù)據(jù)空間中描繪城市交通出租數(shù)據(jù)+地鐵客流分布數(shù)據(jù)+地面公交分布數(shù)據(jù)+手機信令與OD數(shù)據(jù)+省級客運實名制客流19數(shù)據(jù)可視化D3.JS+R語言+GoogleCharts1920創(chuàng)新在省際客運量分布、公