智慧城市交通行業(yè)大數(shù)據(jù)平臺技術(shù)創(chuàng)新

變革未來智慧城市交通行業(yè)大數(shù)據(jù)平臺技術(shù)創(chuàng)新變革未來12城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展09年開始建設(shè)交通行業(yè)數(shù)據(jù)中心，2014啟動大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)基礎(chǔ)設(shè)施可視化數(shù)據(jù)應(yīng)用2城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展09年開始建設(shè)交通行業(yè)數(shù)據(jù)中23基礎(chǔ)平臺Step1（十一五）Step2（十二五）Step3（十三五）數(shù)據(jù)采集和存儲數(shù)據(jù)管理與應(yīng)用平臺化數(shù)據(jù)服務(wù)09年北京探索建設(shè)交通行業(yè)數(shù)據(jù)中心，實(shí)現(xiàn)從無到有突破以關(guān)系型數(shù)據(jù)庫為主數(shù)據(jù)接入與共享梳理信息資源元數(shù)據(jù)標(biāo)準(zhǔn)形成初步資源管理平臺升級行業(yè)數(shù)據(jù)中心為交通行業(yè)大數(shù)據(jù)中心大數(shù)據(jù)存儲與計(jì)算智能動態(tài)監(jiān)測與管理規(guī)范化管理體系（ISO20000）初步的數(shù)據(jù)服務(wù)和定制服務(wù)全面打造開放數(shù)據(jù)服務(wù)平臺，數(shù)據(jù)開放共享不再以“搬家式”為主，更強(qiáng)調(diào)以服務(wù)的形式數(shù)據(jù)服務(wù)開放平臺定制可視化平臺3

.

信息服務(wù)資源平臺3基礎(chǔ)平臺Step1（十一五）Step2（十二五）Step334交通行業(yè)大數(shù)據(jù)中心建設(shè)交通行業(yè)大數(shù)據(jù)中心高技術(shù)、強(qiáng)管理、重服務(wù)！以接入、管理和應(yīng)用大數(shù)據(jù)為主；存儲方式更多樣化；處理和存儲能力達(dá)到較高水平；更強(qiáng)調(diào)數(shù)據(jù)應(yīng)用與服務(wù)；數(shù)據(jù)中心發(fā)展的目標(biāo)以技術(shù)和管理為基礎(chǔ)，以服務(wù)為核心！4交通行業(yè)大數(shù)據(jù)中心建設(shè)交通行業(yè)大數(shù)據(jù)中心以接入、管理和應(yīng)用45基礎(chǔ)平臺服務(wù)創(chuàng)新資源目錄定制化服務(wù)大數(shù)據(jù)處理平臺信息服務(wù)資源發(fā)布管理創(chuàng)新可視化管理與監(jiān)測全流程規(guī)范化管理技術(shù)創(chuàng)新集約化大數(shù)據(jù)中心整體框架、分布式數(shù)據(jù)存儲與處理平臺5基礎(chǔ)平臺服務(wù)創(chuàng)新資源目錄管理創(chuàng)新可視化管理與監(jiān)測技術(shù)創(chuàng)新集56基礎(chǔ)平臺-技術(shù)創(chuàng)新結(jié)合主流技術(shù)架構(gòu)打造交通行業(yè)大數(shù)據(jù)中心框架，構(gòu)建大數(shù)據(jù)存儲、大數(shù)據(jù)計(jì)算、共享交換、應(yīng)用服務(wù)和管理支撐五大平臺。截止目前共接入業(yè)務(wù)系統(tǒng)41個，數(shù)據(jù)量40T，處理速度可達(dá)3.3億條/5分鐘，日接入量26G。6基礎(chǔ)平臺-技術(shù)創(chuàng)新結(jié)合主流技術(shù)架構(gòu)打造交通行業(yè)大數(shù)據(jù)中心框67虛擬化平臺對前置器、中間庫、處理服務(wù)器進(jìn)行虛擬化管理提高服務(wù)器利用率和管理精細(xì)化水平；SAN存儲網(wǎng)絡(luò)安全管理域VCENTER互聯(lián)網(wǎng)域集群4

ESXI主機(jī)559G

內(nèi)存100GHz

CPU外部應(yīng)用域集群4

ESXI主機(jī)575G

內(nèi)存165GHz

CPU外部數(shù)據(jù)域集群3

ESXI主機(jī)487G

內(nèi)存108GHz

CPU共享交換域集群2

ESXI主機(jī)127G

內(nèi)存50GHz

CPU內(nèi)部應(yīng)用域集群5

ESXI主機(jī)319G

內(nèi)存159GHz

CPU內(nèi)部數(shù)據(jù)域集群3

ESXI主機(jī)190G

內(nèi)存95GHz

CPU7虛擬化平臺對前置器、中間庫精細(xì)化水平；SAN存儲網(wǎng)絡(luò)安全管78數(shù)據(jù)存儲EMC-1（高速）6THDS（高速）25TEMC-2（低速）50T磁帶庫交互區(qū)存儲0-1年數(shù)據(jù)整合區(qū)存儲0-3年數(shù)據(jù)近線區(qū)存儲3-10年數(shù)據(jù)歸檔區(qū)存儲大于10年數(shù)據(jù)存儲池業(yè)務(wù)庫歷史庫備份庫數(shù)據(jù)生命周期創(chuàng)新數(shù)據(jù)存貯管理技術(shù)應(yīng)用，一是歷史庫與業(yè)務(wù)庫二元模式，對存儲進(jìn)行合理劃分和功能定位；二是，實(shí)現(xiàn)數(shù)據(jù)的分級及周期管理，實(shí)現(xiàn)存儲介質(zhì)的池化管理，最大化利用空間資源；三是實(shí)現(xiàn)對關(guān)系數(shù)據(jù)庫數(shù)據(jù)和文件數(shù)據(jù)的統(tǒng)籌管理，根據(jù)數(shù)據(jù)應(yīng)用特點(diǎn)選擇合理的存儲方式。8數(shù)據(jù)存儲EMC-1（高速）HDS（高速）25TEMC-2（89技術(shù)創(chuàng)新之分布式處理平臺分布式處理技術(shù)創(chuàng)新，基于開源平臺在數(shù)據(jù)安全、故障恢復(fù)、性能優(yōu)化、中間件和工具、平臺化服務(wù)。9技術(shù)創(chuàng)新之分布式處理平臺分布式處理910管理創(chuàng)新之可視化監(jiān)測管理10管理創(chuàng)新之可視化監(jiān)測管理1011管理創(chuàng)新之規(guī)范化全流程管理線下審批流程與運(yùn)維考核建立規(guī)范化流程,每年完成批辦50余項(xiàng)，形成巡檢報告300余篇，平均處理故障125個！并于2014年4月通過獲得ISO20000認(rèn)證，同年12月規(guī)范化管理軟件平臺投入試運(yùn)行，實(shí)現(xiàn)線上線下全流程管理。線上規(guī)范化流程11管理創(chuàng)新之規(guī)范化全流程管理線下審批流程與運(yùn)維考核建立規(guī)范1112基礎(chǔ)平臺-服務(wù)創(chuàng)新結(jié)構(gòu)定制權(quán)限發(fā)布資源識別智能檢索配置向?qū)畔⒄故緮?shù)據(jù)報表定制分析圖表定制在線分析定制科學(xué)數(shù)據(jù)下載服務(wù)頁面定制發(fā)布權(quán)限定制業(yè)務(wù)規(guī)則定制大數(shù)據(jù)綜合查詢流程實(shí)例介紹API二次開發(fā)數(shù)據(jù)處理集群環(huán)境管理信息服務(wù)管理權(quán)限配置服務(wù)發(fā)布AK

密鑰申請API

樣例說明SDK

下載定制化服務(wù)大數(shù)據(jù)開放平臺數(shù)據(jù)資源目錄信息服務(wù)發(fā)布12基礎(chǔ)平臺-服務(wù)創(chuàng)新結(jié)構(gòu)定制數(shù)據(jù)報表定制大數(shù)據(jù)綜合查詢信息1213城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展圍繞交通監(jiān)測與信息服務(wù)，致力于大數(shù)據(jù)處理與應(yīng)用技術(shù)研究基礎(chǔ)設(shè)施可視化數(shù)據(jù)應(yīng)用13城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展圍繞交通監(jiān)測與信息服務(wù)，致1314處理應(yīng)用案例分享-出租車出租行業(yè)數(shù)據(jù)計(jì)算主要涉及GPS數(shù)據(jù)、交易數(shù)據(jù)、司機(jī)合同數(shù)據(jù)、審批數(shù)據(jù)、電召數(shù)據(jù)等，總數(shù)據(jù)量1.1~1.2億條/天，存儲量約17-20G/天。這些數(shù)據(jù)主要用于計(jì)算運(yùn)營指標(biāo)（50余項(xiàng)字段）、設(shè)備完好率、小時出車率、重點(diǎn)區(qū)域小時出車數(shù)量、電召日均訂單數(shù)量等，主要服務(wù)于行業(yè)考核、監(jiān)管與監(jiān)測。計(jì)算能力得到提升：計(jì)算33億條出租車數(shù)據(jù)，計(jì)算耗時由原來20小時縮短到20分鐘，提高60倍。14處理應(yīng)用案例分享-出租車出租行業(yè)數(shù)據(jù)計(jì)算主要涉及GPS數(shù)1415處理應(yīng)用案例分享—地面公交地面公交數(shù)據(jù)與地理信息數(shù)據(jù)在線匹配

實(shí)時計(jì)算公交走廊運(yùn)行速度、預(yù)測公交到站時間和預(yù)測公交客流分布；基于穩(wěn)態(tài)理論的信號交叉口均衡延誤模型、速度缺失路段填補(bǔ)算法，實(shí)現(xiàn)對每個路口、路段的預(yù)測預(yù)報，提高信息的準(zhǔn)確度。15處理應(yīng)用案例分享—地面公交地面公交數(shù)據(jù)與地理信息數(shù)據(jù)在線1516處理應(yīng)用--移動信令技術(shù)研究基于移動終端定位數(shù)據(jù)的居民出行調(diào)查方法，處理每日數(shù)據(jù)總量100G的移動信令數(shù)據(jù)。完成居民出行OD、出行時空分布分析，實(shí)現(xiàn)居民出行行為的自動、及時、準(zhǔn)確獲取，為交通政策制定、交通規(guī)劃、設(shè)計(jì)和管理等提供數(shù)據(jù)支持和決策依據(jù)。16處理應(yīng)用--移動信令技術(shù)研究基于移動終端定位數(shù)據(jù)的居民出1617城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展依托交通行業(yè)大數(shù)據(jù)中心，打造交通映像平臺，讓數(shù)據(jù)會說話基礎(chǔ)設(shè)施可視化數(shù)據(jù)應(yīng)用17城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展依托交通行業(yè)大數(shù)據(jù)中基礎(chǔ)設(shè)施1718數(shù)據(jù)可視化將大數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息的處理過程。直觀化：直觀形象地呈現(xiàn)數(shù)據(jù)關(guān)聯(lián)化：挖掘、突出呈現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)藝術(shù)化

:

增強(qiáng)數(shù)據(jù)呈現(xiàn)的藝術(shù)效果交互性：實(shí)現(xiàn)用戶與數(shù)據(jù)的交互，增強(qiáng)用戶對數(shù)據(jù)的控制18數(shù)據(jù)可視化將大數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開1819數(shù)據(jù)可視化D3.JS+R語言+Google

Charts+ProcessingOD分布圖公交路網(wǎng)路況軌道換乘圖軌道客流分布出租汽車熱點(diǎn)圖在數(shù)據(jù)空間中描繪城市交通出租數(shù)據(jù)+地鐵客流分布數(shù)據(jù)+地面公交分布數(shù)據(jù)+手機(jī)信令與OD數(shù)據(jù)+省級客運(yùn)實(shí)名制客流19數(shù)據(jù)可視化D3.JS+R語言+GoogleCharts1920創(chuàng)新在省際客運(yùn)量分布、公