大數(shù)據(jù)在高速公路領(lǐng)域的建設(shè)與應(yīng)用周剛CONTENT1走進大數(shù)據(jù)時代2高速公路大數(shù)據(jù)應(yīng)用淺析3大數(shù)據(jù)平臺、架構(gòu)與實現(xiàn)4成都四方偉業(yè)公司簡介走進大數(shù)據(jù)時代交通運輸運輸線路優(yōu)化交通信息服務(wù)數(shù)字媒休互聯(lián)網(wǎng)廣告用戶標(biāo)簽零售業(yè)O2O營銷客流與商圈選址醫(yī)療與保健病歷分析疾病監(jiān)測政府政務(wù)網(wǎng)上辦事大廳政務(wù)熱線地產(chǎn)中介社區(qū)O2O運營客戶畫像某著名企業(yè)運營商營銷決策對外拓展互聯(lián)網(wǎng)企業(yè)開放平臺應(yīng)用產(chǎn)品銀行業(yè)精準(zhǔn)營銷風(fēng)險管控教育在線教育教育應(yīng)用某著名企業(yè)政務(wù)商業(yè)工業(yè)重點行業(yè)大數(shù)據(jù)應(yīng)用生命數(shù)據(jù)源（管理、交易、事務(wù)、傳感、監(jiān)控、文件……）數(shù)據(jù)獲取和治理大數(shù)據(jù)存儲大數(shù)據(jù)分析計算處理大數(shù)據(jù)可視化數(shù)據(jù)驅(qū)動決策數(shù)據(jù)提供服務(wù)大數(shù)據(jù)生態(tài)湖泊數(shù)據(jù)信息知識數(shù)據(jù)運維數(shù)據(jù)之源數(shù)據(jù)生產(chǎn)區(qū)（原始數(shù)據(jù)）結(jié)構(gòu)化數(shù)據(jù)文本文件多媒體數(shù)據(jù)描述類數(shù)據(jù)信息發(fā)現(xiàn)區(qū)知識發(fā)現(xiàn)區(qū)知識挖掘區(qū)知識展現(xiàn)區(qū)知識交互區(qū)基于大數(shù)據(jù)的應(yīng)用體系ODS數(shù)據(jù)魔方多維數(shù)據(jù)關(guān)聯(lián)主數(shù)據(jù)數(shù)據(jù)臺賬關(guān)鍵索引大數(shù)據(jù)挖掘行業(yè)規(guī)則大數(shù)據(jù)可視化數(shù)據(jù)多維報表大數(shù)據(jù)操縱數(shù)據(jù)APIS大數(shù)據(jù)檢索機構(gòu)數(shù)據(jù)社會數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)安全數(shù)據(jù)審計數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)治理流程元數(shù)據(jù)大數(shù)據(jù)關(guān)聯(lián)大數(shù)據(jù)分析大數(shù)據(jù)預(yù)測信息數(shù)據(jù)知識應(yīng)用大數(shù)據(jù)，不再是傳統(tǒng)的BI競爭優(yōu)勢數(shù)據(jù)可視化樣本數(shù)據(jù)關(guān)聯(lián)關(guān)系多維分析統(tǒng)計報表全體數(shù)據(jù)趨勢預(yù)測全體數(shù)據(jù)代替樣本數(shù)據(jù)

一般是基于KPI指標(biāo)等的分析，無法有效支撐決策提供傳統(tǒng)的統(tǒng)計分析功能，提供報表等…傳統(tǒng)基于小數(shù)據(jù)量的數(shù)據(jù)分析，樣本數(shù)據(jù)注重關(guān)聯(lián)關(guān)系而非因果關(guān)系數(shù)據(jù)可視化變得尤為重要大數(shù)據(jù)的重點是關(guān)聯(lián)關(guān)系與趨勢預(yù)測大數(shù)據(jù)分析助力提升行業(yè)綜合數(shù)據(jù)應(yīng)用能力大數(shù)據(jù)關(guān)注點

傳統(tǒng)數(shù)據(jù)分析局限數(shù)據(jù)獲取因子分析算法訓(xùn)練數(shù)據(jù)呈現(xiàn)行業(yè)大數(shù)據(jù)應(yīng)用面對的挑戰(zhàn)硬件無法跟進數(shù)據(jù)規(guī)模的指數(shù)級增長過于分散和原始成為大數(shù)據(jù)應(yīng)用的障礙復(fù)雜數(shù)據(jù)算法與業(yè)務(wù)模型銜接諸多大數(shù)據(jù)并行計算架構(gòu)的選擇大數(shù)據(jù)應(yīng)用實現(xiàn)路徑：從哪里開始？專業(yè)人才匱乏CONTENT1走進大數(shù)據(jù)時代2高速公路大數(shù)據(jù)應(yīng)用淺析3大數(shù)據(jù)平臺、架構(gòu)與實現(xiàn)4成都四方偉業(yè)公司簡介人車路交通的參與者（駕駛員、行人、乘客、居民）出行OD、停留時間、人口分布、交通工具、異地通勤、交通負(fù)荷、事件分析、政策評估道路交通的主要載體物流車輛管理、車載終端（前后裝）、行車路線規(guī)劃、行車軌跡分析交通的重要組成部分交通路況、路況預(yù)測、物流園區(qū)況負(fù)荷評估區(qū)域間客流量交通分析區(qū)域間OD客流量。人口分布以熱圖方式實某省市某省市范圍內(nèi)人口空間分布，常住人口，流動人口分析出行分析出行次數(shù)、距離、時長及時刻分布及平均數(shù)多路徑分析多分支路徑交通流量占比分析通勤分析職住地分析，通勤特征分析，通勤次數(shù)，期望線等客流來源去向某個交通分析區(qū)域客流的來源、去向，出行方式高速公路大數(shù)據(jù)的主要特征數(shù)據(jù)資產(chǎn)=高速公路行業(yè)所有業(yè)務(wù)數(shù)據(jù)+信息化搜集手段技術(shù)手段=互聯(lián)網(wǎng)技術(shù)+數(shù)據(jù)分析模型+數(shù)據(jù)可視化技術(shù)分析方法=高速公路運營管理經(jīng)驗+數(shù)據(jù)建模分析經(jīng)驗互聯(lián)網(wǎng)+大數(shù)據(jù)=數(shù)據(jù)資產(chǎn)+技術(shù)手段+分析方法高速公路行業(yè)數(shù)據(jù)規(guī)模大、業(yè)務(wù)體量大。持續(xù)生產(chǎn)經(jīng)營過程及其業(yè)務(wù)對象的統(tǒng)計頻率較高、信息迭代速度較快?，F(xiàn)有業(yè)務(wù)領(lǐng)域較為廣泛以及未來的多元化發(fā)展，呈現(xiàn)出數(shù)據(jù)的多樣性速度快真實性多樣性大價值體量大能夠為高速公路營運管理提供科學(xué)管理和科學(xué)決策的依據(jù)，從而提高效率、降本增效來自于高速公路行業(yè)真實的生產(chǎn)經(jīng)營場景，能夠客觀反映其真實的生產(chǎn)經(jīng)營情況工業(yè)大數(shù)據(jù)能幫我們做什么投資收費

稽查/追偷逃決策支持展示大屏信息服務(wù)人口流動治超……高速公路作為國家基礎(chǔ)設(shè)施高速公路管理運營高速公路社會服務(wù)屬性對外展示決策支持高速公路經(jīng)營盈利訴求收費額度排名，收費構(gòu)成分析，ETC/MTC分析，通行量/通行費統(tǒng)計分析，偷逃費行為識別和預(yù)防路況與施工發(fā)布，特殊天氣提醒，輻射資源提示，交通旅游，人口流動與出行預(yù)測高速公路道路與設(shè)備的養(yǎng)護，成本效益評估分析，服務(wù)區(qū)評估，高速公路經(jīng)營分析、高速公路工程建設(shè)與投融資堵點評估，疏導(dǎo)路徑，高速公路應(yīng)急救援（交通疏導(dǎo)、人員救治、?；窇?yīng)急處理），現(xiàn)場實時視頻，事故多發(fā)地關(guān)聯(lián)分析與事故預(yù)防運營提升資產(chǎn)工程養(yǎng)護財務(wù)營運設(shè)施擁堵治理應(yīng)急救援物資調(diào)度客運/貨運高速公路公共屬性通行費征收出行服務(wù)分析BigData高速公路大數(shù)據(jù)來源與構(gòu)成數(shù)據(jù)管理制度數(shù)據(jù)安全數(shù)據(jù)/元數(shù)據(jù)標(biāo)準(zhǔn)人力財務(wù)辦公審批通行收費數(shù)據(jù)視頻監(jiān)控數(shù)據(jù)管理數(shù)據(jù)EMMS機電設(shè)備數(shù)據(jù)數(shù)據(jù)字典基礎(chǔ)資料高速公路IT運行規(guī)則定義與管理備品備件位置信息運行狀態(tài)與故障報修使用壽命與養(yǎng)護評估設(shè)備代碼管理工程投資信貸運營路面關(guān)鍵節(jié)點監(jiān)控收費站通行視頻監(jiān)控事故救援實時視頻車型出/入狀態(tài)通行時長通行里程圖片采集繳費金額繳費時間繳費方式高速公路大數(shù)據(jù)：擁堵治理模型大數(shù)據(jù)高速治堵應(yīng)用場景目標(biāo)功能設(shè)計模型構(gòu)建掌握車流量變化模式，提前預(yù)測車流量變化趨勢。掌握車流量變化模式，提前預(yù)測車流量變化趨勢。掌握車流量變化模式，提前預(yù)測車流量變化趨勢。123通過收費數(shù)據(jù)得到車輛信息，建立交通主題數(shù)據(jù)庫。分析交通流量日變特性、時變特性，擬合出車流量變化模型，并基于此預(yù)測未來車流量?；陬A(yù)測車流量，計算最優(yōu)的人力資源配置。123車輛信息采集車流量分析及預(yù)測人力資源配置采用支持向量回歸（SVR）模型，由歷史車流量數(shù)據(jù)訓(xùn)練出車流量模型用于預(yù)測。建立人力資源配置非線性優(yōu)化模型，利用遺傳規(guī)劃算法求出最優(yōu)解。12車流量預(yù)測模型車流量分析及預(yù)測高速公路大數(shù)據(jù)：物流分析模型高速公路物流分析大數(shù)據(jù)應(yīng)用場景目標(biāo)功能設(shè)計模型構(gòu)建挖掘通行數(shù)據(jù)的潛在價值，實現(xiàn)數(shù)據(jù)變現(xiàn)。提升通行數(shù)據(jù)的社會公眾服務(wù)的能力，擴大經(jīng)營范圍。12通過收費站數(shù)據(jù)提取貨車OD信息，并計算載重變化，獲得貨源信息推送對象。通過微信、短信或APP等將與貨車匹配的貨源信息推送給空載貨車車主，完成接單。12貨車載重變化計算貨源信息推送建立交通網(wǎng)絡(luò)圖模型，規(guī)劃單車最優(yōu)行駛路徑。利用兩階段聚類方法，求出多車輛物流合乘匹配優(yōu)化方案。12貨運配載的路徑匹配模型車輛合乘匹配模型3以物流信息推送為前提，發(fā)揮物流信息的深層價值。高速公路大數(shù)據(jù)：輔助養(yǎng)護決策支持大數(shù)據(jù)輔助養(yǎng)護決策支持應(yīng)用場景目標(biāo)功能設(shè)計模型構(gòu)建掌握道路上車輛的軸荷分布、相關(guān)機電設(shè)備歷史狀態(tài)信息。根據(jù)交通模型預(yù)測路面損毀程度，合理提出道路養(yǎng)護計劃。根據(jù)機電維護歷史數(shù)據(jù)建立設(shè)備養(yǎng)護評價體系。123通過收費數(shù)據(jù)得到交通量、軸荷歷史分布信息并預(yù)測未來分布。通過交通量、軸荷等信息預(yù)測路面使用性能，包括路面損毀程度等?；陬A(yù)測的路面使用性能，計算最優(yōu)養(yǎng)護時機及成本。123交通量分析及預(yù)測路面使用性能預(yù)測路面養(yǎng)護成本預(yù)測建立神經(jīng)網(wǎng)絡(luò)與夫算法結(jié)合的組合預(yù)測模型，由各影響因素預(yù)測路面使用性能。通過最小二乘法擬合得到養(yǎng)護成本與載荷和非載荷因素的計量模型，從而進行成本預(yù)測。12路面使用性能預(yù)測模型路面養(yǎng)護成本預(yù)測模型主要應(yīng)用方向高速公路運行指標(biāo)體系高速公路大數(shù)據(jù)經(jīng)濟高速公路群體要素大數(shù)據(jù)關(guān)鍵指標(biāo)統(tǒng)計分析與展示客貨運量、及其時間和空間的分布，統(tǒng)計排名通行規(guī)費收入，及其時間和空間分布、統(tǒng)計排名各路段擁堵系數(shù)交通事故發(fā)生率及其時間空間分布，統(tǒng)計排名……具體車輛和事件分析擁堵分析，包括擁堵疏導(dǎo)和擁堵根因事故分析，指導(dǎo)路徑規(guī)劃和警示標(biāo)志設(shè)置車輛通行異常，包括速度時間不匹配、入口出口車牌不符、以及高速路違法行為，整治秩序，追捕逃費……挖掘高速公路通行宏觀規(guī)律總結(jié)交通事故規(guī)律，探索提升安全管理途徑通過高速公路出行數(shù)據(jù)，分析人群流動方向和規(guī)律，出行規(guī)律與支付習(xí)慣分析高速機電設(shè)備故障損耗規(guī)律，提升養(yǎng)護效率，節(jié)約成本……探尋高速公路數(shù)據(jù)的經(jīng)濟價值高速公路客運/貨運指數(shù)探索高速公路客貨物流與相關(guān)經(jīng)濟要素的關(guān)系對比高速公路通行與其他交通方式的關(guān)聯(lián)關(guān)系經(jīng)營分析：工程建設(shè)與道路養(yǎng)護等成本投入，經(jīng)濟效益關(guān)聯(lián)分析高速公路建設(shè)企業(yè)信用評估……車輛行為分析展示門戶高速路網(wǎng)運行狀態(tài)基于GIS的全監(jiān)控高速路網(wǎng)運行全指標(biāo)可視化結(jié)合GIS的故障、擁堵和交通事故實時警示、視頻調(diào)取基于投資、運營、安全、服務(wù)多視角領(lǐng)導(dǎo)決策駕駛艙高速公路大數(shù)據(jù)頂層設(shè)計現(xiàn)狀首先要站在整個集團的高度，分析集團信息化的現(xiàn)狀和水平,對信息化缺失或水平不足的領(lǐng)域進行深度分析,梳理問題與根源所在,制定詳細(xì)可行的解決方案。目標(biāo)始終圍繞“開源節(jié)流”的核心思想，以數(shù)據(jù)的采集和分析為抓手,加速推進深化應(yīng)用，促使高速公路信息化在加快轉(zhuǎn)變發(fā)展方式中發(fā)揮更重要的牽引和支撐作用，最終實現(xiàn)提升集團整體效益的目標(biāo)。藍圖以“行業(yè)聯(lián)動、共建共享”的有效推動模式,圍繞行業(yè)痛點，集中優(yōu)勢資源，深入實踐和深度應(yīng)用相關(guān)技術(shù)手段，加強對不同領(lǐng)域、不同區(qū)域、不同板塊信息化建設(shè)的科學(xué)指導(dǎo)，同時將成熟模式和應(yīng)用方向推廣到全國，在全行業(yè)中樹立標(biāo)桿，引領(lǐng)行業(yè)發(fā)展。路線結(jié)合集團實際情況，規(guī)劃實現(xiàn)目標(biāo)架構(gòu)的分步建設(shè)路線圖、以及配套相關(guān)保障措施與制度建設(shè)、優(yōu)化建設(shè)模式等，為后續(xù)深化應(yīng)用方向,面向行業(yè)推廣提供參考依據(jù)。高速公路大數(shù)據(jù)系統(tǒng)架構(gòu)（在大數(shù)據(jù)平臺基礎(chǔ)上畫一個架構(gòu)）高速公路大數(shù)據(jù)應(yīng)用剖析運行維護體系技術(shù)視角部署視角業(yè)務(wù)視角標(biāo)準(zhǔn)規(guī)范體系信息安全體系計算資源網(wǎng)絡(luò)資源存儲資源網(wǎng)絡(luò)資源業(yè)務(wù)管理地理決策元數(shù)據(jù)文檔虛擬化軟件數(shù)據(jù)庫軟件操作系統(tǒng)備份軟件治理流程數(shù)據(jù)審計數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)臺賬機器學(xué)習(xí)人工智能深度學(xué)習(xí)實時分析GIS呈現(xiàn)貨運客運指數(shù)偷逃行為分析事故地點分析站點擁堵分析超速車輛識別車輛行為軌跡出入車牌不符機電設(shè)備養(yǎng)護高清設(shè)備投放電子支付分析站點設(shè)備異常門戶外部門戶決策分析系統(tǒng)三大業(yè)務(wù)職能精細(xì)化運營管理，降本增效面向管理部門的信息化服務(wù)面向公眾的信息化服務(wù)123物理部署數(shù)據(jù)交換匯聚平臺數(shù)據(jù)治理平臺智能分析平臺可視化應(yīng)用平臺數(shù)據(jù)安全數(shù)據(jù)質(zhì)量資源目錄元數(shù)據(jù)管理基礎(chǔ)設(shè)施層：規(guī)劃建設(shè)統(tǒng)一3個視角3大業(yè)務(wù)職能4類核心平臺數(shù)據(jù)層：數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一應(yīng)用支撐層：技術(shù)路線統(tǒng)一應(yīng)用層：業(yè)務(wù)規(guī)劃統(tǒng)一門戶層：對外服務(wù)統(tǒng)一5個統(tǒng)一的建設(shè)思路CONTENT1走進大數(shù)據(jù)時代2高速公路大數(shù)據(jù)應(yīng)用淺析3大數(shù)據(jù)平臺、架構(gòu)與實現(xiàn)4成都四方偉業(yè)公司簡介WYDC大數(shù)據(jù)平臺總體架構(gòu)用戶管理系統(tǒng)監(jiān)控資源管理部署管理資源調(diào)度安全管理日志審計運維平臺Manager數(shù)據(jù)交換匯集ETL網(wǎng)絡(luò)爬蟲（PySpider）實時采集（Flume）數(shù)據(jù)遷移（Sqoop）數(shù)據(jù)治理Govern數(shù)據(jù)地圖數(shù)據(jù)共享數(shù)據(jù)質(zhì)量數(shù)據(jù)治理銀行業(yè)務(wù)工商業(yè)務(wù)政務(wù)業(yè)務(wù)稅務(wù)稽查智能交通智慧醫(yī)療Hive（SQL）MapReduceHDFSYARNImpala（In-memorySQL）Mahout（MachineLearning）Spark（MLlib）Pig（Scripting）可視設(shè)計UE敏捷BI根因分析DE關(guān)聯(lián)分析XE搜索引擎推薦引擎輿情監(jiān)控反欺詐圖像識別語音識別用戶畫像智能管理API／SDK…應(yīng)用&服務(wù)采集存儲&計算數(shù)據(jù)探索統(tǒng)計分析敏捷OLAP數(shù)據(jù)洞察Insight知識挖掘數(shù)據(jù)挖掘機器學(xué)習(xí)算法庫人工智能Miner模型庫實時分析實時數(shù)據(jù)庫流數(shù)據(jù)處理流計算Streaming數(shù)據(jù)流規(guī)則分析WYDC大數(shù)據(jù)交換匯集平臺構(gòu)造大數(shù)據(jù)的數(shù)據(jù)之源大數(shù)據(jù)交換匯集平臺原始數(shù)據(jù)源數(shù)據(jù)采集交換區(qū)數(shù)據(jù)湖分散、種類多樣化，時效性差異大多種技術(shù)手段，平臺化系統(tǒng)，快速部署，統(tǒng)一管理為大數(shù)據(jù)應(yīng)用提供全兼容數(shù)據(jù)存儲任務(wù)流程調(diào)度操作控制流程控制轉(zhuǎn)換流程數(shù)據(jù)抽取數(shù)據(jù)加載數(shù)據(jù)轉(zhuǎn)換子任務(wù)調(diào)度操作控制爬蟲系統(tǒng)流數(shù)據(jù)采集傳輸ETL服務(wù)器認(rèn)證授權(quán)監(jiān)控管理接口擴展接口ETL資源庫集成開發(fā)工具統(tǒng)一管理平臺數(shù)據(jù)資源庫文件資源庫數(shù)據(jù)源接入流程開發(fā)任務(wù)配置任務(wù)部署調(diào)試跟蹤任務(wù)執(zhí)行監(jiān)控輸出運行日志運行控制狀態(tài)監(jiān)控日志查看權(quán)限管理節(jié)點管理錯誤告警性能統(tǒng)計面板定制ETL引擎任務(wù)調(diào)度元數(shù)據(jù)處理流程性能管理交換管理任務(wù)引擎轉(zhuǎn)換引擎轉(zhuǎn)換組件適配器組件轉(zhuǎn)換流程流程控制操作控制任務(wù)調(diào)度豐富的ETL構(gòu)件庫ETL實現(xiàn)各種你所需的數(shù)據(jù)處理流程提高開發(fā)效率縮短開發(fā)圖形化拖拽方式快速集成實現(xiàn)復(fù)雜數(shù)據(jù)處理流程NoSQL接入云化部署ETL的監(jiān)控管理單一業(yè)務(wù)的任務(wù)詳情圖形化展示任務(wù)執(zhí)行日志任務(wù)運行情況變化曲線全方位洞察一項任務(wù)執(zhí)行定義指定任務(wù)的報警規(guī)則定制指定任務(wù)的報警渠道指定報警信息的接收者根據(jù)需要控制告警規(guī)則的啟用與關(guān)閉告警幫你隨時把握任務(wù)異?？梢暬侄味嘟嵌茸鳂I(yè)監(jiān)控作業(yè)執(zhí)行狀態(tài)與成功率監(jiān)控對作業(yè)進行多角度排序ETL任務(wù)執(zhí)行一覽無余WYDC大數(shù)據(jù)應(yīng)用駕駛艙大數(shù)據(jù)高速飛行的駕駛艙大數(shù)據(jù)應(yīng)用駕駛艙SqoopHiveHBaseZookepperPigMahoutMapReduceHDFS分布式網(wǎng)絡(luò)Cloud服務(wù)器/存儲物理安全FlumeHama超強計算能力更低建模門檻全景統(tǒng)一管理更低建設(shè)成本可信賴安全機制全方位輔助分析多達50+預(yù)置模型支持百億級數(shù)據(jù)量訓(xùn)練多算法并行訓(xùn)練支持算法組件，零編碼，拖拽式數(shù)十個流程設(shè)計組件用戶自定義算法組件算法庫行業(yè)分類跨平臺算法調(diào)用模型訓(xùn)練結(jié)果分析報告參數(shù)化調(diào)優(yōu)，簡化配置建模全生命程管理可視化實時模型訓(xùn)練監(jiān)控性能處理，比某省市市資源1/3搭配智能部署，讓實施成本降低50%多種權(quán)限控制機制數(shù)據(jù)級別訪問權(quán)限控制資源級別訪問權(quán)限控制大數(shù)據(jù)應(yīng)用流程控制任務(wù)耗時情況總覽狀態(tài)監(jiān)控，隨時掌握任務(wù)執(zhí)行狀態(tài)的總體分布任務(wù)狀態(tài)情況總覽耗時的任務(wù)和步驟，需要得到我們的重點關(guān)照具體任務(wù)耗時追蹤耗時監(jiān)控，透視任務(wù)執(zhí)行的時間大數(shù)據(jù)分析流程監(jiān)控與調(diào)度大數(shù)據(jù)應(yīng)用流程實現(xiàn)任務(wù)導(dǎo)航列表任務(wù)查詢?nèi)蝿?wù)創(chuàng)建拖拽算法，拼接數(shù)據(jù)分析流程定義任務(wù)基本屬性配置任務(wù)調(diào)度信息駕駛艙數(shù)據(jù)查詢數(shù)據(jù)圖表數(shù)據(jù)明細(xì)元數(shù)據(jù)信息查詢?nèi)罩練v史記錄HDFS文件基礎(chǔ)計算架構(gòu)運維管理WYDC大數(shù)據(jù)治理平臺大數(shù)據(jù)治理實現(xiàn)數(shù)據(jù)內(nèi)升大數(shù)據(jù)治理流域原始業(yè)務(wù)數(shù)據(jù)原始業(yè)務(wù)數(shù)據(jù)原始業(yè)務(wù)數(shù)據(jù)原始業(yè)務(wù)數(shù)據(jù)基礎(chǔ)庫主題庫元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)字典目錄系統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)自由之海數(shù)據(jù)河流數(shù)據(jù)河流大數(shù)據(jù)存儲語義級主題數(shù)據(jù)檢索時間維空間維對象維多維數(shù)據(jù)安全流程審計數(shù)據(jù)采集清洗比對閉環(huán)迭代數(shù)據(jù)梳理編目主數(shù)據(jù)管理多維數(shù)據(jù)檢索與服務(wù)大數(shù)據(jù)存儲訪問面向數(shù)據(jù)需求方原始數(shù)據(jù)元數(shù)據(jù)治理流程數(shù)據(jù)標(biāo)準(zhǔn)字典行業(yè)業(yè)務(wù)規(guī)則訪問條理安全質(zhì)量數(shù)據(jù)接口共享開放數(shù)據(jù)檢索數(shù)據(jù)服務(wù)我是系統(tǒng)運維主管，要管理好所有數(shù)據(jù)資源的安全我的應(yīng)用需要訪問和采集大量的數(shù)據(jù)我的大數(shù)據(jù)挖掘模型需要大量數(shù)據(jù)之源我的決策分析要涉及更全面的信息我是信息運營主管，希望隨時了解我有哪些數(shù)據(jù)資源能不能我想要什么都快速查到？……治理的開始：數(shù)據(jù)整合ETL數(shù)據(jù)處理流程

數(shù)據(jù)轉(zhuǎn)換實現(xiàn)數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)變數(shù)據(jù)拼裝實現(xiàn)不同數(shù)據(jù)來源的匯總數(shù)據(jù)比對通過比對去除錯誤和冗余數(shù)據(jù)清洗去偽存真，保留正確數(shù)據(jù)數(shù)據(jù)載入根據(jù)中心存儲裝載數(shù)據(jù)內(nèi)容治理的脈絡(luò)：元數(shù)據(jù)在數(shù)據(jù)調(diào)研與業(yè)務(wù)中積累元數(shù)據(jù)調(diào)研表格與報告部門元數(shù)據(jù)收集數(shù)據(jù)調(diào)研梳理元數(shù)據(jù)定義與生成元數(shù)據(jù)存儲元數(shù)據(jù)應(yīng)用與維護元數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)管理與服務(wù)自動對中心數(shù)據(jù)資源生成結(jié)構(gòu)化元數(shù)據(jù)減小工作量投入可通過標(biāo)準(zhǔn)定義自動生成數(shù)據(jù)表自動偵測元數(shù)據(jù)本身也是一個體系元數(shù)據(jù)按規(guī)劃層級存儲選擇數(shù)據(jù)庫等載體以便于檢索為目標(biāo)存儲元數(shù)據(jù)元數(shù)據(jù)準(zhǔn)確性維護元數(shù)據(jù)完整性維護元數(shù)據(jù)分中心之間支持交換同步元數(shù)據(jù)維護便捷訪問元數(shù)據(jù)基于元數(shù)據(jù)輕松定位數(shù)據(jù)存儲與訪問便于數(shù)據(jù)組裝編制構(gòu)成數(shù)據(jù)目錄元數(shù)據(jù)檢索治理的標(biāo)尺：數(shù)據(jù)標(biāo)準(zhǔn)與質(zhì)量數(shù)據(jù)比對規(guī)則行業(yè)規(guī)則數(shù)據(jù)/元數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量報告數(shù)據(jù)清洗比對參照規(guī)則多源數(shù)據(jù)中心前置緩存自動/人工比對反向清洗數(shù)據(jù)中心資源維護階段數(shù)據(jù)中心中心資源治理階段數(shù)據(jù)整合階段數(shù)據(jù)字典數(shù)據(jù)依標(biāo)準(zhǔn)的格式轉(zhuǎn)換數(shù)據(jù)采集數(shù)據(jù)傳輸數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)分類與目錄規(guī)則定義與管理標(biāo)準(zhǔn)設(shè)計管理大數(shù)據(jù)治理平臺：段碼數(shù)據(jù)標(biāo)準(zhǔn)管理大數(shù)據(jù)治理平臺：信息類管理大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)——規(guī)則定義大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)大數(shù)據(jù)治理平臺：數(shù)據(jù)資源目錄大數(shù)據(jù)治理平臺：信息類授權(quán)大數(shù)據(jù)治理平臺：數(shù)據(jù)臺賬大數(shù)據(jù)治理平臺核心價值更全面的數(shù)據(jù)質(zhì)量保障提供數(shù)據(jù)標(biāo)準(zhǔn)梳理工具，使得元數(shù)據(jù)更合規(guī)支持策略集的質(zhì)量巡檢方式，保障數(shù)據(jù)的完整性全景化信息開放與檢索支持主題的數(shù)據(jù)臺賬，基于元數(shù)據(jù)的信息管理，提供數(shù)據(jù)資源目錄與導(dǎo)航多渠道的數(shù)據(jù)訪問機制（目錄、API、Webservices）全過程信息安全支持交換全過程監(jiān)控、審計，并提供郵件、短信預(yù)警功能基于oAuth協(xié)議的第三方單點登陸集成的模塊支持通道安全，支持SSL傳輸通道加密功能支持?jǐn)?shù)據(jù)及資源級別訪問安全控制，可靈活對脫敏數(shù)據(jù)進行管理更低的建設(shè)成本產(chǎn)品自主化量身定制適合應(yīng)用的實踐路線智能部署，比同類某省市市一半時間基于大量實踐的，通用解決方案WYDC大數(shù)據(jù)智能分析平臺大數(shù)據(jù)知識挖掘的核心引擎大數(shù)據(jù)分析平臺關(guān)鍵能力開放彈性架構(gòu)真正無共享的海量并行處理架構(gòu)工業(yè)標(biāo)準(zhǔn)的X86平臺服務(wù)器資源按需分配，按需搭建集群，按需縮放集群規(guī)模在線線性擴展增加節(jié)點可線性增加存儲、查詢和加載性能支持在線擴容，擴容期間保證系統(tǒng)繼續(xù)對外提供服務(wù)擁有成本可控保證用戶不被專有平臺鎖定企業(yè)初期投入和后續(xù)擴容的成本可控海量并行處理支持PB級的數(shù)據(jù)處理、存儲和訪問在數(shù)據(jù)加載、處理、訪問等各個環(huán)節(jié)最大化并行處理能力優(yōu)秀混合負(fù)載按需分配資源（CPU、內(nèi)存、IO）動態(tài)調(diào)整資源平臺持續(xù)可用數(shù)據(jù)鏡像、硬件冗余等多種容錯技術(shù)保證系統(tǒng)高可用故障切換和恢復(fù)，對用戶透明擴容期間可持續(xù)對外服務(wù)理維護直觀的圖形化界面，實時的狀態(tài)監(jiān)控最大限度降低管理員的日常管理和維護工作數(shù)據(jù)分析挖掘功能架構(gòu)模型庫數(shù)據(jù)分析算法庫Mahout算法庫SparkMlib自定義算法算法審核模型評估模型發(fā)布模型訓(xùn)練模型管理統(tǒng)計分析MOLAPROLAPKylin數(shù)據(jù)挖掘數(shù)據(jù)挖掘數(shù)據(jù)預(yù)處理算法選擇模型構(gòu)建與評估結(jié)果預(yù)測數(shù)據(jù)探索知識庫知識分類管理版本與發(fā)布管理訂閱管理知識庫檢索數(shù)據(jù)源選擇R集成Python集成數(shù)據(jù)源選擇超強的計算能力多達50種以上的預(yù)置模型；支持百億級數(shù)據(jù)量訓(xùn)練；輔助分析能力快速展現(xiàn)模型訓(xùn)練結(jié)果；參數(shù)化模型調(diào)優(yōu)；可信賴的安全控制提供多種權(quán)限控制設(shè)置；支持?jǐn)?shù)據(jù)級別訪問安全控制；支持資源級別訪問安全控制；數(shù)據(jù)倉庫某省市PetaBase支持?jǐn)?shù)據(jù)庫類型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL

Server/Sybase/…支持?jǐn)?shù)據(jù)庫類型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL

Server/Sybase/…EssBase…Hadoop分布式高性能交互式SQL數(shù)據(jù)挖掘Miner可視化環(huán)境簡單可視化環(huán)境視覺呈現(xiàn)所有利益相關(guān)者之間的合作可以簡單高效設(shè)計更好的模型每一個分析是一個流程每種數(shù)據(jù)轉(zhuǎn)化或分析是一個節(jié)點操作界面強大的工程支撐流程可以當(dāng)做模板再次使用支持項目工程建模1000多個節(jié)點可用于所有的數(shù)據(jù)轉(zhuǎn)化和分析基于客戶端/服務(wù)器架構(gòu)可實現(xiàn)自動化建模和數(shù)據(jù)轉(zhuǎn)化可建立和評估模型，并與其他應(yīng)用程序集成系統(tǒng)支持Miner數(shù)據(jù)分析建模與HadoopHive（SQL）MapReduceHDFSYARNImpala（In-memorySQL）Mahout（MachineLearning）Spark（Mlib）Pig（Scripting）數(shù)據(jù)洞察MinerDatapreparationBuildmodelTrainPredictivemodel數(shù)據(jù)分析建模全生命業(yè)務(wù)場景導(dǎo)入數(shù)學(xué)分析建模大數(shù)據(jù)模型發(fā)布應(yīng)用大數(shù)據(jù)應(yīng)用政務(wù)大數(shù)據(jù)應(yīng)用工業(yè)大數(shù)據(jù)應(yīng)用交通大數(shù)據(jù)應(yīng)用旅游大數(shù)據(jù)應(yīng)用……數(shù)據(jù)歸集與預(yù)處理算法選擇算法自定義分析建模設(shè)計模型訓(xùn)練模型發(fā)布模型調(diào)度運行管理知識庫管理模型運行大數(shù)據(jù)運行服務(wù)大數(shù)據(jù)可視化展示知識庫共享大數(shù)據(jù)智能分析平臺大數(shù)據(jù)應(yīng)用駕駛艙大數(shù)據(jù)可視化平臺大數(shù)據(jù)算法庫Miner自動化流程及控制流程控制在子流程中管理分組并在其他項目中再利用可以重復(fù)執(zhí)行一部分流程支持的循環(huán)：屬性、標(biāo)簽、子集、值、樣本、集群、批量、數(shù)據(jù)結(jié)合、數(shù)據(jù)碎片、參數(shù)、文件、資源庫條目分支（If-Then-Else）基于：、數(shù)據(jù)值、屬性是否存在、樣本數(shù)量、性能值、文件和過程輸入是否存在、任意表達式創(chuàng)建同一類型的集合集合處理：選擇、扁平化或循環(huán)可以記憶并調(diào)用（中間件）過程結(jié)果用于復(fù)雜的流程設(shè)計處理預(yù)期或非預(yù)期的錯誤和異常自動化自動選取性能最好的子流程通過嵌套的交叉驗證或其他驗證衡量預(yù)處理步驟的效果自動選取最優(yōu)模型類型和參數(shù)自動選取最優(yōu)屬性子集自動優(yōu)化過程參數(shù)，包括建模參數(shù)：Grid、二次方程的、漸進的日志在流程中的任意位置都可以引入日志日志可以收集參數(shù)值、性能值、或來自每個算子的特定值，例如漸進算法當(dāng)前產(chǎn)生的結(jié)果數(shù)據(jù)值可以被日志記錄宏值可以被日志記錄日志值可以被轉(zhuǎn)化為其他幾種格式，包括數(shù)據(jù)集合和權(quán)重，權(quán)重可以和其他數(shù)據(jù)集合一樣被存儲、轉(zhuǎn)化或可視化報表在僅用日志不足夠的情況下，一個完整的基于流程的報告引擎允態(tài)報告中收集任意結(jié)果支持不同的格式，如PDF，Excel，HTML，或者RTF有不同的報告樣式，包括序列報告或者門戶網(wǎng)站任意過程結(jié)果和中間結(jié)果可以被轉(zhuǎn)化為不同類型的可視化圖形，如表格，圖標(biāo)等持最多5層區(qū)域支持分頁和其他樣式信息與循環(huán)或者其他流程控制結(jié)構(gòu)的結(jié)合可以讓人看到流程設(shè)計非常詳細(xì)的結(jié)果概覽，即使這個流程設(shè)計十分復(fù)雜導(dǎo)入數(shù)據(jù)建立工作空間關(guān)聯(lián)數(shù)據(jù)建立工作流數(shù)據(jù)預(yù)處理特征選擇模型訓(xùn)練模型評估自動化及流程控制多人協(xié)作Miner的數(shù)據(jù)建模分析準(zhǔn)備數(shù)據(jù)準(zhǔn)備，支持屬性選取算子，分組結(jié)合多種功能：求和、平均、中間值，支持集合算子，處理原數(shù)據(jù)，性值過濾行及樣本等，識別并移除冗余數(shù)據(jù)；支撐數(shù)據(jù)取樣、數(shù)據(jù)分割、數(shù)據(jù)轉(zhuǎn)化等。

數(shù)據(jù)取樣絕對的、相對的、概率的、平均的、分層的、基于模型的等.數(shù)據(jù)分箱可基于計數(shù)、大小、頻率等進行交互式分箱，使引導(dǎo)區(qū)熵值最小化.數(shù)據(jù)轉(zhuǎn)化歸一化和標(biāo)準(zhǔn)化：Z-轉(zhuǎn)化，按比轉(zhuǎn)化、四分差；數(shù)值屬性、名義或類別屬性之間的轉(zhuǎn)化.數(shù)據(jù)分割創(chuàng)建訓(xùn)練、驗證以及測試數(shù)據(jù)集，可用戶自定義分區(qū).數(shù)據(jù)替換替換標(biāo)稱、類別值，支持映射、截取、分段、混合等.屬性生成支持屬性生成：ID、副本、串聯(lián)、聚集、向量乘積、高斯分布等.權(quán)重和選取支持屬性選取，移除無用屬性；基于權(quán)重方案移除不相關(guān)屬性Miner大數(shù)據(jù)分析建模構(gòu)建流程圖進行模型訓(xùn)練Miner大數(shù)據(jù)分析建模配置決策樹規(guī)則和回歸參數(shù)配置基金定投相應(yīng)預(yù)測模型規(guī)則引擎是將模型的結(jié)果，回歸參數(shù)，或者決策樹的規(guī)則，配置到規(guī)則庫中，后臺可實現(xiàn)批處理評分或者實時評分Miner大數(shù)據(jù)分析建?；貧w參數(shù)決策樹規(guī)則Miner大數(shù)據(jù)分析建模根據(jù)回歸參數(shù)、評分卡參數(shù)生成的評分卡Miner大數(shù)據(jù)分析建模根據(jù)客戶信息實時生成的評分卡Miner大數(shù)據(jù)分析建模根據(jù)客戶信息實時生成的決策路徑Miner大數(shù)據(jù)分析建模根據(jù)評分卡可對客戶評分在本例中，得分越高的客戶進行基金定投的概率越高，越可能成為我行客戶。于是選取得分更高的部分客戶(得分超過基準(zhǔn)分的客戶)進行營銷。Miner大數(shù)據(jù)分析建模Miner大數(shù)據(jù)分析建模WYDC大數(shù)據(jù)可視化平臺大數(shù)據(jù)展現(xiàn)大數(shù)據(jù)可視化平臺功能支持UI編排組件庫事件聯(lián)動模型數(shù)據(jù)過濾條件設(shè)置組件渲染容器監(jiān)聽主題管理布局模板任務(wù)管理大數(shù)據(jù)可視化平臺案例體驗：四川某著名企業(yè)數(shù)據(jù)立體呈現(xiàn)，動靜結(jié)合；展示有靜態(tài)有動態(tài)大數(shù)據(jù)可視化平臺案例體驗：安徽某著名企業(yè)大數(shù)據(jù)可視化平臺軟件架構(gòu)大數(shù)據(jù)可視化平臺——數(shù)據(jù)編排展現(xiàn)大數(shù)據(jù)可視化平臺UI編輯體驗大數(shù)據(jù)可視化平臺UI編輯體驗UI組件的數(shù)據(jù)源綁定大數(shù)據(jù)可視化平臺帶來的價值利用豐富強大的UI，快速搭建前端分析界面和分析流程完全可以在幾