交通管控大數(shù)據(jù)分析研判系統(tǒng)設(shè)計(jì)方案目 錄1 系統(tǒng)概述 .51.1 系統(tǒng)背景 .51.2 系統(tǒng)意義 .51.3 研發(fā)原則 .61.4 系統(tǒng)內(nèi)容 .72 需求分析 .82.1 業(yè)務(wù)需求 .82.1.1 面向交通管理的大數(shù)據(jù)業(yè)務(wù)需求 .82.1.2 面向交通安全的大數(shù)據(jù)業(yè)務(wù)需求 .82.2 功能需求 .82.2.1 基于大數(shù)據(jù)的在線統(tǒng)計(jì)和離線分析需求 .82.2.2 基于大數(shù)據(jù)的車輛特征分析需求 .82.2.3 基于大數(shù)據(jù)的違法事故分析需求 .92.2.4 基于大數(shù)據(jù)的勤務(wù)快速處置需求 .92.2.5 基于大數(shù)據(jù)平臺(tái)的車輛特征二次識(shí)別需求 .92.2.6 基于大數(shù)據(jù)平臺(tái)的技戰(zhàn)法需求 .92.3 性能需求 .102.3.1 高并發(fā)實(shí)時(shí)數(shù)據(jù)采集需求 .102.3.2 海量數(shù)據(jù)存儲(chǔ)需求 .102.3.3 分布式流處理需求 .102.3.4 車輛二次識(shí)別需求 .103 架構(gòu)設(shè)計(jì) .103.1 總體應(yīng)用架構(gòu) .103.2 軟件框架結(jié)構(gòu) .113.3 網(wǎng)絡(luò)部署架構(gòu) .123.4 數(shù)據(jù)流結(jié)構(gòu) .123.5 關(guān)鍵技術(shù)路線 .133.5.1 Hadoop 技術(shù) .133.5.2 Spark 技術(shù) .143.5.3 車輛特征二次識(shí)別技術(shù) .154 功能設(shè)計(jì) .154.1 功能結(jié)構(gòu)圖 .154.2 功能模塊 .154.2.1 首頁(yè) .164.2.2 實(shí)時(shí)預(yù)警 .184.2.3 信息查詢 .194.2.4 統(tǒng)計(jì)分析 .244.2.5 技戰(zhàn)法 .274.2.6 車輛布控 .294.2.7 系統(tǒng)設(shè)置 .304.2.8 運(yùn)維管理 .315 數(shù)據(jù)庫(kù)設(shè)計(jì) .315.1 數(shù)據(jù)庫(kù) ER 模型 .315.2 數(shù)據(jù)庫(kù)表 .316 接口設(shè)計(jì) .316.1 接口分布圖（接口關(guān)聯(lián)圖） .316.2 接口詳細(xì)說(shuō)明 .317 系統(tǒng)特色 .327.1 優(yōu)化交通大數(shù)據(jù)集中存儲(chǔ)能力 .327.2 提升交通大數(shù)據(jù)分析研判能力 .327.3 提升交通案件偵破能力 .327.4 提升交通監(jiān)管能力 .321 系統(tǒng)概述1.1 系統(tǒng)背景隨著經(jīng)濟(jì)迅猛發(fā)展，機(jī)動(dòng)車輛不斷增加，道路交通擁堵、交通肇事現(xiàn)象也越來(lái)越嚴(yán)重。交通管理部門部署了大量交通監(jiān)控設(shè)備對(duì)道路交通情況進(jìn)行監(jiān)控，這些設(shè)備 24 小時(shí)不間斷捕獲過(guò)車數(shù)據(jù)和圖像數(shù)據(jù)，產(chǎn)生了海量的歷史記錄。在此情況下，如何利用先進(jìn)的技術(shù)手段，對(duì)交通監(jiān)控設(shè)備采集的海量的、格式多樣的數(shù)據(jù)進(jìn)行深度分析應(yīng)用，對(duì)海量數(shù)據(jù)進(jìn)行查找、關(guān)聯(lián)、比對(duì)等處理，實(shí)時(shí)發(fā)現(xiàn)其中潛在的問(wèn)題并預(yù)警,成為當(dāng)前迫切需要解決的問(wèn)題。主要體現(xiàn)在以下兩個(gè)方面：一是交通管理部門的現(xiàn)有系統(tǒng)還處于結(jié)構(gòu)化數(shù)據(jù)處理模式架構(gòu)體系中，要實(shí)現(xiàn)對(duì)城市道路交通的整體運(yùn)行狀況、車輛出行規(guī)律等方面以日、月甚至年為時(shí)間粒度進(jìn)行數(shù)據(jù)分析還存在不足。二是交通管理部門的現(xiàn)有系統(tǒng)在對(duì)這些具有邏輯關(guān)聯(lián)的海量多源異構(gòu)數(shù)據(jù)處理過(guò)程中，數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)、處理種類、處理效率等方面仍存在不足，不能滿足持續(xù)擴(kuò)大的交通管理數(shù)據(jù)規(guī)模以及對(duì)數(shù)據(jù)深度快速挖掘和應(yīng)用需求。 交通管控大數(shù)據(jù)平臺(tái)構(gòu)建了一個(gè)支持橫向擴(kuò)展，具有分布、并行、高效特點(diǎn)的大數(shù)據(jù)處理平臺(tái)的體系架構(gòu)。綜合運(yùn)用云計(jì)算、云存儲(chǔ)、并行數(shù)據(jù)挖掘、圖像識(shí)別等技術(shù)，開(kāi)展數(shù)據(jù)的存儲(chǔ)、挖掘、聯(lián)動(dòng)、分析。通過(guò)將電子監(jiān)控設(shè)備的數(shù)據(jù)、圖像等異構(gòu)的數(shù)據(jù)資源接入大數(shù)據(jù)處理平臺(tái)，通過(guò)分布式存儲(chǔ)和并行數(shù)據(jù)挖掘，提供在線實(shí)時(shí)分析模式和離線統(tǒng)計(jì)分析模式兩種應(yīng)用模式，對(duì)交通管理的各類大數(shù)據(jù)全方位地進(jìn)行實(shí)時(shí)和離線分析處理。可以將隱藏于海量數(shù)據(jù)中的信息挖掘出來(lái)，可全面掌握道路通行情況，為策略制定、分析研判、行動(dòng)部署提供依據(jù)，大大提升綜合管理的集約化程度。1.2 系統(tǒng)意義（1）信息查詢和預(yù)警分析借助在線實(shí)時(shí)分析、離線統(tǒng)計(jì)分析和數(shù)據(jù)共享等手段，通過(guò)接口與集成指揮平臺(tái)等各個(gè)業(yè)務(wù)系統(tǒng)關(guān)聯(lián)，高效開(kāi)展交通管理工作。例如通過(guò)分析一段時(shí)間內(nèi)的過(guò)車信息進(jìn)行查詢分析對(duì)比，確定該時(shí)期造成交通擁堵的主要原因和發(fā)展趨勢(shì)，對(duì)交通擁堵的發(fā)生進(jìn)行一定的預(yù)測(cè)和判斷，并采取相應(yīng)的管控措施控制誘發(fā)交通擁堵的原因，科學(xué)預(yù)防交通擁堵。（2）多維度布控打擊違法犯罪通過(guò)車輛特征二次識(shí)別比對(duì)，可對(duì)特定車輛的局部特征進(jìn)行提取分析和建模，在車輛號(hào)牌信息缺失（套牌、遮擋號(hào)牌或無(wú)牌）情況下，按照車輛品牌、型號(hào)、顏色、類別以及局部特征等自定義組合布控報(bào)警，準(zhǔn)確快速地實(shí)現(xiàn)特定車輛追蹤與鎖定，獲取車輛真實(shí)行蹤，將有價(jià)值的圖片數(shù)據(jù)提供給公安刑偵部門，為偵破交通肇事逃逸案、利用機(jī)動(dòng)車作為犯罪工具的刑事案、以及搶劫出租車等惡性案件提供線索和證據(jù)，為刑偵部門確定線索偵查破案提供支持。（3）大粒度的數(shù)據(jù)分析為決策提供支持通過(guò)交通流大數(shù)據(jù)采集存儲(chǔ)、流量查詢分析，車輛特征研判、車輛軌跡分析等深度應(yīng)用，系統(tǒng)不僅僅可以實(shí)現(xiàn)對(duì)車輛和人員的分析研判，通過(guò)大量數(shù)據(jù)的積累和變化規(guī)律進(jìn)行深度的信息挖掘，幫助決策者和管理者提供有價(jià)值的線索信息，同時(shí)結(jié)合車駕管數(shù)據(jù)庫(kù)，開(kāi)展交通信息綜合分析研判。1.3 研發(fā)原則項(xiàng)目建設(shè)總體上堅(jiān)持“結(jié)構(gòu)上的整體性、技術(shù)上的先進(jìn)性、使用上的穩(wěn)定性、經(jīng)濟(jì)上的合理性、實(shí)施上的安全性、操作上的友好性、升級(jí)上的可拓展性”原則，建設(shè)綜合信息的統(tǒng)一管理、展示、控制平臺(tái)，制定安全可靠的集成規(guī)范，完成各業(yè)務(wù)系統(tǒng)的智能協(xié)調(diào)聯(lián)動(dòng)功能，實(shí)現(xiàn)資源集成、數(shù)據(jù)集成、業(yè)務(wù)集成、控制集成和展現(xiàn)集成。1、實(shí)用性原則項(xiàng)目采用技術(shù)和解決方案應(yīng)該具有很強(qiáng)的實(shí)用性，系統(tǒng)建設(shè)應(yīng)始終貫徹面向應(yīng)用、注重實(shí)效的方針，堅(jiān)持實(shí)用、經(jīng)濟(jì)的原則。2、先進(jìn)性原則采用先進(jìn)、成熟的方法和技術(shù)，各種先進(jìn)方法和手段應(yīng)該充分考慮阜陽(yáng)市社會(huì)可行性、法律可行性、管理可行性、技術(shù)可行性。既注意概念、技術(shù)和方法的先進(jìn)性，又要注意成熟性。使項(xiàng)目能反映當(dāng)今的先進(jìn)水平，并具有一定的發(fā)展?jié)摿Α?、資源共享信息資源共享是本項(xiàng)目的主要項(xiàng)目目標(biāo)之一，需要注意本項(xiàng)目與業(yè)主方已建智能交通信息化成果之間的信息互聯(lián)與資源共享。4、可持續(xù)性系統(tǒng)設(shè)計(jì)采用合理的、有彈性的架構(gòu)，并預(yù)留有一定的接口，保證系統(tǒng)能進(jìn)行不斷的完美和擴(kuò)展。5、開(kāi)放性和標(biāo)準(zhǔn)性注意遵循相關(guān)的技術(shù)標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，并采用合理的系統(tǒng)架構(gòu)，不采用壟斷技術(shù)，保證系統(tǒng)的開(kāi)放性和標(biāo)準(zhǔn)性。6、可靠性和穩(wěn)定性從系統(tǒng)結(jié)構(gòu)、技術(shù)措施、設(shè)備性能、系統(tǒng)管理、廠商技術(shù)支持及維護(hù)能力等方面著手，確保系統(tǒng)運(yùn)行的可靠性和穩(wěn)定性，達(dá)到設(shè)計(jì)的最大平均無(wú)故障時(shí)間。7、安全性和保密性在考慮信息資源的充分共享的同時(shí)，注意對(duì)信息的保護(hù)和隔離，采用系統(tǒng)安全機(jī)制、數(shù)據(jù)存取的權(quán)限控制等方案解決系統(tǒng)安全性問(wèn)題。8、擴(kuò)展性和易維護(hù)性采用先進(jìn)的軟件工程理論、良好的系統(tǒng)設(shè)計(jì)，以及分層和代理的方法等方法，保證實(shí)現(xiàn)的系統(tǒng)層次清晰、模塊合理，接口協(xié)議開(kāi)放，保證系統(tǒng)的擴(kuò)展性和易維護(hù)性。1.4 系統(tǒng)內(nèi)容交通管控大數(shù)據(jù)平臺(tái)由 5 類服務(wù)器組成，包括：數(shù)據(jù)接入服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、流處理服務(wù)器、二次識(shí)別服務(wù)器、應(yīng)用服務(wù)器。（1）數(shù)據(jù)接入服務(wù)器：統(tǒng)一接入卡口、電警過(guò)車數(shù)據(jù)和過(guò)車圖片，并按大數(shù)據(jù)架構(gòu)統(tǒng)一轉(zhuǎn)換管理。（2）數(shù)據(jù)庫(kù)服務(wù)器：管理節(jié)點(diǎn)作為主服務(wù)器，管理 Hadoop 文件系統(tǒng)的命名空間和客戶端對(duì)文件系統(tǒng)的訪問(wèn)操作?？蛇M(jìn)行節(jié)點(diǎn)安裝、配置、服務(wù)配置等，對(duì) Hadoop 服務(wù)器進(jìn)行實(shí)時(shí)狀態(tài)檢測(cè)。數(shù)據(jù)節(jié)點(diǎn)管理存儲(chǔ)的數(shù)據(jù)，支持 PB 級(jí)數(shù)據(jù)和圖片存儲(chǔ)和數(shù)據(jù)索引管理。（3）流處理服務(wù)器：基于 Spark 的大數(shù)據(jù)云計(jì)算技術(shù)，支持高速查詢和低延時(shí)的統(tǒng)計(jì)能力，實(shí)現(xiàn)億以上的過(guò)車記錄大數(shù)據(jù)量秒級(jí)檢索能力。（4）二次識(shí)別服務(wù)器：于大數(shù)據(jù)下深度學(xué)習(xí)的圖像識(shí)別技術(shù)，支持車輛號(hào)牌、品牌型號(hào)、車身顏色、車輛型號(hào)等信息關(guān)聯(lián)比對(duì)。（5）應(yīng)用服務(wù)器：部署交通管控大數(shù)據(jù)平臺(tái)系統(tǒng)軟件和數(shù)據(jù)發(fā)布軟件。2 需求分析2.1 業(yè)務(wù)需求2.1.1 面向交通管理的大數(shù)據(jù)業(yè)務(wù)需求隨著城市交通擁堵問(wèn)題頑固化、復(fù)雜化和多樣化，交通管理工作面臨著從事后分析向事前研判預(yù)警拓展、從歷史統(tǒng)計(jì)向在線分析挖掘拓展、從簡(jiǎn)單應(yīng)用向綜合服務(wù)評(píng)價(jià)拓展的內(nèi)在需求發(fā)展方向。并對(duì)管轄范圍內(nèi)的車輛出行規(guī)律等方面以日、月年為時(shí)間粒度進(jìn)行實(shí)時(shí)和歷史統(tǒng)計(jì)分析，并對(duì)現(xiàn)有信息開(kāi)展任意范圍內(nèi)的快速檢索和實(shí)時(shí)統(tǒng)計(jì)分析，并將結(jié)果可視化顯示。2.1.2 面向交通安全的大數(shù)據(jù)業(yè)務(wù)需求管理路面違法、假/套牌、肇事車輛、黑車等重點(diǎn)布控車輛、維護(hù)交通安全和事故處理是交管部門的另一項(xiàng)行政管理職能?；诖髷?shù)據(jù)系統(tǒng)，通過(guò)大量歷史數(shù)據(jù)對(duì)涉案車開(kāi)展比對(duì)，形成對(duì)涉案車輛行為的分析及涉案車輛的匹配分析，為精確打擊違法行為提供證據(jù)，按照車輛特征進(jìn)行布控，有效提升現(xiàn)有違法查處的精準(zhǔn)打擊和查緝布控能力。2.2 功能需求2.2.1 基于大數(shù)據(jù)的在線統(tǒng)計(jì)和離線分析需求以總量統(tǒng)計(jì)、信息查詢等業(yè)務(wù)數(shù)據(jù)檢索的后臺(tái)軟件模塊為支持，通過(guò)大數(shù)據(jù)系統(tǒng)備份或抽取歷史數(shù)據(jù)資源，重構(gòu)數(shù)據(jù)結(jié)構(gòu)，并為每一種應(yīng)用添加算法模塊，實(shí)現(xiàn)對(duì)大批量信息檢索及統(tǒng)計(jì)分析的實(shí)時(shí)處理。2.2.2 基于大數(shù)據(jù)的車輛特征分析需求 以基于海量卡口數(shù)據(jù)獲取車輛出行 OD，挖掘車輛通勤出行行為，分析車輛通勤行為特征與交通擁堵相關(guān)性分析，研究擁堵路段車流集散、車輛屬地屬性發(fā)展變化規(guī)律。準(zhǔn)確統(tǒng)計(jì)道路交通、卡點(diǎn)進(jìn)出車輛流動(dòng)情況，為合理調(diào)配警力、提高車輛管理水平提供科學(xué)依據(jù)。2.2.3 基于大數(shù)據(jù)的違法事故分析需求基于大數(shù)據(jù)系統(tǒng)進(jìn)行違法和事故數(shù)據(jù)的關(guān)聯(lián)分析，從不同視角研究違法和事故成因，定期將交通違法、事故的相關(guān)駕駛?cè)颂卣髋c車輛特征進(jìn)行分析，按類掌握違法、事故中高發(fā)、易發(fā)的駕駛?cè)伺c車輛，為重點(diǎn)管理的群體提供數(shù)據(jù)支撐。通過(guò)大數(shù)據(jù)平臺(tái)對(duì)交通違法、事故數(shù)據(jù)及屬性開(kāi)展關(guān)聯(lián)分析，定期將違法、事故與駕駛?cè)颂卣?，包括培?xùn)考試過(guò)程、工作單位、家庭背景等因素，與車輛特征，包括品牌、車型、營(yíng)運(yùn)性質(zhì)、號(hào)牌屬地、車身顏色、車輛保養(yǎng)等因素，與道路特征，包括道路類型、線性、天氣、時(shí)間、環(huán)境、設(shè)施等相關(guān)聯(lián)的，集中分析掌握違法、事故中高發(fā)、易發(fā)的駕駛?cè)?、車輛和道路，為管控提供最為真實(shí)的資料和依據(jù)。2.2.4 基于大數(shù)據(jù)的勤務(wù)快速處置需求在崗執(zhí)勤民警通常負(fù)責(zé)的是一個(gè)區(qū)域的交通管理工作，很難掌握管轄區(qū)域內(nèi)所有路口路段的實(shí)時(shí)交通狀況?；趯?duì)過(guò)車流量特性的大數(shù)據(jù)分析，可為交管人員分析管轄區(qū)域內(nèi)交通流量情況，為在崗執(zhí)勤民警提供更加準(zhǔn)確的擁堵點(diǎn)，有助于交管人員日常勤務(wù)安排和以及上下游及時(shí)聯(lián)動(dòng)和快速反應(yīng)。2.2.5 基于大數(shù)據(jù)平臺(tái)的車輛特征二次識(shí)別需求過(guò)車圖片里面包含了很多信息，這些信息是卡口設(shè)備本身無(wú)法有效識(shí)別出來(lái)的信息，例如車輛品牌、車輛型號(hào)等?；诖髷?shù)據(jù)系統(tǒng)的車輛特征二次識(shí)別技術(shù)從根本上克服了傳統(tǒng)車輛檢索只能按照號(hào)牌進(jìn)行單一查詢的功能缺陷，實(shí)現(xiàn)了按照車輛品牌、型號(hào)、顏色、類別以及局部特征等自定義組合查詢和模糊查詢強(qiáng)大功能。在不改變現(xiàn)有卡口設(shè)備的情況下，就能夠挖掘出更多的車輛特征，便于實(shí)現(xiàn)更多應(yīng)用，有效利用了現(xiàn)有卡口設(shè)備，降低不必要的卡口重建投入。2.2.6 基于大數(shù)據(jù)平臺(tái)的技戰(zhàn)法需求 通過(guò)過(guò)車圖片、行駛行為特征分析和人員、車輛檔案關(guān)聯(lián)分