智能交通大數(shù)據(jù)及云應(yīng)用平臺解決方案隨著日益增長的交通“大數(shù)據(jù)”，給交通治理創(chuàng)帶來的挑戰(zhàn)，以及對交通治理工作提出的要求，交通信息化建設(shè)必定步入云計算才智應(yīng)用階段，利用云計算破解當(dāng)前諸多交通瓶頸問題。什么是交通大數(shù)據(jù)交通概念很大，所涉及的范圍很廣，如城市道路交通指數(shù)、地鐵運(yùn)行數(shù)據(jù)、一卡通乘客刷卡數(shù)據(jù)、港口集裝箱數(shù)據(jù)、機(jī)場航班數(shù)據(jù)、軌道交通運(yùn)營數(shù)據(jù)、遠(yuǎn)洋及內(nèi)河航道船舶數(shù)據(jù)、物流車輛及貨物數(shù)據(jù)、公交車實時數(shù)據(jù)、出租車行車數(shù)據(jù)、空氣質(zhì)量狀況、氣象數(shù)據(jù)、道路事故數(shù)據(jù)、高架匝道運(yùn)行數(shù)據(jù)、以及衍生的相關(guān)擁堵、事故、違法信息等都屬于交通數(shù)據(jù)。我們通常所提的城市公安交通治理大數(shù)據(jù)是指在城市智能交通建設(shè)和運(yùn)營的過程中，從視頻監(jiān)控、卡口電警、路況信息、管控信息、營運(yùn)信息、GPS定位信息、RFID識別信息等每天產(chǎn)生的大量數(shù)據(jù)，并借助信息化手段將這些相互關(guān)聯(lián)的數(shù)據(jù)整合到一起(比方車輛信息、地圖信息、人員信息、違規(guī)違章記錄信息等等)，形成一個有價值數(shù)據(jù)鏈，從而知道城市交通信息化建設(shè)，為公安交通實戰(zhàn)應(yīng)用效勞，為市民出行效勞。什么是云分析云分析系統(tǒng)具備超高的計算性能，單機(jī)設(shè)備每天處理的信息量最大高達(dá)2023萬張圖片。云分析具備對卡口、電警以及局部監(jiān)控設(shè)備拍攝的車輛圖像信息的構(gòu)造化智能分析功能，主要包括識別圖像中車輛的品牌、型號、年款、車身顏色、類別、特別特征(如遮擋面部、遮擋號牌)、唯一性局部特征(如年檢標(biāo)志、車內(nèi)飾物)等關(guān)鍵信息?？蓪μ峤坏膱D像中的車輛車牌顏色及車牌號進(jìn)展二次識別，通過大數(shù)據(jù)進(jìn)展，時間、地理、軌跡等的比照識別，以得出分析結(jié)果。過去幾年，智能交通系統(tǒng)建設(shè)取得了長足的進(jìn)步與進(jìn)展，針對道路交通違法、交通安全等，不斷在不同的時間，不同的階段建立了交通卡口、違法檢測、道路才智監(jiān)控、交通大事監(jiān)測等信息化系統(tǒng)，但這些信息化系統(tǒng)所承受的設(shè)備、平臺均來自于不同的廠家，承受的標(biāo)準(zhǔn)，上下級不能很好的實現(xiàn)級聯(lián)，與公安系統(tǒng)融合度不高，無法進(jìn)展集中治理，資源共享，發(fā)揮統(tǒng)一的實戰(zhàn)作用。不同時期，不同階段建設(shè)的信息化系統(tǒng)，技術(shù)路線，功能性能指標(biāo)各異，在套牌、摘牌、有意遮擋號牌等涉車案件中，不能找到行之有效的手段處理?，F(xiàn)階段，交通違法行為導(dǎo)致的交通安全、道路交通事故問題照舊突出，交通違法治理的顆粒度也越來越細(xì)，道路交通安全法也不斷的修正以滿足交通治理工作的需要。其中，不系安全帶、開車打等違法行為納入了懲罰范圍，而過去建設(shè)的卡口系統(tǒng)絕大多數(shù)不具備這些功能，不能很好的效勞公安交通治理需要。云分析系統(tǒng)的消滅，問題將迎刃而解。云分析系統(tǒng)創(chuàng)型引入GPU+CPU的設(shè)計理念，單臺設(shè)備每天最高處理性能到達(dá)2023萬張圖片，提取車牌號、車身顏色、車標(biāo)、子品牌、車型、車臉等交警實戰(zhàn)所需的構(gòu)造化信息，并能夠自動甄別不系安全帶、打等違法行為，為公安交通治理供給全的技術(shù)手段和業(yè)務(wù)體驗。系統(tǒng)設(shè)計系統(tǒng)中承受的設(shè)計方法和技術(shù)路線在實戰(zhàn)應(yīng)用技術(shù)中處于領(lǐng)先地位，軟件的設(shè)計先進(jìn)靈敏，便于升級以及與其它系統(tǒng)的互聯(lián)互通。系統(tǒng)涵蓋了目前實戰(zhàn)應(yīng)用所涉及的一系列技術(shù)，如：圖像預(yù)處理、信息篩查、電子地圖軌跡分析等，在此根底上融合了車型建模、車牌識別、車標(biāo)識別、運(yùn)動目標(biāo)檢測和行為分析、圖片檢索等智能視頻圖像分析技術(shù)，創(chuàng)性的實現(xiàn)了 “車臉識別”、“不系安全帶檢測”等功能，制造性的使用云分析實現(xiàn)超大數(shù)據(jù)量的圖片二次識別，為用戶供給超高性價比的解決方案。系統(tǒng)設(shè)計時，對需要實現(xiàn)的功能進(jìn)展合理的配置，且配置具有良好的兼容性和擴(kuò)展性;通過供給二次開發(fā)接口，支持用戶利用本系統(tǒng)自主開發(fā)功能，滿足業(yè)務(wù)需求。系統(tǒng)具有開放性的標(biāo)準(zhǔn)體系，后端基于開放式的TCP/IP網(wǎng)絡(luò)系統(tǒng)進(jìn)展設(shè)計，支持多種網(wǎng)絡(luò)協(xié)議，便于和各系統(tǒng)間的互聯(lián)、互通、互控，遵循標(biāo)準(zhǔn)的通用接口標(biāo)準(zhǔn)，使系統(tǒng)對硬件環(huán)境、通信環(huán)境、軟件環(huán)境、操作系統(tǒng)之間的相互制約和影響減至最小。具有良好的人機(jī)交互界面，盡可能避開消滅繁瑣操作實現(xiàn)某項具體業(yè)務(wù)應(yīng)用的情形。系統(tǒng)在體系設(shè)計及工程實施中應(yīng)依據(jù)用戶使用需求充分考慮性能優(yōu)化，在合理時間范圍內(nèi)，盡可能縮短系統(tǒng)的操作響應(yīng)時間;系統(tǒng)維護(hù)也應(yīng)在合理范圍內(nèi)盡可能簡化，使操作人員能快速地學(xué)習(xí)和把握系統(tǒng)操作。系統(tǒng)涵蓋了目前交通治理業(yè)務(wù)應(yīng)用所涉及的一系列技術(shù)，如：圖像接入、通用解碼、轉(zhuǎn)碼、圖片索引、車型建模、圖像預(yù)處理、信息篩查、電子地圖軌跡分析、套牌分析等?；谠品治龅亩巫R別方案協(xié)作大數(shù)據(jù)的高效查詢、檢索、研判方案，構(gòu)筑了智能交通綜合管控平臺的數(shù)據(jù)底層支持優(yōu)秀架構(gòu)，為交警實戰(zhàn)業(yè)務(wù)應(yīng)用供給了極佳的用戶體驗。系統(tǒng)架構(gòu)系統(tǒng)的使用者通常為指揮中心調(diào)度人員、指揮中心帶班領(lǐng)導(dǎo)、支/總/大隊的主管領(lǐng)導(dǎo)、交通秩序治理人員、大隊分控中心人員、路面執(zhí)勤民警等。系統(tǒng)維護(hù)的職責(zé)則由運(yùn)維工程師和系統(tǒng)治理員完成。主要的關(guān)鍵業(yè)務(wù)應(yīng)用包括交通狀況監(jiān)測、日常組織與管控、應(yīng)急指揮與協(xié)作、信息研判分析等方面，主要是應(yīng)對城市交通治理的現(xiàn)狀實時監(jiān)視、日常業(yè)務(wù)處置、突發(fā)大事應(yīng)對、交通數(shù)據(jù)挖掘研判等業(yè)務(wù)需求。關(guān)心核心業(yè)務(wù)的是一系列的支撐應(yīng)用，包括根底數(shù)據(jù)治理(路網(wǎng)信息、設(shè)備設(shè)施信息)、警力資源治理(警員信息、警車信息、裝備信息)、電子地圖治理、系統(tǒng)配置治理。在應(yīng)用層下面是支持業(yè)務(wù)應(yīng)用的支撐層，在這層完成對信息的采集、會聚、加工、存儲、交換等處理操作，同時支撐層還內(nèi)包消息效勞器、GIS地圖中間件、視頻效勞、誘導(dǎo)效勞等信令及數(shù)據(jù)的效勞或中間件。最下端為數(shù)據(jù)感知層，包括業(yè)務(wù)子系統(tǒng)及設(shè)備，為各類交通信息的原始數(shù)據(jù)來源，如GPS車輛軌跡信息、視頻信息、通行車輛信息、交通流信息、施工占道信息、交通管制信息、氣象信息等。視頻大數(shù)據(jù)技術(shù)平臺視頻大數(shù)據(jù)技術(shù)平臺負(fù)責(zé)存儲和提取處理視頻、圖片等非構(gòu)造化數(shù)據(jù)，通過視頻構(gòu)造化技術(shù)，可挖掘出視頻圖像中的人、車、物、大事等構(gòu)造化信息，進(jìn)一步用于大數(shù)據(jù)的分析挖掘。同時，視頻大數(shù)據(jù)技術(shù)平臺可供給視頻摘要、視頻濃縮、視頻質(zhì)量診斷等智能分析效勞，使上層應(yīng)用提高視頻處理的效率。通用大數(shù)據(jù)技術(shù)平臺通用大數(shù)據(jù)技術(shù)平臺供給基于Hadoop和Spark的分布式存儲、分布式計算等力氣，負(fù)責(zé)整合并治理海量的構(gòu)造化、半構(gòu)造化、非構(gòu)造化數(shù)據(jù)，具備高度的可擴(kuò)展性，可將數(shù)千臺的廉價效勞器組建成一套浩大的云存儲系統(tǒng)、一臺超級計算機(jī)。基于Spark架構(gòu)的內(nèi)存運(yùn)算，速度比傳統(tǒng)的Hadoop快10~100倍，適合交通行業(yè)對時間要求的流式計算需求。行業(yè)大數(shù)據(jù)力氣平臺能夠針對海量數(shù)據(jù)進(jìn)展快速檢索、快速統(tǒng)計分析，同時能夠進(jìn)展深度的關(guān)聯(lián)分析，挖掘出其中有價值的信息。行業(yè)大數(shù)據(jù)力氣平臺以接口的方式為上層應(yīng)用供給效勞。大數(shù)據(jù)運(yùn)維平臺負(fù)責(zé)對整個大數(shù)據(jù)平臺進(jìn)展部署、配置、治理、監(jiān)控，通過自動化安裝的方式，便利用戶架設(shè)大數(shù)據(jù)平臺。同時，通過可視化界面，可以形象地獲知整個平臺的運(yùn)行狀況。隨著業(yè)務(wù)的進(jìn)展，當(dāng)平臺需要升級或擴(kuò)容時，可便利的通過該工具進(jìn)展調(diào)整。視頻大數(shù)據(jù)技術(shù)平臺1、視頻云存儲視頻云存儲系統(tǒng)解決百PB級視頻根底數(shù)據(jù)視頻數(shù)據(jù)的低本錢、高牢靠存儲，支持視頻流數(shù)據(jù)的高并發(fā)I/O。視頻云存儲系統(tǒng)架構(gòu)圖2、視頻云分析視頻云分析平臺則是通過整合用戶現(xiàn)有的數(shù)據(jù)中心分析設(shè)備，對過車視頻、過車圖片等數(shù)據(jù)進(jìn)展進(jìn)一步分析，其中中心分析設(shè)備承受分布式計算節(jié)點(diǎn)集群的方式，能夠供給基于任務(wù)自動負(fù)載均衡的數(shù)據(jù)處理方式，解決從海里視頻圖像數(shù)據(jù)中解析出來的視頻構(gòu)造化數(shù)據(jù)的需求。視頻云分析方案架構(gòu)圖具體包括以下模塊：特征提取模塊特征提取模塊負(fù)責(zé)對實時或歷史視頻圖像中的構(gòu)造化信息進(jìn)展提取，包括人、車、物等特征信息。提取出的信息存儲于大數(shù)據(jù)系統(tǒng)中，并作為DataEngine進(jìn)一步分析的數(shù)據(jù)根底。行為分析模塊行為分析模塊負(fù)責(zé)對實時或歷史視頻圖像中的行為信息進(jìn)展分析，分析結(jié)果可作為上層應(yīng)用報警的依據(jù)，同時行為信息作為構(gòu)造化數(shù)據(jù)，可存儲于大數(shù)據(jù)系統(tǒng)中，并作為DataEngine進(jìn)一步分析的數(shù)據(jù)根底。音頻分析模塊音頻分析模塊負(fù)責(zé)對音頻進(jìn)展分析，識別特別音源，分析結(jié)果可作為上層應(yīng)用報警的依據(jù)。以圖搜圖模塊以圖搜圖模塊負(fù)責(zé)對大數(shù)據(jù)系統(tǒng)中的圖片數(shù)據(jù)進(jìn)展分析比對，并按相像度返回圖片列表。以圖搜圖模塊支持對人臉圖片的搜尋，支持對車輛圖片的搜尋。隱私保護(hù)模塊隱私保護(hù)模塊負(fù)責(zé)對實時或歷史視頻圖像中的人體影像進(jìn)展模糊處理，保護(hù)個人隱私。視頻摘要模塊視頻摘要模塊負(fù)責(zé)對實時或歷史視頻進(jìn)展摘要處理，提取出視頻中有用的信息，合并到同一個背景中，以此縮短視頻播放時間。視頻摘要可有效縮短用戶觀看視頻的時間，提高工作效率。視頻濃縮模塊視頻濃縮模塊負(fù)責(zé)對實時或歷史視頻進(jìn)展?jié)饪s處理，視頻中有大事消滅時進(jìn)展慢放，無大事時進(jìn)展快放，以此縮短視頻播放時間。視頻濃縮可有效縮短用戶觀看視頻的時間，提高工作效率。視頻質(zhì)量診斷模塊視頻質(zhì)量診斷模塊負(fù)責(zé)對實時視頻流進(jìn)展質(zhì)量診斷，以巡檢的方式對前端接入視頻流進(jìn)展分析，實時覺察攝像機(jī)是否在線、畫面是否正常等問題。視頻圖像增加復(fù)原模塊視頻圖像增加復(fù)原模塊負(fù)責(zé)對實時或歷史視頻圖像進(jìn)展增加復(fù)原，對效果較差的視頻、圖像進(jìn)展智能修復(fù)并增加處理。通用大數(shù)據(jù)技術(shù)平臺通用大數(shù)據(jù)技術(shù)平臺是大數(shù)據(jù)的存儲和計算中心，具有分布式、統(tǒng)一存儲、統(tǒng)一訪問、動態(tài)擴(kuò)容的特點(diǎn)，用于集合視頻、圖像、報警、卡口信息、位置信息、案大事等大數(shù)據(jù)，為數(shù)據(jù)的綜合利用供給支撐。系統(tǒng)技術(shù)架構(gòu)圖分布式文件系統(tǒng)HDFS2.0：運(yùn)行在通用硬件上的可擴(kuò)展高容錯的分布式文件系統(tǒng)，已經(jīng)成為海量數(shù)據(jù)存儲的事實標(biāo)準(zhǔn)。負(fù)責(zé)海量數(shù)據(jù)存儲，將數(shù)據(jù)分散存儲在多立的設(shè)備上，系統(tǒng)承受可擴(kuò)展的體系構(gòu)造，利用多臺存儲效勞器分擔(dān)存儲負(fù)荷，利用元數(shù)據(jù)效勞器定位存儲信息，它不但提高了系統(tǒng)的牢靠性、可用性和存取效率，還易于擴(kuò)展。分布式資源治理YARN：分布式資源治理框架，負(fù)責(zé)計算、存儲資源的治理，用以提高分布式集群環(huán)境下的資源利用率，這些資源包括內(nèi)存、IO、網(wǎng)絡(luò)、磁盤等。分布式計算Map/Reduce：分布式計算框架，負(fù)責(zé)將一個需要格外巨大的計算力氣才能解決的問題分成很多小的局部，然后把這些局部安排給很多計算機(jī)進(jìn)展處理，最終把這些計算結(jié)果綜合起來得到最終的結(jié)果。分布式數(shù)據(jù)庫HBase：一個分布式的、按列存儲的、多維表構(gòu)造的實時分布式數(shù)據(jù)庫，用于存儲粗粒度的構(gòu)造化數(shù)據(jù)，適合構(gòu)建高并發(fā)低延時的在線數(shù)據(jù)效勞系統(tǒng)。全文檢索引擎Solr：一個基于Lucene構(gòu)建的開源，分布式，RESTful搜尋引擎，設(shè)計用于云計算中，能夠到達(dá)穩(wěn)定、牢靠、快速實時搜尋。內(nèi)存計算Spark：下一代基于內(nèi)存的Map/Reduce計算引擎，處理大數(shù)據(jù)像“光速”一樣快，比HadoopMap/Reduce10x到100x倍。流計算Stream：流計算，負(fù)責(zé)對流媒體數(shù)據(jù)的分析計算。分布式協(xié)作Zookeeper：分布式協(xié)作系統(tǒng)，作為一個分布式鎖及共享數(shù)據(jù)治理者，供給集群節(jié)點(diǎn)間的事物協(xié)調(diào)效勞，保證HDFS、HBase、Spark、Map/Reduce等分布式系統(tǒng)的安全牢靠運(yùn)行。Kafka：分布式數(shù)據(jù)總線，負(fù)責(zé)數(shù)據(jù)的采集、整合、交互。Sqoop：SQLtoHadoop，一個數(shù)據(jù)抽取工具，用于從關(guān)系數(shù)據(jù)導(dǎo)入數(shù)據(jù)到Hadoop。1、分布式文件系統(tǒng)HDFS是分布式計算中數(shù)據(jù)存儲治理的根底，具有高容錯性、高牢靠性、高可擴(kuò)展性、高吞吐率等特點(diǎn)，可以設(shè)計部署在低廉的硬件上，為海量數(shù)據(jù)供給了不怕故障的存儲，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。2、分布式數(shù)據(jù)庫HBase是一種構(gòu)建在HDFS之上的分布式、面對列的存儲系統(tǒng)，它具有高牢靠、高性能、面對列和可伸縮的特性。HBase適合于存儲大表數(shù)據(jù)(表的規(guī)?？梢缘竭_(dá)數(shù)百億行以及數(shù)百萬列)，并且對大表數(shù)據(jù)的讀、寫訪問可以到達(dá)實時級別。3、分布式計算MapReduce是一種處理海量數(shù)據(jù)的并行編程模型和計算框架，用于對大規(guī)模數(shù)據(jù)集(通常大于1TB)的并行計算。MapReduce的名字源于該模型中的兩項核心操作：Map和Reduce。Map將一個任務(wù)分解成為多個任務(wù)，Reduce將分解后多任務(wù)處理的結(jié)果匯總起來，得出最終的分析結(jié)果。4、分布式協(xié)作系統(tǒng)ZooKeeper是一個針對大型分布式系統(tǒng)的牢靠協(xié)調(diào)系統(tǒng)，主要供給兩個功能：幫助系統(tǒng)避開單點(diǎn)故障，建立牢靠的應(yīng)用程序;供給分布式協(xié)作效勞和維護(hù)配置信息。行業(yè)大數(shù)據(jù)平臺行業(yè)大數(shù)據(jù)平臺負(fù)責(zé)與通用大數(shù)據(jù)平臺進(jìn)展對接，負(fù)責(zé)對構(gòu)造化數(shù)據(jù)(過車數(shù)據(jù)、測速數(shù)據(jù))進(jìn)展分析計算，供給快速檢索、分析、統(tǒng)計、挖掘等功能，并供給用戶最終的操作界面。面對交通行業(yè)的大數(shù)據(jù)業(yè)務(wù)呈現(xiàn)平臺，即為XZX-TMS-9200智能交通綜合管控平臺。大數(shù)據(jù)治理平臺大數(shù)據(jù)治理平臺負(fù)責(zé)對整個大數(shù)據(jù)平臺進(jìn)展部署和治理，構(gòu)造示意圖如以以下圖所示，包括集群部署、集群治理、任務(wù)治理、效勞治理、狀態(tài)監(jiān)控、用戶治理、告警、日志等模塊。大數(shù)據(jù)治理平臺架構(gòu)圖數(shù)據(jù)流程設(shè)計前端建及已建能夠依據(jù)標(biāo)準(zhǔn)協(xié)議接入的設(shè)備通過智能交通綜合管控平臺交通接入效勞器接入轉(zhuǎn)發(fā)至云分析平臺進(jìn)展車輛建模和二次識別。已經(jīng)部署云存儲模塊的系統(tǒng)，云分析也能夠直接從云存儲中讀取圖片信息進(jìn)展車輛建模和二次識別。已建的第三方平臺，供給符合要求的SDK協(xié)議，智能交通綜合管控平臺進(jìn)展數(shù)據(jù)整合后再轉(zhuǎn)發(fā)至云分析平臺進(jìn)展車輛建模和二次識別。云分析通過智能交通綜合管控平臺供給的圖片URL信息加載圖片，進(jìn)展建模和二次識別，完成建模和二次識別后，將識別結(jié)果信息如車牌、車型、車輛品牌等信息供給應(yīng)大數(shù)據(jù)平臺。大數(shù)據(jù)平臺讀取二次識別的結(jié)果信息，寫入到HDFS分布式文件存儲系統(tǒng)中;基于HDFS分布式文件系統(tǒng)部署分布式數(shù)據(jù)庫，用來承載數(shù)據(jù)的預(yù)統(tǒng)計表和二級索引表。在數(shù)據(jù)搜尋層，部署基于Solr分詞的全文檢索搜尋引擎，并通過MapReduce分布式計算框架供給高效數(shù)據(jù)分析速度。Zookeeper供給分布式文件系統(tǒng)之間的多進(jìn)程協(xié)調(diào)效勞。數(shù)據(jù)寫入、檢索、統(tǒng)計和研判應(yīng)用，大數(shù)據(jù)平臺供給統(tǒng)一的webservice接口，智能交通管控平臺通過調(diào)用大數(shù)據(jù)平臺接口進(jìn)展處理應(yīng)用。云分析數(shù)據(jù)處理流程云分析可以承受的工作模式主要包括主開工作模式和被開工作模式。目前承受的是被開工作模式。主開工作模式的特點(diǎn)是中心強(qiáng)力把握，即由中心治理效勞下派任務(wù)到指定的計算節(jié)點(diǎn)，計算節(jié)點(diǎn)沒有發(fā)起任務(wù)申請的權(quán)利。被開工作模式則相反，由計算節(jié)點(diǎn)主動向中心治理效勞發(fā)起申請，申請獲得批準(zhǔn)后獲得執(zhí)行任務(wù)，然后開頭任務(wù)執(zhí)行，任務(wù)執(zhí)行過程中與中心治理效勞保持實時更，確保任務(wù)能夠正常完成。被開工作模式相比主開工作模式而言能夠突出計算節(jié)點(diǎn)的優(yōu)勢，治理單元越小，治理的難度也就越小。假設(shè)依據(jù)主開工作模式，由中心治理效勞全部擔(dān)當(dāng)任務(wù)分派、任務(wù)調(diào)度等功能，負(fù)載、責(zé)任過大，簡潔造成單點(diǎn)失敗。即便承受集群方式或者單點(diǎn)災(zāi)備模式，照舊沒有真正解決負(fù)載過重、任務(wù)調(diào)度節(jié)點(diǎn)易失敗等狀況。被開工作模式把任務(wù)申請職責(zé)交給了計算節(jié)點(diǎn)，各個計算節(jié)點(diǎn)依據(jù)自己的實際狀況打算是否發(fā)起任務(wù)申請，這樣可以有效地避開計算節(jié)點(diǎn)消滅計算資源使用率頻繁切換、特別波動，同時，降低了中心治理效勞的壓力。任務(wù)調(diào)度方面，云分析通過接入第三方應(yīng)用平臺，實時獵取執(zhí)行任務(wù)信息，然后通過中心效勞治理動態(tài)調(diào)度任務(wù)的方式到達(dá)高優(yōu)先級任務(wù)優(yōu)先執(zhí)行的目的。對于計算節(jié)點(diǎn)來說，它申請獲得任務(wù)沒有優(yōu)先級之分，一旦申請成功，馬上轉(zhuǎn)入工作狀態(tài)。同時，由于云分析節(jié)點(diǎn)是分布式部署，系統(tǒng)高并發(fā)執(zhí)行的效果可以有效的提高分析執(zhí)行效率、優(yōu)化網(wǎng)絡(luò)帶寬的流量壓力，使得整個監(jiān)控系統(tǒng)的性能得到更大的提升。大數(shù)據(jù)數(shù)據(jù)處理流程大數(shù)據(jù)技術(shù)平臺是大數(shù)據(jù)的存儲和計算中心，具有分布式、統(tǒng)一存儲、統(tǒng)一訪問、動態(tài)擴(kuò)容的特點(diǎn)，用于集合視頻、圖像、報警、卡口信息、位置信息、大事等大數(shù)據(jù)，為數(shù)據(jù)的綜合利用供給支撐。交通大數(shù)據(jù)平臺功能快速檢索針對過車記錄表及違法記錄表有針對車牌的準(zhǔn)確查詢及模糊查詢需求，如下：1、過車記錄準(zhǔn)確查詢車牌結(jié)合過車時間(開頭時間+截止時間)、依據(jù)選擇卡口、車道、方向、車輛標(biāo)識、顏色深淺、車輛類型、車速、車長、號牌段、車身顏色、車牌顏色等其它篩選條件任憑組合在海量過車記錄數(shù)據(jù)中對車牌做準(zhǔn)確查詢并且要求在秒級內(nèi)返回查詢結(jié)果。2、過車記錄模糊查詢車牌結(jié)合過車時間(開頭時間+截止時間)、依據(jù)選擇卡口、車道、方向、車輛標(biāo)識、顏色深淺、車輛類型、車速、車長、號牌段、車身顏色、車牌顏色等其它篩選條件任憑組合在海量過車記錄數(shù)據(jù)中對車牌的前綴、中間、后綴做模糊查詢并且要求在秒級內(nèi)返回查詢結(jié)果。3、違法記錄準(zhǔn)確查詢車牌結(jié)合過車時間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車記錄數(shù)據(jù)中做準(zhǔn)確查詢并且要求在秒級內(nèi)返回查詢結(jié)果。4、違法記錄模糊查詢車牌結(jié)合過車時間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車記錄數(shù)據(jù)中對車牌的前綴、中間、后綴做模糊查詢并且要求在秒級內(nèi)返回查詢結(jié)果。5、軌跡查詢查詢車輛在特定的時間段內(nèi)的行車軌跡：即在某個時間段內(nèi)(依據(jù)場景，還可以設(shè)置車輛類型、顏色深淺、車牌類型、車牌號碼、車速、車長、號牌段、車身顏色、車牌顏色等限制條件)，同時經(jīng)過多個卡口(至少兩個以上才能確定一條軌跡)的過車信息。6、快速統(tǒng)計針對過車記錄表及違法記錄表有如下統(tǒng)計需求：過車記錄表車流量統(tǒng)計以卡口(或車輛類型、車輛歸屬)為維度結(jié)合統(tǒng)計時間、方向、車輛歸屬地、車輛類型、車牌類型等特定篩選條件對過車記錄做統(tǒng)計，生成相應(yīng)日(或周、月、年)報表：即依據(jù)設(shè)定的維度，還有依據(jù)報表類型分割的時間粒度，統(tǒng)計各個時間區(qū)間內(nèi)的車流量。過車記錄表車流量比照同一個卡口不同時間段(跨度在1天內(nèi))的車流量比照以及不同卡口同一時間段(跨度在1天內(nèi))的車流量比照。通過車流量比照能夠?qū)Ω纳瞥鞘薪煌ㄕ{(diào)度供給依據(jù)。違法記錄表車輛違法統(tǒng)計選定一組卡口，在選定的開頭時間和完畢時間內(nèi)，統(tǒng)計各卡口全部的過車記錄數(shù)和違法記錄數(shù)。過車記錄表特定時間段車流量統(tǒng)計同車流量比照，時間顆粒度變成一天，并且可以選定一天中具體的假設(shè)干個時間段。過車記錄車輛行車軌跡統(tǒng)計依據(jù)選定統(tǒng)計方式(即統(tǒng)計維度：包括按車牌類型統(tǒng)計、車牌顏色統(tǒng)計)，統(tǒng)計在選擇的時間段內(nèi)，經(jīng)過指定軌跡(所謂的軌跡：即由多個卡口確定的一條行車路徑，帶方向，比方，從路徑A->B->C,和路徑C->B->A是倆條不同的軌跡)的車流量次數(shù)(還包括其他的過濾條件，如：車輛歸屬地、車輛類型、車牌類型、車牌顏色，同一車牌屢次經(jīng)過指定軌跡按屢次計算)。研判分析1、過車記錄表頻度研判分析出在特定卡口上(一個或多個)，在特定時間段內(nèi)，過車次數(shù)滿足確定條件的全部過車信息和過車數(shù)：所謂的滿足確定條件是指過車次數(shù)大于等于(或小于等于或等于)(頻度設(shè)置)確定數(shù)量(頻度閾值)，依據(jù)設(shè)定的頻度閾值，分析在某一段時間內(nèi)通行路口次數(shù)超過設(shè)定閾值的車輛。對指定區(qū)域(卡口)做過車頻度分析，過濾出頻繁出入的車輛(過車次數(shù)滿足指定閾值)進(jìn)展重點(diǎn)關(guān)注，對預(yù)防犯罪及嫌犯跟蹤有重大奉獻(xiàn)。2、過車記錄表特定時段車輛研判實際上就是閾值為0，時間跨度在1天之內(nèi)的頻度研判。3、過車記錄表短時過車研判在特定的時間段內(nèi)，所選擇的卡口組合(一個或多個)中的過車時間與參考卡口中的過車時間確實定值小于設(shè)定的某個值(passInterval)的全部過程信息：找出同一車輛同時經(jīng)過參考卡口及指定卡口組合，過濾出經(jīng)過參考卡口與指定卡口的時間差小于設(shè)定的閾值的車輛，以幫助公安人員分析出套牌或超速等其它違章行為的嫌疑車輛。4、過車記錄表車輛初次入城研判特定時間范圍結(jié)合特定篩選條件(車輛歸屬地、車輛類型、車牌類型等特定篩選條件)，找出經(jīng)過“入城”路口的車輛，并找出這些車輛之前30是否有“入城”記錄，假設(shè)沒有將做重點(diǎn)關(guān)注以預(yù)防其犯罪。5、過車記錄表區(qū)域碰撞研判特定的N(2<=N<=5)個區(qū)域(1~5個卡口組成一個區(qū)域),結(jié)合各區(qū)域指定的時間范圍，找出同一輛車在指定條件下經(jīng)過其中的兩個及以上區(qū)域的車輛，并統(tǒng)計其經(jīng)過次數(shù)進(jìn)展數(shù)據(jù)碰撞。區(qū)域碰撞功能給公安查詢分析跨區(qū)反復(fù)作案的嫌疑車輛帶來極大的便利。6、過車記錄表行車軌跡研判特定時間范圍結(jié)合特定篩選條件(車輛歸屬地、車輛類型、車牌類型等特定篩選條件)找出制定車牌在此時間范圍內(nèi)的過車記錄。7、過車記錄表跟車研判特定時間段內(nèi)過車時間相差確定間隔的全部過車信息：首先依據(jù)特定時間段(還可以指定車牌或路口名稱)查出參考車輛及其過車信息，然后指定一條過車記錄，查詢出與該記錄相隔確定時間段(早或者晚)的全部過車信息。針對嫌疑車輛可能會結(jié)隊出行的特點(diǎn)，在刑偵等業(yè)務(wù)應(yīng)用時，確定特定嫌疑車輛后，通過數(shù)據(jù)挖掘的方式分析其通過多個監(jiān)測點(diǎn)時相鄰的車輛號牌，能夠找出與嫌疑車輛有關(guān)聯(lián)的車輛，從而獵取破案線索。8、違法記錄表違法多發(fā)時段研判特定時間范圍給定卡口，以一小時為顆粒度統(tǒng)計出各個時段違法記錄數(shù)形成一張比照直方圖以幫助城市交通改造。違法記錄表違法多發(fā)地研判特定時間范圍內(nèi)給定卡口，統(tǒng)計出各個卡口違法記錄數(shù)形成一張比照直方圖以幫助城市交通改造。9、駕駛?cè)藛T行為源頭管控駕駛?cè)藛T行為源頭管控，是指對開車常常超速在20%以下，但是又有超速習(xí)慣的駕駛?cè)藛T(不違法，但是有違法的嫌疑)，進(jìn)展專項的分析，然后以非現(xiàn)場執(zhí)法的形式發(fā)送通知短信，進(jìn)展源頭管控;篩選超速10%~20%車輛，然后進(jìn)展統(tǒng)計，分析其超速行為的概率，從而推斷駕駛?cè)藛T的動態(tài)評分規(guī)章;10、特種車輛軌跡時空域分析基于大數(shù)據(jù)的特種車輛管控，是指針對類似渣土車、校車等安全等級較高的車輛，通過設(shè)定專屬的行駛路線，一旦消滅車輛偏離行車路線的時候，即發(fā)送報警信息給相關(guān)人員，從而確保特種車輛始終處于受控的安全狀態(tài)。11、車輛遮陽板與案件關(guān)聯(lián)的時空域分析大數(shù)據(jù)平臺依據(jù)卡口的過車數(shù)據(jù)對每輛過往車輛建立單獨(dú)的信息庫，與車管庫的車輛信息庫所不同的是，該信息庫是特地用于過車信息研判。例如卡口會對每輛過車時是否放下了遮陽板進(jìn)展檢測，大數(shù)據(jù)平臺則統(tǒng)計車輛的全部過車照片，放下遮陽板的次數(shù)有多少;翻開遮陽板的次數(shù)有多少，隨后定義一個研判規(guī)章，例如這個比例超過50%，那么駕駛?cè)司陀写_定的違法嫌疑，進(jìn)入單獨(dú)的違法嫌疑車輛庫;這個信息庫往后來看，就是依據(jù)一些統(tǒng)計結(jié)果來推斷駕駛?cè)藛T的駕駛行為分析。12、同行車輛多模型分析基于大數(shù)據(jù)的同行車輛分析，是指針對具有跟車相關(guān)的團(tuán)伙作案時的車輛進(jìn)展進(jìn)一步研判，研判的規(guī)章包括篩選某個固定時間區(qū)間內(nèi)同行經(jīng)過N個卡口數(shù)量的車輛信息;篩選某個固定時間內(nèi)有關(guān)多車關(guān)聯(lián)性的分析，舉例而言就是通過跟車關(guān)聯(lián)性研判覺察車輛A與車輛C有跟車關(guān)聯(lián)性，車輛B與車輛C有跟車關(guān)聯(lián)性，那么分析車輛A和B之間的跟車關(guān)聯(lián)性的嫌疑性。13、多業(yè)務(wù)維度積分研判分析基于大數(shù)據(jù)平臺的多業(yè)務(wù)維度車輛積分研判，是武進(jìn)技防和圖偵相關(guān)干警參考其他地市先進(jìn)的車輛信息技戰(zhàn)法以及結(jié)合自身對實際嫌疑車輛研判時所提出的一種的研判分析方法。其依據(jù)對車輛的出沒時間屬性、出沒卡口地點(diǎn)屬性、駕駛?cè)藛T違反行為信息、牌照歸屬地信息等多種有關(guān)車輛屬性進(jìn)展綜合考慮，引入一套關(guān)于車輛積分研判的方法，因此在對車輛信息進(jìn)展有針對性地研判時帶來一種全的體驗。同時為了滿足研判和預(yù)警實時性的要求，大數(shù)據(jù)承受spark流計算的方式保證車輛積分能夠?qū)崟r處理并將結(jié)果分發(fā)相關(guān)人員。14、基于車輛相關(guān)數(shù)據(jù)的車輛套牌的相關(guān)性分析在現(xiàn)有的視頻作戰(zhàn)平臺中，已經(jīng)引入了一套依據(jù)同一時間內(nèi)消滅在不同地點(diǎn)來推斷是否套牌車輛的相關(guān)分析手段，但是由于前端卡口設(shè)備在車輛識別率上并不能到達(dá)100%，因此有確定的誤報率;此外該種套牌分析方法在定位一些非當(dāng)前庫內(nèi)所包含的車輛信息時往往缺乏有效的分析手段;而大數(shù)據(jù)平臺則是利用本期和前三期中一些已經(jīng)對車輛進(jìn)展二次構(gòu)造化處理后的數(shù)據(jù)(例如車型、車標(biāo)、子品牌、年款等)進(jìn)展套牌車分析庫，將被盜搶車作為套牌車輛分析的重點(diǎn)，從而推斷套牌車輛的可能性;另外大數(shù)據(jù)平臺將在時空領(lǐng)域上結(jié)合GIS應(yīng)用，依據(jù)車輛不正常的出沒規(guī)律來分析套牌車輛的可能性，例如某輛車C在不同的時內(nèi)從區(qū)域A消滅在區(qū)域B，但是規(guī)律上區(qū)域A和區(qū)域B必需經(jīng)過某幾個卡口，但是在該段區(qū)域和時間內(nèi)沒有任何關(guān)于車輛C的過車卡口描述，因此可以推斷車輛C是否為套牌車輛。15、車輛時空出沒規(guī)律分析大數(shù)據(jù)平臺的另一個重要的作用是多元多維度的統(tǒng)計分析方法，針對某一輛車輛信息，大數(shù)據(jù)平臺承受分布式計算的方法將車輛信息的過車點(diǎn)位信息、全部過車卡口的出沒頻次、出沒時間段、常常活動的區(qū)域、常常經(jīng)過的監(jiān)控點(diǎn)位信息以及違法信息統(tǒng)計和同行車輛信息進(jìn)展統(tǒng)一呈現(xiàn)，可以供給包括車輛的居住地和工作地相關(guān)信息推想。同時預(yù)留這些數(shù)據(jù)分析結(jié)果，可進(jìn)一步用于車輛與相關(guān)案件關(guān)聯(lián)性的分析。基于大數(shù)據(jù)平臺的以圖搜圖功能以圖搜圖是當(dāng)前智能交通綜合管控平臺針對車輛檢索的型的檢索方案，系統(tǒng)支持以一張原始圖片為根底搜尋條件，依據(jù)圖片中車輛的特征信息(例如車頭、車窗、車內(nèi)飾等)查詢目標(biāo)車輛，依據(jù)特征信息的相像度進(jìn)展從高到低的檢索方案。當(dāng)前以圖搜圖主要有云存儲和圖片效勞器兩種方案，分別如以以下圖所示：云存儲方案圖片效勞器方案云存儲方案用于大型規(guī)模的智能交通平臺，一般為日均過車數(shù)據(jù)在幾百萬以上的工程中。其中使用云存儲設(shè)備作為數(shù)據(jù)信息的核心效勞器，內(nèi)置智能建模的算法;而智能效勞器在系統(tǒng)中充當(dāng)查詢比照效勞器，為用戶返回最終分析結(jié)果。該方案圖片預(yù)建模和分析全都在云存儲系統(tǒng)中完成，而檢索局部則由特地的智能分析效勞器完成，因此是全網(wǎng)范圍內(nèi)的以圖搜圖應(yīng)用，搜尋的效率會比較高。而圖片效勞器方案則適用于中小型規(guī)模的智能交通平臺，由智能分析效勞器完成過車數(shù)據(jù)的建模，并由其進(jìn)展數(shù)據(jù)比照并返回以圖搜圖的比照結(jié)果。該方案則全部的建模分析和檢索則全部依靠智能分析效勞器完成，因此整個系統(tǒng)的瓶頸在于智能分析效勞器的性能。相比較這兩種方案的以圖搜圖的實現(xiàn)方式，基于大數(shù)據(jù)平臺的以圖搜圖實現(xiàn)方式則進(jìn)一步將圖片資源的二次構(gòu)造化和大數(shù)據(jù)平臺的全文檢索功能進(jìn)展融合，從而將以圖搜圖的功能從精準(zhǔn)檢索更進(jìn)一步擴(kuò)展到極速檢索。云分析系統(tǒng)功能車牌二次識別車身顏色二次識別系統(tǒng)能夠識別11種車身顏色，白色、灰色、黑色、紅色、紫色、藍(lán)色、黃色、綠色、青色、棕色、粉紅色。還可以識別車身顏色的深色和淺色。車型二次識別系統(tǒng)能夠識別7種常見車型，包括客車，大貨車，轎車，面包車，小貨車，SUV，中型客車。車牌顏色二次識別系統(tǒng)能夠?qū)嚺祁伾詣幼R別，識別的5種車牌顏色包括藍(lán)、黃、綠、白、黑。車標(biāo)二次識別系統(tǒng)可識別的車輛標(biāo)志包括：奔馳、寶馬、群眾、別克、豐田、本田、依維柯、金杯、福特、現(xiàn)代、馬自達(dá)、奇瑞、奧迪、雪鐵龍、雪弗蘭、標(biāo)致、東風(fēng)、五菱、尼桑、起亞、皇冠、東南、比亞迪等兩百多種車標(biāo)。車輛子品牌二次識別系統(tǒng)可識別的細(xì)分車型包括：奧迪A6L、奧迪Q3、奧迪Q5、阿斯頓馬丁DB9、阿斯頓馬丁DBS、保時捷911、別克GL8、君威、君越、奔騰B50、奔騰B70、本田歌詩圖、本田鋒范、標(biāo)致307、標(biāo)致308等兩千多種細(xì)分車型，其涉及范圍包括當(dāng)前已停售，或剛上市熱銷的各種細(xì)分車型。遮陽板二次識別系統(tǒng)能夠?qū)Ψ_遮陽板進(jìn)展檢測，為公安交通治理和刑偵案件偵破供給科技手段。黃標(biāo)車二次識別系統(tǒng)能夠?qū)S標(biāo)車進(jìn)展檢測，為黃標(biāo)車專項整治、城市環(huán)保供給決策支撐。未系安全帶二次識別系統(tǒng)能夠?qū)ξ聪蛋踩珟н`法行為進(jìn)展自動