面向交通技術的AI分析系統(tǒng)的設計開發(fā)

Summary：本文提出一種應用于公安、交警的交通技術監(jiān)控數(shù)據(jù)接入平臺。通過統(tǒng)一的交通技術平臺，可實現(xiàn)各類交通監(jiān)控子系統(tǒng)的數(shù)據(jù)統(tǒng)一匯集接入，和各類交通監(jiān)控子系統(tǒng)的綜合管理。該系統(tǒng)可以對接高清視頻監(jiān)控系統(tǒng)、高清卡口系統(tǒng)、高清電子警察系統(tǒng)、交通信息分析系統(tǒng)、交通事件檢測系統(tǒng)、智能行為分析系統(tǒng)、交通違法處理系統(tǒng)等業(yè)務系統(tǒng)，實現(xiàn)各系統(tǒng)數(shù)據(jù)的匯集、存儲、處理、查詢和轉(zhuǎn)發(fā)，極大地推動了智慧交通的發(fā)展應用。Keys：交通監(jiān)控；數(shù)據(jù)處理；AI分析系統(tǒng)；設計1.引言當前，交通管理的業(yè)務已經(jīng)展現(xiàn)出越來越多樣化的趨勢，交通管理和應用的數(shù)據(jù)維度也越來越多，對于平臺的功能要求也已經(jīng)不止局限于視頻監(jiān)控和交通數(shù)據(jù)管理等程度。而是更進一步地提出了交通流量接入和分析、單警系統(tǒng)的接入和警務管理，交通信號的管理和控制，交通誘導信息的接入和管理，車輛數(shù)據(jù)與橫向稱重數(shù)據(jù)的結合，面向社會面的停車場管理系統(tǒng)、和入侵報警等設備的接入要求，以及與交通氣象數(shù)據(jù)，道路路面設施和路況數(shù)據(jù)等綜合性接入的要求。也正是由于這些數(shù)據(jù)的接入多樣性，數(shù)據(jù)接入平臺才真正意義上實現(xiàn)交通管理和服務業(yè)務上的綜合數(shù)據(jù)接入。2.交通技術監(jiān)控數(shù)據(jù)處理平臺的提出公安、交警的交通技術監(jiān)控數(shù)據(jù)的處理，是智慧交通的關鍵所在。2.1系統(tǒng)架構本次設計的交通技術監(jiān)控數(shù)據(jù)接入平臺，主要分為四個子平臺、五個子系統(tǒng)。具體來說，四個子平臺包括：六合一平臺、應急指揮平臺、智能交通平臺、交通大數(shù)據(jù)平臺；五個子系統(tǒng)主要有：視頻監(jiān)控系統(tǒng)、高清卡口系統(tǒng)、電子警察系統(tǒng)、交通時間檢測系統(tǒng)、交通信息分析系統(tǒng)。交通技術監(jiān)控數(shù)據(jù)接入平臺的結構如下圖1：圖1結構圖2.2系統(tǒng)組成本平臺遵循多層體系結構模型，采用四層體系結構，包括展現(xiàn)層（實現(xiàn)查詢、管理、統(tǒng)計功能）、服務層（進行設備管理、通道管理、警報管理、區(qū)域管理、GIS管理、數(shù)據(jù)管理、場景管理、標定管理、算法調(diào)度、角色管理、安全管理、日志管理）、數(shù)據(jù)層（包括DB、媒體數(shù)據(jù)、GIS數(shù)據(jù)）、接口層（主要是接入負載服務、數(shù)據(jù)調(diào)度與分發(fā)）。3.平臺的數(shù)據(jù)傳輸3.1內(nèi)部數(shù)據(jù)平臺內(nèi)部數(shù)據(jù)靈活采用關系型結構化數(shù)據(jù)和非結構化數(shù)據(jù)模式，實現(xiàn)數(shù)據(jù)的高效傳輸、存儲，以及視頻、圖片的海量大規(guī)模存儲。本地數(shù)據(jù)存儲進行系統(tǒng)級加密，并在各級模塊和子系統(tǒng)之間進行加密高效數(shù)據(jù)傳輸。平臺與基礎應用系統(tǒng)間的數(shù)據(jù)傳輸符合國標相關的要求（GA\T832—2014、GA\T497—2016等）。3.2外部數(shù)據(jù)本平臺作為公安交警指揮調(diào)度、日常應用的數(shù)據(jù)匯集平臺，與公安其它各業(yè)務系統(tǒng)間均存在數(shù)據(jù)交互關系。涉及到與外部平臺系統(tǒng)的關系圖如下所示：圖2外部數(shù)據(jù)關系平臺兼容對接方案主要有以下幾種方式，其實現(xiàn)方法分別如下：（1）WebService接口平臺采用標準的WebService接口與六合一處罰平臺、機動車/駕駛人信息資源庫、被盜搶車信息庫、警用地理信息系統(tǒng)(PGIS)、人口信息庫、在逃人員/負案人員信息資源庫等進行互聯(lián)，常用的接口類型包括：過車信息上傳接口（數(shù)據(jù)主要有：卡口\路口名稱、車道編號、車道名稱、車牌號碼、車牌類型、經(jīng)過時間、車速、車輛類型、車身顏色、車牌顏色。）；違章信息接口；圖片上傳接口；設備狀態(tài)上傳接口；設備控制系統(tǒng)接口；其它接口。（2）SDK接口除了標準的WebService接口之外，交通數(shù)據(jù)接入平臺還可以通過SDK的方式接入外部設備或子系統(tǒng)，完成系統(tǒng)的對接與數(shù)據(jù)交互傳輸。4.平臺的AI分析系統(tǒng)本方案是在系統(tǒng)結構上采用前端采集+中心集中式處理服務器的方式，通過計算機視覺圖像技術、深度學習、大數(shù)據(jù)分析、云計算等相關先進技術，對視頻監(jiān)控畫面中動態(tài)信息（路口交通流量信息、速度、車輛通行信息、交通違法信息和事件信息等）行為進行分析識別，從而實現(xiàn)事件的智能監(jiān)測與自動報警，并以不同的數(shù)據(jù)結構和數(shù)據(jù)要求存入到磁盤陣列中，并轉(zhuǎn)發(fā)（派發(fā)）給相應的業(yè)務應用平臺和指揮中心。平臺采用工業(yè)標準的J2EE系統(tǒng)框架和SOA面向服務的架構，具備良好的伸縮性、業(yè)務擴展能力。平臺支持大規(guī)模視頻信息數(shù)據(jù)接入，應用功能豐富，可實現(xiàn)區(qū)域化管理與統(tǒng)一集中后臺分析。4.1系統(tǒng)架構圖3系統(tǒng)架構示意圖4.2技術路線從設計思路出發(fā)，本平臺主要采用以下核心技術路線：4.2.1前端圖像采集考慮到電子警察系統(tǒng)前端都部署在室外，環(huán)境比較惡劣，而且需要全天24小時不間斷工作，對設備的穩(wěn)定性和可靠性要求很高。為進一步降低前端攝像機的設備壓力，要求攝像機只做視頻采集，不需要做進一步的智能分析。前端部分由桿件、高清攝像機、LED智能補光燈、光纖收發(fā)器、電源、防雷、攝像機防護罩和戶外防護柜等設備組成，不添加外部觸發(fā)裝置，僅負責全天候的前端視頻采集，將采集的高清視頻通過光纖通信系統(tǒng)實時傳送到中心進行視頻處理與存儲。前端攝像機作為前端設備中的核心設備，要求采用“圖像傳感器+ISP+DSP”技術方案，通過對ISP和DSP的精細化控制來確保高清圖像的成像質(zhì)量，使得高清攝像機在不同環(huán)境、不同光照條件下均可達到滿足業(yè)務應用的成像效果。4.2.2中心分析應用中心分析平臺涵蓋了視頻分析、業(yè)務應用兩大模塊。電子警察管理平臺采用成熟、主流的技術構建，充分兼顧交警業(yè)務需求和技術的發(fā)展，充分考慮與交警其他信息系統(tǒng)的連接，建設可擴展的開放平臺。中心檢測處理存儲單元包括集中處理服務器和視頻處理軟件，系統(tǒng)對視頻進行特征符號化處理后，把抓拍照片、高清視頻錄像、交通基礎數(shù)據(jù)等進行分類，通過業(yè)務邏輯處理單元實現(xiàn)各類交通管理業(yè)務處理并提供各類外部數(shù)據(jù)接口。4.3平臺功能模塊組成智能視頻分析平臺主要由視頻分析服務模塊、視頻數(shù)據(jù)服務模塊、數(shù)據(jù)中心處理服務模塊以及客戶端應用服務模塊四大部分構成。圖4智能視頻分析平臺4.3.1視頻分析服務模塊包括場景管理服務、業(yè)務標定服務、算力負載均衡服務、算力池管理服務、視頻流解碼服務、視頻分析服務。①場景管理服務用于管理視頻分析中的視頻流所對應的業(yè)務類型，包括城市交通管理等不同類別的業(yè)務。②業(yè)務標定服務用于視頻畫面的區(qū)域劃分、界限標注、目標物標注、以及業(yè)務規(guī)則標定。③算力負載均衡服務用于對分析服務器上的算力資源使用進行跟蹤和負載均衡調(diào)度。④算力池管理服務用于對多臺分析服務器上的算力資源進行綜合統(tǒng)一算力管理。⑤視頻流解碼服務用于視頻流進行解碼，支持H.264、H.265視頻編碼格式。⑥視頻分析服務，提供各類業(yè)務的視頻分析功能。4.3.2視頻數(shù)據(jù)服務模塊提供視頻數(shù)據(jù)的預覽、回放、存儲、管理、云臺控制、上墻顯示、分析聯(lián)動報警等視頻應用服務。包括流媒體轉(zhuǎn)發(fā)服務、流媒體格式服務、存儲管理服務、網(wǎng)管服務、報警管理服務、設備接入服務、設備接入服務。4.3.3數(shù)據(jù)中心處理服務模塊管理配置信息和數(shù)據(jù)信息，實現(xiàn)用戶與資源管理、視頻和交通數(shù)據(jù)調(diào)閱，提供用戶權限控制、數(shù)據(jù)訪問等核心服務。包括中心管理服務、Web服務、數(shù)據(jù)庫服務、消息隊列服務、GIS電子地圖服務等。4.3.4客戶端應用服務模塊包括B/S用戶端、APP用戶端、電視墻控制端、B/S管理端。①B/S用戶端通過WEB頁界面對系統(tǒng)進行管理、維護、實時監(jiān)控和數(shù)據(jù)信息查閱，采用WEB2.0技術，操作更順暢、畫面刷新速度更快，可為監(jiān)控中心提供直觀的可視化管理界面。②APP用戶端提供基于移動通信網(wǎng)絡的用戶系統(tǒng)業(yè)務處理功能。可以遠程收取報警信息、登錄處理報警流程、實時查看系統(tǒng)數(shù)據(jù)和實時監(jiān)控畫面。③電視墻控制端業(yè)務實現(xiàn)對電視墻控制和管理。④B/S管理端提供系統(tǒng)級的運維管理。4.4系統(tǒng)業(yè)務流程主要是：（1）系統(tǒng)通過獲取實時視頻流，也可以直連前端相機取視頻流，這樣避免了系統(tǒng)本身的帶寬壓力及系統(tǒng)計算壓力。（2）智能視頻分析算法部署在機房中心服務器端（支持云部署）實現(xiàn)對視頻的實時事件檢測，支持自動定時輪詢，輪詢時間可配置。（3）系統(tǒng)將分析處理后得到的數(shù)據(jù)及時轉(zhuǎn)發(fā)給各業(yè)務平臺或指揮中心，并存儲至數(shù)據(jù)服務器。（4）系統(tǒng)自動根據(jù)分析出來的各項數(shù)據(jù)進行分類統(tǒng)計，并以多種報表方式進行展示,以備查詢所需。（5）將各項數(shù)據(jù)統(tǒng)計分析后，通過平臺首頁直接展示各項數(shù)據(jù)或轉(zhuǎn)發(fā)給第三方業(yè)務平臺。5.系統(tǒng)應用評價5.1設備兼容、功能一致本系統(tǒng)采用基于云計算模式的視頻分析模式，硬件組成相對簡潔。在系統(tǒng)的整體架構上采用前端設備簡化（只負責高清視頻采集），在中心進行集中視頻視覺識別、分析的處理存儲模式。前端不同時期、不同項目建設的不同廠家的攝像機，只要其滿足標準碼流的要求，都可以接入到統(tǒng)一的中心處理設備中。5.2降低運營成本，升級方便本系統(tǒng)采用云建設模式，前端攝像機只負責圖像采集，中心處理設備才是系統(tǒng)功能實現(xiàn)的核心節(jié)點。在技術發(fā)展引領出新的功能時，只需要對中心處理設備進行升級即可，不需要耗費大量人力、物力對前端攝像機進行一個一個的升級。5.3避開惡劣環(huán)境，運行更穩(wěn)定以往的電子警察智能前置到攝像機中，攝像機的運行壓力巨大，常常會出現(xiàn)攝像機性能不足、機身過熱，導致死機、頻繁重啟的問題。在云分析系統(tǒng)中大大減輕了前端攝像機的工作壓力，攝像機只需要負責成像控制、視頻采集等工作，出現(xiàn)故障的概率大大減少。而負責核心視頻分析的設備集中到了環(huán)境舒適的中心機房，可保障設備具有良好的外部環(huán)境，提高設備運行穩(wěn)定性。5.4分析功能算法疊加在同一臺分析服務器上，不同的視頻可以運行不同的算法功能，相同的一路視頻也可以同時疊加不同的算法功能。平臺數(shù)據(jù)處理采用當前最先進的深度學習算法對車輛的視頻和圖片進行處理。深度學習就是利用一些方法去構建一個含有多層隱藏層的人工神經(jīng)網(wǎng)絡，網(wǎng)絡的每一層都對應著原始數(shù)據(jù)不同層次的數(shù)學抽象，從而達到用特征向量描述圖像的目的。和傳統(tǒng)模式識別算法相比較，深度學習算法的最大不同在于它所采用的特征是從大數(shù)據(jù)中自動學習得到，而非采用手工設計。好的特征可以提高模式識別系統(tǒng)的性能。以往多數(shù)分類、回歸等算法為淺層結構算法，其局限性在于有限樣本和計算單元情況下對復雜函數(shù)的表示能力有限，針對復雜分類問題其泛化能力受到一定制約。深度學習可通過學習一種深層非線性網(wǎng)絡結構，實現(xiàn)復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本集中學習數(shù)據(jù)集本質(zhì)特征的能力5.5算力池架構在部署多臺分析服務器的時候，分析服務器可以建立分析算法集群資源池，算力資源可以通過算法資源池進行合理分配和調(diào)度，提高硬件資源的使用率，提升系統(tǒng)總體的處理路數(shù)。同時，單臺服務器在使用的時候，都會預留一定的系統(tǒng)性能以保障系統(tǒng)正常運行，如果不建立資源池的話，這部分算力資源就浪費了。通過集群資源池，可以收集所有服務器上預留的算力資源，進一步提升系統(tǒng)總體的處理運算性能。5.6支持多種解碼方式平臺具備多種解碼方式，支持硬解、軟解，支持AI加速卡獨立解碼、支持AI加速卡和CPU混合解碼、支持CPU獨立解碼，適應多種不同配置條件和不同應用場景，提升整體運行效率。支持多種品牌AI加速卡，支持NVIDIATesla加速卡、華為Atlas加速卡，支持混合使用不同品牌加速卡。5.7設備狀態(tài)自動檢測平臺實時監(jiān)測視頻流、中心服務器、數(shù)據(jù)庫服務、WEB應用等關鍵服務運行狀況進行故障診斷。當各類設備、服務發(fā)生故障時系統(tǒng)通過聲音、短信等形式將信息告知維護人員，建立故障上報、進度跟蹤、服務效果評價的閉環(huán)管理機制。6.小結以上本文提到的交通技術監(jiān)控數(shù)據(jù)接入平臺，應用優(yōu)勢突出，尤其是平臺的AI分析系統(tǒng)，對智慧交通的實現(xiàn)具有巨