視頻AI分析平臺大規(guī)模視頻分析技術目錄TOC\o"1-2"\h\u130651.引言 344762.AI分析平臺產(chǎn)品架構 5143242.1.產(chǎn)品功能架構 5135102.2.產(chǎn)品技術架構 632163.大規(guī)模視頻分析技術實現(xiàn)方案 7321643.1.視頻解析中心 7224003.2.任務編排中心 9162133.3.智能感知中心 10290663.4.算法倉庫 1014.總結 11在智慧城市建設持續(xù)縱深推進的過程中，智能視頻分析技術已經(jīng)廣泛應用在城市公共安全管理、市容市貌治理和非現(xiàn)場式監(jiān)督等場景。隨著“雪亮工程”視頻監(jiān)控項目在全國范圍內(nèi)大面積推進，一、二、三類監(jiān)控點位已經(jīng)能夠覆蓋大部分城市公共區(qū)域。大量視頻監(jiān)控攝像頭的視頻數(shù)據(jù)匯聚接入和智能分析，對原有的視頻監(jiān)控系統(tǒng)提出了更高的要求。隨著人工智能算法架構的不斷升級以及預訓練大模型等技術逐漸走向成熟，對于平臺資源調(diào)度能力，峰值并發(fā)能力都帶來了更大的挑戰(zhàn)。本文重點介紹了浪潮視頻AI分析平臺，平臺利用關鍵幀解碼技術，節(jié)省90%的算力資源消耗，提升了通過云邊協(xié)同的分布式架構，將任務流和數(shù)據(jù)流進行解耦，同時引入了大模型技術進行視頻結構化分析和存儲，大幅提升視頻關鍵內(nèi)容檢索效率。平臺實現(xiàn)了對百萬級視頻數(shù)據(jù)的實時分析，對智能分析任務的實時調(diào)度，可以在保證智能視頻分析服務質量的同時降低資源消耗，滿足實際應用需求。引言在《中國安防行業(yè)“十四五”規(guī)劃》和《超高清視頻產(chǎn)業(yè)發(fā)展行動計劃(2019-2022年)》等國家和行業(yè)相關政策驅動下，視頻監(jiān)控、智能安防和計算機視覺等相關行業(yè)發(fā)展迅猛[1]。在后疫情時代背景下，我國經(jīng)濟持續(xù)恢復，智能視頻監(jiān)控領域需求旺盛，政府企業(yè)投資額較大。傳統(tǒng)人工視頻監(jiān)控方式成本上漲推動平臺智能化升級佳速，居民消費升級也進一步促進家用視頻監(jiān)控成為智能視頻市場的新增長點。智能視頻分析是視頻監(jiān)控向智能化演進的重要技術，如何從原始的視頻數(shù)據(jù)中通過計算機算法分析[2]等人對平臺Kafka，MPP數(shù)據(jù)庫，HbaseSpark/Hive集群為基礎，可支持城市級的海量視[3]等人結合了物聯(lián)網(wǎng)技術采集環(huán)境數(shù)據(jù)，結合視頻分析實現(xiàn)了對環(huán)保、水利[4]等人通過視頻分析技術，實現(xiàn)了對城市管理中的違規(guī)經(jīng)營和違規(guī)占道等等領域廣泛應用。AI視頻數(shù)據(jù)和AI能力的協(xié)同調(diào)度，適配多種底層平臺和運行環(huán)境，支持高并發(fā)、大規(guī)模的視頻分析業(yè)務。AI分析平臺產(chǎn)品架構產(chǎn)品功能架構視頻AI(如圖1所示)。視頻匯聚層主要將各類監(jiān)控攝像頭采集到的視頻數(shù)據(jù)和設備信息進行統(tǒng)一的匯聚，完成視頻流的實時標準化AIAI算法倉庫統(tǒng)一進行算法模型統(tǒng)一存儲和版本管理。AIAIAIFigure1.FunctionalarchitecturediagramofthevideoAIanalysisplatform圖1.視頻AI分析平臺功能架構圖視頻AI分析平臺將抽幀、編解碼、AI分析等任務進行容器化封裝，實現(xiàn)了算法、算力和調(diào)度模塊的深度解耦，借助算力網(wǎng)絡編排調(diào)度技術，完成云邊端分布式協(xié)同部署，使得平臺能夠按需在混合云和跨域資源池完成部署，提高了業(yè)務靈活性。通過運營管理模塊實現(xiàn)對智能視頻分析全過程管理，將AI算法調(diào)用量等數(shù)據(jù)進行全面記錄，結合歷史調(diào)用數(shù)據(jù)可以及時發(fā)現(xiàn)攝像頭遮擋、服務中斷等異常情況。通過資源監(jiān)控管理模塊實時監(jiān)控系統(tǒng)資源狀態(tài)，根據(jù)任務量和資源狀態(tài)完成任務調(diào)度和資源彈性伸縮，在夜間或其他非高峰時段增大視頻分析事件監(jiān)控，降低算力資源占用量和系統(tǒng)能耗。產(chǎn)品技術架構如圖2AIredisrabbitMQ頻分析。將抽幀圖片存儲到redisServer端負責管理該節(jié)點下的硬件資源，從應用端接收到任務后，完成工作節(jié)點的任務調(diào)度。rabbitMQ消息針對告警信息，平臺分別通過數(shù)據(jù)上報接口和數(shù)據(jù)查詢接口對接第三方系統(tǒng)，對于告警上報接口，MySQL進行數(shù)據(jù)存儲，保障告警數(shù)據(jù)及時上報，對于非告警類分析結果和調(diào)用記錄等數(shù)據(jù)，平臺ES集群進行存儲。ES集群對全量告警信息和日志數(shù)據(jù)進行存儲，通過任務列表建立索引，實現(xiàn)數(shù)據(jù)查詢和統(tǒng)計分析，將視頻處理任務和數(shù)據(jù)處理任務進行解耦，保證視頻處理任務的實時性和數(shù)據(jù)處理MySQL和Go-FastDFSMySQL數(shù)據(jù)庫用于存儲圖像和視頻的基本信息和元數(shù)據(jù)，Go-FastDFS用于存儲圖像和視頻文件。Figure2.TechnicalarchitecturediagramofvideoAIanalysisplatform圖2.視頻AI分析平臺技術架構圖大規(guī)模視頻分析技術實現(xiàn)方案AIAI分析平臺的業(yè)務需求。視頻解析中心視頻解析過程需要完成視頻流的解碼、存儲和抽幀等任務，其中抽幀過程需要消耗大量算力資源，導致平臺出現(xiàn)性能瓶頸。通過對主流視頻監(jiān)控設備進行分析，發(fā)現(xiàn)大部分視頻監(jiān)控設備在視頻傳輸過程中，均采用了H.264格式對視頻進行編碼和壓縮，從而節(jié)省視頻傳輸過程中的帶寬占用。其中主要采用了GOP內(nèi)壓縮技術，將視頻劃分為幀內(nèi)編碼幀(I幀)、前向預測編碼幀(P幀)和雙向預測幀(B幀)。IP幀進行解碼，最后再對中間B幀按順序依次解碼，具體解碼順序如3I幀包含了圖像的完整信息，因此在解碼過程ICPU2%左右，相比于全量解碼(CPU20%)90%的算力資源消耗。Figure3.Keyframedecodingflowdiagram圖3.關鍵幀解碼流程示意圖任務編排中心視頻AI分析平臺通過云邊協(xié)同的分布式架構(如圖4所示AIKubernetes將控[6]Figure4.Technologyarchitectureofvideoanalysiscenter圖4.視頻解析中心關鍵技術架構此外，不同場景下的視頻分析任務主要活躍時間不同，例如客流統(tǒng)計任務[8]在上下班高峰期需要消耗更多的算力，違規(guī)停車任務主要應用在住宅區(qū)附近道路的夜間違停。平臺通過潮汐調(diào)度根據(jù)不同任務的特點，靈活控制視頻分析的周期和時間段，通過合理的調(diào)度可以實現(xiàn)算力需求的削峰填谷，提升平臺資源利用效率。智能感知中心智能感知中心支持結構化告警數(shù)據(jù)查詢，告警事件訂閱和基于過濾規(guī)則的智能推送[9]，告警樣本數(shù)據(jù)自動回流。如5所示，智能查詢部分主要基于預訓練圖生文大模型以及目標檢測大模型進行圖像理解，將視頻數(shù)據(jù)轉化成結構化信息，其中包含圖像中的物體類型、數(shù)量、位置、顏色、紋理等信息，以及圖像中的事件信息。查詢過程中可以通過以圖搜索的方式，對比輸入圖像和視頻內(nèi)容的結構化數(shù)據(jù)之間的相似度，返回相似度較高的圖像。此外，也可以通過自然語言交互方式實現(xiàn)告警事件的高效查詢，F(xiàn)igure5.Serviceprocessingflowoftheintelligentawarenesscenter圖5.智能感知中心業(yè)務處理流程算法倉庫[0鍵遷移?；诶顺弊匝械娜萜鞴芾砥脚_為云端業(yè)務提供了鏡像管理和負載均衡等能力，通過Kubeegde[11][12]AI算法需求。總結AI分析平臺。其中視頻解析中心通過關鍵幀解碼技術，大幅提升了圖像抽幀效率，任務編排過程中，通過云邊協(xié)同的方式，將視頻抽幀解碼和智能分析節(jié)點下沉到邊緣側，降低