1基于邊緣計算的機器視覺第3部分：技術(shù)要求本文件規(guī)定了基于邊緣計算的機器視覺的技術(shù)要求，包括功能框架、邊緣側(cè)功能、云硬件性能、網(wǎng)絡(luò)、接口、系統(tǒng)功能要求等。測試。僅該日期對應(yīng)的版本適用于本文件不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T9813.3-2017計算機通用規(guī)范第3部分：服務(wù)器GB/T28181-2016公共安全鎖會拼監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求GB/T15412-2017應(yīng)用電視攝像機云臺通用規(guī)范GB/T30147-2013安防監(jiān)控視頻實時智能分析設(shè)備技術(shù)要求GB/T30269.901-2016信息技術(shù)傳感器網(wǎng)絡(luò)第901部分：網(wǎng)關(guān)：通用技術(shù)要求CUVA006-20205G超高清監(jiān)控攝像機通用技術(shù)規(guī)范T/CMWU001-2020工業(yè)數(shù)字相機定義下列術(shù)語和定義適用于本文件。使用機器替代人眼實現(xiàn)檢測，測量，識別在靠近物或數(shù)據(jù)源頭的一側(cè)，采用網(wǎng)絡(luò)、計算、存儲或應(yīng)用核心能力為一體的開放平臺由圖像傳感器、輔助電子器件和標(biāo)準(zhǔn)鏡頭座組成，將光信號接收端，適用于工業(yè)應(yīng)用的一體式設(shè)備QoS:服務(wù)質(zhì)量(QualityofService)3云管理平臺云管理平臺協(xié)同管理視頻圖像存儲管理算法管理邊緣視覺平臺視頻編解碼工業(yè)數(shù)字相機視頻圖像處理與分析視頻邊緣計算硬件智能攝像機智能視頻網(wǎng)關(guān)網(wǎng)絡(luò)智能視頻服務(wù)器圖1基于邊緣計算的機器視覺系統(tǒng)通用架構(gòu)圖6邊緣側(cè)功能要求6.1視頻邊緣計算硬件視頻邊緣計算硬件通常是提供進入邊緣網(wǎng)絡(luò)的入口點的設(shè)備或硬件，智能視頻處理設(shè)備包括智能視頻服務(wù)器、智能視頻網(wǎng)關(guān)，視頻采集設(shè)備包括智能攝像機、工業(yè)數(shù)字相機等多種硬件形態(tài)。6.1.2智能視頻服務(wù)器智能視頻服務(wù)器，是面向機器視覺場景的邊緣側(cè)AI處理設(shè)備，具備網(wǎng)絡(luò)服務(wù)器基礎(chǔ)功能外，應(yīng)嵌入智能網(wǎng)絡(luò)攝像機的智能功能，還可相應(yīng)嵌入較復(fù)雜軟件及AI算法等智能功能，如用于商業(yè)等應(yīng)用的人群注意力及擁堵程度的識別用于公共場所的人與物異常行為識別以及用于預(yù)防各種災(zāi)害的水災(zāi)、火災(zāi)、地震等的識別等。這樣，僅有通過移動偵測、人與物異常識別以及天災(zāi)人禍識別等各種智能功能的預(yù)/報警觸發(fā)的視頻數(shù)據(jù)，才會被傳送到中央監(jiān)控站，以用于進行進一步地分析，并采取進一步的響應(yīng)，或可使用更為復(fù)雜的智能分析應(yīng)用，以降低網(wǎng)絡(luò)設(shè)備的負載并減少人為錯誤智能視頻服務(wù)器，服務(wù)器能力要求采用符合GB/T9813.3-2017要求的功能外，智能視頻的功能要求可參考支持如下功能：a)宜支持多路視頻同時顯示：b)可支持不同廠家的終端設(shè)備c)宜支持視頻緩存功能：d)可支持HTTP接口及不同協(xié)議格式的流地址：e)宜提供視頻、圖像、語義、自然語言處理、推理等通用智能能力服務(wù)。關(guān)鍵指標(biāo)要求：4b)宜支持全通道實時25fps編碼：c)宜支持HDCVI(高清復(fù)合視頻接口HighDefinition機、普通標(biāo)清模擬攝像機、網(wǎng)絡(luò)攝像機三種信號接入，高標(biāo)清自適應(yīng)：d)應(yīng)支持通過數(shù)模轉(zhuǎn)換，全部轉(zhuǎn)成數(shù)字通道：e)可支持選配wifi2.5G/5G內(nèi)置模塊：支持選配4G模塊：f)可支持web端同步回放、事件回放、圖片回放、快放、慢放功能：g)可支持MicroSD卡，最大支持可達到128G:h)應(yīng)支持100M、1000M網(wǎng)口：i)宜支持條紋、噪聲、偏色、虛焦、過曝等視頻質(zhì)量診斷，及時發(fā)現(xiàn)圖像異常問題：j)宜支持溫度報警。當(dāng)溫度超過設(shè)定閥值時候，可聯(lián)動報警功能：k)宜支持通過web或客戶端進行系統(tǒng)操作、配置操作、報警事件等日志的記錄與查詢功能，最大應(yīng)達到1024條日志：1)可支持固定容量打包，錄像可以按文件大小打包，以方便用戶進行錄像備份或刻錄：m)宜支持遠程零通道預(yù)覽，預(yù)覽多通道分割的視頻畫面，包括模擬通道和IP通道：n)應(yīng)支持ONVIFSERVER、GB28181、CGI、ONVIF2.4標(biāo)準(zhǔn)協(xié)議：o)可支持iSCSI擴展存儲功能檢驗，可通過網(wǎng)絡(luò)與其他存儲設(shè)備連接。并將數(shù)據(jù)存儲于接入的存儲設(shè)備。6.1.3智能視頻網(wǎng)關(guān)智能視頻網(wǎng)關(guān)，應(yīng)具備邊緣網(wǎng)關(guān)的基本功能，提供多樣的網(wǎng)絡(luò)接入，包括快速以太網(wǎng)、ADSL、WIFI、3G/4G/5G/LTECAT4/LTECATI網(wǎng)絡(luò)、Modbus、WIFI、PROFINET、EtherCAT等，還應(yīng)能處理對視頻圖片等數(shù)據(jù)的智能處理能力。功能要求采用符合GB/T30269.901-2016的技術(shù)要求。關(guān)鍵功能參數(shù)：a)應(yīng)支持網(wǎng)絡(luò)接口、管理網(wǎng)口；c)可支持多種碼流類型，支持雙碼流；d)應(yīng)支持多種接入能力f)應(yīng)支持流量分類、訪問控制、攻擊防護和QoS等安全功能，支持用戶策略、應(yīng)用策略和行為策略等智能控制手段g)宜支持IPSEC(互聯(lián)網(wǎng)安全協(xié)議InternetProtocolSecurity)、SSL等多種傳輸加密協(xié)議；h)宜支持Qos優(yōu)先轉(zhuǎn)發(fā)視頻、圖片類數(shù)據(jù)。6.1.4智能攝像機智能攝像機，應(yīng)具備基本的監(jiān)控攝像機功能外，還應(yīng)具有對采集到的視頻圖像數(shù)據(jù)進行智能分析的基本監(jiān)控攝像機功采用符合GB/T15412-2017的協(xié)議規(guī)范外，還應(yīng)符合GB/T30147-2013的技術(shù)要求，智能監(jiān)控分析功能要求采用符合CUVA006-2020的技術(shù)規(guī)范。關(guān)鍵功能指標(biāo)要求：a)宜內(nèi)置電動云臺和一體化變焦鏡頭：b)宜支持前端多種智能資源計算切換，如人體抓拍、人臉抓拍、車輛抓拍、混合目標(biāo)檢測(建模比對、全結(jié)構(gòu)):5c)可支持萬張以上的對象屬性數(shù)據(jù)導(dǎo)入(人臉、車牌等):d)可支持黑名單比對成功報警輸出：e)可具備存儲空間存儲對比數(shù)據(jù)庫：f)宜支持快速抓拍和最佳抓拍兩種模式：h)宜支持三碼流技術(shù)，每路碼流可獨立配置分辨率及幀率：i)宜支持定時抓圖與事件抓圖功能。6.1.5工業(yè)數(shù)字相機工業(yè)數(shù)字相機定義及功能要求符合T/CWYU001-2020的規(guī)范要求。AI框架提供管理數(shù)據(jù)集、評估器、推理的功能，并且能在多任務(wù)之間實現(xiàn)并行運算和任意切換。AI框架宜包括機器學(xué)習(xí)算法庫、模型庫、推理、結(jié)果可視化等幾部分，實驗輕量級、低時延、高效的AI計算功能。AI框架的技術(shù)要求應(yīng)包括：a)應(yīng)支持邊緣計算節(jié)點上文字提取、圖像分類、目標(biāo)檢測、目標(biāo)分割等推理算法；b)框架應(yīng)支持靈活擴展的架構(gòu)；c)模型庫應(yīng)支持多種任務(wù)(檢測、分割和識別等)的算法模型及模型結(jié)構(gòu)(如CNN、LSTM、RNNd)推理應(yīng)支持AI專用加速芯片(GPU、NPU、VPU等)硬件指令流：e)應(yīng)提供基于深度學(xué)習(xí)芯片的專用計算資源(如GPU、NPU、VPU),協(xié)助通用計算單元的運算處理：f)應(yīng)提供用于加速計算任務(wù)的獨立內(nèi)存空間：g)運行在通用計算單元的主程序應(yīng)能夠配置、使用、管理深度學(xué)習(xí)加速單元的硬件計算資源。視頻編解碼處理過程需要滿足如下技術(shù)要求：a)視頻編解碼技術(shù)要求，應(yīng)支持多路(如4路、8路、16路、32路、64路等)視頻編解碼：b)應(yīng)支持H.264、H.265、MPEC-4等視頻編碼格式的至少一種編碼格式的編碼和解碼功能(如1路視頻可支持至少240FPSC1080p,多路視頻如32路，可支持至少30FPSe1080p)。6.2.3視頻圖像內(nèi)容處理與分析視頻圖像內(nèi)容處理與分析需要滿足以下技術(shù)要求：a)圖像處理技術(shù)要求，應(yīng)支持JPEG、JPEG2000、BMP、PNG等圖像格式的至少一種的編碼和解碼功能，(如宜支持180FPSJPEG圖像解碼能力),宜支持多種類型圖像文件的互相轉(zhuǎn)換：宜支持多種圖像空間表示：宜支持濾波、銳化、對比度增強、去霧、去抖動等多種圖像增強功能：b)圖像識別技術(shù)要求，應(yīng)支持至少一種圖像類別的分類或檢測，如人體、人臉、車牌、非機動車、機動車、物品、文本、尺寸、外觀缺陷等：宜支持在同一圖像中不同尺度的目檢分類或檢測：識別速度應(yīng)小于0.5s:c)機器視覺結(jié)構(gòu)化技術(shù)要求，應(yīng)能提取分析目標(biāo)的一種以上的屬性信息：7a)應(yīng)支持480P、720P或1080P分辨率其中一種或多種b)應(yīng)支持實時模式：可支持PAL每路1幀/秒~25幀/秒可調(diào)：NTSC每路1幀/秒~30幀/秒可調(diào)：c)可支持32Kbps~4096Kbps(720P默認2Mbps,最高4Mbps:1080P默認4M,最高4M):d)應(yīng)支持視頻流/復(fù)合流g)可支持雙碼流：h)應(yīng)支持G.711A、G.711U、PCM等音頻編碼標(biāo)準(zhǔn)：8.2智能視頻網(wǎng)關(guān)性能要求主要性能指標(biāo)要求：a)應(yīng)支持10W/100W/1000M自適應(yīng)以太網(wǎng)口：b)宜支持2個以上USB2.0:c)宜支持至少1個VGA接口：d)應(yīng)支持標(biāo)準(zhǔn)RS-232串行接口(RJ45接口):i)可支持最多1000臺IP視頻編碼設(shè)備接入。8.3智能攝像機性能要求基本性能指標(biāo)要求采用符合GB/T20090.2-2013的技術(shù)要求。其他主要性能指標(biāo)要求包括a)宜支持主碼流，子碼流，第三碼流等碼流類型：b)應(yīng)支持H.265,H.264,MPEG等視頻壓縮標(biāo)準(zhǔn)：e)宜支持32Kbps~16384Khps等視頻壓縮碼率：d)可支持人臉+人體抓拍，并關(guān)聯(lián)輸出，支持兩路混合目標(biāo)檢測及抓拍，可對人體、人臉、車輛進行檢測等混合目標(biāo)檢測e)可支持同時檢測30張人臉，支持對運動人臉進行檢測、跟蹤、抓拍、評分、篩選，輸出最優(yōu)的人臉抓圖；f)可支持人臉對比；8)宜支持移動偵測，報警輸入，報警輸出，遮擋報警，異常等普通事件：h)可支持區(qū)域入侵偵測，越界偵測，進入?yún)^(qū)域偵測，離開區(qū)域偵測，徘徊偵測，人員聚集偵測，快速移動偵測，停車偵測，物品遺留偵測，物品拿取偵測；1)應(yīng)支持?jǐn)嗑W(wǎng)續(xù)傳，智能后檢索等錄像功能；k)宜支持NAS1)宜支持IPv4/IPv6,HTTP,HTTPS,802.1x,Qos,FTP,RTSP,RTCP,RTP,TCP/IP等網(wǎng)絡(luò)協(xié)議；m)應(yīng)支持軟件集成的開放式API,ONVIF,ISAPI;n)可支持至少1路高清視頻的1種目標(biāo)識別。YD/Txxx-xxX8.4工業(yè)數(shù)據(jù)相機性能要求關(guān)鍵性能指標(biāo)要求包括：a)應(yīng)支持USB2.0/3.0、1394a/1394b、CamerLink、Gige、CoaXPress等類型的接口：b)應(yīng)支持黑自與彩色圖像之間切換；c)宜支持10W/100N/1000M等多自適應(yīng)傳輸率；d)宜支持100萬/300萬/500萬/1000萬/1200萬等多分辨率；e)宜支持8Bit/10Bit/12Bit等多像素深度；f)宜支持5/10/50/100/200幀/秒等多幀率；g)應(yīng)支持像元尺寸為3um-10un;h)光譜響應(yīng)范圍在350mm-1000nm。9.1數(shù)據(jù)接口要求數(shù)據(jù)接口應(yīng)滿足如下技術(shù)要求a)應(yīng)支持邊緣計算硬件向云平臺進行按需數(shù)據(jù)上傳。并對上傳中斷、失敗等異常情況對數(shù)據(jù)進行緩存并重新上傳：b)應(yīng)支持云平臺、邊緣側(cè)機器視覺平臺之間信息和數(shù)據(jù)的按需訪問：c)視頻數(shù)據(jù)傳輸應(yīng)符合GB/T28181-2016標(biāo)準(zhǔn)或者其他約定傳輸協(xié)議的視頻傳輸：d)圖像數(shù)據(jù)傳輸接口應(yīng)符合GA/T1400.4-2017標(biāo)準(zhǔn)：e)宜支持第三方調(diào)用數(shù)據(jù)接口協(xié)議訪問、查詢與數(shù)據(jù)獲?。篺)應(yīng)支持至少一種傳輸協(xié)議，包括如MQTT、HTTP、CoAP、RESTful等。9.2控制和管理接口要求控制和管理接口應(yīng)滿足如下技術(shù)要求：a)控制接口應(yīng)支持對算法模型、業(yè)務(wù)指令的下發(fā)與反饋：b)管理接口應(yīng)支持云側(cè)對邊緣側(cè)的信息和數(shù)據(jù)的查詢，應(yīng)支持邊緣側(cè)對云側(cè)的請求訪問：c)控制和管理接口均應(yīng)支持按需調(diào)用的參數(shù)擴展與修改；d)應(yīng)支持至少一種傳輸協(xié)議，包括如MOTT、HTTP、CoAP、RESTful等。支持多種網(wǎng)絡(luò)接入方式，基于高速率、低時延