ICS35.240.6034CCSR0734安 徽 省 地 方 標 準DB34/T4641—2023交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設規(guī)范Specificationforbusinessmodelingoftrafficmanagementbigdatacenter20232023121820240118安徽省市場監(jiān)督管理局發(fā)布DB34/T4641DB34/T4641—2023DB34/T4641DB34/T4641—2023目 次前言 II范圍 1規(guī)范性引用文件 1術語和定義 1建設流程 1數(shù)據(jù)處理 2數(shù)據(jù)提取 2數(shù)據(jù)治理 2特征選擇 3構(gòu)造衍生特征 3特征轉(zhuǎn)換 4特征篩選 4數(shù)據(jù)建模 5業(yè)務規(guī)則類模型 5預測預警類模型 6異常檢測類模型 7模型評估 8評估指標 8評估方法 8評估處理 9模型發(fā)布 9附錄A（資料性）駕駛?cè)藬?shù)據(jù)項 10附錄B（資料性）機動車數(shù)據(jù)項 11附錄C（資料性）違法數(shù)據(jù)項 12附錄D（資料性）事故數(shù)據(jù)項 13附錄E（資料性）事故人員數(shù)據(jù)項 15附錄F（資料性）過車數(shù)據(jù)項 17附錄G（資料性）道路數(shù)據(jù)項 18附錄H（資料性）卡口設備數(shù)據(jù)項 19附錄I（資料性）氣象數(shù)據(jù)項 20附錄J（資料性）其他數(shù)據(jù)項 21I前 言本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別專利的責任。本文件由安徽省公安廳提出并歸口。有限公司。謝曉琳、徐龍、秦忱忱、吳磊、耿偉、胡恒、杜禮、喬文、陳珊珊、丁俊美。IIII交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設規(guī)范范圍本文件確立了交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設流程，并規(guī)定了交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設的數(shù)據(jù)處理、特征選擇、數(shù)據(jù)建模、模型評估、模型發(fā)布。本文件適用于交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設。規(guī)范性引用文件本文件沒有規(guī)范性引用文件。術語和定義下列術語和定義適用于本文件。交通管理大數(shù)據(jù)中心trafficmanagementbigdatacenter數(shù)據(jù)處理特征選擇數(shù)據(jù)建模數(shù)據(jù)處理特征選擇數(shù)據(jù)建模模型評估不通過模型優(yōu)化通過模型發(fā)布4建設流程4建設流程交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設流程見圖1。圖1交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設流程示意圖15數(shù)據(jù)處理數(shù)據(jù)提取數(shù)據(jù)來源交通管理大數(shù)據(jù)業(yè)務中心的數(shù)據(jù)來源包括但不限于：——交通管理大數(shù)據(jù)綜合應用平臺，——集成指揮平臺，——第三方外掛平臺。提取范圍A。B。C。DE。F。G。H。I。J。提取方式IoTSDKGAT1400ftp使用公安交通管理數(shù)智能力開放平臺數(shù)據(jù)接入模塊接入數(shù)據(jù)，支持離線數(shù)據(jù)集成接入、實時消息集成接入、服務接口集成接入等多種數(shù)據(jù)采集方式。數(shù)據(jù)治理非空數(shù)據(jù)核驗應對下列數(shù)據(jù)的非空數(shù)據(jù)進行核驗：——附錄A中的身份證明號碼、性別、初次領證日期，B動車狀態(tài)、核定載客、檢驗報廢期止、強制報廢期止，——附錄C中的號牌號碼、號牌種類、違法時間、違法行為、違法記分數(shù)，D逸，——附錄F中的號牌號碼、號牌種類、經(jīng)過時間，——附錄G中的道路代碼、道路類型、道路名稱、行政區(qū)劃、管理部門，——附錄H中的設備編號、設備類型、使用狀態(tài)、車道號、方向類型、點位編號，——附錄I中的設備編號、檢測時段、檢測時間，2——附錄J中的身份證明號碼。重復數(shù)據(jù)去重應對下列數(shù)據(jù)進行重復數(shù)據(jù)去重：——附錄A中的身份證明號碼，——附錄B中的號牌號碼、號牌種類，CDGH——附錄I中設備編號，——附錄J中的身份證明號碼。錯誤數(shù)據(jù)刪除應刪除下列錯誤數(shù)據(jù)：——附錄A中的準駕車型代碼不存在、身份證明號碼長度不符合18，——附錄B中的初次登記日期內(nèi)容早于2001年，——附錄C中的單次違法記分數(shù)值為1，3，6，12以外的，——附錄D中的事故發(fā)生時間大于當前時間，——附錄F中的經(jīng)過時間大于當前時間、號牌號碼識別長度小于7或大于8，——附錄G中的道路類型不存在,——附錄H中的設備編號不符合設計標準，——附錄I中的設備編號記錄值為空。規(guī)范數(shù)據(jù)類型應對下列數(shù)據(jù)類型進行規(guī)范：——數(shù)據(jù)類型不一致，如日期類型的數(shù)據(jù)實際卻是字符或數(shù)字類型，應轉(zhuǎn)成日期類型，A出生日期，B登記證書日期、發(fā)合格證日期、保險終止日期，——附錄C中違法時間、處理時間、繳款日期、錄入時間，——附錄D中開始偵查時間、結(jié)束偵查時間、事故發(fā)生時間、錄入時間、更新時間，——附錄F中經(jīng)過時間、錄入時間，——附錄I中檢測時間。特征選擇構(gòu)造衍生特征AB3去檢驗有效期止、是否逾期未保險通過當前日期減去保險終止日期。CDFH特征轉(zhuǎn)換二值化法將兩個類別型的特征，轉(zhuǎn)換成1、0。啞變量法將不能夠定量處理的特征量化，對多類別型特征處理。000:000100001001000等。標準化數(shù)據(jù)法(x-均值)/方差映射到[0,1]分箱處理法對于連續(xù)型特征，轉(zhuǎn)換為類別型的特征。如對駕駛?cè)四挲g做分箱處理，處理后[18-23]、[24-30]、[31-35]、[36-40]、[41-50]、[51-60]、60以上共7個類別；過車數(shù)據(jù)中近三十天車輛過車天數(shù)處理后小于3天、[4-8]、[9-13]、[14-16]、[17-21]、21天以上共6個類別。特征篩選特征重要性排序使用隨機森林算法或決策樹算法中的特征重要性計算模塊來計算特征重要性，并按照重要性做降序排序，得到特征的重要性集合N。特征篩選4剔除特征重要性排序最低的10％到剩下0.75×N個特征。數(shù)據(jù)建模業(yè)務規(guī)則類模型適用場景檢測交通管理業(yè)務中假牌車、套牌車、車輛逾期未檢驗、報廢車輛上路行駛等不合規(guī)則的場景。使用數(shù)據(jù)BFBFHBFBF設置規(guī)則最新過車數(shù)據(jù)中的車輛在車輛信息中匹配不到數(shù)據(jù)，則認為此車輛的號牌為假牌。500最新過車數(shù)據(jù)中的車輛檢驗有效期超出了車輛信息中檢驗有效期止日期，則認為車輛為逾期未檢驗。最新過車數(shù)據(jù)中的車輛報廢日期超出了車輛信息中強制報廢期止日期，則認為此車輛為報廢車輛上路行駛。規(guī)則計算在最新過車數(shù)據(jù)中關聯(lián)不到車輛信息中的號牌號碼、號牌種類、車輛類型數(shù)據(jù)，則將該輛車1，0。50011，0。在最新過車數(shù)據(jù)中關聯(lián)到車輛檢驗數(shù)據(jù)超出了車輛信息中檢驗有效期止，則將該車定為逾期10。在最新過車數(shù)據(jù)中關聯(lián)到車輛報廢數(shù)據(jù)超出了車輛信息中車輛強制報廢期止，則將該車定為1，0。模型輸出1模型應輸出假牌車的號牌號碼、號牌種類、過車時間、設備編號信息。5模型應輸出套牌車的號牌號碼、號牌種類、過車時間、設備編號信息。模型應輸出逾期未檢驗車的號牌號碼、號牌種類、過車時間、設備編號、車輛檢驗有效期止信息。模型應輸出強制報廢車的號牌號碼、號牌種類、過車時間、設備編號、強制報廢期止信息。預測預警類模型適用場景駕駛?cè)?、機動車和道路有安全風險的場景。使用數(shù)據(jù)ACD243730EJCD24730EBGIDDI算法選擇K-AdaboostXGBoostXGBoost劃分數(shù)據(jù)集隨機抽取特征集中的75％數(shù)據(jù)作為訓練集，15％數(shù)據(jù)作為驗證集，10％數(shù)據(jù)作為測試集。模型訓練導入XGBoostsoftmax，訓練迭代次數(shù)設置為50，提前終止迭代次數(shù)設置為20，學習率設置為[0.01,0.3]，學習率步長設置為模型輸出6（標簽值（標簽值異常檢測類模型適用場景非現(xiàn)場違法取證設備異常檢測、機動車非法營運識別、路口流量激增預警場景。使用數(shù)據(jù)FCHBFGidHid，以及(20:0007:00GFHid、行政區(qū)劃、管理部門。算法選擇非現(xiàn)場違法取證設備異常檢測、路口流量激增預警可選擇移動平均法、周期因子法、指數(shù)平ARIMAProphetRSIHolt-WintersRNNLSTMseq2seqDeepARWaveNetProphetZ-Score、3sigma、boxplot、GrubbsKNNDBSCANiForestPCAAutoEncoderSVM，LOF、SOS、COFiForest劃分數(shù)據(jù)集90％10％的數(shù)據(jù)作為驗證集。非時間序列類異常數(shù)據(jù)，隨機抽取特征集中的75％數(shù)據(jù)作為訓練集，15％數(shù)據(jù)作為驗證集，10％數(shù)據(jù)作為測試集。模型訓練Prophet50，較優(yōu)的模型參數(shù)，使用驗證集對模型訓練效果做驗證。7iForestn_estimators100,200]，最max_samplesauto，最大特征數(shù)量設置為[5,10]，50，選取一組訓練結(jié)果較優(yōu)的模型參數(shù)，使用驗證集對模型訓練效果做驗證。模型輸出30％為異常，非時間序列類輸出標簽值為-1模型應輸出異常的非現(xiàn)場違法取證設備的設備編號、異常檢測值、發(fā)生時間信息。id、車道編號、監(jiān)測時間、預測流量信息。模型應輸出機動車非法營運的車輛號牌、號牌種類及異常值標簽信息。模型評估評估指標預測預警類模型可選用混淆矩陣、精確率、準確率、召回率、F1AUCROCPRF1F1模型預測為真正正確樣本（TP）的個數(shù)，除以所有的實際為正樣本個數(shù)（TP+FN）；PR，F(xiàn)1=2×P×R/(P+R)。異常檢測類模型（CORR）和準確率（ACCURATE），宜采用均方根誤差（RMSE）作為評估指標。非時間序列類可選用混淆矩陣、精確率、準確率、召回率、F1AUCROCPRAUCROCAUC，AUC[0,1]。評估方法業(yè)務規(guī)則類模型業(yè)務規(guī)則類模型評估可采用數(shù)據(jù)源的驗證、比對實際業(yè)務流程和規(guī)則沖突檢測方法。數(shù)據(jù)源的驗證應對業(yè)務數(shù)據(jù)的準確性進行驗證。比對實際業(yè)務流程應通過與實際的業(yè)務規(guī)則進行比對和核對，判斷業(yè)務規(guī)則類模型的準確性和適用性。規(guī)則沖突檢測應對業(yè)務規(guī)則類模型中是否存在沖突或重復進行判斷，并調(diào)整或修正。預測預警類模型預測預警類模型評估方法可采用交叉驗證法、留出法、自助法。KKK-1K可以選擇[5,10]之間的數(shù)值。8留出法應將數(shù)據(jù)集劃分為兩個互斥的集合，其中一個作為訓練集，另一個作為測試集。自助法應有放回地重復采樣生成新的數(shù)據(jù)集，并使用新的數(shù)據(jù)集進行模型訓練和評估異常檢測類模型異常檢測類模型評估方法可采用交叉驗證法、留一法。KKK-1K可以選擇[5,10]之間的數(shù)值。nn-1n評估處理業(yè)務規(guī)則類模型統(tǒng)計結(jié)果準確率大于0.95的，可上線部署。預測預警類模型預測結(jié)果F1值大于0.9的,可上線部署。8.3.3異常檢測類模8.3.3異常檢測類模小于0.1,AUC值大于0.9,可上線部署。9模型發(fā)布模型達到預定效果應通過交通管理大數(shù)據(jù)中心開放平臺發(fā)布，并提供模型服務地址。9附錄A（資料性）A.1駕駛?cè)藬?shù)據(jù)項駕駛?cè)藬?shù)據(jù)項見表A.1。表A.1駕駛?cè)藬?shù)據(jù)項字段名稱類型可為空說明ZJCXVARCHAR(15)是準駕車型YZJCXVARCHAR(30)是原準駕車型QFRQDATE否下一清分日期SYRQDATE是下一審驗日期CCLZRQDATE否初次領證日期CCFZJGVARCHAR(10)是初次發(fā)證機關JZQXCHAR否駕證期限YXQSDATE否有效期始YXQZDATE否有效期止LJJFNUMBER(3)否累積記分CFRQDATE是超分日期BZCSNUMBER(2)否補證次數(shù)ZTVARCHAR(6)否駕駛證狀態(tài)JXMCVARCHAR(64)是駕校名稱XZQHVARCHAR(10)否行政區(qū)劃FZRQDATE否發(fā)證日期GLBMVARCHAR(12)否管理部門SFZMMCCHAR是身份證明名稱XMVARCHAR(30)是姓名XBCHAR是性別CSRQDATE是出生日期GJCHAR(3)是國籍SJHMVARCHAR(20)是手機號碼SFBDCHAR是是否本地1010附錄B（資料性）B.1機動車數(shù)據(jù)項機動車數(shù)據(jù)項見表B.1。表B.1機動車數(shù)據(jù)項字段名稱類型可為空說明HPZLCHAR(2)否號牌種類HPHMVARCHAR(15)否號牌號碼CLPP1VARCHAR(32)否中文品牌CLLXCHAR(3)否車輛類型CSYSVARCHAR(5)否車身顏色SYXZCHAR否使用性質(zhì)SFZMHMVARCHAR(18)是身份證明號碼SFZMMCCHAR是身份證明名稱SYRVARCHAR(128)否機動車所有人SYQCHAR否所有權CCDJRQDATE否初次登記日期DJRQDATE是最近定檢日期YXQZDATE是檢驗有效期止QZBFQZDATE是強制報廢期止GLBMVARCHAR(12)否管理部門FPRQDATE是發(fā)牌日期FZRQDATE是發(fā)行駛證日期CLLYCHAR是1注冊2轉(zhuǎn)入3過戶HDZKNUMBER(3)是核定載客BXZZRQDATE是保險終止日期1111附錄C（資料性）違法數(shù)據(jù)項C.1違法數(shù)據(jù)項違法數(shù)據(jù)項見表C.1。表C.1違法數(shù)據(jù)項字段名稱類型可為空說明WFBHVARCHAR2(22)否違法編號RYFLCHAR否人員分類JSZHVARCHAR2(18)否駕駛證號DABHVARCHAR2(12)否檔案編號ZJCXVARCHAR2(10)否準駕車型DSRVARCHAR2(30)否當事人ZSXZQHVARCHAR2(10)是住所行政區(qū)劃LXFSVARCHAR2(128)是聯(lián)系方式CLFLCHAR否車輛分類HPZLVARCHAR2(2)是號牌種類HPHMVARCHAR2(15)是號牌號碼JDCSYRVARCHAR2(128)是機動車所有人SYXZVARCHAR2(1)是機動車使用性質(zhì)JTFSVARCHAR2(3)否交通方式WFSJDATE否違法時間XZQHVARCHAR2(6)否行政區(qū)劃DLLXVARCHAR2(2)否道路類型DMLB=3124GLXZDJVARCHAR2(1)是公路行政等級DMLB3116WFDDVARCHAR2(5)否違法地點LDDMVARCHAR2(4)否路口路段代碼，當為城市道路時存放路口號，為高速、省道等時存放公里數(shù)WFDZVARCHAR2(128)否違法地址WFXWVARCHAR2(5)否違法行為WFJFSNUMBER(2)否違法記分數(shù)FKJENUMBER(6)否罰款金額CFZLVARCHAR2(10)否處罰種類XXLYCHAR否信息來源1-現(xiàn)場處罰，2-非現(xiàn)場處罰ZQMJVARCHAR2(30)否執(zhí)勤民警1212附錄D（資料性）事故數(shù)據(jù)項D.1事故數(shù)據(jù)項事故數(shù)據(jù)項見表D.1。表D.1事故數(shù)據(jù)項字段名稱類型可為空說明XZQHVARCHAR(10)否行政區(qū)劃DJBHVARCHAR(15)否登記編號SGFSSJDATE是事故發(fā)生時間LHVARCHAR(7)是路號LMVARCHAR(64)是路名GLSNUMBER(5)是公里數(shù)MSNUMBER(4)是米數(shù)JDWZNUMBER(8)是絕對位置SGDDVARCHAR(128)是事故地點DLAQSXVARCHAR(1)是道路安全屬性SWRSNUMBER(3)是當場死亡人數(shù)SWRSQNUMBER(3)是搶救無效死亡人數(shù)SWRS24NUMBER(3)是24小時死亡人數(shù)SSRS24NUMBER(3)是24小時受傷人數(shù)SWRS3NUMBER(3)是3日內(nèi)死亡人數(shù)SSRS3NUMBER(3)是3日內(nèi)受傷人數(shù)SWRS7NUMBER(3)是7日內(nèi)死亡人數(shù)SSRS7NUMBER(3)是7日內(nèi)受傷人數(shù)SWRS30NUMBER(3)是30日內(nèi)死亡人數(shù)SSRS30NUMBER(3)是30日內(nèi)受傷人數(shù)SZRSNUMBER(3)是失蹤人數(shù)ZSRSNUMBER(3)是重傷人數(shù)QSRSNUMBER(3)是輕傷人數(shù)SSRSNUMBER(3)是受傷人數(shù)JDCSLNUMBER(3)是機動車數(shù)量FJDCSLNUMBER(3)是非機動車數(shù)量XRSLNUMBER(3)是行人數(shù)量SGLXCHAR是事故類型CCYYFLVARCHAR(2)是事故初查原因分類RDYYFLVARCHAR(2)是事故認定原因分類1313表D.1（續(xù)）字段名稱類型可為空說明TQCHAR是天氣NJDCHAR是能見度SFTYCHAR是是否逃逸1-否2-駕車逃逸3-棄車逃逸XCLJSGVARCHAR(1)是車輛間事故DCSGVARCHAR(2)是單車事故PZFSVARCHAR(1)是碰撞方式1-單車2-雙車3-多車4-車人事故YZWXPCHAR是是否運載危險物品1-是2-否GLXZDJCHAR是公路行政等級DXCHAR是地形1414附錄E（資料性）E.1事故人員數(shù)據(jù)項事故人員數(shù)據(jù)項見表E.1。表E.1事故人員數(shù)據(jù)項字段名稱類型可為空說明SGBHVARCHAR(16)否事故編號XZQHVARCHAR(10)否行政區(qū)劃SFDSRCHAR是當事人否XMVARCHAR(30)是姓名XBCHAR是性別SFZMHMVARCHAR(20)是身份證明號碼NLNUMBER(3)是年齡CSNYVARCHAR(10)是出生年月DHVARCHAR(30)是電話SFTYVARCHAR(1)是是否逃逸SWSJDATE是死亡時間SHCDCHAR是傷害程度SHCD24CHAR是24小時內(nèi)傷害程度SHCD3CHAR是3日內(nèi)傷害程度SHCD7CHAR是7日內(nèi)傷害程度SHCD30CHAR是30日內(nèi)傷害程度WFXW1VARCHAR(4)是主要違法行為JTFSCHAR(2)是交通方式GLXZQHVARCHAR(10)是管理行政區(qū)劃JLNUMBER(2)是駕齡JSZZLCHAR是駕駛證種類ZJCXVARCHAR(10)是準駕車型CCLZRQDATE是初次領證日期JXMCVARCHAR(64)是駕校名稱SGZRCHAR是事故責任HPHMVARCHAR(20)是號牌號碼HPZLCHAR(2)是號牌種類CLPPVARCHAR(32)是車輛品牌CLXHVARCHAR(32)是車輛型號SYQCHAR是所有權1515表E.1（續(xù)）字段名稱類型可為空說明JDCSYRVARCHAR(128)是機動車所有人CLSYXZCHAR(2)是車輛使用性質(zhì)ZYYSDWVARCHAR(128)是專業(yè)運輸單位CSYSVARCHAR(5)是車身顏色*SFCZCHAR是是否超載HZLNUMBER(10)是核載量SZLNUMBER(10)是實載量CLLXCHAR(3)是車輛類型1616附錄F（資料性）過車數(shù)據(jù)項F.1過車數(shù)據(jù)項過車數(shù)據(jù)項見表F.1。表F.1過車數(shù)據(jù)項字段名稱類型可為空說明SBBHVARCHAR(18)否設備編號JGSJDATE否經(jīng)過時間HPHMVARCHAR(15)是號牌號碼HPZLVARCHAR(2)是號牌種類HPYSVARCHAR(2)是號牌顏色CLYSVARCHAR(2)是車輛顏色CLLXVARCHAR(2)是車輛類型SDFLOAT是車輛速度CDBHNUMBER是車道編號FXNUMBER是方向1717附錄G（資料性）道路數(shù)據(jù)項G.1道路數(shù)據(jù)項道路數(shù)據(jù)項見表G.1。表G.1道路數(shù)據(jù)項字段名稱類型可為空說明DLMCVARCHAR(64)否道路名稱DLDMVARCHAR(32)否道路代碼LDDMVARCHAR(32)否路段代碼CDBHNUMBER(4)否車道編號LKIDVARCHAR(32)否路口idLKMCVARCHAR(64)是路口名稱DLLXVARCHAR(5)否道路類型LMJGVARCHAR(32)是路面結(jié)構(gòu)XZQHVARCHAR(12)否行政區(qū)劃DXNUMBER(6)是地形DLWLGLVARCHAR(5)是道路物理隔離FHSSLXNUMBER(4)是路側(cè)防護設施類型GLBMVARCHAR(12)是管理部門GLXZDJNUMBER(4)是公路行政等級DLCDNUMBER(8)是道路長度1818附錄H（資料性）H.1卡口設備數(shù)據(jù)項卡口設備數(shù)據(jù)項見表H.1。表H.1卡口設備數(shù)據(jù)項字段名稱類型可為空說明DWBHVARCHAR(64)否點位編號SBBHVARCHAR(3