[1]。因此，對交通數(shù)據(jù)進(jìn)行質(zhì)量控制和評價已經(jīng)成為非常關(guān)鍵并亟待解決的問[1]。因此，對交通數(shù)據(jù)進(jìn)行質(zhì)量控制和評價已經(jīng)成為非常關(guān)鍵并亟待解決的問 道路交通流數(shù)據(jù)質(zhì)量控制與評價 【摘要】動態(tài)交通數(shù)據(jù)質(zhì)量評價可為交通管理系統(tǒng)提供可靠的數(shù)據(jù)支持，是交通管理系統(tǒng)的 重要組成部分。本文針對故障數(shù)據(jù)—缺失、不規(guī)則時間點(diǎn)和異常數(shù)據(jù)這3類常見問題，提出 了交通流數(shù)據(jù)質(zhì)量的控制方法和流程。同時，第一次提出分三階段分別對不同ITS檢測器的 交通數(shù)據(jù)質(zhì)量進(jìn)行評價，并構(gòu)建了六維評價指標(biāo)體系。最后以北京市二環(huán)路段交通流數(shù)據(jù)為 例，對本文控制流程和評價方法進(jìn)行了分析與驗證。 【關(guān)鍵詞】數(shù)據(jù)質(zhì)量控制；故障數(shù)據(jù)；數(shù)據(jù)質(zhì)量評價；ITS檢測器 1、引言 近年，盡管我國各大道路交通基礎(chǔ)設(shè)施建設(shè)取得了較大成就，但是機(jī)動車和駕駛員的高 速增長使交通管理工作承擔(dān)了沉重的壓力。與此同時，人民群眾對交通信息的需求逐步向多 元化、便捷化、高效化的模式轉(zhuǎn)變。然而，要提供高質(zhì)量的信息服務(wù)，就必須以高質(zhì)量的數(shù) 據(jù)為基礎(chǔ)。通常檢測設(shè)備直接獲取的交通流數(shù)據(jù)層次差異大、有效性迥異、周期不同，無法 真實反應(yīng)交通流實際的運(yùn)行情況。面對龐大而復(fù)雜的動態(tài)交通數(shù)據(jù)，如果不進(jìn)行數(shù)據(jù)質(zhì)量控 制，既不利于從中找出規(guī)律，也不利于數(shù)據(jù)存儲和利用。 為體現(xiàn)多元屬性的綜合性概念，正確率已不再是衡量數(shù)據(jù)質(zhì)量的惟一標(biāo)準(zhǔn)。因此，將數(shù) 據(jù)質(zhì)量定義為數(shù)據(jù)能否滿足用戶需求并較為準(zhǔn)確的反應(yīng)客觀事實的程度，這樣的相對性概念 更能符合實際需求。交通流數(shù)據(jù)質(zhì)量好壞直接關(guān)系到能否為路網(wǎng)服務(wù)水平評價等提供可靠的 數(shù)據(jù)保障，是智能交通系統(tǒng)發(fā)揮其應(yīng)有作用的一個必要前提，也是城市交通管理指揮調(diào)度平 臺的重要依據(jù) 題。 2、交通流數(shù)據(jù)質(zhì)量控制 2.1 概述 進(jìn)行質(zhì)量控制不僅可以提高交通信息服務(wù)平臺發(fā)布數(shù)據(jù)的精度，也能使交通管理者直觀 并快速的了解城市道路交通運(yùn)行狀況，以給出正確的決策。 在整個數(shù)據(jù)處理過程中，質(zhì)量控制主要針對數(shù)據(jù)屬性，將海量原始數(shù)據(jù)中的故障數(shù)據(jù)， 即異常、不規(guī)則時間點(diǎn)和丟失的進(jìn)行修正與補(bǔ)齊，必要時還需要對故障檢測器的判別。通過 數(shù)據(jù)質(zhì)量控制可以將原始數(shù)據(jù)輸出為具有正確時間、空間分布和有效參數(shù)值的交通流數(shù)據(jù)， 以方便后續(xù)研究和應(yīng)用。 2.2故障數(shù)據(jù)處理 對于交通流數(shù)據(jù)質(zhì)量控制而言，主要目的就是提高數(shù)據(jù)精度。將采集到的交通流數(shù)據(jù)分 為正確數(shù)據(jù)和故障數(shù)據(jù)，故障數(shù)據(jù)包括丟失數(shù)據(jù)、不規(guī)則時間點(diǎn)數(shù)據(jù)和異常數(shù)據(jù)。 1[2] [2] [3] [4][5] 現(xiàn)有的研究中，一般只籠統(tǒng)的給出產(chǎn)生故障數(shù)據(jù)的幾種情況 ，并未深入的挖掘分析其 源頭。本文針對浮動車、微波和牌照法三種常用檢測器在獲取數(shù)據(jù)的整個過程中可能產(chǎn)生故 障數(shù)據(jù)的原因和優(yōu)缺點(diǎn)進(jìn)行了比較，如表1所示。 表1檢測器產(chǎn)生故障數(shù)據(jù)原因及優(yōu)缺點(diǎn)比較浮動車微波牌照法數(shù)據(jù)丟失無法匹配到地圖上；硬件故障、噪聲干擾、通訊故天氣、燈光等影響浮動車數(shù)量不足；障不規(guī)則時間點(diǎn)GPS漂移、傳輸過程硬件故障設(shè)備不足數(shù)據(jù)數(shù)據(jù)異常不正常行駛、急停；定車流密度過大、遮擋、有車輛天氣、燈光等影響位精度不高；道路條件；停在檢測點(diǎn)優(yōu)點(diǎn)全天候、大范圍的采集，精確度較高、性能穩(wěn)定提供可視圖像獲取動態(tài)數(shù)據(jù)缺點(diǎn)涉及信息傳輸和安全等不適用于擁堵以及大型車較造價高，易受天氣、燈光、的維護(hù)，存在GIS系統(tǒng)陰影等環(huán)境因素影響，晚上多、車型分布不均勻的路段不穩(wěn)定報誤率高 2.2.1 丟失數(shù)據(jù)處理 數(shù)據(jù)丟失指某一次上傳無法獲得應(yīng)有的理論數(shù)據(jù)樣本，表現(xiàn)為關(guān)鍵交通流參數(shù)缺失，可 能是因為數(shù)據(jù)無法獲取或操作過程中被遺漏，這種缺失是不可避免的。以北京為例，采集器 每2min采集一次，即每天每個地點(diǎn)每條車道應(yīng)產(chǎn)生720條數(shù)據(jù)。丟失數(shù)據(jù)的處理主要有通 過交通流歷史記錄或者曲線擬合的方式近似復(fù)現(xiàn)丟失數(shù)據(jù)；根據(jù)導(dǎo)致丟失數(shù)據(jù)時間段的長短 和補(bǔ)缺丟失數(shù)據(jù)的數(shù)據(jù)來源不同進(jìn)行補(bǔ)缺 ：①對于1min內(nèi)丟失的，優(yōu)先采用同一檢測器 臨近時間的數(shù)據(jù)平均；②對于1h內(nèi)丟失的，優(yōu)先采用同一時間同一檢測器采集的不同同向 車道的數(shù)據(jù)；③對超過1h的，采用標(biāo)準(zhǔn)值+擾動因子方法修補(bǔ)歷史同期數(shù)據(jù)。 2.2.2不規(guī)則時間點(diǎn)數(shù)據(jù)處理 一些數(shù)據(jù)因為傳輸問題導(dǎo)致后臺數(shù)據(jù)無法按照反饋頻率（2min）或數(shù)據(jù)編號的順序獲取， 即為不規(guī)則時間點(diǎn)的數(shù)據(jù)。為了使得到的數(shù)據(jù)可以后續(xù)同步應(yīng)用，減少后期不必要的工作量， 也為了方便準(zhǔn)確的發(fā)現(xiàn)缺失數(shù)據(jù)，需要將所采集到的原始交通流信息樣本中的時間記錄值字 段與正常情況下采集時間點(diǎn)對比。將所有數(shù)據(jù)的時間點(diǎn)與各自最鄰近的標(biāo)準(zhǔn)時間點(diǎn)作差之 后，得到左偏和右偏差值 ，使之符合橫向時間序列（同一地點(diǎn)一天24小時數(shù)據(jù)排列）和 縱向時間序列（同一地點(diǎn)每天同一時刻數(shù)據(jù)）。 2.2.3異常數(shù)據(jù) 異常數(shù)據(jù)指不在期望的范圍內(nèi)或不滿足已有的原理與規(guī)則（如交通流理論），在檢測周 期中發(fā)生突變，不符合客觀事實和邏輯的無效數(shù)據(jù)。 異常數(shù)據(jù)判別是對原始數(shù)據(jù)中交通流參數(shù)記錄值進(jìn)行檢驗，由于無效的概念比較模糊， 相對不易判別。異常數(shù)據(jù)判別方法有交通流參數(shù)合理閾值原理、交通流機(jī)理以及閾值原理和 交通流機(jī)理結(jié)合的3種 。此外，還需判別異常數(shù)據(jù)是否為事件數(shù)據(jù)（事故、道路維修等）， 若為事件數(shù)據(jù)則無需修正。 2[6] [6] [6] 異常數(shù)據(jù)的修正方法大多以回歸、線性插值和加權(quán)移動平均等傳統(tǒng)時間序列預(yù)測方法為 主 。目前在應(yīng)用中采用對于不滿足閾值理論的數(shù)據(jù)，用閾值替代異常數(shù)據(jù)，但是不區(qū)分時 間段和路段給予統(tǒng)一較高閾值來替換會導(dǎo)致修正速度偏大，不能準(zhǔn)確的反應(yīng)道路實際情況。 考慮到浮動車可以獲取大量連續(xù)數(shù)據(jù)，所以采用線性插值法或歷史數(shù)據(jù)平均值替換更為準(zhǔn)確 和簡便。 2.2.4故障檢測器的判斷 有時路段會出現(xiàn)數(shù)據(jù)連續(xù)周期較大偏離正常值，此時應(yīng)考慮對檢測器進(jìn)行故障判別，盡 量減少錯誤數(shù)據(jù)的產(chǎn)生。常用的判斷方法有以下幾種：①連續(xù)交通數(shù)據(jù)格式錯誤；②連續(xù)交 通數(shù)據(jù)丟失或異常；③連續(xù)交通數(shù)據(jù)重復(fù)傳入；④所丟失或異常數(shù)據(jù)樣本占總量的比例較高； ⑤夜間交通數(shù)據(jù)擁堵樣本占夜間或全天交通樣本比例較高 。 如果有符合以上情況的數(shù)據(jù)，則應(yīng)該根據(jù)數(shù)據(jù)編號對應(yīng)檢查固定檢測設(shè)備是否故障，根 據(jù)發(fā)回故障數(shù)據(jù)的車輛信息，由出租車公司檢查相應(yīng)浮動車GIS設(shè)備。 3、交通流數(shù)據(jù)質(zhì)量評價方法 數(shù)據(jù)質(zhì)量評價要具有實際可操作性，就必須對數(shù)據(jù)質(zhì)量進(jìn)行量化，量化的第一步是制定 出合理的評價指標(biāo)。旅行時間數(shù)據(jù)精確度和完整度均可以達(dá)到95%以上，故將其作為評價數(shù) 據(jù)質(zhì)量的參照。 現(xiàn)有的質(zhì)量評價方法主要是進(jìn)行宏觀分析[7]，但是考慮到路網(wǎng)中各個路段的指標(biāo)可能 不同，從交通信息發(fā)布和交通管理指揮部門的角度來說，微觀分析同樣重要。本文以相鄰兩 個微波檢測器（約500米）為一個Link進(jìn)行評價，通過分析引起交通數(shù)據(jù)質(zhì)量降低的主要 原因，建立評價體系如下： ①時效性：衡量數(shù)據(jù)及時反應(yīng)道路交通狀態(tài)的能力。定性評價方法如表2所示。 表2時效性量化時效性|時間間隔采集時間間隔發(fā)布時間間隔良好0.5-1min<5min較好1-2min5-10min一般2-5min10-15min較差>5min>15min ②準(zhǔn)確度：數(shù)據(jù)反映實際交通狀態(tài)的能力，即單個或數(shù)據(jù)組與正確數(shù)據(jù)的相符程度。 表示為檢測數(shù)據(jù)值/參照數(shù)據(jù)值的百分比。原則上應(yīng)考慮節(jié)假日、工作日、不同天氣等因素 的影響。 ③完整度：數(shù)據(jù)在時間和空間上反映道路交通狀態(tài)的程度，即同一個檢測器實際獲取 的樣本量占理論應(yīng)獲取樣本量的比例。 ④覆蓋度：同種檢測器所采集的數(shù)據(jù)量覆蓋對象路段或整個路網(wǎng)的程度。當(dāng)不滿足覆 蓋度指標(biāo)時，考慮用歷史相同情況下（天氣、是否工作日等）的數(shù)據(jù)替代。 ⑤有效度：衡量異常數(shù)據(jù)的比例，即路段或路網(wǎng)所有同種檢測器所采集到的有效數(shù)據(jù) 3 [8]，定性衡量是否能滿足用戶需異常數(shù)據(jù)缺失數(shù)據(jù) 樣本量占總樣本量的比例。 ⑥可信度：面向交通管理部門和交通參與者兩種用戶 求，可作為對數(shù)據(jù)質(zhì)量評價結(jié)果的回訪核查。 4、交通流數(shù)據(jù)質(zhì)量評價過程 關(guān)于交通流數(shù)據(jù)質(zhì)量評價的研究目前主要是關(guān)于數(shù)據(jù)預(yù)處理或是評價指標(biāo)的理論探索。 本文的創(chuàng)新點(diǎn)在于，首次提出分三次對數(shù)據(jù)質(zhì)量分別進(jìn)行評價，即針對原始數(shù)據(jù)、質(zhì)量控制 后數(shù)據(jù)、將多種采集方法融合后的數(shù)據(jù)，并以旅行時間數(shù)據(jù)作為質(zhì)量評價的標(biāo)準(zhǔn)。詳細(xì)質(zhì)量 控制和評價流程圖如圖1所示： 視頻 浮動車 微波 原始數(shù)據(jù)采集 第一次數(shù)據(jù)質(zhì)量評價 數(shù)據(jù)清洗 匹配地圖 故障數(shù)據(jù)處理 不規(guī)則時間點(diǎn) 輸出具有正確時間、空間分布 第二次數(shù)據(jù)質(zhì)量評價 和有效參數(shù)值的數(shù)據(jù) 數(shù)據(jù)融合 第三次數(shù)據(jù)質(zhì)量評價 面向管理部門發(fā)布信息 數(shù)據(jù)時間和空間特性 人工校驗 面向社會發(fā)布信息 發(fā)現(xiàn)問題，返回質(zhì)量控制層 圖1交通流數(shù)據(jù)質(zhì)量控制和評價總流程圖 本文對數(shù)據(jù)進(jìn)行全面的評價分析，其意義在于通過原始數(shù)據(jù)精度可以從檢測器和傳輸過 程等源頭改善數(shù)據(jù)來源，質(zhì)量控制后的數(shù)據(jù)精度可以檢驗控制方法是否有效，而融合后的精 度便于信息發(fā)布和后續(xù)應(yīng)用，可以為管理部門實現(xiàn)更智能化和科學(xué)的交通管理提供信息支 撐。 5、以北京市交通流數(shù)據(jù)質(zhì)量評價為例 現(xiàn)以北京市二環(huán)西直門橋至阜成門橋2013年4月22日（周一、晴天）的數(shù)據(jù)為例，展 現(xiàn)本文關(guān)于交通流數(shù)據(jù)質(zhì)量評價的效果。該路段全長2.8公里，雙向6車道，設(shè)有微波檢測 器4個（HI2105a、HI7053a、HI7064a、HI7030a），視頻檢測器1個，對應(yīng)旅行時間路段為 4 LD00701。由于晚10點(diǎn)至早6點(diǎn)數(shù)據(jù)采集易出錯且交通暢通，故不列入考慮。6點(diǎn)至22點(diǎn) 的視頻、浮動車和微波原始數(shù)據(jù)如圖2、圖3和圖4所示： 圖216小時視頻原始數(shù)據(jù) 圖316小時浮動車原始數(shù)據(jù) 圖416小時微波原始數(shù)據(jù) 根據(jù)質(zhì)量控制的流程和方法來估計缺失值和正確的數(shù)據(jù)，并把視頻數(shù)據(jù)作為參照，對原 始數(shù)據(jù)和質(zhì)量控制后的數(shù)據(jù)評價結(jié)果如表3所示: 5 [9]BestTrainingPerformanceis0.049832atepoch416 表3評價結(jié)果（括號內(nèi)為原始數(shù)據(jù)的結(jié)果）視頻（參照）浮動車微波準(zhǔn)確度100%（94.3%）72.53%（70.02%）73.48%（71.87%）完整度100%100%（98.61%）100%（79.3%）覆蓋度100%40%100%有效度100%（96.87%）94.16%（88.95%）98.33%（97.5%） 用一周工作日（4月15日至19日)的數(shù)據(jù)進(jìn)行BP神經(jīng)元訓(xùn)練 ,訓(xùn)練圖如圖5所示: TrainBestGoal M 416Epochs 圖5神經(jīng)元訓(xùn)練圖圖64月22日融合結(jié)果 把微波和浮動車數(shù)據(jù)作為輸入，以視頻數(shù)據(jù)作為融合目標(biāo)，4月22日的數(shù)據(jù)融合結(jié)果 如圖6所示。 通過本文案例可知，在第一階段,進(jìn)行質(zhì)量控制可以使數(shù)據(jù)完整有序；融合后能使數(shù)據(jù) 非常接近真實的數(shù)據(jù),平均誤差僅3.779%。此外,視頻數(shù)據(jù)在夜間容易出現(xiàn)缺失和高誤差,但 是在高峰期可以匹配到更多車輛以獲得準(zhǔn)確的速度。微波和浮動車數(shù)據(jù)普遍偏高。在未來的 研究應(yīng)該尋找更簡單和快捷的方法來進(jìn)行質(zhì)量控制和數(shù)據(jù)融合。 6、小結(jié) 動態(tài)交通數(shù)據(jù)質(zhì)量評價可為交通管理系統(tǒng)提供可靠的支持。本文針對故障數(shù)據(jù)，提出了 交通流數(shù)據(jù)質(zhì)量的控制方法和流程。同時，第一次提出分三階段分別對不同ITS檢測器的交 通數(shù)據(jù)質(zhì)量進(jìn)行評價，并構(gòu)建了六維評價指標(biāo)體系。最后以北京市二環(huán)路段交通流數(shù)據(jù)為例， 對本文控制流程和評價方法進(jìn)行了分析與驗證。結(jié)果表明,該方法對評價指標(biāo)的提高有明顯 的改進(jìn)效果,并且可以很容易地直接應(yīng)用于實際工作。 【參考文獻(xiàn)】 [1]TurnerS.M.-ArchivedIntelligentTransportationSystemDataQuality:PreliminaryAna