1、Harbin Institute of Technology Yangkun 1/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,錯誤值（過失誤差）的處理,測量數(shù)據(jù)在其采集、傳輸與記錄過程中，有可能造成數(shù)據(jù)丟失或個別數(shù)據(jù)產(chǎn)生不切合實(shí)際的偏差，這種數(shù)據(jù)稱為錯誤值，或稱為奇異項或壞值。,人為因素（讀錯、記錄錯、操作錯） 不符合實(shí)驗條件的環(huán)境突變（突然振動、電磁干擾等）,Harbin Institute of Technology Yangkun 2/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,剔除錯誤值的目的： 主要是恢復(fù)數(shù)據(jù)的客觀真實(shí)性，而不是為了提高精度。,剔除錯誤值基本思想： 規(guī)定一個置信水平，確定一個置信限度

2、，凡是超過這個限度的誤差，就認(rèn)為它不屬于隨機(jī)誤差的范圍，是錯誤值，從而予以剔除。 由于置信限度與統(tǒng)計量的分布及測量次數(shù)有關(guān)，剔除了一次壞值后，還需對留下的數(shù)據(jù)重新檢驗，直到滿足置信限度。,Harbin Institute of Technology Yangkun 3/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,剔除錯誤值的常用方法 拉依達(dá)方法：非等置信概率 肖維勒方法：等置信概率 一階差分法：預(yù)估比較法,Harbin Institute of Technology Yangkun 4/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,1 拉依達(dá)方法,如果某測量值與平均值之差大于標(biāo)準(zhǔn)偏差的三倍，則予以剔除。,這種方

3、法用于正態(tài)分布的數(shù)據(jù)，當(dāng)n時，其置信概率為99.7%。實(shí)際中，即使是在正態(tài)分布的條件下，由于測量次數(shù)不同，其置信概率就不同，可見拉依達(dá)方法是一種非等置信概率方法。,Harbin Institute of Technology Yangkun 5/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,2 肖維勒方法,對于遵從正態(tài)分布的情況，在 n 次測量結(jié)果中，如果某誤差可能出現(xiàn)的次數(shù)小于半次時，就予以剔除。 這實(shí)質(zhì)上是規(guī)定了置信概率為1-1/2n，根據(jù)這一置信概率，可計算出肖維勒系數(shù) ，也可從表中查出，當(dāng)要求 不很嚴(yán)格時，還可按下列近似公式計算。,Harbin Institute of Technology Y

4、angkun 6/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,肖維勒系數(shù)表,Harbin Institute of Technology Yangkun 7/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,如果某測量值與平均值 之差的絕對值大于標(biāo)準(zhǔn)偏差與肖維勒系數(shù)之積，則該測量值xi被剔除。,肖維勒方法是一種等置信概率方法。,Harbin Institute of Technology Yangkun 8/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,3 一階差分法,一階差分法是一種預(yù)估比較法，是用前兩個測量值來外推即預(yù)估新的測量值，然后用預(yù)估值與實(shí)際測量值比較，并事先給定其允差限值，稱作誤差窗，以此來決定該測量值的取舍。

5、,預(yù)估值：,比較判別：,Harbin Institute of Technology Yangkun 9/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,3 一階差分法,一階差分法特點(diǎn)：,適合于實(shí)時數(shù)據(jù)采集與處理過程 精度除了與誤差窗的大小有關(guān)外，還與前兩點(diǎn)測量值的精確度有關(guān) 如果被測物理量的變化規(guī)律不是單調(diào)遞增或單調(diào)遞減函數(shù)，這一方法將在函數(shù)的拐點(diǎn)處產(chǎn)生較大的誤差，嚴(yán)重時將無法使用,Harbin Institute of Technology Yangkun 10/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,例2.2.1 利用肖維勒方法對下列數(shù)據(jù)的錯誤值進(jìn)行剔除,1.5034 1.5062 1.5034 1.5

6、024 1.4985 2.5000 1.5007 1.5067 1.4993 1.4969,上列數(shù)據(jù)保存于文件erro.dat,Harbin Institute of Technology Yangkun 11/37,2.2 實(shí)驗數(shù)據(jù)錯誤值的剔除,std.m,Harbin Institute of Technology Yangkun 12/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,在物理實(shí)驗中，不論是人工觀測的數(shù)據(jù)還是由數(shù)據(jù)采集系統(tǒng)獲取的數(shù)據(jù)，都不可避免疊加上噪聲信號。為了提高數(shù)據(jù)的質(zhì)量，必須去除噪聲。,Harbin Institute of Technology Yangkun 13/37,2.3

7、 實(shí)驗數(shù)據(jù)的平滑濾波,錯誤值剔除：,Harbin Institute of Technology Yangkun 14/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,數(shù)字濾波,時域濾波,頻域濾波,平滑濾波,對一個按某種等間隔規(guī)律（如等時測量，等電壓間隔測量等）測得的數(shù)據(jù)序列，對某一位置處的數(shù)據(jù)，利用其前后的數(shù)據(jù)經(jīng)某種運(yùn)算后，得到一個新的平滑數(shù)據(jù)，從而得到一個新的平滑后的數(shù)據(jù)序列。,平滑濾波是依據(jù)隨機(jī)噪聲的概率統(tǒng)計性質(zhì)，通過適當(dāng)運(yùn)算，使噪聲抑制到滿意的程度。,Harbin Institute of Technology Yangkun 15/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,2.3.1 單純移動平均,單純移

8、動平均法是在時域序列中，某一數(shù)據(jù)點(diǎn)前后對稱地取出2n+1個數(shù)據(jù)（平滑寬度或平滑窗口），求其平均值作為結(jié)果序列中的數(shù)據(jù)，而取代原始數(shù)據(jù)。,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,例2.3.1 分別利用3、9、15點(diǎn)單純移動平均對下列數(shù)據(jù)進(jìn)行平滑。,Harbin Institute of Technology Yangkun 17/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,Harbin Institute of Technology Yangkun 18/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,Harbin Institute of Technology Yangkun 19/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,優(yōu)點(diǎn)： 方法

9、簡單，計算方便。 缺點(diǎn)： 方法誤差：信號失真。 數(shù)據(jù)丟失：前后各n個數(shù)據(jù)無法平滑。 適用性： 適用于變化緩慢的數(shù)據(jù)。,平滑窗口越大，平滑效果越好，但失真也越大。,單純移動平均小結(jié),Harbin Institute of Technology Yangkun 20/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,2.3.2 加權(quán)移動平均,加權(quán)的基本思想： 平均區(qū)間內(nèi)中心處數(shù)據(jù)的權(quán)值最大，愈偏離中心處的數(shù)據(jù)權(quán)值愈小。這樣就減小了對真實(shí)信號本身的平滑作用。,權(quán)重系數(shù)可以采用最小二乘原理，即使平滑后的數(shù)據(jù)以最小均方差逼近原始數(shù)據(jù)。,單純移動平均采用算術(shù)平均，存在信號失真的方法誤差。,Harbin Institute

10、 of Technology Yangkun 21/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,設(shè)自變量x以步長h作等距觀測的數(shù)據(jù)y,作變換,Harbin Institute of Technology Yangkun 22/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,數(shù)據(jù)變?yōu)?構(gòu)造平滑公式：,平滑多項式的系數(shù)由最小二乘原理確定,Harbin Institute of Technology Yangkun 23/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,即,t 取最靠近i 的k=2n+1個整數(shù)值（平滑點(diǎn)的數(shù)目），且應(yīng)保證 mkN，t=-n,-n+1,0n-1,n,Harbin Institute of Technolog

11、y Yangkun 24/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,線性平滑：m=1 平滑公式為,系數(shù)由下式確定：,Harbin Institute of Technology Yangkun 25/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,三點(diǎn)線性平滑 k=2n+1=3, n=1，t=-1,0,1,解得系數(shù)：,Harbin Institute of Technology Yangkun 26/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,平滑公式為：,簡記為：,Harbin Institute of Technology Yangkun 27/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,三點(diǎn)線性平滑權(quán)重系數(shù)表,Harbin In

12、stitute of Technology Yangkun 28/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,五點(diǎn)線性平滑權(quán)重系數(shù)表,Harbin Institute of Technology Yangkun 29/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,二次平滑：m=2 平滑公式為,系數(shù)由下式確定：,Harbin Institute of Technology Yangkun 30/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,五點(diǎn)二次平滑 k=2n+1=5, n=2， t=-2,-1,0,1,2,Harbin Institute of Technology Yangkun 31/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,五

13、點(diǎn)二次平滑權(quán)重系數(shù)表,Harbin Institute of Technology Yangkun 32/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,Harbin Institute of Technology Yangkun 33/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,七點(diǎn)三次平滑權(quán)重系數(shù)表,Harbin Institute of Technology Yangkun 34/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,2.3.3 matlab平滑函數(shù),格式： Z = smooth(Y, span, method),說明： Z： 平滑后的數(shù)據(jù)向量 Y： 被平滑的數(shù)據(jù)向量 span： 平滑點(diǎn)數(shù)，缺省為5點(diǎn) method

14、 ：平滑方法，缺省為移動平滑 moving - Moving average (default)單純移動平均 lowess - Lowess (linear fit)線性加權(quán)平滑 loess - Loess (quadratic fit)二次加權(quán)平滑 sgolay - Savitzky-Golay rlowess - Robust Lowess (linear fit) rloess - Robust Loess (quadratic fit),Harbin Institute of Technology Yangkun 35/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,例2.3.2,Harbin Institute of Technology Yangkun 36/37,2.3 實(shí)驗數(shù)據(jù)的平滑濾波,Harbin Institute of Technolog