數(shù)學(xué)建模中一些常見類型原始數(shù)據(jù)的處理方法(),主講：戴永紅,一維隨機(jī)數(shù)據(jù)的處理 戴永紅,“自動化車床管理”問題 注：本題是1999創(chuàng)維杯全國大學(xué)生數(shù)學(xué)建模競賽 A題 一道工序用自動化車床連續(xù)加工某種零件，由于刀具損壞等原因該工序會出現(xiàn)故障，其中刀具損壞故障占95%, 其它故障僅占5%。工序出現(xiàn)故障是完全隨機(jī)的, 假定在生產(chǎn)任一零件時出現(xiàn)故障的機(jī)會均相同。工作人員通過檢查零件來確定工序是否出現(xiàn)故障?，F(xiàn)積累有100次刀具故障記錄，故障出現(xiàn)時該刀具完成的零件數(shù)如附表。現(xiàn)計(jì)劃在刀具加工一定件數(shù)后定期更換新刀具。 已知生產(chǎn)工序的費(fèi)用參數(shù)如下： 故障時產(chǎn)出的零件損失費(fèi)用 f=200元/件； 進(jìn)行檢查的費(fèi)用 t=10元/次； 發(fā)現(xiàn)故障進(jìn)行調(diào)節(jié)使恢復(fù)正常的平均費(fèi)用 d=3000元/次(包括刀具費(fèi))； 未發(fā)現(xiàn)故障時更換一把新刀具的費(fèi)用 k=1000元/次。 1)假定工序故障時產(chǎn)出的零件均為不合格品，正常時產(chǎn)出的零件均為合格品, 試對該工序設(shè)計(jì)效益最好的檢查間隔（生產(chǎn)多少零件檢查一次）和刀具更換策略。 2)如果該工序正常時產(chǎn)出的零件不全是合格品，有2%為不合格品；而工序故障時產(chǎn)出的零件有40%為合格品，60%為不合格品。工序正常而誤認(rèn)有故障仃機(jī)產(chǎn)生的損失費(fèi)用為1500元/次。對該工序設(shè)計(jì)效益最好的檢查間隔和刀具更換策略。 3）在2)的情況, 可否改進(jìn)檢查方式獲得更高的效益。,附:100次刀具故障記錄(完成的零件數(shù)) 459 362 624 542 509 584 433 748 815 505 612 452 434 982 640 742 565 706 593 680 926 653 164 487 734 608 428 1153 593 844 527 552 513 781 474 388 824 538 862 659 775 859 755 649 697 515 628 954 771 609 402 960 885 610 292 837 473 677 358 638 699 634 555 570 84 416 606 1062 484 120 447 654 564 339 280 246 687 539 790 581 621 724 531 512 577 496 468 499 544 645 764 558 378 765 666 763 217 715 310 851,數(shù)據(jù)形式,注：這里只討論簡單隨機(jī)樣本,數(shù)據(jù)是來自于總體的樣本觀察值,具體形式為：,處理目標(biāo),數(shù)據(jù)是來自某一總體的樣本觀察值，因此，處理目標(biāo)就是通過對樣本觀察值的分析，推斷出總體的分布情況。,符號說明,樣本觀察值,樣本第i個觀察值,樣本均值,總體均值,總體標(biāo)準(zhǔn)差,樣本容量,表示隨機(jī)變量取值小于x的概率為p,處理步驟,具體處理步驟如下:,第一步：剔除異常數(shù)據(jù),第二步：計(jì)算數(shù)字特征,第三步：作出總體分布的假設(shè),第四步： 假設(shè)檢驗(yàn),第一步 剔除異常數(shù)據(jù),在數(shù)據(jù)的測定和讀取過程中，不可避免的存在誤差。,誤差通常可以分為三類：系統(tǒng)誤差、偶然誤差和過失誤差。,處理數(shù)據(jù)時異常數(shù)據(jù)必須剔除。,帶有過失誤差的數(shù)據(jù)就是異常數(shù)據(jù)。,第一步 剔除異常數(shù)據(jù),常用的剔除異常數(shù)據(jù)的方法：,準(zhǔn)則,肖維納（Chauvenet）準(zhǔn)則,格拉貝斯（Grubbs）準(zhǔn)則,第一步 剔除異常數(shù)據(jù),根據(jù)偶然誤差正態(tài)分布理論，誤差大于 的數(shù)據(jù)出現(xiàn)的概率為0.0027。因此，當(dāng)數(shù)據(jù)的誤差大于 時認(rèn)為它是異常數(shù)據(jù)。通常用樣本標(biāo)準(zhǔn)差s代替 ，用剩余誤差 代替偶然誤差。,準(zhǔn)則：,第一步 剔除異常數(shù)據(jù),肖格納(Chauvenet)準(zhǔn)則：,由統(tǒng)計(jì)理論知，大誤差出現(xiàn)的概率很小，于是建立以下準(zhǔn)則：在n次觀測中，某數(shù)據(jù)的剩余誤差可能出現(xiàn)的次數(shù)小于半次時，認(rèn)為這個數(shù)據(jù)是異常數(shù)據(jù)。,第一步 剔除異常數(shù)據(jù),可以通過查詢專門的 表得到。,其中,若某一個測量數(shù)據(jù) 滿足下式時，則認(rèn)為數(shù)據(jù)為異常數(shù)據(jù)而把它剔除： 。,格拉貝斯（Grubbs）準(zhǔn)則：,Grubbs導(dǎo)出了統(tǒng)計(jì)量 的分布。取顯著水平 ，可以得到臨界值 ，使得： 。,第一步 剔除異常數(shù)據(jù),部分 表：,第一步 剔除異常數(shù)據(jù),注意事項(xiàng)：,第一步 剔除異常數(shù)據(jù),例題一：剔除下列數(shù)據(jù)中的異常數(shù)據(jù)。,第一步 剔除異常數(shù)據(jù),解題過程： （采用Grubbs準(zhǔn)則）,取顯著水平,查表的,得到兩個異常數(shù)據(jù)18和435,所以 剔除異常數(shù)據(jù)435,1、計(jì)算得到,第一步 剔除異常數(shù)據(jù),注：由于 表不完整，2、3步中的 由線性插值得到,2、重新計(jì)算得到,取顯著水平,查表的,得到一個異常數(shù)據(jù)18,所以 剔除異常數(shù)據(jù)18,第一步 剔除異常數(shù)據(jù),3、重新計(jì)算得到,取顯著水平,查表的,計(jì)算知：已沒有異常數(shù)據(jù),此時 異常數(shù)據(jù)剔除完畢,第一步 剔除異常數(shù)據(jù),編程實(shí)現(xiàn)的具體算法：,第二步 計(jì)算數(shù)字特征,設(shè) 是來自某個總體X的樣本觀察值，將它們按數(shù)值由小到大記為 。這就是次序統(tǒng)計(jì)量。,次序統(tǒng)計(jì)量,預(yù)備知識：,第二步 計(jì)算數(shù)字特征,樣本的數(shù)字特征,樣本標(biāo)準(zhǔn)差：,樣本均值：,樣本偏度：,第二步 計(jì)算數(shù)字特征,中位數(shù)與均值相比更加穩(wěn)定。當(dāng)數(shù)據(jù)中有 異常數(shù)據(jù)時，均值會有明顯的變化，而中位數(shù)不會有明顯的變化。,偏度描述數(shù)據(jù)的對稱性。關(guān)于均值對稱的數(shù)據(jù)，其偏度為零，右側(cè)更分散的數(shù)據(jù)偏度大于零，反之偏度小于零。,這樣，對于偏度接近于零的數(shù)據(jù)，可以用均值和中位數(shù)的差值，近似判斷數(shù)據(jù)中是否有異常數(shù)據(jù)。,第二步 計(jì)算數(shù)字特征,總體均值： 總體標(biāo)準(zhǔn)差：,定理： 設(shè) 是來自某個總體X的樣本觀察值，無論X服從什么分布，都有：如果總體均值 存在，則樣本均值 是總體均值 的最小方差線性無偏估計(jì)；如果總體方差 存在，則樣本方差 是總體方差 的無偏估計(jì)。,因此，取 ，,總體的數(shù)字特征,第二步 計(jì)算數(shù)字特征,編程實(shí)現(xiàn)的具體算法：,第三步 作出總體分布的假設(shè),對于一般總體分布，可以用經(jīng)驗(yàn)分布函數(shù) 來估計(jì)總體分布函數(shù) 。設(shè)來自某個總體分布X的樣本觀察值的次序統(tǒng)計(jì)量為 ，則經(jīng)驗(yàn)分布函 數(shù) 為：,第三步 作出總體分布的假設(shè),正態(tài)分布、指數(shù)分布、均勻分布、威布爾分布,泊松分布、二項(xiàng)分布、兩點(diǎn)分布,對于離散總體:,常見的總體分布,對于連續(xù)總體:,第三步 作出總體分布的假設(shè),常見分布出現(xiàn)場合：,第三步 作出總體分布的假設(shè),編程實(shí)現(xiàn)的具體算法：,第四步 假設(shè)檢驗(yàn),假設(shè) 是已知的分布函數(shù)， 是未知的總體分布函數(shù) 的一個較優(yōu)的估計(jì)。取檢驗(yàn)統(tǒng)計(jì)量 若樣本數(shù)據(jù)服從指定分布 ，即 ，則D的觀測值應(yīng)當(dāng)較小。若D的觀測值較大，則樣本數(shù)據(jù)不服從指定分布 ，即 。,檢驗(yàn)方法：,第四步 假設(shè)檢驗(yàn),q-q圖用樣本數(shù)據(jù)的分位數(shù)與指定分布的分位數(shù)之間的關(guān)系曲線來檢驗(yàn)數(shù)據(jù)的分布。若樣本數(shù)據(jù)服從指定分布，則圖中數(shù)據(jù)點(diǎn)大致呈現(xiàn)直線關(guān)系，否則為曲線關(guān)系。,檢驗(yàn)方法：,第四步 假設(shè)檢驗(yàn),編程實(shí)現(xiàn)的具體算法：,程序簡介,調(diào)試程序使用的是Matlab6.1版本的軟件。,程序由8個Matlab語言編寫的m文件組成。其中datamain.m和datainput.m為m腳本文件，datatrait.m、datahist.m、datajudgement.m、datacdf.m、abnorfigure.m和stdplot.m為m函數(shù)文件。,其中，datamain.m文件是主函數(shù)部分，datainput.m文件完成數(shù)據(jù)的輸入。,程序補(bǔ)充說明,程序使用舉例,例題二：完成下列一維隨機(jī)數(shù)據(jù)的分析。 459 362 624 542 509 584 433 748 815 505 612 452 434 982 640 742 565 706 593 680 926 653 164 487 734 608 428 1153 593 844 527 552 513 781 474 388 824 538 862 659 775 859 755 649 697 515 628 954 771 609 402 960 885 610 292 837 473 677 358 638 699 634 555 570 84 416 606 1062 484 120 447 654 564 339 280 246 687 539 790 581 621 724 531 512 577 496 468 499 544 645 764 558 378 765 666 763 217 715 310 851,例題處理步驟,STEP 1： 將本部分程序的8個m文件復(fù)制到Matlab默認(rèn)工作路徑下的work文件夾中(work文件夾的默認(rèn)路徑是：/matlab6.1/work)。,STEP 2： 打開datainput.m文件，變量data中的數(shù)據(jù)替換成所要處理的數(shù)據(jù)。如圖2-1 所示（其中“”是續(xù)行符）。,圖2-1,返回,例題處理步驟,STEP 3： 在命令窗口中鍵入datamain，并按回車鍵，此時命令窗口如圖2-2所示。,STEP 4： 鍵入1，并按回車鍵，此時跳出圖形窗口如圖2-3所示，命令窗口如圖2-4所示。,圖2-2,返回,圖2-3,返回,圖2-4,返回,例題處理步驟,STEP 5： 若要改變直方圖組距，即需改變直方圖區(qū)間數(shù)m，鍵入改變后的m值（筆者鍵入8），并按回車鍵，此時圖形窗口如圖2-5所示，命令窗口如圖2-6所示。若直方圖組距已經(jīng)比較合適，鍵入0，并按回車鍵，跳出兩個圖形窗口，分別如圖2-7、2-8所示，此時命令窗口如圖2-9所示。,圖2-5,返回,圖2-6,返回,圖2-7,返回,圖2-8,返回,圖2-9,返回,例題處理步驟,STEP 6： 通過對圖形的觀察比較，推斷總體分布。鍵入代表指定總體的數(shù)字（筆者鍵入4，數(shù)據(jù)顯然不是均勻分布，此處鍵入4只是為了說明程序使用方法），并按回車鍵，跳出圖形窗口如圖2-10所示，此時命令窗口如圖2-11所示。鍵入1，并按回車鍵，命令窗口如圖2-12所示。鍵入其他分布進(jìn)行檢驗(yàn)（筆者鍵入1），并按回車鍵，跳出圖形窗口如圖2-13所示，此時命令窗口如圖2-14所示。,圖2-10,返回,圖2-11,返回,圖2-12,返回,圖2-13,返回,圖2-14,返回,abnorfigure.m,下一頁,返回,abnorfigure.m,上一頁,返回,返回,datafcdf.m,datahist.m,返回,datainput.m,返回,datajudgement.m,下一頁,返回,datajudgement.m,下一頁,返回,上一頁,datajudgement.m,返回,上一頁,返回,datamain.m,下一頁,返回,datamain.m,上一頁,datatrait.m,返回,返回,stdplot.m,下一頁,返回,stdplot.m,上