第四章仿真結(jié)果分析與模型校驗第一頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.1仿真結(jié)果的瞬態(tài)與穩(wěn)態(tài)特征4.2區(qū)間估計和置信區(qū)間4.2.1點估計4.2.2區(qū)間估計4.3終止型仿真結(jié)果分析4.3.1重復(fù)運行法4.3.2序貫程序法4.3.3穩(wěn)態(tài)仿真中初始條件所引起的偏差4.3.4穩(wěn)態(tài)仿真重復(fù)運行方法4.4非終止型仿真結(jié)果分析4.4.1批平均值法4.4.2穩(wěn)態(tài)序貫法4.4.3再生法4.5仿真模型的確認(rèn)、校驗和認(rèn)定4.5.1模型的可信性4.5.2模型校驗管理方法4.5.3模型驗證方法4.5.4模型確認(rèn)方法4.5.5靈敏度分析方法4.5.6模型校驗文本化方法4.5.7VV&A方法第二頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.1仿真結(jié)果的瞬態(tài)與穩(wěn)態(tài)特征根據(jù)仿真模型進(jìn)行實驗的基本方法和統(tǒng)計分析方法的不同，仿真運行可分為終態(tài)仿真（又稱暫態(tài)仿真）和穩(wěn)態(tài)仿真兩大類。

終態(tài)仿真是指仿真實驗在某個持續(xù)時間段上運行，這里表示仿真開始的時刻，表示仿真結(jié)束的時刻。在終態(tài)仿真中，系統(tǒng)的初始狀態(tài)必須明確指定，同時必須指定或給出停止事件E的定義。終態(tài)仿真的結(jié)果對初始狀態(tài)有明顯的依賴性。

穩(wěn)態(tài)仿真是通過系統(tǒng)仿真實驗，希望得到一些系統(tǒng)性能測度指標(biāo)在系統(tǒng)達(dá)到穩(wěn)態(tài)時的估計值，因而它常常需要很長一段時間的運行，結(jié)束條件一般是充分長的仿真實驗時間（針對仿真時鐘而言），或充分多的觀測樣本，或某些系統(tǒng)穩(wěn)態(tài)判據(jù)為真等。穩(wěn)態(tài)仿真實驗結(jié)果一般應(yīng)與初始狀態(tài)無關(guān)。第三頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.2區(qū)間估計和置信區(qū)間

由于仿真輸出結(jié)果是分布未知的隨機(jī)變量，每次仿真運行的結(jié)果僅是對該隨機(jī)變量總體的一次抽樣，可能與模型對應(yīng)的真值有較大的誤差，因此不能把一次仿真運行所得到結(jié)果當(dāng)成問題的解。為使仿真結(jié)果有意義，必須用適當(dāng)?shù)慕y(tǒng)計技術(shù)來設(shè)計仿真實驗和分析仿真結(jié)果，這樣才能得到一般性的結(jié)論。

可以運用參數(shù)的估計方法：既要得到這個值—點估計，又要得到這個值的精度范圍—區(qū)間估計。區(qū)間估計的范圍（或長度）是點估計準(zhǔn)確度的一個測度。仿真的數(shù)據(jù)也有兩種：離散性仿真：仿真輸出數(shù)據(jù)具有離散形式

，用來估計

。連續(xù)性仿真：仿真輸出數(shù)據(jù)具有連續(xù)形式

，用來估計

。第四頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.2區(qū)間估計和置信區(qū)間點估計基于數(shù)據(jù)

的

的點估計定義為式中

是基于樣本量n的樣本均值。如果

的數(shù)學(xué)期望是θ，即

則

是

的無偏估計。

稱為離散仿真系統(tǒng)性能的平均測度。

第五頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.2區(qū)間估計和置信區(qū)間點估計基于數(shù)據(jù)

的

的點估計定義為：

式中T是仿真的運行長度，

稱為Y(t)在〔0，T〕上的時間平均值。

是

的無偏估計。

稱為連續(xù)仿真系統(tǒng)性能的平均測度。第六頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.2區(qū)間估計和置信區(qū)間區(qū)間估計首先，確定在無偏估計下，估計點估計

（或

）的方差。

令

表示點估計的

真實方差

令

表示基于數(shù)據(jù)

的方差

的估計值。假設(shè)

B稱為在方差估計中的偏差系數(shù)。

第七頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.2區(qū)間估計和置信區(qū)間區(qū)間估計如果

是近似無偏的（B≈1.0），那么取統(tǒng)計量，根據(jù)數(shù)理統(tǒng)計的定理，可知，統(tǒng)計量

當(dāng)B=1，

為點估計方差

的一個無偏估計。為了使

達(dá)到近似的

置信區(qū)間，必須滿足

f=n-1為t檢驗的自由度數(shù)。n為樣本數(shù)。通過t分布的標(biāo)準(zhǔn)統(tǒng)計表，可以查得自由度為f，滿足置信區(qū)間的

值根據(jù)第八頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.3終止型仿真結(jié)果分析

終態(tài)（terminating）仿真是指，在模型中明確地規(guī)定了仿真開始和結(jié)束條件的仿真。這些條件是目標(biāo)系統(tǒng)實際運行模式的反映，即仿真模型可在某個定義好的規(guī)則或是條件下終止。在進(jìn)行終態(tài)仿真時，如果需要通過仿真來估計參數(shù)的值，此時一般采用獨立重復(fù)法，通過仿真模型做獨立重復(fù)實驗。第九頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.3終止型仿真結(jié)果分析重復(fù)運行法

重復(fù)運行法得到的估計值依賴于

是正態(tài)隨機(jī)變量這一假設(shè)。根據(jù)中心極限定理，若產(chǎn)生

的樣本點數(shù)越多，即每次仿真運行的長度越長，則

越接近正態(tài)分布。因此，在終止型仿真中，每次仿真運行的長度不能太短，否則

的分布可能由于不對稱而造成歪斜，有

建立的置信區(qū)間覆蓋真值的程度將會降低。

重復(fù)運行法所得到的置信區(qū)間長度不但與

的方差有關(guān)，而且與仿真運行次數(shù)有關(guān)，在這種方法中，

的方差主要決定于仿真模型，而仿真運行次數(shù)則是由用戶規(guī)定的，為了減少置信區(qū)間的長度，顯然需要加大n，區(qū)間長度與

成反比。根據(jù)這一點，我們可以得到規(guī)定精度的置信區(qū)間，這就是基于重復(fù)運行法的序貫程序法。第十頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.3終止型仿真結(jié)果分析序貫程序法實踐表明，隨著n的加大，認(rèn)為

保持不變的條件過于苛刻，從而按上式計算得到的

、

偏大，因而往往用序貫程序法，步驟如下：（1）預(yù)定獨立仿真運行的次數(shù)

，并置n=，獨立運行n次；（2）計算該n次運行的X1，X2，…，Xn，以及相應(yīng)的

及

；（3）按上列兩式計算出

或

；（4）若

或

，則置信區(qū)間為：

并將其作為

在近似100（1-）%置信區(qū)間，從而結(jié)束仿真；否則，（5）再進(jìn)行一次獨立的方針運行得到Xn+1；令n=n+1，并返回第2步。第十一頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.3終止型仿真結(jié)果分析穩(wěn)態(tài)仿真中初始條件所引起的偏差

穩(wěn)態(tài)仿真運行一般可以分成兩段(目的是為了消除初始條件的影響)第一段從時刻0到時刻

為初始階段；第二段接著從

到停止時刻

為數(shù)據(jù)收集階段。第十二頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.3終止型仿真結(jié)果分析穩(wěn)態(tài)仿真重復(fù)運行方法我們已經(jīng)看到通過設(shè)定T0、TE可以將點估計中初始條件引起的偏差已被減少到可忽略的程度，另外，獨立重復(fù)運行的方法同樣可用來估計點估計值變化范圍（適用于無動態(tài)偏差），并構(gòu)造置信區(qū)間。如果，在點估計中有明顯的動態(tài)偏差（如：系統(tǒng)存在交替出現(xiàn)的偏差），那么采用大量的重復(fù)運行來減少點估計值的變化范圍，就會導(dǎo)致錯誤的置信區(qū)間。大量的重復(fù)運行會使得置信區(qū)間圍繞點發(fā)生“偏移”，使原本圍繞著θ變短的置信區(qū)間“偏移”到圍繞著“錯誤的點”變短。第十三頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.4非終止型仿真結(jié)果分析批平均值法

批平均值法是尋找獲得獨立同分布隨機(jī)變量觀察值的方法，以便應(yīng)用經(jīng)典方法獲得置信區(qū)間估計，然而，批平均法不是從一些段的獨立重復(fù)運行中收集數(shù)據(jù)，而是以單次長時間的仿真運行為基礎(chǔ)，這就是批平均值法的本質(zhì)。第十四頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.4非終止型仿真結(jié)果分析穩(wěn)態(tài)序貫法

穩(wěn)態(tài)序貫法較好地解決了批長度的確定及仿真運行總長度的確定問題，并能滿足規(guī)定置信區(qū)間精度的要求。第十五頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.4非終止型仿真結(jié)果分析再生法

再生法的基本思路是識別一些隨機(jī)時間點，在這些點上輸出過程從概率意義上“重新開始”即再生，并利用這些再生點火的獨立的隨機(jī)變量，從而有可能應(yīng)用經(jīng)典的統(tǒng)計分析方法。

這種方法只能應(yīng)用于類似簡單排隊系統(tǒng)這樣具有再生特性的系統(tǒng)。

一個從再生狀態(tài)開始運行的再生系統(tǒng)，具有數(shù)據(jù)序列的周期特征。

對于再生過程，系統(tǒng)的穩(wěn)態(tài)平均響應(yīng)是一個周期觀察值的均值與這個周期上觀察值的平均數(shù)目之比。第十六頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定

近年來，國際仿真界已達(dá)成一種共識，與模型和仿真（M&S）有效性有關(guān)的主要工作包括，模型的驗證和確認(rèn)（V&V，VerificationandValidation）、版本管理（ConfigurationManagement，CM）和認(rèn)定（Accreditation）。第十七頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定模型的可信性

一個系統(tǒng)模型及其仿真結(jié)果具有可信性（credibility）是指系統(tǒng)模型足夠精確地代表了所研究的實際系統(tǒng)，可以用系統(tǒng)模型代替實際系統(tǒng)進(jìn)行決策。SargenR.G．認(rèn)為，確認(rèn)系統(tǒng)仿真模型有效性的工作包括4方面的內(nèi)容:（1）在系統(tǒng)分析與系統(tǒng)建模階段，進(jìn)行概念模型確認(rèn)。判定系統(tǒng)模型是否有效地代表了實際系統(tǒng)，建模所依據(jù)的理論與假設(shè)是否合理。

（2）在編程和計算機(jī)模型開發(fā)階段，進(jìn)行計算機(jī)模型驗證。判定系統(tǒng)模型是否被正確地轉(zhuǎn)換成了仿真模型（計算機(jī)程序）。

（3）在數(shù)字實驗階段，確認(rèn)操作的有效性。判定仿真模型輸出是否足夠準(zhǔn)確。（4）判定數(shù)據(jù)的有效性。確定建立模型、測試模型和用模型進(jìn)行實驗所必需的數(shù)據(jù)是否足夠，是否正確。第十八頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定模型的可信性第十九頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定模型校驗管理方法（1）組織管理

組建模型校驗的管理機(jī)構(gòu)，明確各個單位的責(zé)任。模型校驗辦公室是M&S項目期間常設(shè)的實施模型校驗管理的權(quán)威單位，必須有職有權(quán)，具有在模型用戶、模型研制單位及模型校驗單位之間進(jìn)行組織、協(xié)調(diào)的絕對權(quán)威性。（2）過程管理

模型校驗時貫穿仿真系統(tǒng)全壽命周期的一個工作過程，需要細(xì)致周到的過程管理。第二十頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定模型驗證方法

仿真模型的驗證是仿真模型與仿真程序在邏輯結(jié)構(gòu)和數(shù)據(jù)參數(shù)之間的比較過程。通過驗證過程使仿真程序與仿真模型保持一致，并能準(zhǔn)確地反映模型中各部分之間的邏輯關(guān)系、各參數(shù)之間的數(shù)量關(guān)系以及對模型所作的簡化和假設(shè)等，從而使人們確信，在計算機(jī)上運行該仿真程序能夠復(fù)現(xiàn)仿真模型內(nèi)在的邏輯和數(shù)量關(guān)系，進(jìn)而展示實際系統(tǒng)的基本性能。第二十一頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定模型驗證方法仿真模型的驗證可通過以下途徑排除仿真程序中存在的問題。（1）用子程序編寫和調(diào)試仿真程序（2）在仿真程序的運行中檢查輸出的合理性（3）仿真程序運行時的跟蹤檢查

除上述方法以外，在驗證仿真模型時，還可以采用驗證一般模型常用的方法。如在簡化假設(shè)下運行模型；利用圖像終端顯示仿真輸出的動態(tài)變化，以觀察其規(guī)律；以及由未參加編程工作的人員來審查仿真程序等等。第二十二頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定模型確認(rèn)方法

仿真模型的確認(rèn)是檢驗所構(gòu)造的模型能否真正代表一個實際系統(tǒng)的基本性能。仿真模型的確認(rèn)過程是對模型和實際系統(tǒng)作反復(fù)比較的過程，并且利用兩者的比較差別來改進(jìn)和修改模型，使之逐步向?qū)嶋H系統(tǒng)逼近，直到仿真模型被確認(rèn)為實際系統(tǒng)的真正代表為止。第二十三頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定模型確認(rèn)方法

模型確認(rèn)除了相關(guān)的系統(tǒng)建模理論之外，還需要許多領(lǐng)域知識。模型確認(rèn)的難易程度取決于以下兩個因素：（l）所分析的對象系統(tǒng)的復(fù)雜程度。（2）是否有現(xiàn)存的實際系統(tǒng)供觀察和研究。Naylor和Finger提出的仿真模型確認(rèn)的“三步法”。（1）從直觀考察模型的有效性（2）檢驗?zāi)Ｐ偷募僭O(shè)（3）模型的輸出數(shù)據(jù)與實際數(shù)據(jù)的比較第二十四頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定靈敏度分析方法（1）建立模型輸入/輸出關(guān)系的回歸模型（2）選擇“最優(yōu)”回歸模型（3）檢驗回歸模型的有效性（4）輸入/輸出變量影響曲線（5）靈敏度分析

第二十五頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定模型校驗文本化方法

模型校驗文本（簡稱模型文本）是根據(jù)一定的規(guī)范對模型、程序及VV&A需求的文字描述。建立模型文本規(guī)范、編寫模型文本及根據(jù)模型文本對建模過程進(jìn)行控制的過程，稱為模型文本化。模型文本一般應(yīng)提供一下信息：①模型的有關(guān)信息②計算機(jī)程序的有關(guān)信息③模型確認(rèn)的有關(guān)信息④模型驗證的有關(guān)信息第二十六頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定VV&A方法

模型可信性與建模費用之間的矛盾與均衡；這體現(xiàn)在前述部分原則上：相對正確原則、有限目標(biāo)原則、必要不充分原則、程度性原則，也體現(xiàn)在對具體方法的選擇上。模型可信性與建模費用之間的矛盾與均衡模型可信性/%模型的價值費用價值曲線費用曲線0100第二十七頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定靈敏度分析方法

從真實世界到仿真世界的校驗與確認(rèn)第二十八頁，共三十一頁，編輯于2023年，星期五第四章仿真結(jié)果分析與模型校驗4.5仿真模型的確認(rèn)、校驗和認(rèn)定靈敏度分析方法

應(yīng)用于貫穿整個建模與仿真過程的V&V技術(shù)可粗略分為四大類：非正規(guī)方法、正規(guī)方法、靜態(tài)方法、動態(tài)方法。（1）“非正式方法”在VV&A中最常用，是正規(guī)的指導(dǎo)下的非常有效的方法，但它的缺點是嚴(yán)重依賴于人的推理與主觀判斷。（2）“正規(guī)方法”是基于正確性的正式的數(shù)學(xué)證明。（3）“靜態(tài)方法”評估靜態(tài)模型設(shè)計和源代碼，不需要模型的機(jī)器執(zhí)行，需要手工執(zhí)行。（4）“動態(tài)方法”需要模型執(zhí)行，大多數(shù)動態(tài)方法