精選優(yōu)質(zhì)文檔-----傾情為你奉上精選優(yōu)質(zhì)文檔-----傾情為你奉上專心---專注---專業(yè)專心---專注---專業(yè)精選優(yōu)質(zhì)文檔-----傾情為你奉上專心---專注---專業(yè)課題第四章概率統(tǒng)計模型§4.1多元線性回歸分析§4.2決策模型教學(xué)內(nèi)容多元線性回歸分析隨機決策模型的基本原理與解法，及應(yīng)用舉例。教學(xué)目標(biāo)1.掌握多元線性回歸分析的基本原理和建模的基本過程。2.能夠運用多元回歸分析模型解決實際問題并進行模型分析。3.掌握決策模型的計算方法，能夠運用決策模型解決實際問題并進行模型分析教學(xué)重點1．多元線性回歸分析的基本原理，基本過程及其計算方法。2.掌握隨機決策模型的基本原理和建模的基本過程。3.掌握決策模型的計算方法。4.實際建模訓(xùn)練教學(xué)難點多元線性回歸分析的基本原理及其數(shù)值計算、運用模型解決實際問題隨機決策模型的基本原理及其決策準則的確定雙語教學(xué)內(nèi)容、安排Linearregressionanalysis線性回歸分析Multivariateregressionanalysis多元回歸分析decisionanalysis決策分析Decisionrule決策規(guī)則Decisiontree決策樹教學(xué)手段、措施采用多媒體教學(xué)的形式。以電子課件為主，粉筆黑板相結(jié)合為輔，使學(xué)生能夠充分利用課堂有效的時間了解盡可能多的相關(guān)知識,并結(jié)合啟發(fā)式教學(xué).作業(yè)、后記教學(xué)過程及教學(xué)設(shè)計備注§4.1多元線性回歸分析一．問題提出水泥凝固時放出熱量問題：某種水泥在凝固時放出的熱是與水泥中下列4種化學(xué)成分有關(guān)。的成分（%）的成分（%）的成分（%）的成分（%）現(xiàn)記錄了13組數(shù)據(jù)，列在表4－1中，根據(jù)表中的數(shù)據(jù)，試研究與四種成份的關(guān)系。表4－1編號172666078.52129155274.531156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.4在現(xiàn)實生活中，變量與變量之間經(jīng)常存在一定的關(guān)系，一般來說，變量之間的關(guān)系可以分為兩大類，一類是確定性的關(guān)系，這種關(guān)系通常用函數(shù)來表示。例如，已知圓的半徑，那么圓的面積與半徑的關(guān)系就可用函數(shù)關(guān)系：來表示，這時如果取定了的值，的值就會完全確定了。另一類是非確定性關(guān)系，例如，人的體重與身高之間的關(guān)系就是非確定性關(guān)系，一般來說，身高越高，體重越大，但是身高相同的人體重往往是不相同的。再如，鋼材的強度與鋼材中含某種元素的含量，纖維的拉伸倍數(shù)與強度，降雨量、氣溫、施肥量與農(nóng)作物的產(chǎn)量等均屬于這種關(guān)系。變量之間的這種非確定性關(guān)系通常稱為相關(guān)關(guān)系。二．多元線性回歸分析模型為了研究方便，我們考慮一個變量受其他變量影響時，把這變量稱為因變量，記為，其他變量稱為自變量，記為，這時相關(guān)關(guān)系可記作（4－1）其中為當(dāng)時，因變量的均值，即稱為對的回歸函數(shù)，為與的偏差，它是隨機變量，并假定?；貧w函數(shù)可以是一元函數(shù)，也可以是多元函數(shù)，即（4－2）其中為元回歸函數(shù)，統(tǒng)稱為多元回歸函數(shù)。若回歸函數(shù)中，且是線性函數(shù)，則稱為是一元線性回歸函數(shù)；且是多元線性函數(shù)，則稱其為多元線性回歸函數(shù)；若回歸函數(shù)是非線性函數(shù)，則稱其為非線性回歸函數(shù)。對非線性回歸，經(jīng)常采用線性化的方法來處理。所以，目前研究最多的是線性回歸問題，且假定和均服從正態(tài)分布?；貧w分析的任務(wù)就是要求出滿足式（4－2）的回歸函數(shù),從而對所研究的相關(guān)關(guān)系做出所需的預(yù)測和控制。多元回歸模型的應(yīng)用是相當(dāng)廣泛的，例如，某種商品的銷售量可能受收入水平、風(fēng)俗習(xí)慣、產(chǎn)品質(zhì)量、價格、宣傳廣告等多種因素的影響；某種產(chǎn)品的質(zhì)量可能受生產(chǎn)該產(chǎn)品時的溫度、濕度、壓力、原材料的質(zhì)量和有害成分的含量等影響；工人的勞動生產(chǎn)率可能受學(xué)歷、智力水平、情緒的穩(wěn)定性和才能等因素的影響；某城市的用水量可能與該城市的人口數(shù)及工業(yè)總產(chǎn)值有關(guān)。諸如此類的關(guān)系，可以通過多元回歸分析模型進行研究。例如，在水泥凝固時放出熱量問題中，可建立線性回歸模型（4-3）其中。而和是未知參數(shù)，為了估計這些參數(shù)，將表4－1的值代入模型（4－3），得線性模型（4-4）一般地，多元線性回歸模型可表示為：（4-5）其中，是自變量，為常數(shù)，為回歸系數(shù)，皆為未知，統(tǒng)稱為回歸參數(shù)，一旦回歸參數(shù)確定，則多元線性回歸模型就完全確定，一般假定隨機誤差。為了得到回歸參數(shù)的估計值，就要對變量進行觀測，假設(shè)對變量的次獨立觀測數(shù)據(jù)為：，則這些觀測數(shù)據(jù)應(yīng)滿足式（4－5），即有（4-6）其中，若記，則多元線性回歸的數(shù)學(xué)模型式（4－6）可以寫成矩陣形式（4－7）其中。1.參數(shù)的最小二乘估計為了獲得參的估計，我們采用最小二乘法，即選擇，使（4－8）達到最小。將對求導(dǎo)數(shù)并令其為零，得即。記，則（4－9）方程（4－9）稱為正規(guī)方程，其中為階矩陣，一般假定，由線性代數(shù)理論可知，為滿秩矩陣，它的秩，則正規(guī)方程（4－9）有唯一解，記作（4－10）我們來證明（4－10）式中為參數(shù)向量的最小二乘法估計量，現(xiàn)用矩陣形式來敘述其證明步驟。從式（4－8）知，對任意的則有上述證明過程中應(yīng)用了如下結(jié)果：至此，在時，證明了式（4－10）中的是的最小二乘法估計量。在實際工作中，常稱為經(jīng)驗線性回歸方程。2.最小二乘法估計量的性質(zhì)首先我們在假定的條件下，探討一下由式（4-10）確定的最小二乘法估計最的性質(zhì)（1）是的線性無偏估計量。證：由于，每一個都是的線性組合，因而是的線性估計量，此時稱是的線性估計量。即，。（2）的協(xié)方差矩陣為，即其中證：記，則（3）是的最小方差線性元偏估計，即在所有線性元偏估計類中，有且只有使其方差達到最小。3.多元線性回歸方程的顯性檢驗從上面的參數(shù)估計過程可以看出，對于一批觀察數(shù)據(jù)不論它們是否具有線性關(guān)系，總可以利用最小二乘法建立起多元線性回歸方程但是與是否確實存在相關(guān)關(guān)系呢？回歸方程的效果如何呢？這就要進行“整個回歸效果是否顯著”的檢驗。當(dāng)時，與沒有關(guān)系，回歸模型沒有意義，于是我們要檢驗：是否成立。若成立，則對沒有影響;反之，若不成立，則對有影響，此時與的線性關(guān)系顯著，也稱為整個回歸效果顯著。但要注意，即使整個回歸效果是顯著的，也可能只與某幾個關(guān)系密切（相應(yīng)的顯著不為零），而與另幾個關(guān)系不密切（相應(yīng)的為零）。這就是說，多元線性回歸除了首先要檢驗“整個回歸是否顯著”外，還要逐個檢驗每一個是否為零，以便分辨出哪些對并無顯著影響，最后，還要對各個作出區(qū)間估計。為了進行檢驗和區(qū)間估計，可以證明以下結(jié)論成立：（1），則與獨立。記，則稱為總變差或稱為的離差平方和。可進行如下分解：這時稱為殘差平方和。稱為回歸平方和。記，稱其為剩余標(biāo)準差或估計的標(biāo)準差。由于不變，當(dāng)然希望越小越好，即越大越好，因此，定義復(fù)相關(guān)系數(shù)。當(dāng)觀察值全都與回歸值吻合時，；當(dāng)時，在一般情況下，的數(shù)值在0和1之間。復(fù)相關(guān)系數(shù)的定義，類似于兩個變量時的相關(guān)系數(shù)的定義，但要注意，復(fù)相關(guān)系數(shù)只取下值。在兩個變量時，有正相關(guān)與負相關(guān)之分，在多個變量時，就沒有這一說了，所以復(fù)相關(guān)系數(shù)只取值。（2）在的條件下，且與獨立，因此（3）這里為中第個對角線元素。利用上述幾條結(jié)論，可進行下列檢驗、估計和預(yù)測?；貧w顯著性檢驗（檢驗）該檢驗是考察整個回歸效果是否顯著的。若整個回歸效果不顯著，即全部回歸系數(shù)為零。因此，設(shè)原假設(shè)：。若為真，則而且在不成立時，值有變大的趨勢，因此應(yīng)取右側(cè)否定域，故檢驗法是當(dāng)時拒絕原假設(shè)，認為回歸效果顯著;否則認為回歸效果不顯著。單個回歸系數(shù)為零的檢驗（檢驗）該檢驗即某個自變量是否對因變量有顯著性影響的檢驗。在多元回歸分析中可能出現(xiàn)與所有自變量的總體是有相關(guān)關(guān)系的，但與某個特定的則可能無關(guān)，即對并不起作用或者已被其他的的作用所代替，為此設(shè)個原假設(shè)若為真，統(tǒng)計量而當(dāng)不成立時，有變大的趨勢，因而應(yīng)取雙側(cè)拒絕域，故當(dāng)時，否定，即認為對是有作用的，若某幾個是有作用的，而另幾個是不起作用的，則應(yīng)從回歸方程中刪除那些不起作用的自變量。單個回歸系數(shù)是否為零，也可以用檢驗，即若為真，統(tǒng)計量故當(dāng)時，拒絕原假設(shè)，即認為對的影響是顯著的;否則認為對的影響是不顯著的。對的區(qū)間估計由于，因而的置信區(qū)間為其中的95%預(yù)測區(qū)間近似為，其中4.多元線性回歸分析模型的推廣多項式回歸分析模型類似于模型（4－5），由自變量多項式的隨機項組成的回歸模型稱為多項式回歸模型，它的一般形式為：初看模型（4－13）不是線性回歸，因自變量中含有冪函數(shù)，但由于未知參數(shù)都是線性出現(xiàn)的，因此，令則模型（4－13）就變成為多元線性歸模型：從而多項式回歸模型可以用多元線性回歸模型的計算公式和檢驗方法。多項式回歸還有許多推廣的形式，例如：①②③④⑤廣義線性回歸模型廣義線性回歸模型的一般形式為：其中：是一個不含未和參數(shù)的一元函數(shù)，有反函數(shù)：是的不含未知參數(shù)的多元函數(shù)。廣義線性回歸模型的回歸系數(shù)的確定主要是從自變量和回變量以及組觀察值出發(fā)，用最小二乘法求出的估計，使得達到最小。此時也就是令則，這樣就把廣義線性回歸模型化為多元線性回歸模型。5.MATLAB和Mathematica求解MATLAB命令命令格式[b,bint,r,rint,stats]=regress(Y,X,alpha)，其中輸入向量X，Y的排列方式分別為alpha為顯著性水平（缺省時設(shè)定為0.05）。輸出向量b為回歸系數(shù)的估計值，即輸出向量bint為回歸系數(shù)估計值的置信區(qū)間；輸出向量r為殘差向量；輸出向量rint為殘差向量的置信區(qū)間；輸出向量，它是一個3維向量，用于檢驗回歸模型的統(tǒng)計量，其中第一個分量中的是相關(guān)系數(shù)，第二個分量是統(tǒng)計量，第三個分量是與統(tǒng)計量對應(yīng)的概率，當(dāng)時拒絕原假設(shè)，說明回歸模型成立。Mathematica命令Mathematica中鍵入命令<<Statisti\Linearre.m，按Shift+Enter鍵，即可調(diào)入線性回歸軟件包。輸入實際問題的求解水泥凝固時放出熱量問題在MATLA編輯器中輸入以下程序：%水泥放出熱量問題ch411%文件名：ch411.m[b,bint,r,rint,stats]=regress(y,x,0.05);disp(‘回歸系數(shù)估計值’)bdisp(‘回歸系數(shù)估計值的置信區(qū)間’)bintdisp(‘殘差平方和’)disp(‘相關(guān)系數(shù)的平方’)stats(1)disp(‘F統(tǒng)計量’)stats(2)disp(‘與統(tǒng)計量F對應(yīng)的概率p’)stats(3)執(zhí)行后輸出回歸系數(shù)估計值b=62.40541.55110.51020.1019-0.1441回歸系數(shù)估計值的置信區(qū)間bint=-99.1786223.9893-0.16633.2685-1.15892.1792-1.63851.8423-1.77911.4910殘差平方和ans=47.8636相關(guān)系數(shù)的平方ans=0.9824統(tǒng)計量ans=111.4792與統(tǒng)計量對應(yīng)的概率ans=4.7562e–007從計算結(jié)果可知，回歸方程查表得：易見統(tǒng)計量進一步可得，所以回歸效果是高度顯著的?！?.2決策模型一．問題提出決策是人們在生活和工作中普遍存在的一種活動，是為解決當(dāng)前或未來可能發(fā)生的問題，選擇最佳方案的一種過程。比如，某人決定要到某地出差，而天氣預(yù)報可能有寒流，考慮出差是否要帶棉大衣，帶上棉大衣無寒流是個累贅，若不帶又可能遇上寒流而挨凍，到底帶不帶？這就要他作出決策;又如生產(chǎn)某種產(chǎn)品的工廠，若對此種產(chǎn)品的市場需求不是很了解，生產(chǎn)的數(shù)量太小，影響企業(yè)收入，生產(chǎn)的數(shù)量達大，又勢必造成產(chǎn)品積壓，影響資金周轉(zhuǎn)，給企業(yè)造成損失，到底生產(chǎn)多少為宜？這就需要有關(guān)人員通過市場調(diào)查后作出決策。所以，小到個人生活，大至企業(yè)經(jīng)營以及國家的政治經(jīng)濟問題，都需要決策。本節(jié)介紹決策的一些基本術(shù)語中和常見的兩種決策方法。例1某公司為了擴大市場，要舉辦一個產(chǎn)品展銷會，會址打算選擇甲、乙、丙三地;獲利情況除了與會址有關(guān)系外，還與天氣有關(guān)，天氣分為晴、陰、多雨三種，據(jù)氣象臺預(yù)報，估計三種天氣情況可能出現(xiàn)的概率分別為0.20，0.50，0.30，其收益情況如表4－2，現(xiàn)要通過分析，確定會址，使收益最大。表4－1自然狀態(tài)收益概率選址方案天氣情況N1（晴）N2（陰）N3（多雨）P1=0.20P2=0.50P3=0.30A1（甲地）461A2（乙地）541.5A3（丙地）621.21.決策的概念和類型在決策問題中，把面臨的幾種自然情況叫自然狀態(tài)或客觀條件，簡稱狀態(tài)或條件，如例1中的就是各種不同的自然狀態(tài)，這些是不可控因素，但只能有一種出現(xiàn)。把稱為行動方案或策略，這些是可控因素，由決策者決定。表4－2中后三行數(shù)字稱為益損值，根據(jù)這些數(shù)字的含義不同，有時也叫效益值或損失值，由它們構(gòu)成的矩陣叫做決策的益損矩陣或風(fēng)險矩陣。是各狀態(tài)出現(xiàn)的概率。一般地，如決策問題的可控因素（即行動方案）用表示，狀態(tài)用表示，在狀態(tài)下采用行動方案的風(fēng)險值用表示，狀態(tài)出現(xiàn)的概率用表示，則可根據(jù)n的大小和的信息情況，將決策問題分為三類：確定型決策、風(fēng)險型決策和不確定型決策。當(dāng)n=1時，決策問題就是確定型的，我們主要計論風(fēng)險型和不確定型的決策問題。風(fēng)險決策問題當(dāng)，且各種自然狀態(tài)出現(xiàn)的概率可通過某種途徑獲得時的決策問題就是風(fēng)階決策問題。如例1就是風(fēng)險決策問題，對于這類問題，我們介紹兩種決策準則和相應(yīng)的解決方法。最大可能準則由概率論知識，一個事件的概率就是該事件在一次試驗中發(fā)生的可能性大小，概率越大，事件發(fā)生的可能性就越大?；谶@種思想，在風(fēng)險決策中我們選擇一種發(fā)生概率最大的自然狀態(tài)來進行決策，而不顧及其他自然狀態(tài)的決策方法，這就是最大可能準則。這個準則的實質(zhì)是將風(fēng)險型決策問題轉(zhuǎn)化為確定型決策問題的一種決策方法。若對例1按最大可能準則進行決策，則因為自然狀態(tài)出現(xiàn)的概率最大，因此就在這種自然狀態(tài)下進行決策，通過比較可知，采取行動方案獲利最大。因此，采用方案是最優(yōu)決策。應(yīng)該指出，如果各自然狀態(tài)的概率較接近時，一般不使用這種決策準則。期望值準則（決策樹法）如果把每個行動方案看作隨機變量，在每個自然狀態(tài)下的效益值看作隨機變量的取值，其概率為自然狀態(tài)出現(xiàn)的概率，則期望值準則就是將每個行動方案的數(shù)學(xué)期望計算出來，視其決策目標(biāo)的情況選擇最優(yōu)行動方案。若對例1按期望值準則進行決策，則需要計算各行動方案的期望收益，事實上顯然，最大，所以采取行動方案最佳，即選擇甲地舉辦展銷會效益最大。值得注意的是，為了形象直觀地反映決策問題未來發(fā)展的可能性和可能結(jié)果所作的預(yù)測而采用的決策樹法就是按期望值準則進行決策的一種方案。以例1來說明其決策步驟。例1的決策樹如圖4－1所示，其中：□——表示決策點，從它引出的分枝叫方案分枝，其數(shù)目就是方案數(shù)○——表示機會節(jié)點，從它引出的分支叫概率分支，每條概率分支代表一種自然狀態(tài)，并標(biāo)有相應(yīng)狀態(tài)發(fā)生的概率?！鳌Q為末稍節(jié)點，右邊數(shù)字表示各方案在不同自然狀態(tài)下的益損值。圖4-1決策樹圖4-1決策樹4.1丙地多雨P(guān)（N3）=0.1△+1.2陰P（N2）=0.5△+2晴P（N1）=0.2△+6多雨P(guān)（N3）=0.1△+1.5陰P（N2）=0.5△+4晴P（N1）=0.2△+5多雨P(guān)（N3）=0.1△+1陰P（N2）=0.5△+6晴P（N1）=0.2△+4乙地甲地3.452.564.1決策A1A2A3計算各機會節(jié)的期望值，并將結(jié)果標(biāo)在節(jié)點止方，再比較各機會節(jié)點上標(biāo)值的大小，進行決策，在淘汰方案分枝上標(biāo)“＋＋”號，余下方案即為最優(yōu)方案，最優(yōu)方案的期望值標(biāo)在決策點的上方。本便上方標(biāo)值4.1為最大，因此選定方案，其收益數(shù)值的期望為4.1。此例只包括一個決策點，稱為單級決策問題。在有些實際問題中將包括兩個或兩個以上的決策點，稱為多級決策問題，可利用同樣的思路進行決策。例2某工程采用正常速度施工，若無壞天氣的影響，可確保在30天內(nèi)按期完成工程，但據(jù)天氣預(yù)報，15天后天氣肯定變壞，有的可能出現(xiàn)陰雨天氣，但這不會影響工程進度，有的可能遇到小風(fēng)暴，而使工期推遲15天；另有的可能遇到大風(fēng)暴而使工期推遲20天。對于以上可能出現(xiàn)的情況，考慮兩種方案：（1）提前加班，確保工程在15天內(nèi)完成，實施此方案需增加額外支付18000元。（2）先維持原定的施工進度，等到15天后根據(jù)實際出現(xiàn)的天氣狀況再作對策：a）若遇陰雨天，則維持正常進度，不必支付額外費用。b）若遇小風(fēng)暴，則有下述兩個供選方案：一是抽空（風(fēng)暴過后）施工，支付工程延期損失費20000元，二是采用應(yīng)急措施，實施此措施可能有三種結(jié)果：有的可能減少誤工期1天，支付延期損失費和應(yīng)急費用24000元;的可能減少誤工期2天，支付延期損失費和應(yīng)急費用18000元;有的可能減少誤工期3天，支付延期損失費和應(yīng)急費用12000元。c）若遇大風(fēng)暴，則仍然有兩個方案可供選擇：一是抽空進行施工，支付工程的延期損失費50000元;二是采取應(yīng)急措施，實施此措施可能有三種結(jié)果：有的可能減少誤工期2天，支付延期損失費及應(yīng)急費用54000元;有可能減小誤工期3天，支付延期損失費及應(yīng)急費用46000元;有的可能減少誤工期4天，支付延期損失費及應(yīng)急費用38000元。試進行決策，選擇最佳行動方案。解（1）據(jù)題意畫出決策樹，如圖4－2。19800198005000050800圖4-2決策樹B減少務(wù)工1天（0.5）△24000提前加班△18000陰雨（0.4）△0抽空施工△20000正常速度小風(fēng)暴198000.5ECA應(yīng)急減少務(wù)工2天（0.3）△18000減少務(wù)工3天（0.2）△12000F大風(fēng)暴應(yīng)急0.1D抽空施工△50000減少務(wù)工3天（0.2）△46000減少務(wù)工4天（0.1）△50000減少務(wù)工2天（0.7）△5400014900（2）計算第一級機會點E,F的損失費用期望值將19800和50800標(biāo)在相應(yīng)的機會點上，然后在第一級決策點C,D外分別進行方案比較：首先考察C點，其應(yīng)急措施支付額外費用的期望值較少，故它為最佳方案，同時劃去抽空施工的方案分枝，再在C上方標(biāo)明最佳方案期望損失費用19800元;再考慮處的情況，應(yīng)急措施比抽空施工支付的額外費用的期望值少，故劃去應(yīng)急措施分枝，在D上方標(biāo)上50000元。（3）計算第二級機會點B的損失費用期望值將其標(biāo)在B的上方，在第二級決策點A處進行比較，發(fā)現(xiàn)正常進度方案為最佳方案，故劃去提前加班的方案分枝，并將14900標(biāo)在A點上方。因此，合理的決策應(yīng)是開始以正常施工進度進行施工，15天后再根據(jù)具體情況作進一步?jīng)Q策，若出現(xiàn)陰雨天，則維持正常速度;若出現(xiàn)小風(fēng)暴可采用應(yīng)急措施;若出現(xiàn)大風(fēng)暴，則進行抽空施工。不確定型決策當(dāng)風(fēng)險決策問題的自然狀態(tài)發(fā)生的概率既不知道、也無法預(yù)先估計或利用歷史資料得到時的決策問題就稱為不確定型決策問題。仍用，表示決策問題中的自然狀態(tài)，表示行動方案，表示在自然狀態(tài)下采種行動方的益損值。若為效益值時取正值;若為損失值時取負值。下面介紹幾不確定型的決策準則。1.樂觀準則樂觀準則的思想就是對客觀情況