回歸方程與神經(jīng)網(wǎng)絡(luò)在數(shù)值預(yù)測(cè)方面的對(duì)比研究綜述

【關(guān)鍵詞】神經(jīng)網(wǎng)絡(luò)

在醫(yī)學(xué)實(shí)踐中往往需要對(duì)尚未發(fā)生的事件特征進(jìn)行數(shù)據(jù)預(yù)測(cè)，在這一過程中都是從以往獲得的數(shù)據(jù)作為預(yù)測(cè)的根據(jù)。但是，回歸方程的預(yù)測(cè)的實(shí)質(zhì)是從已知數(shù)據(jù)中計(jì)算出回歸方程，再?gòu)幕貧w方程線的走向趨勢(shì)來(lái)獲得未知的數(shù)據(jù)。而神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的實(shí)質(zhì)是從已知的數(shù)據(jù)空間，根據(jù)某種原則向未知數(shù)據(jù)空間進(jìn)行映射，從而得到未知數(shù)據(jù)。雖然這兩種預(yù)測(cè)原理根本不同，但其預(yù)測(cè)值的結(jié)果在有些時(shí)候卻驚人的一致。那末，在具體數(shù)值預(yù)測(cè)實(shí)踐中到底選用哪種方法則需要根據(jù)具體情況而定。筆者得出的結(jié)論是：若已知數(shù)據(jù)因果之間能形成某種函數(shù)趨勢(shì)，則使用回歸方程方法；若已知數(shù)據(jù)因果之間僅能找到某種較為穩(wěn)定規(guī)律，但不能形成函數(shù)趨勢(shì)時(shí)，則使用神經(jīng)網(wǎng)絡(luò)方法。下面對(duì)這兩種方法分別進(jìn)行敘述。

1回歸方程

在中學(xué)階段我們大家都學(xué)過直角坐標(biāo)下的直線方程y=kx+b。其中x是自變量，y是因變量，k是斜率，b是截距。當(dāng)直線有斜率時(shí)(即k≠0)，直線方程可用平面上的兩個(gè)點(diǎn)式表示：y-y1y2-y1=x-x1x2-x1，這說(shuō)明兩個(gè)點(diǎn)可以確定一條直線。如點(diǎn)與點(diǎn)便可確定一條直線。直線回歸方程中存在著許多點(diǎn)(x1,y1),(x2,y2),…,(xn,yn)，而求回歸線，實(shí)質(zhì)上是算出所有這些點(diǎn)的平均值所確定的一條直線。那么怎樣求這些點(diǎn)的平均值呢？我們看下

從圖中我們可以看出，每一個(gè)點(diǎn)到直線距離的代數(shù)和是最小的，即直線上的點(diǎn)是這些點(diǎn)的平均值。這條直線就稱為這些點(diǎn)的回歸線。下面我們來(lái)討論回歸線的求法。假設(shè)平面上有n個(gè)點(diǎn)，(x1,y1),(x2,y2),…,(xn,yn)，它們的趨勢(shì)是一致的，那么，這些點(diǎn)便可構(gòu)成一條回歸線y=kx+b，這些點(diǎn)的所有x坐標(biāo)的均值和y坐標(biāo)的均值與每一個(gè)具體點(diǎn)xi,yi之差的平方和就是∑ni=1(Xi-)2與∑ni=1(Yi-)2這兩個(gè)數(shù)代表所有點(diǎn)到中心點(diǎn)的距離。在中學(xué)階段我們便知道了求直線的斜率k=yx，我們看一看式子∑ni=1(Xi-)(Yi-)∑ni=1(Xi-)(Xi-)如果分子分母同時(shí)約去(Xi-)，式子就變成了∑ni=1(Yi-)∑ni=1(Xi-)，這不也是一種很合理的比率嗎，它與求直線斜率是多么相象，實(shí)際上，回歸線的斜率k就是∑ni=1(Xi-)(Yi-)∑ni=1(Xi-)2，它能夠通過最小二乘法求證的。知道了如何求回歸線的斜率，再求回歸線的截距b就非常容易了，b=-k。有了回歸線的斜率k和截距b便可確立了一條回歸線，這樣對(duì)于給定任意點(diǎn)的x坐標(biāo)，就可確定y坐標(biāo)了。與中學(xué)時(shí)不同的是所確定的點(diǎn)可能不在直線上，而是分布在直線兩側(cè)?；貧w線的意義非常大，其中一個(gè)重要作用是用它來(lái)進(jìn)行預(yù)測(cè)，如：y=+7(x為體重，y為身長(zhǎng))，那么稱得體重為9kg，便可估計(jì)嬰兒的身長(zhǎng)大約為+7=(cm)。當(dāng)然嚴(yán)格地說(shuō)來(lái)回歸方程還應(yīng)該包含隨機(jī)項(xiàng)εi，且隨機(jī)項(xiàng)必須服從正態(tài)分布。在實(shí)際應(yīng)用中，我們用統(tǒng)計(jì)軟件SPSS來(lái)計(jì)算。如果在平面上這兩組數(shù)據(jù)之間關(guān)系不是線性的，而呈曲線，則用曲線擬合，數(shù)據(jù)之間關(guān)系如下圖所示：

從圖中看出，用二次曲線擬合，便可得到曲線回歸方程：y=-+當(dāng)回歸方程中自變量數(shù)目x≥2，就稱此方程為多元回歸方程，多元回歸方程也分為多元線性回歸方程與多元非線性回歸方程。多元線性回歸方程形如：y1=a11x11+a12x12+…+a1nx1n+ε1y2=a21x21+a22x22+…+a2nx2n+ε2…ym=am1xm1+am2xm2+…+amnxmn+εm這里yi是第i個(gè)方程的因變量，ai1ai2…ain為第i個(gè)方程的回歸系數(shù)，xi1xi2…xin為第i個(gè)方程的自變量，εi為第i個(gè)方程的隨機(jī)項(xiàng)(1≤i≤m)。可見多元線性回歸方程是方程組，多元線性回歸方程可寫成矩陣形式：Y=A1X1+A2X2+…+AnXn+E。多元線性回歸方程組可以被看作是N維歐氏空間中的一簇直線族。如同一元線性回歸方程與一元非線性回歸方程一樣，多元回歸方程組也有多元非線性方程組，它們可以被看作是N維歐氏空間中的一簇曲線族，在進(jìn)行多元方程組計(jì)算時(shí)可使用SPSS軟件?；貧w模型是研究變量間關(guān)系的一種方法，通過回歸方程來(lái)表達(dá)因變量與自變量在數(shù)值上的共同變化關(guān)系。當(dāng)研究?jī)蓚€(gè)變量的線性關(guān)系時(shí)，就是直線回歸，也稱一元線性回歸，這是回歸分析中最簡(jiǎn)單的一種。線性回歸可將直線衍變成多種函數(shù)曲線，這樣線性回歸就改變成非線性回歸。如果自變量與因變量之間毫無(wú)規(guī)律可循，或隨機(jī)項(xiàng)不服從正態(tài)分布，此時(shí)再使用回歸方程，得出的結(jié)果將無(wú)任何意義。

2神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)(ARTIFICIALNEURALNETWORK，簡(jiǎn)稱)是在對(duì)人腦組織結(jié)構(gòu)和運(yùn)行機(jī)制的認(rèn)識(shí)理解基礎(chǔ)之上模擬其結(jié)構(gòu)和功能行為的一種方法。神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。據(jù)神經(jīng)生物學(xué)家研究的結(jié)果表明，人的大腦一般有1010~11個(gè)神經(jīng)元。每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)向其它神經(jīng)元傳輸信息的軸突和一些接收其它神經(jīng)元發(fā)出信息的樹突組成。神經(jīng)元胞體將接收到的所有信號(hào)進(jìn)行簡(jiǎn)單地處理，如加權(quán)求和，即對(duì)所有的輸入信號(hào)都加以考慮且對(duì)每個(gè)信號(hào)的重視程度――體現(xiàn)在權(quán)值上的不同，后由軸突輸出。由此可以很容易的建立起神經(jīng)元的模型，如下圖所示。

大腦之所以能夠處理極其復(fù)雜的分析、推理工作，一方面是因?yàn)槠渖窠?jīng)元個(gè)數(shù)的龐大，另一方面還在于神經(jīng)元能夠?qū)斎胄盘?hào)進(jìn)行非線性并行處理。它是一個(gè)多輸入單輸出的非線性器件。其中的權(quán)值W即代表神經(jīng)元之間的連接強(qiáng)度。

3人工神經(jīng)網(wǎng)絡(luò)的工作原理

人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作?，F(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫“A”、“B”兩個(gè)字母的識(shí)別為例進(jìn)行說(shuō)明。規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時(shí)，輸出為“0”。所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“A”所對(duì)應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與輸出閾值比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說(shuō)是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時(shí)，仍然能作出正確的判斷。如果輸出為“0”(即結(jié)果錯(cuò)誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時(shí)，減小犯同樣錯(cuò)誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫字母“A”、“B”后，經(jīng)過網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。這說(shuō)明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠做出迅速、準(zhǔn)確的判斷和識(shí)別。一般說(shuō)來(lái)，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多。

4人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元廣泛互連而成的系統(tǒng)，它的這一結(jié)構(gòu)特點(diǎn)決定著人工神經(jīng)網(wǎng)絡(luò)具有高速信息處理的能力。人腦的每個(gè)神經(jīng)元大約有103~4個(gè)樹突及相應(yīng)的突觸，一個(gè)人的大腦總計(jì)約形成1014~15個(gè)突觸。用神經(jīng)網(wǎng)絡(luò)的術(shù)語(yǔ)來(lái)說(shuō)，即是人腦具有1014~15個(gè)互相連接的存儲(chǔ)潛力。雖然每個(gè)神經(jīng)元的運(yùn)算功能十分簡(jiǎn)單，且信號(hào)傳輸速率也較低(大約100次/秒)，但由于各神經(jīng)元之間的極度并行互連功能，最終使得一個(gè)普通人的大腦在約1秒內(nèi)就能完成現(xiàn)行計(jì)算機(jī)至少需要數(shù)10億次處理步驟才能完成的任務(wù)。人工神經(jīng)網(wǎng)絡(luò)的知識(shí)存儲(chǔ)容量很大。在神經(jīng)網(wǎng)絡(luò)中，知識(shí)與信息的存儲(chǔ)表現(xiàn)為神經(jīng)元之間分布式的物理聯(lián)系，它分散地表示和存儲(chǔ)于整個(gè)網(wǎng)絡(luò)內(nèi)的各神經(jīng)元及其連線上。每個(gè)神經(jīng)元及其連線只表示一部分信息，而不是一個(gè)完整具體概念。只有通過各神經(jīng)元的分布式綜合效果才能表達(dá)出特定的概念和知識(shí)。由于人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元個(gè)數(shù)眾多以及整個(gè)網(wǎng)絡(luò)存儲(chǔ)信息容量的巨大，使得它具有很強(qiáng)的不確定性信息處理能力。即使輸入信息不完全、不準(zhǔn)確或模糊不清，神經(jīng)網(wǎng)絡(luò)仍然能夠聯(lián)想思維持在于記憶中事物的完整圖象。只要輸入的模式接近于訓(xùn)練樣本，系統(tǒng)就能給出正確的推理結(jié)論。正是因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)和其信息存儲(chǔ)的分布式特點(diǎn)，使得它相對(duì)于其它的判斷識(shí)別系統(tǒng)，如：專家系統(tǒng)等，具有另一個(gè)顯著的優(yōu)點(diǎn)：健壯性。生物神經(jīng)網(wǎng)絡(luò)不會(huì)因?yàn)閭€(gè)別神經(jīng)元的損失而失去對(duì)原有模式的記憶。最有力的證明是，當(dāng)一個(gè)人的大腦因意外事故受輕微損傷之后，并不會(huì)失去原有事物的全部記憶。人工神經(jīng)網(wǎng)絡(luò)也有類似的情況。因某些原因，無(wú)論是網(wǎng)絡(luò)的硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)中的某個(gè)或某些神經(jīng)元失效，整個(gè)網(wǎng)絡(luò)仍然能繼續(xù)工作。人工神經(jīng)網(wǎng)絡(luò)同現(xiàn)行的計(jì)算機(jī)不同，是一種非線性的處理單元。只有當(dāng)神經(jīng)元對(duì)所有的輸入信號(hào)的綜合處理結(jié)果超過某一閾值后才輸出一個(gè)信號(hào)。因此神經(jīng)網(wǎng)絡(luò)是一種具有高度非線性的超大規(guī)模連續(xù)時(shí)間動(dòng)力學(xué)系統(tǒng)。它突破了傳統(tǒng)的以線性處理為基礎(chǔ)的數(shù)字電子計(jì)算機(jī)的局限，標(biāo)志著人們智能信息處理能力和模擬人腦智能行為能力的一大飛躍。下面舉一腦梗塞事例，其數(shù)據(jù)分別用多元回歸方程與Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行處理,看一看處理的結(jié)果:取50例天津大港醫(yī)院2004~2005兩年內(nèi)60~65歲男性腦梗塞患者報(bào)病卡的回顧性調(diào)查病例，與50例天津市大港中醫(yī)醫(yī)院2004~2005兩年內(nèi)體檢的60~65歲男性非腦梗塞患者作對(duì)照，選?。孩儆袩o(wú)一過性腦缺血病史；②漿纖維蛋白酶原水平；③血糖水平；④總膽固醇水平；⑤舒張壓。這5種指標(biāo)進(jìn)行歸一化處理，作為回歸方程的自變量，與神經(jīng)網(wǎng)絡(luò)的輸入向量。歸一化處理過程為：①取有一過性腦缺血病史者為1，否則為0；②取血漿纖維蛋白酶原≥4g為1，否則取實(shí)際測(cè)得值÷4g；③取血糖≥為1，否則取實(shí)際測(cè)得值÷；④取總膽固醇≥30mg/L為1，否則取實(shí)際測(cè)得值÷30mg/L；⑤取舒張壓≥95mmHg為1，否則取實(shí)際測(cè)得值÷95mmHg。其結(jié)果列表腦梗塞患者一過性腦缺血史血漿蛋白酶原血糖總膽固醇舒張壓11111111111111611111011111110111111011111111111201111111111111101011111111111111113511111371111111111111111111111111111111非腦梗塞1000000011110000000111111111124100000000133000000000100000100

在SPSS12環(huán)境下進(jìn)行多元回歸分析，得到回歸方程：Y=-+++++。將一位64歲男性，非腦梗塞體檢者的數(shù)據(jù)：［01］進(jìn)行測(cè)試結(jié)果為。在MathLab環(huán)境下調(diào)用神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)進(jìn)行數(shù)據(jù)處理，經(jīng)Elman神經(jīng)網(wǎng)絡(luò)對(duì)同一數(shù)據(jù)處理后結(jié)果為：y=。前者得到的回歸數(shù)值說(shuō)明體檢者的檢查數(shù)據(jù)很接近健康指標(biāo)，但從實(shí)際健康指標(biāo)可知，這組輸入數(shù)值已遠(yuǎn)離健康指標(biāo)。后者得到的神經(jīng)網(wǎng)絡(luò)結(jié)果值說(shuō)明體檢者的兩側(cè)指標(biāo)均已向靠攏，說(shuō)明體檢者的狀況正在向腦梗塞的指標(biāo)過渡。從現(xiàn)有腦梗塞患者的檢查數(shù)值來(lái)看，后者得到的數(shù)據(jù)更可靠。上述計(jì)算結(jié)果表明Elman神經(jīng)網(wǎng)絡(luò)數(shù)值預(yù)測(cè)效果優(yōu)于回歸方程。分析其原因：腦梗塞患者與非腦梗塞體檢者的這5項(xiàng)臨床檢測(cè)指標(biāo)雖然在臨床上被認(rèn)為有決定性意義，但實(shí)際上患者與非患者間存在著數(shù)值交叉，這就為使用多元回歸方程帶來(lái)了干擾，而Elman神經(jīng)網(wǎng)絡(luò)方法卻正好發(fā)揮了它非線性映射能力的特長(zhǎng)。由此它作為一種新型數(shù)值預(yù)測(cè)工具將發(fā)揮出卓越的功能。

參考文獻(xiàn)

1張堯庭概率統(tǒng)計(jì)第1版中央廣播電視大學(xué)出版社，1984

2陳峰醫(yī)用多元統(tǒng)計(jì)分析方法第1版中國(guó)統(tǒng)計(jì)出版社，2000

3金丕煥醫(yī)用統(tǒng)計(jì)方法第1版上海醫(yī)科大學(xué)出版社，1993

4衛(wèi)海英for