分類(lèi)預(yù)測(cè)：人工神經(jīng)網(wǎng)絡(luò)

Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第1頁(yè)什么是人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)起源于生物神經(jīng)元研究，其研究主要對(duì)象是人腦人腦是一個(gè)高度復(fù)雜、非線(xiàn)性、并行處理系統(tǒng)，其中大約有1011個(gè)稱(chēng)為神經(jīng)元微處理單元。這些神經(jīng)元之間相互連接，連接數(shù)目高達(dá)1015

人腦含有聯(lián)想、推理、判斷和決議能力，對(duì)人腦活動(dòng)機(jī)理研究一直是一個(gè)挑戰(zhàn)人腦智能關(guān)鍵在于其連接機(jī)制，即因?yàn)榇罅亢?jiǎn)單處理單元（神經(jīng)元）巧妙連接，使得人腦成為一個(gè)高度復(fù)雜大規(guī)模非線(xiàn)性自適應(yīng)系統(tǒng)Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第2頁(yè)什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）是一個(gè)人腦抽象計(jì)算模型經(jīng)過(guò)計(jì)算機(jī)程序?qū)崿F(xiàn)對(duì)人腦系統(tǒng)模擬，形成類(lèi)似于生物神經(jīng)元處理單元，并希望經(jīng)過(guò)這些處理單元有機(jī)連接，處理現(xiàn)實(shí)世界模式識(shí)別、聯(lián)想記憶、優(yōu)化計(jì)算等復(fù)雜問(wèn)題人工神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于分類(lèi)預(yù)測(cè)和聚類(lèi)方面Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第3頁(yè)人工神經(jīng)網(wǎng)絡(luò)算法概述人工神經(jīng)網(wǎng)絡(luò)組成：由相互連接神經(jīng)元，也稱(chēng)處理單元（ProcessingElement）組成。處理單元也稱(chēng)結(jié)點(diǎn)（Node）處理單元之間連接稱(chēng)為邊，反應(yīng)了各處理單元之間關(guān)聯(lián)性關(guān)聯(lián)性強(qiáng)弱表達(dá)在邊權(quán)值上Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第4頁(yè)人工神經(jīng)網(wǎng)絡(luò)算法概述人工神經(jīng)網(wǎng)絡(luò)種類(lèi)：從拓?fù)浣Y(jié)構(gòu)角度劃分：網(wǎng)絡(luò)層數(shù)：兩層神經(jīng)網(wǎng)絡(luò)、三層神經(jīng)網(wǎng)絡(luò)和多層神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)作用結(jié)點(diǎn)個(gè)數(shù)Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第5頁(yè)人工神經(jīng)網(wǎng)絡(luò)算法概述人工神經(jīng)網(wǎng)絡(luò)種類(lèi)：從連接方式角度劃分：層間連接前饋式神經(jīng)網(wǎng)絡(luò)：連接是單向，上層結(jié)點(diǎn)輸出是下層結(jié)點(diǎn)輸入。B-P、Kohonen反饋式神經(jīng)網(wǎng)絡(luò)：除單向連接外，輸出結(jié)點(diǎn)輸出又作為輸入結(jié)點(diǎn)輸入。Hopfield層內(nèi)連接方式是指神經(jīng)網(wǎng)絡(luò)同層結(jié)點(diǎn)之間相互連接，如Kohonen網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)種類(lèi)：從學(xué)習(xí)方式角度劃分：感知機(jī)：采取有指導(dǎo)學(xué)習(xí)方法認(rèn)知機(jī)：采取無(wú)指導(dǎo)學(xué)習(xí)方法Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第6頁(yè)人工神經(jīng)網(wǎng)絡(luò)中結(jié)點(diǎn)和意義接收上層結(jié)點(diǎn)輸出作為本結(jié)點(diǎn)輸入，對(duì)輸入進(jìn)行計(jì)算后給出本結(jié)點(diǎn)輸出加法器：激活函數(shù)：Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第7頁(yè)人工神經(jīng)網(wǎng)絡(luò)中結(jié)點(diǎn)和意義各種激活函數(shù)：Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第8頁(yè)人工神經(jīng)網(wǎng)絡(luò)中結(jié)點(diǎn)和意義3，4，5處理單元偏差為0，激活函數(shù)為(0,1)型Sigmoid函數(shù)：結(jié)點(diǎn)3：U為：1×0.2＋0.5×0.5=0.45，激活函數(shù)值為：y1=f(0.45)＝0.61結(jié)點(diǎn)4：U為：1×(－0.6)＋0.5×(－1.0)=－1.1，激活函數(shù)值為：y2=f(－1.1)＝0.25結(jié)點(diǎn)5：U為：0.61×1.0＋0.25×(－0.5)=0.735，激活函數(shù)值為：y3=f(0.735)＝0.68Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第9頁(yè)人工神經(jīng)網(wǎng)絡(luò)中結(jié)點(diǎn)和意義在加法器和激活函數(shù)共同作用下，結(jié)點(diǎn)起到了一個(gè)超平面作用

第一，怎樣定位一個(gè)超平面

第二，假如n維空間中樣本點(diǎn)線(xiàn)性不可分將會(huì)怎樣

Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第10頁(yè)人工神經(jīng)網(wǎng)絡(luò)建立普通步驟

數(shù)據(jù)準(zhǔn)備數(shù)值型變量數(shù)據(jù)標(biāo)準(zhǔn)化處理

[0，1]分類(lèi)型變量網(wǎng)絡(luò)結(jié)構(gòu)確實(shí)定隱層層數(shù)和各隱層中隱結(jié)點(diǎn)個(gè)數(shù)決定復(fù)雜度

網(wǎng)絡(luò)結(jié)構(gòu)不一定在模型建立之前就完全確定

有4、5、6個(gè)類(lèi)別分類(lèi)變量都只需要3個(gè)變量即可

Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第11頁(yè)人工神經(jīng)網(wǎng)絡(luò)建立普通步驟

網(wǎng)絡(luò)權(quán)值確實(shí)定第一，初始化網(wǎng)絡(luò)權(quán)值：默認(rèn)為來(lái)自均值為0，取值范圍在－0.5至0.5之間正態(tài)分布隨機(jī)數(shù)

0附近、隨機(jī)數(shù)、小區(qū)間第二，計(jì)算各處理單元加法器和激活函數(shù)值，得到樣本分類(lèi)預(yù)測(cè)值第三，比較樣本預(yù)測(cè)值與實(shí)際值并計(jì)算誤差，依據(jù)誤差值重新調(diào)整各網(wǎng)絡(luò)權(quán)值第四，返回到第二步

Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第12頁(yè)感知機(jī)B-P反向傳輸網(wǎng)絡(luò)是一個(gè)前饋式、多層、感知機(jī)網(wǎng)絡(luò)每個(gè)樣本都會(huì)提供關(guān)于輸入輸出變量數(shù)量關(guān)系信息，應(yīng)依次向每個(gè)樣本學(xué)習(xí)，并依據(jù)誤差調(diào)整網(wǎng)絡(luò)權(quán)值Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第13頁(yè)第一，0時(shí)刻，初始化各個(gè)網(wǎng)絡(luò)權(quán)值和輸出結(jié)點(diǎn)偏差第二，輸入訓(xùn)練樣本，t時(shí)刻：X=(X1(t),X2(t),…Xn(t))第三，計(jì)算輸出結(jié)點(diǎn)預(yù)測(cè)值，t時(shí)刻當(dāng)輸出變量為數(shù)值型采取Sigmoid函數(shù)，為分類(lèi)時(shí)普通采取[0,1]階躍函數(shù)

感知機(jī)訓(xùn)練步驟Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第14頁(yè)第四，計(jì)算輸出結(jié)點(diǎn)期望值與預(yù)測(cè)值誤差，t時(shí)刻：對(duì)于二分類(lèi)輸出變量，錯(cuò)判為0則為1，錯(cuò)判為1則為－1第五，調(diào)整第i個(gè)輸入結(jié)點(diǎn)和第j個(gè)輸出結(jié)點(diǎn)之間網(wǎng)絡(luò)權(quán)值和偏差第六，判斷是否滿(mǎn)足迭代終止條件。假如沒(méi)有滿(mǎn)足，則重新回到第二步delta規(guī)則

感知機(jī)訓(xùn)練步驟沖量學(xué)習(xí)率Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第15頁(yè)設(shè)

為1，

為0.1，

為0，激活函數(shù)f=U

Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第16頁(yè)B-P反向傳輸網(wǎng)絡(luò)特點(diǎn)：激活函數(shù)采取Sigmoid函數(shù)、包含隱層、反向傳輸隱層作用：實(shí)現(xiàn)非線(xiàn)性樣本線(xiàn)性化轉(zhuǎn)化

Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第17頁(yè)B-P反向傳輸網(wǎng)絡(luò)反向傳輸：正向傳輸：樣本信息從輸入層開(kāi)始，由上至下逐層被隱結(jié)點(diǎn)計(jì)算處理，上層結(jié)點(diǎn)輸出為下層結(jié)點(diǎn)輸入，最終被傳輸?shù)捷敵鰧咏Y(jié)點(diǎn)并得到預(yù)測(cè)結(jié)果。傳輸期間全部網(wǎng)絡(luò)權(quán)值保持不變反向傳輸：誤差又被逐層反方向傳回給輸入結(jié)點(diǎn)。傳輸期間全部網(wǎng)絡(luò)權(quán)值均得到調(diào)整。這種正向傳輸和反向傳輸過(guò)程將不停重復(fù)，直到滿(mǎn)足終止條件為止Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第18頁(yè)反向傳輸算法計(jì)算某輸出節(jié)點(diǎn)預(yù)測(cè)誤差：輸出節(jié)點(diǎn)總誤差：找到誤差函數(shù)下降最快方向和最大值

假如t時(shí)刻權(quán)值W偏導(dǎo)數(shù)存在，則W軸上方向?qū)?shù)就是誤差函數(shù)對(duì)W偏導(dǎo)。因?yàn)镾igmoid激活函數(shù)處處可微，滿(mǎn)足該條件。Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第19頁(yè)反向傳輸算法結(jié)點(diǎn)j局部梯度

第l隱層第j個(gè)結(jié)點(diǎn)，局部梯度定義為輸出誤差經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)依次反向傳遞，并計(jì)算每個(gè)結(jié)點(diǎn)局部梯度

Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第20頁(yè)網(wǎng)絡(luò)結(jié)構(gòu)確實(shí)定

采取經(jīng)驗(yàn)值法快速（Quick）訓(xùn)練法，只包含一個(gè)隱層，隱結(jié)點(diǎn)數(shù)默認(rèn)為

多層訓(xùn)練法

動(dòng)態(tài)調(diào)整法：動(dòng)態(tài)削剪法

動(dòng)態(tài)增補(bǔ)法

B-P反向傳輸網(wǎng)絡(luò)：其它問(wèn)題Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第21頁(yè)學(xué)習(xí)率

和沖量項(xiàng)

沖量項(xiàng)

加緊學(xué)習(xí)過(guò)程，甚至能夠遠(yuǎn)離開(kāi)平坦區(qū)域，通常該值經(jīng)驗(yàn)值為0.9

B-P反向傳輸網(wǎng)絡(luò)：其它問(wèn)題Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第22頁(yè)敏感性分析敏感性分析目標(biāo)是要得到各輸入變量對(duì)輸出變量敏感性系數(shù)，以及敏感性系數(shù)排序結(jié)果基于網(wǎng)絡(luò)權(quán)值Tchaban算法:權(quán)積(WeightProduct)法：輸入變量xi對(duì)輸出變量y

k敏感性系數(shù)定義為B-P反向傳輸網(wǎng)絡(luò)：其它問(wèn)題Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第23頁(yè)基本模型調(diào)整模型：UsebinarysetencodingNeuralNetExpert卡，選擇Expert選項(xiàng)自行設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)。如1個(gè)隱層，10個(gè)隱結(jié)點(diǎn)，在預(yù)測(cè)精度沒(méi)有顯著改進(jìn)時(shí)依然連續(xù)訓(xùn)練100周期等B-P反向傳輸網(wǎng)絡(luò)應(yīng)用示例對(duì)客戶(hù)流失建立預(yù)測(cè)模型

Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第24頁(yè)徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)（RadicalBasicFunction,RBF）網(wǎng)絡(luò)是一個(gè)前饋式網(wǎng)絡(luò)，Moody和Darken在1988年提出。徑向基函數(shù)網(wǎng)絡(luò)特點(diǎn)：徑向基函數(shù)網(wǎng)絡(luò)是三層網(wǎng)絡(luò)結(jié)構(gòu)隱結(jié)點(diǎn)采取徑向基函數(shù)（因而得名徑向基函數(shù)網(wǎng)絡(luò)），輸出結(jié)點(diǎn)采取線(xiàn)性加法器和Sigmoid激活函數(shù)徑向基函數(shù)網(wǎng)絡(luò)輸入層和隱層之間網(wǎng)絡(luò)權(quán)值固定為1，只有隱層和輸出層之間網(wǎng)絡(luò)權(quán)值需在學(xué)習(xí)過(guò)程調(diào)整，所以學(xué)習(xí)效率相對(duì)要高。Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第25頁(yè)徑向基函數(shù)網(wǎng)絡(luò)隱結(jié)點(diǎn)：徑向基函數(shù)通常定義為空間中任意一點(diǎn)x到某個(gè)中心xc之間歐氏距離單調(diào)函數(shù)，記為ker(||x－xc||)徑向基函數(shù)網(wǎng)絡(luò)中隱結(jié)點(diǎn)采取是高斯核函數(shù)xc稱(chēng)為核函數(shù)中心，

稱(chēng)為寬度，

h稱(chēng)為徑向覆蓋長(zhǎng)度關(guān)鍵是核中心xc和寬度

預(yù)計(jì)隱結(jié)點(diǎn)為非線(xiàn)性函數(shù)，實(shí)現(xiàn)了輸入層到隱層非線(xiàn)性映射Modeler分類(lèi)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)算法專(zhuān)家講座第26頁(yè)徑向基函數(shù)網(wǎng)絡(luò)輸出結(jié)點(diǎn)：輸出結(jié)點(diǎn)輸入，是