1、第9章 HIS 中的決策支持系統(tǒng),醫(yī)院信息系統(tǒng)的決策支持 醫(yī)學(xué)決策支持：醫(yī)療工作中的計(jì)算機(jī)輔助決策支持 管理決策支持：計(jì)算機(jī)輔助管理決策支持 決策支持基礎(chǔ) 統(tǒng)計(jì)學(xué) 數(shù)據(jù)倉庫 人工智能,第1節(jié) 醫(yī)學(xué)決策支持的基本概念,1、基本概念 醫(yī)學(xué)決策支持：臨床醫(yī)生經(jīng)常為病人的診斷、治療作出決定。這些臨床決定亦即臨床決策（clinical decision）。 決策（decision making）就是為達(dá)到同一目標(biāo)在眾多可以采取的方案中選擇最佳方案。 臨床決策支持系統(tǒng):指幫助醫(yī)務(wù)人員制定臨床決策的計(jì)算機(jī)程序。,2.醫(yī)學(xué)決策基本過程,邏輯推理： 如A能推出B、B能推出C，則A一定能推出C。 由于醫(yī)學(xué)中沒有嚴(yán)

2、格的規(guī)則，所以用得少。 歸納推理： 啟發(fā)式推理： 上一次推理得出的結(jié)論，做為第二次循環(huán)推理的前提，循環(huán)推理，逐步求精。,臨床上的鑒別診斷： 不同的疾病為不同的概念集合，而不同疾病之間有很多交集。 鑒別診斷：區(qū)分交集部分的不同集合。,決策分析的基本步驟： 供臨床選擇的治療方法有時(shí)很多，此時(shí)要篩除一些“劣”的決策，有利于下一步的分析。 確定各決策可能的后果，并設(shè)置各種后果發(fā)生的概率。 確定決策人的偏愛，并對效用賦值。 在以下三步基礎(chǔ)上去選擇決策人最滿意的決策，即期望效用最大的決策。,2節(jié) 醫(yī)學(xué)決策支持的基本技術(shù),1 概率方法與決策分析 1）事件及其相互關(guān)系 必然事件：在一定條件下必須出觀的現(xiàn)象 不

3、可能事件：在一定條件下必然不出現(xiàn)的現(xiàn)象。 隨機(jī)事件：在一定條件下，可能出現(xiàn)也可能不出現(xiàn)。,“兩事件A,B中至少有一個(gè)出現(xiàn)”也是一事件，稱此事件為A,B的和，記作AUB; 事件“A1,A2,A3,.An中至少有一出現(xiàn)稱為Al，A2An的和，記為Al UA2Un。 若“n個(gè)事件A1,A2,A3,.An都出現(xiàn)也是一事件，則稱為A1，A2，An的交，記作:A1A2A n。,2）概率與頻率 概率:可用一個(gè)小于或等于1的正數(shù)P(A)來表示事件A出現(xiàn)的可能性,P(A)就稱為事件A的概率。 較大的可能性用較大的數(shù)字來標(biāo)志 較小可能性的就用較小的數(shù)字來標(biāo)志 頻率:當(dāng)概率值不易求出時(shí)我們往往取頻率作為概率的近似值

4、，頻率的概念比較簡單可以很方便地求出。,3）貝葉斯定理 條件概率: 有時(shí)除了要知道事件的概率P(A)外，還需要知道在“事件B已出現(xiàn)”的條件下，事件A出現(xiàn)的條件概率P（A|B）。例如，我們需要知道在某疾病B發(fā)生條件下，癥狀A(yù)出現(xiàn)的概率時(shí)就要計(jì)算條件概率 P（A|B）。,貝葉斯定理,n P(Di|S)=P(Di )P(S|Di)/ P(Di )P(S|Di) i=1 D1,D2,Dn分別表示n種互斥的疾病,Di為第i個(gè)疾病; P(Di)為Di的先驗(yàn)概率(疾病發(fā)生的概率)。 S為用于這些疾病鑒別診斷的某一臨床表現(xiàn)或檢驗(yàn)結(jié)果的組合（癥候） P(S|Di)為疾病Di的癥狀S發(fā)生的概率； P(Di|S)為

5、癥狀S提示疾病Di發(fā)生的概率（后驗(yàn)概率）,先驗(yàn)概率,表示醫(yī)生在具體診斷某患者前所掌握的疾病Di的發(fā)病情況。 P(S|Di)為在已知疾病Di條件下，各癥狀S出現(xiàn)的“條件概率”，即某臨床癥候A的可能性，它可以通過收集足夠數(shù)量的病例容易地得到。 P(Di|S）稱為后驗(yàn)概率，表示在患者癥狀S出現(xiàn)時(shí),患疾病Di的可能性。,對于兩個(gè)或更多個(gè)癥狀存在的情況，仍可用貝葉斯(Bayes)公式計(jì)算。在各個(gè)癥狀彼此獨(dú)立前提下，則各個(gè)癥狀同時(shí)出現(xiàn)的概率是各自單獨(dú)出現(xiàn)時(shí)其概率的乘積。因此假設(shè)各癥狀互相獨(dú)立，貝葉斯(Bayes)公式可寫為：,在運(yùn)用貝葉斯模型時(shí)須要注意的問題 模型中j種疾病互斥，先驗(yàn)概率之和要為l(即要構(gòu)

6、成一個(gè)完整的疾病群). 先驗(yàn)概率的確定。參考文獻(xiàn)報(bào)道和歷史資料統(tǒng)計(jì)頻率作為近似估計(jì)。 條件概率的確定。 用于鑒別診斷的癥候指標(biāo)是互相獨(dú)立無關(guān)的。 當(dāng)計(jì)算出各后驗(yàn)概率P(Hj|A)后，作為臨床判斷的依據(jù)只有當(dāng)P(Hj|A)(jl，2，,n)間差距達(dá)五倍以上時(shí)方可下結(jié)論，或是當(dāng)某一后驗(yàn)概率值達(dá)085才下結(jié)論。,應(yīng)用舉例一: 如對某地區(qū)1207位闌尾炎思考的資料統(tǒng)計(jì)為表3-1。按慢性闌尾炎、急性闌尾炎、闌尾炎穿孔三類統(tǒng)計(jì)癥候頻率(腹痛開始部位、惡心嘔吐、大便、體溫、體征及體檢結(jié)果)。 若已知慢性闌尾炎H1、急性闌尾炎H2、闌尾炎穿孔H3發(fā)生的先驗(yàn)概率分別為： P(H1)0.391 P(H2)0.49

7、3 P(H3)0.116 現(xiàn)有一闌尾炎患者、開始上腹痛，之后嘔吐，腹瀉，人院體溫37全身腹肌緊張，壓痛，WBC(白細(xì)胞)數(shù)達(dá)19350。,顯然其癥侯為BB13B23B33B42B51B61B73 ,則其P(Hj|B)(jl，2，3，4)的大小可通過公式算得。,其中，P(B|Hj)P(B13B23B33B42B51B61B73 |Hj) P(B13 | Hj) P(B23 | Hj) P(B33 | Hj) P(B42 | Hj) P(B51 | Hj) P(B61 | Hj) P(B73 | Hj) (j=l，2，3) P(B|H1) 94510-8 P(H1)P(B|H1)0351945 1

8、0-8 3695 10-8 同理P(H2) P(B|H2) =5.53 10-5 P(H3) P(B|H3) =1.136 10-4,得： P(H1|B)=0.02% P(H2|B)=32.2% P(H3|B)=67.76%,所以：診斷為闌尾炎穿孔（H3).,得： P(H1|B)=0.02% P(H2|B)=32.2% P(H3|B)=67.76%,所以：診斷為闌尾炎穿孔（H3).,2.最大似然診斷模型 在前述過程中，如果假定各疾病發(fā)生的先驗(yàn)概率是等同的，此時(shí)貝葉斯公式可簡化。 P(Hj|A)的相對大小完全取決于條件概率P(A|Hj)的相對大小，分母部分總是一致的。 這個(gè)結(jié)果表明，在先驗(yàn)概率相

9、同的假設(shè)基礎(chǔ)上，計(jì)量決策診斷的基本判別依據(jù)，可以轉(zhuǎn)化為P(A|Hj)。 這種以條件概率 P(A|Hj)為判別依據(jù)的模式為似然診斷模型。臨床的實(shí)用中常常把似然診斷模型進(jìn)一步簡化為評分法。,3、貝葉斯臨床決策系統(tǒng)設(shè)計(jì)實(shí)現(xiàn) 貝葉斯模型與傳統(tǒng)醫(yī)生診斷的差異 貝葉斯條件概率決策診斷模型及最大似然診斷模型使用時(shí)必須預(yù)先知道所規(guī)定的全部征候表現(xiàn)，然后再進(jìn)行綜合分析、判斷。 臨床醫(yī)師的診斷過程常是根據(jù)已掌握的病人的臨床表現(xiàn)，結(jié)合自己的知識與經(jīng)驗(yàn)進(jìn)行分析、判斷和逐步問診、檢查后再分析及再判斷，直至有足夠把握作出結(jié)論。 貝葉斯逐步問診模型就是仿效這種過程，進(jìn)行逐步提問和逐步分析的計(jì)量診斷模型。,舉例二：中風(fēng)部位診

10、斷。 基礎(chǔ)資料：在因中風(fēng)造成死亡的病例中選擇發(fā)作后24小時(shí)仍處于昏迷狀態(tài)的47例為對象(62歲-87歲)。 方法：在中風(fēng)即刻到24小時(shí)內(nèi)患者所表現(xiàn)的癥狀中選擇六項(xiàng)癥狀進(jìn)行研究： S1：嘔吐 S2：陳施氏呼吸 S3：發(fā)作后血壓上升到200mmHg以上 S4：單側(cè)麻痹 S5：對光反射減弱或消失 S6：心房顫動,診斷疾病分類： G1：大腦前、中動脈支配區(qū)域的出血與下丘腦出血 G2：小腦出血與蛛網(wǎng)膜下腔出血 G3：大腦中動脈支配區(qū)域的栓塞,診斷表編制步驟： 對47例病人按G1，G2，G3三類分組，計(jì)算出各組內(nèi)每一癥狀出現(xiàn)的頻率。由于標(biāo)本數(shù)不太多，所以癥狀出現(xiàn)率為0時(shí)以0.01表示，出現(xiàn)率為1時(shí)以0.9

11、9表示。 某患者出現(xiàn)的癥狀為S1，S3，S4，S5，而S2和S6癥狀沒有出現(xiàn)，根據(jù)表2-7可分別計(jì)算出該患者分屬三類的似然函數(shù)。,于是， LG10.83(1-0.08)0.540.830.79(1-0.01)=0.27 LG20.83(1-0.01) 0.170.330.83（1-0.01）=0.04 LG30.29(1-0.18) 0.010.990.24（1-0.35）=0.0005 比較上面三個(gè)似然函數(shù)的大小，最大函數(shù)為LG1，因而可以判斷患者所得的病名屬于G1類：大腦前、中動脈支配區(qū)域出血。,判斷實(shí)驗(yàn)結(jié)果 在驗(yàn)證實(shí)驗(yàn)結(jié)果時(shí)除了上述47例外，還利用了原來沒有考慮的腦干出血3例，腦干栓塞1

12、例，其結(jié)果見表2-8，由表可知：病理診斷為G1類計(jì)24例，計(jì)量診斷符合20例；病理診斷為G2類計(jì)6例，計(jì)量診斷符合4例；病理診斷為G3類計(jì)17例，計(jì)量診斷符合16例。 若將病理診斷G1與G2合并后分為出血類(G1+G2)和栓塞類(G3)二大類，則病理診斷G1+G2類計(jì)30例計(jì)量診斷符合28例；栓塞17例中符合16例；同時(shí)，3例腦于出血全部符合，只有l(wèi)例腦干栓塞誤分在G1類中。,Byes理論的局限： 難估計(jì)先驗(yàn)概率與條件概率 條件之間線性無關(guān) 早期醫(yī)學(xué)決策使用,2、決策樹與決策分析,啟發(fā)式推理形成樹型決策樹（p178） 決策樹（de-cision tree）是一種能夠有效地表達(dá)復(fù)雜決策問題的數(shù)學(xué)

13、模型,主訴腹部疼痛,左上腹疼痛,右上腹疼痛,膽囊炎,右下腹疼痛,左下腹疼痛,闌尾炎,宮外孕,卵巢囊腫扭轉(zhuǎn),闌尾炎,闌尾炎,決策樹由一些決策點(diǎn)、機(jī)會點(diǎn)和決策枝、機(jī)會枝組成。一般用圓圈“”表示機(jī)會點(diǎn)，發(fā)生的結(jié)果不在醫(yī)師的控制之下；小方框“”表示決策點(diǎn)，在決策點(diǎn)，醫(yī)師必須在幾種方案中選取一種；決策點(diǎn)相應(yīng)的分枝稱為決策枝；機(jī)會點(diǎn)相應(yīng)的分枝稱為機(jī)會枝。（P178圖9-5）,舉例：決策樹的應(yīng)用： 最可能患胰腺癌者包括40歲以上，中腹部疼痛持續(xù)13周的人。假設(shè)這類人中胰腺癌的發(fā)生率為12。如有一種不冒什么風(fēng)險(xiǎn)的早期診斷方法對胰腺癌的檢出率為80（敏感度），但對有類似癥狀的非胰腺癌患者的假陽性率為5，用此法診

14、斷確診的胰腺癌患者手術(shù)死亡率為10，治愈率為45。,根據(jù)上述疾病概率，診斷概率和死亡、治愈概率，如對1000人進(jìn)行診斷、治療，其所獲得的益處，是否比不進(jìn)行診斷檢查和手術(shù)更大？可以用一個(gè)決策樹（下圖）進(jìn)行分析比較。,由JC Sisson等人的一個(gè)關(guān)于胰腺癌的決策樹模型,從以上決策樹可見，不作該項(xiàng)檢查的死亡者為12例，均為胰腺癌病人。用該項(xiàng)檢查手術(shù)后死亡12.5人，其中有5例為非胰腺癌病人。而且新的檢查使44例非胰腺癌患者的胰腺功能因手術(shù)而可能受到損害。因此這項(xiàng)檢查對病人是弊大于利，不宜使用。,3 符號推理和專家系統(tǒng),專家系統(tǒng)最成功的實(shí)例之一， 是1976年美國斯坦福大學(xué)肖特列夫（Shortlif

15、f）開發(fā)的醫(yī)學(xué)專家系統(tǒng)MYCIN，這個(gè)系統(tǒng)后來被知識工程師視為“專家系統(tǒng)的設(shè)計(jì)規(guī)范”。 MYCIN系統(tǒng)采用產(chǎn)生式規(guī)則構(gòu)建推理系統(tǒng)。,4、神經(jīng)網(wǎng)絡(luò)和連接系統(tǒng),人工神經(jīng)網(wǎng)絡(luò)”(ARTIFICIAL NEURAL NETWORK，簡稱A.N.N.)是在對人腦組織結(jié)構(gòu)和運(yùn)行機(jī)智的認(rèn)識理解基礎(chǔ)之上模擬其結(jié)構(gòu)和智能行為的一種工程系統(tǒng)。 人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。,現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對手寫“A”、“B”兩個(gè)字母的識別為例進(jìn)行說明，規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時(shí)，輸出為“0”。所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得

16、網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“A”所對應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機(jī)的。,第3節(jié)幾個(gè)典型的醫(yī)學(xué)決策支持系統(tǒng),1、MYCIN 系統(tǒng) MYCIN主要用于協(xié)助醫(yī)生診斷腦膜炎一類的細(xì)菌感染疾病。在MYCIN的知識庫里，大約存放著450條判別規(guī)則和1000條關(guān)于細(xì)菌感染方面的醫(yī)學(xué)知識。它一邊與用戶進(jìn)行對話，一邊進(jìn)行推理診斷。 它的推理規(guī)則稱為“產(chǎn)生式規(guī)則”，類似于：“IF（打噴嚏）OR（鼻塞）OR（咳嗽），TH

17、EN（有感冒癥狀）”這種醫(yī)生診斷疾病的經(jīng)驗(yàn)總結(jié)，最后顯示出它“考慮”的可能性最高的病因，并以給出用藥的建議而結(jié)束。,2 INTERNIST-1 和QMR系統(tǒng),INTERNIST-1系統(tǒng)是由Pittsburg醫(yī)科大學(xué)開發(fā)的用于內(nèi)科疾病診斷咨詢系統(tǒng)。 通過疾病癥狀來推理疾病。收集了600多種疾病的診斷知識，4500多臨床表現(xiàn)。 給出診斷疾病的相關(guān)參數(shù)： 相關(guān)頻率：在某種疾病中某臨床癥狀發(fā)生的頻率。 提示力度：某癥狀對疾病存在的提示強(qiáng)度。 處理用戶輸入的臨床表現(xiàn)，得出一組診斷建議。 移植到微機(jī)上，稱QRM(Quick Medical Reference),3、HELP系統(tǒng)(Health Evalua

18、tion through Logical Processing) 基于知識框架技術(shù)，專用開發(fā)語言-HELP FRAME LANGUAGE 幫助醫(yī)護(hù)人員分析解釋處理臨床數(shù)據(jù)。 呼吸系統(tǒng)疾病 實(shí)驗(yàn)檢查異常結(jié)果判斷 傳染病監(jiān)控 用藥合理性檢查,HELP系統(tǒng)的處方控制,第4節(jié)管理決策支持與數(shù)據(jù)倉庫技術(shù),1、管理決策簡介 基層管理：處理流程性工作 中層管理：基層數(shù)據(jù)匯總、高層意見落實(shí) 高層管理：決策 傳統(tǒng)管理決策：基于管理人員的經(jīng)驗(yàn)、簡單統(tǒng)計(jì)方法。,管理分層結(jié)構(gòu)圖,高層管理,中層管理,基層管理,2、決策支持系統(tǒng)與數(shù)據(jù)倉庫,決策支持系統(tǒng)（DSS）：從數(shù)據(jù)庫中找出必要的數(shù)據(jù)，并利用數(shù)學(xué)模型的功能，為用戶產(chǎn)生

19、所需的信息。 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘 數(shù)據(jù)倉庫：是一個(gè)面向主題的、集成的、穩(wěn)定的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合。它用于支持經(jīng)營管理中的決策制定過程。 數(shù)據(jù)倉庫的概念對收集不同來源的數(shù)據(jù)從新的角度提出了一種新的結(jié)構(gòu)方法 數(shù)據(jù)倉庫的根本任務(wù)：把信息加以整理歸納并及時(shí)提供給管理決策人員。 主要作用：提供報(bào)表和圖表、支持多維分析、數(shù)據(jù)挖掘的基礎(chǔ)。,數(shù)據(jù)倉庫的主題：是指用戶使用數(shù)據(jù)倉庫進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面。 面向主題：數(shù)據(jù)倉庫內(nèi)的信息是按主題進(jìn)行組織，為按主題進(jìn)行決策的過程提供信息。 集成：指信息是經(jīng)過系統(tǒng)加工、匯總和整理。 穩(wěn)定：數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫后，將長期被保留。 包含歷史數(shù)據(jù)：從過去某一時(shí)點(diǎn)到目前的各個(gè)

20、階段的信息。,數(shù)據(jù)挖掘： 所謂數(shù)據(jù)挖掘，就是從數(shù)據(jù)庫中抽取隱含的、以前未知的、具有潛在應(yīng)用價(jià)值的信息的過程。數(shù)據(jù)挖掘是KDD最核心的部分。數(shù)據(jù)挖掘與傳統(tǒng)分析工具不同的是數(shù)據(jù)挖掘使用的是基于發(fā)現(xiàn)的方法，運(yùn)用模式匹配和其它算法決定數(shù)據(jù)之間的重要聯(lián)系。,第一步是描述數(shù)據(jù) - 計(jì)算統(tǒng)計(jì)變量（比如平均值、均方差等），再用圖表或圖片直觀的表示出來，進(jìn)而可以看出一些變量之間的相關(guān)性（比如有一些值經(jīng)常同時(shí)出現(xiàn)）。 歷史數(shù)據(jù)建立一個(gè)預(yù)言模型，然后再用另外一些數(shù)據(jù)對這個(gè)模型進(jìn)行測試 。 驗(yàn)證你的模型,數(shù)據(jù)倉庫系統(tǒng)的四個(gè)層次體系結(jié)構(gòu)： （1）數(shù)據(jù)源：整個(gè)系統(tǒng)的數(shù)據(jù)源泉 （2）數(shù)據(jù)的存儲與管理：不同于傳統(tǒng)的數(shù)據(jù)庫，決

21、定了外部數(shù)據(jù)的表現(xiàn)形式。,大部分情況下，數(shù)據(jù)挖掘都要先把數(shù)據(jù)從數(shù)據(jù)倉庫中拿到數(shù)據(jù)挖掘庫或數(shù)據(jù)集市中。,數(shù)據(jù)挖掘庫可能是你的數(shù)據(jù)倉庫的一個(gè)邏輯上的子集，而不一定非得是物理上單獨(dú)的數(shù)據(jù)庫。,可以把一個(gè)或幾個(gè)事務(wù)數(shù)據(jù)庫導(dǎo)到一個(gè)只讀的數(shù)據(jù)庫中，就把它當(dāng)作數(shù)據(jù)集市，然后在他上面進(jìn)行數(shù)據(jù)挖掘。,聯(lián)機(jī)分析處理（OLAP）：對分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型進(jìn)行組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢。 傳統(tǒng)的查詢和報(bào)表工具是告訴你數(shù)據(jù)庫中都有什么（what happened），OLAP則更進(jìn)一步告訴你下一步會怎么樣（What next）、和如果我采取這樣的措施又會怎么樣（What if）。,（4

22、）前端工具：報(bào)表工具、數(shù)據(jù)分析工具、查詢工具、數(shù)據(jù)挖掘工具。（P183圖9-7),3、數(shù)據(jù)挖掘中常用技術(shù),（1）傳統(tǒng)主觀導(dǎo)向系統(tǒng) 采用的方法從簡單的走向分析直至高深數(shù)學(xué)基礎(chǔ)的分析理論。 這種技術(shù)需要有經(jīng)驗(yàn)?zāi)Ｐ蜑榍疤?屬于這類商品有美國的Metastak,SuperCharts,CandlestickForecaster和WallStreetMoney等,（2）傳統(tǒng)的數(shù)據(jù)分析 這類技術(shù)包括相關(guān)分析、回歸分析及因子分析等。一般先由用戶提供假設(shè),再由系統(tǒng)利用數(shù)據(jù)進(jìn)行驗(yàn)證。 屬于這類商品有美國的SAS,SPSS和Stargraphis等。,（3）神經(jīng)元網(wǎng)絡(luò)（NN）技術(shù),當(dāng)需要復(fù)雜或不精確數(shù)據(jù)中導(dǎo)出概念

23、和確定走向比較困難時(shí)，利用神經(jīng)網(wǎng)絡(luò)技術(shù)特別有效。經(jīng)過訓(xùn)練后的NN可以想像具有某種專門知識的“專家”，因此可以像人一樣從經(jīng)驗(yàn)中學(xué)習(xí)。 NN有多種結(jié)構(gòu)，但最常用的是多層BP（backpropagation）模型。它已廣泛地應(yīng)用于各種DM（KDD）工具和軟件中。有些是以NN為主導(dǎo)技術(shù)，例如俄羅斯的PolyAnalyst,美國的BrainMaker,Neurosell和OWL等,神經(jīng)網(wǎng)絡(luò)概念 神經(jīng)網(wǎng)絡(luò):泛指生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)。 生物神經(jīng)網(wǎng)絡(luò):指由中樞神經(jīng)系統(tǒng)及周圍神經(jīng)系統(tǒng)所構(gòu)成的錯(cuò)綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，它負(fù)責(zé)對動物機(jī)體各種活動的管理，其中最重要的是腦神經(jīng)系統(tǒng)。 人工神經(jīng)網(wǎng)絡(luò)：指模擬人腦神經(jīng)系統(tǒng)的結(jié)

24、構(gòu)和功能，運(yùn)用大量的處理部件，由人工方式建立起來的網(wǎng)絡(luò)系統(tǒng)。,NN技術(shù)概要,NN結(jié)構(gòu)：可以把一個(gè)神經(jīng)網(wǎng)絡(luò)劃分為輸入層、輸出層和隱含層。 輸入層的每個(gè)節(jié)點(diǎn)對應(yīng)一個(gè)個(gè)的預(yù)測變量。 輸出層的節(jié)點(diǎn)對應(yīng)目標(biāo)變量，可有多個(gè)。 隱含層：在輸入層和輸出層之間是隱含層（對神經(jīng)網(wǎng)絡(luò)使用者來說不可見），隱含層的層數(shù)和每層節(jié)點(diǎn)的個(gè)數(shù)決定了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。,在知識工程領(lǐng)域，決策樹是一種簡單的知識表示方法，它將事例逐步分類成代表不同的類別。 在系統(tǒng)中采用這種方法的有美國的IDIS，法國的SIPINA。英國的Clementinc和澳大利亞的C5.0。,（4）決策樹,決策樹提供了一種展示類似在什么條件下會得到什么值這類規(guī)則

25、的方法。比如，在貸款申請中，要對申請的風(fēng)險(xiǎn)大小做出判斷，圖7是為了解決這個(gè)問題而建立的一棵決策樹，從中我們可以看到?jīng)Q策樹的基本組成部分：決策節(jié)點(diǎn)、分支和葉子。,決策樹結(jié)構(gòu)：每個(gè)分支要么是一個(gè)新的決策節(jié)點(diǎn)，要么是樹的結(jié)尾，稱為葉子。在沿著決策樹從上到下遍歷的過程中，在每個(gè)節(jié)點(diǎn)都會遇到一個(gè)問題，對每個(gè)節(jié)點(diǎn)上問題的不同回答導(dǎo)致不同的分支，最后會到達(dá)一個(gè)葉子節(jié)點(diǎn)。這個(gè)過程就是利用決策樹進(jìn)行分類的過程，利用幾個(gè)變量（每個(gè)變量對應(yīng)一個(gè)問題）來判斷所屬的類別（最后每個(gè)葉子會對應(yīng)一個(gè)類別）。,建立決策樹的過程：即樹的生長過程是不斷的把數(shù)據(jù)進(jìn)行切分的過程，每次切分對應(yīng)一個(gè)問題，也對應(yīng)著一個(gè)節(jié)點(diǎn)。對每個(gè)切分都要求分成的組之間的“差異”最大。,訓(xùn)練過度:對最終要拿給人看的決策樹來說，在建立過程中讓其生長的太“枝繁葉茂”是沒有必要的，這樣既降低了樹的可理解性和可用性，同時(shí)也使決策樹本身對歷史數(shù)據(jù)的依賴性增大，也就是說這是這棵決策樹對此歷史數(shù)據(jù)可能非常準(zhǔn)確，一旦應(yīng)用到新的數(shù)據(jù)時(shí)準(zhǔn)確性卻急劇