會計學1數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

數(shù)據(jù)庫與數(shù)據(jù)倉庫

數(shù)據(jù)庫－數(shù)據(jù)管理－事務處理－獲取數(shù)據(jù)－OLTP－銀行的存款和取款數(shù)據(jù)倉庫－管理技術－決策支持－分析數(shù)據(jù)－OLAP－規(guī)律趨勢決策預測第1頁/共24頁

數(shù)據(jù)倉庫(DataWarehouse)是一個面向主題的、集成的、穩(wěn)定的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合，它用于支持管理中的決策制定過程。

數(shù)據(jù)倉庫不是產(chǎn)品。數(shù)據(jù)庫技術－存儲數(shù)據(jù)和管理資源統(tǒng)計分析技術－分析和提取信息人工智能技術－挖掘知識和發(fā)現(xiàn)規(guī)律

第2頁/共24頁

1.面向主題：按主題進行組織，為按主題進行決策的過程提供信息

2.集成：經(jīng)過系統(tǒng)加工、匯總和整理

3.穩(wěn)定：長期保留，插入和查詢

4.包含歷史數(shù)據(jù)：過去某一時點到目前的信息，發(fā)展歷程和未來趨勢第3頁/共24頁

利用數(shù)據(jù)倉庫解決四種類型的問題:

1.2005年10月25日肝臟外科的住院人次數(shù)是多少?2.

呼吸內(nèi)科明年的就診情況如何？(科室應作何相應調(diào)整？)

3.2005年1－10月份經(jīng)消化內(nèi)科某醫(yī)師診治的十二指腸球部潰瘍患者的平均住院天數(shù)及藥品費用構成比是多少？

4.

影響患者住院費用高低的因素是哪些？其中哪個是最關鍵因素？第4頁/共24頁數(shù)據(jù)倉庫設計與開發(fā)的一般過程：1．任務和環(huán)境的評估2．需求的收集和分析3．設計數(shù)據(jù)倉庫4．創(chuàng)建數(shù)據(jù)準備區(qū)5．創(chuàng)建數(shù)據(jù)倉庫數(shù)據(jù)庫6．從聯(lián)機事務處理系統(tǒng)中析取數(shù)據(jù)7．清理和轉換數(shù)據(jù)8.向數(shù)據(jù)倉庫數(shù)據(jù)庫中加載數(shù)據(jù)9.向數(shù)據(jù)集市發(fā)布數(shù)據(jù)10．創(chuàng)建多維數(shù)據(jù)集11．進行數(shù)據(jù)挖掘12．設計并實現(xiàn)終端用戶的應用程序13．將數(shù)據(jù)倉庫和基于它的應用投入使用第5頁/共24頁☆

數(shù)據(jù)倉庫的數(shù)據(jù)模型結構1．星型模型星型模型由一個事實表和維表組成，事實表是星型模型的核心表，包含兩種類型的列，第一種列是維度表的索引列，這些列中存儲了各維表的主鍵值，它們組合成事實表的主鍵；而其他非主屬性的列則稱為事實列，其中包含了用于計算的信息，即多維數(shù)據(jù)集中的度量值。事實表中的每個事實指向每個維表中的一個元組。2．雪花模型雪花模型是對星型模型的一個擴展，每個維表都可以向外連接多個維表。雪花模型是對星型模型的維表進一步標準化，維表分解成與事實表直接關聯(lián)的主維表和與主維表關聯(lián)的次維表。它的優(yōu)點是通過最大限度的減少存儲量以及將較小的標準化表而不是較大的非標準化表聯(lián)合在一起來改善查詢性能。由于采用標準化及維的較低粒度，雪花模型增加了應用程序的靈活性，但由于雪花模型增加了連接操作的次數(shù)，因而也增加了查詢的復雜性。第6頁/共24頁

多維數(shù)據(jù)集：事實表與維表多維數(shù)據(jù)集是聯(lián)機分析處理的主要對象，是分析數(shù)據(jù)的基礎，是一項可對數(shù)據(jù)倉庫的中的數(shù)據(jù)進行快速訪問的技術。維度：維度是人們觀察數(shù)據(jù)的特定角度，是數(shù)據(jù)的視圖，如可以從時間、科室、病種等不同的角度觀察有關住院情況的數(shù)據(jù)。在實際中最常用的維度是時間維度，維也可以有細節(jié)程度不同的描述，這些不同的描述稱為維的層次（級別或粒度）。數(shù)據(jù)倉庫中的數(shù)據(jù)按照不同的維組織起來形成了一個多維的立方體，也即多維數(shù)據(jù)集。

星型架構：單個維表；雪花架構：多個相關聯(lián)的維表第7頁/共24頁

級別、粒度、成員屬性粒度是數(shù)據(jù)倉庫中數(shù)據(jù)單元的詳細程度和級別。粒度越小，級別越低，細節(jié)程度越高；反之，數(shù)據(jù)綜合程度越高，粒度越大，級別就越高。數(shù)據(jù)的粒度越高，所需要存儲的數(shù)據(jù)量越少，但對決策者的重要性卻隨之增加。成員屬性一般為某一級別的具體屬性，通過為某一級別創(chuàng)建成員屬性，可以進行數(shù)據(jù)挖掘。

時間、病種、患者、……；區(qū)域、產(chǎn)品、……

時間維度：年、月、日

病種維度：ICD主類、ICD次類、ICD子類、疾病名稱

患者維度：所屬科室、經(jīng)診醫(yī)師、患者（成員屬性：性別、年齡、身份、費用類別、手術情況、入院方式、入院病情、出院方式、治療結果、就診次數(shù)、所患疾病等）治療結果：只有一個級別第8頁/共24頁

度量值：主要是數(shù)值型字段，如：費用金額、住院天數(shù)等

衍生度量值：就診人次數(shù)等

計算成員：均值、百分比、率等

第9頁/共24頁

時間代碼科室代碼病種代碼性別代碼年齡代碼身份代碼轉歸代碼住院天數(shù)術前住院天數(shù)住院總費用藥品費用……性別維表年齡維表身份維表時間維表科室維表病種維表轉歸維表住院事實表星型模型第10頁/共24頁

時間代碼患者代碼病種代碼性別代碼年齡代碼身份代碼轉歸代碼住院天數(shù)術前住院天數(shù)住院總費用藥品費用……性別維表年齡維表身份維表時間維表患者代碼住院科室代碼病種維表轉歸維表住院事實表雪花模型科室維表患者維表第11頁/共24頁SQLserver2000數(shù)據(jù)挖掘2005年11月10日第12頁/共24頁分析問題數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)倉庫多維數(shù)據(jù)集創(chuàng)建和訓練模型校驗數(shù)據(jù)數(shù)據(jù)挖掘模型維護數(shù)據(jù)挖掘數(shù)據(jù)清洗和轉換查詢數(shù)據(jù)客戶端數(shù)據(jù)查詢OLAP數(shù)據(jù)挖掘過程數(shù)據(jù)挖掘結果解釋查詢數(shù)據(jù)第13頁/共24頁數(shù)據(jù)挖掘（datamining，DM）就是通過對大型數(shù)據(jù)庫和數(shù)據(jù)倉庫中大量似乎無關的數(shù)據(jù)進行分析，以便發(fā)現(xiàn)并提取隱藏在數(shù)據(jù)深處的、人們事先不知道的、但是潛在有用的信息、知識和規(guī)律的過程。數(shù)據(jù)挖掘是一種基于發(fā)現(xiàn)的方法，它能夠自動分析數(shù)據(jù)并進行歸納性的推理，從中挖掘出潛在的規(guī)律或模式，以幫助管理決策者建立新的模型。第14頁/共24頁目前應用比較廣泛的數(shù)據(jù)挖掘模型和方法主要有基于規(guī)則的系統(tǒng)（決策樹）、統(tǒng)計方法（聚類）、神經(jīng)網(wǎng)絡、基于事例的推理、機器學習等。在AnalysisServices中系統(tǒng)內(nèi)置了決策樹和聚類分析兩種挖掘模型。決策樹模型是通過一系列的數(shù)據(jù)細分來實現(xiàn)最終的數(shù)據(jù)分析，適合于商業(yè)預測；而聚類分析模型常用于對比較類似的數(shù)據(jù)進行集成，適合于商業(yè)中的市場劃分。第15頁/共24頁決策樹模型

AnalysisServices中的決策樹模型是一種基于條件和概率的決策方法。它首先選擇數(shù)據(jù)中的顯著特征，然后根據(jù)這些特征不斷的對數(shù)據(jù)進行分類，縮小數(shù)據(jù)集，把數(shù)據(jù)逐步組織成樹的形式，直到建立起清晰的相關性，它能夠準確的預測事務的發(fā)展趨勢。第16頁/共24頁10000名循環(huán)系統(tǒng)疾病患者男性80％女性20％年齡>4895％年齡<=485％男性52％女性48％司機33％醫(yī)生31％律師28％其他8％子女數(shù)>=285％子女數(shù)<215％其他12％醫(yī)生43％律師45％居住地為省會城市或直轄市82%居住地非省會城市或直轄市18%決策樹分析模型第17頁/共24頁聚類模型

聚類分析是一種間接的數(shù)據(jù)挖掘方法，它是用來查找多維空間中的自然分組，通過提取數(shù)據(jù)之間的共同點來發(fā)現(xiàn)隱藏在數(shù)據(jù)中的規(guī)律。

第18頁/共24頁第19頁/共24頁女男152535455565司機醫(yī)生律師其他聚類分析模型第20頁/共24頁SQLserver2000中并不是只能使用上述兩種模型，分析人員還可以通過SQLserver2000提供的編程接口將其他算法引入到系統(tǒng)中，比如神經(jīng)網(wǎng)絡算法和遺傳算法。第21頁/共24頁使用挖掘向導創(chuàng)建數(shù)據(jù)挖掘模型的過程如下：選擇數(shù)據(jù)源的類型兩種數(shù)據(jù)源：（1）關系數(shù)據(jù)源：基于關系型數(shù)據(jù)源的挖掘模型（2）OLAP