1、數(shù)據(jù)庫(kù)系統(tǒng)概論數(shù)據(jù)庫(kù)系統(tǒng)概論An Introduction to An Introduction to Database SystemDatabase System第十七章第十七章 數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)處理技術(shù)數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生v 操作型處理也叫事務(wù)處理）：對(duì)數(shù)據(jù)庫(kù)聯(lián)機(jī)的日常操作，通常是對(duì)一個(gè)或一組記錄的查詢(xún)和修改v 特點(diǎn)：快速響應(yīng)用戶(hù)請(qǐng)求，對(duì)數(shù)據(jù)的安全性、完整性以及事務(wù)吞吐量要求很高。v 分析型處理：對(duì)數(shù)據(jù)的查詢(xún)和分析操作，通常是對(duì)海量的歷史數(shù)據(jù)查詢(xún)和分析v 特點(diǎn)：要訪(fǎng)問(wèn)的數(shù)據(jù)量非常大，查詢(xún)和分析的操作十分復(fù)雜。v 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)v 為了構(gòu)建新的分析處理環(huán)境而

2、出現(xiàn)的一種數(shù)據(jù)存儲(chǔ)和組織技術(shù)第十七章第十七章 數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)17.1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)表17.1 操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的，或提煉的在存取瞬間是準(zhǔn)確的代表過(guò)去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻操作一元組一個(gè)時(shí)刻操作一集合事務(wù)驅(qū)動(dòng)分析驅(qū)動(dòng)面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支

3、持管理決策需求數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(續(xù)續(xù))v數(shù)據(jù)倉(cāng)庫(kù)定義：v是一個(gè)用以更好地支持企業(yè)或組織決策分析處理的、面向主題的、集成的、不可更新的、隨時(shí)間不斷變化的數(shù)據(jù)集合。v本質(zhì)上和數(shù)據(jù)庫(kù)一樣，是長(zhǎng)期儲(chǔ)存在計(jì)算機(jī)內(nèi)的、有組織、可共享的數(shù)據(jù)集合。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(續(xù)續(xù))v一、 數(shù)據(jù)倉(cāng)庫(kù)的基本特征v數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是面向主題的；v數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是集成的；v數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是不可更新的；v數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是隨時(shí)間不斷變化的 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(續(xù)續(xù))v二、 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織結(jié)構(gòu) 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(續(xù)續(xù))v三、 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu) 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)

4、倉(cāng)庫(kù)技術(shù)(續(xù)續(xù))v 數(shù)據(jù)倉(cāng)庫(kù)的后臺(tái)工具v 包括數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載和維護(hù)(Maintain)工具。v 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器v 相當(dāng)于數(shù)據(jù)庫(kù)系統(tǒng)中的DBMS，負(fù)責(zé)管理數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存儲(chǔ)管理和數(shù)據(jù)存取，并給OLAP服務(wù)器和前臺(tái)工具提供存取接口(如SQL查詢(xún)接口)v OLAP服務(wù)器v 透明地為前臺(tái)工具和用戶(hù)提供多維數(shù)據(jù)視圖v OLAP服務(wù)器則必須考慮物理上這些分析數(shù)據(jù)的存儲(chǔ)問(wèn)題v 前臺(tái)工具v 包括查詢(xún)報(bào)表工具、多維分析工具、數(shù)據(jù)挖掘工具和分析結(jié)果可視化工具等 第十七章第十七章 數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處

5、理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)v OLAP(On-Line Analytical Processing)即聯(lián)機(jī)分析處理，是以海量數(shù)據(jù)為基礎(chǔ)的復(fù)雜分析技術(shù) v 一、多維數(shù)據(jù)模型v 數(shù)據(jù)分析時(shí)用戶(hù)的數(shù)據(jù)視圖，是面向分析的數(shù)據(jù)模型，用于給分析人員提供多種觀(guān)察的視角和面向分析的操作 v 可用這樣來(lái)一個(gè)多維數(shù)組來(lái)表示：(維1，維2，維n，度量值) 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v 一、多維數(shù)據(jù)模型(續(xù))v 例如： (地區(qū)，時(shí)間，電器商品種類(lèi)，銷(xiāo)售額) n三維數(shù)組可以用一個(gè)立方體來(lái)直觀(guān)地表示n一般地多維數(shù)組用多維立方體CUBE

6、超立方體來(lái)表示聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v二、多維分析操作v 常用的OLAP多維分析操作v切片(slice)v切塊(dice)v旋轉(zhuǎn)(pivot)v向上綜合(roll-up)v向下鉆取(drill-down)等 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v三、OLAP的實(shí)現(xiàn)方式v按照多維數(shù)據(jù)模型的不同實(shí)現(xiàn)方式vMOLAP結(jié)構(gòu)vROLAP結(jié)構(gòu)vHOLAP結(jié)構(gòu)OLAP的實(shí)現(xiàn)方式的實(shí)現(xiàn)方式(續(xù)續(xù))vMOLAP結(jié)構(gòu)v以多維立方體CUBE來(lái)組織數(shù)據(jù)，以多維數(shù)組來(lái)存儲(chǔ)數(shù)據(jù)，支持直接對(duì)多維數(shù)據(jù)的各種操作。v多維數(shù)據(jù)庫(kù)( Multi-Dimension DataBase，簡(jiǎn)記為MDDB)。v例如：

7、Arbor公司的Essbase聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))vROLAP結(jié)構(gòu)v用RDBMS或擴(kuò)展的RDBMS來(lái)管理多維數(shù)據(jù)，用關(guān)系的表來(lái)組織和存儲(chǔ)多維數(shù)據(jù)v兩類(lèi)表：一類(lèi)是事實(shí)(fact)表，另一類(lèi)是維表v事實(shí)表用來(lái)描述和存儲(chǔ)多維立方體的度量值及各個(gè)維的碼值；v維表用來(lái)描述維信息。vROLAP用“星形模式和“雪片模式來(lái)表示多維數(shù)據(jù)模型聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))n星形模式Star Schema通常由一個(gè)中心表(事實(shí)表)和一組維表組成 n 如下圖所示的星形模式 星形模式的中心是銷(xiāo)售事實(shí)表維表有時(shí)間維表、顧客維表、銷(xiāo)售員維表、制造商維表和產(chǎn)品維表 圖17.4 星形模式聯(lián)機(jī)分析處

8、理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))n雪片模式就是對(duì)維表按層次進(jìn)一步細(xì)化后形成的圖17.5 雪片模式第十七章第十七章 數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)v一、數(shù)據(jù)挖掘的概念v概念：數(shù)據(jù)挖掘是從大量數(shù)據(jù)中發(fā)現(xiàn)并提取隱藏在內(nèi)的、人們事先不知道的但又可能有用的信息和知識(shí)的一種新技術(shù)v目的：幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)經(jīng)營(yíng)者被忽略的要素v數(shù)據(jù)挖掘技術(shù)涉及數(shù)據(jù)庫(kù)技術(shù)、人工智能技術(shù)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析等多種技術(shù)v決策支持系統(tǒng)(

9、DSS)跨入了一個(gè)新階段 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v二、數(shù)據(jù)挖掘和傳統(tǒng)分析方法的區(qū)別 v本質(zhì)區(qū)別：數(shù)據(jù)挖掘是在沒(méi)有明確假設(shè)的前提下去挖掘信息，發(fā)現(xiàn)知識(shí) v數(shù)據(jù)挖掘所得到的信息應(yīng)具有事先未知、有效和可實(shí)用3個(gè)特征 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v三、數(shù)據(jù)挖掘的數(shù)據(jù)源 v從數(shù)據(jù)倉(cāng)庫(kù)中來(lái)v優(yōu)點(diǎn)：許多數(shù)據(jù)不一致的問(wèn)題都較好地解決了，在數(shù)據(jù)挖掘時(shí)大大減少了清理數(shù)據(jù)的工作量 v缺點(diǎn)：建立數(shù)據(jù)倉(cāng)庫(kù)是一項(xiàng)巨大的工程，耗時(shí)耗力v從數(shù)據(jù)庫(kù)中來(lái)v如果只是為了數(shù)據(jù)挖掘，可以把一個(gè)或幾個(gè)OLTP數(shù)據(jù)庫(kù)導(dǎo)入一個(gè)只讀的數(shù)據(jù)庫(kù)中，然后在上面進(jìn)行數(shù)據(jù)挖掘數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v四、 數(shù)據(jù)挖掘的功能v概念描述v關(guān)聯(lián)分析v分類(lèi)和預(yù)測(cè)v聚類(lèi)v孤立點(diǎn)檢測(cè)v趨勢(shì)和演變分析數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))典型的數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)v 數(shù)據(jù)挖掘步驟v 明確挖掘任務(wù)v 對(duì)所選擇數(shù)據(jù)進(jìn)行預(yù)處理v 選擇具體的算法進(jìn)行挖掘v 對(duì)挖掘出的模式進(jìn)行評(píng)價(jià)v 消減重復(fù)部分v 展現(xiàn)最終的結(jié)果第十七章第十七章 數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)