1、第2章數(shù)據(jù)倉(cāng)庫的概念與結(jié)構(gòu),教學(xué)目標(biāo),掌握數(shù)據(jù)倉(cāng)庫的概念 掌握數(shù)據(jù)倉(cāng)庫系統(tǒng)的構(gòu)成 掌握數(shù)據(jù)倉(cāng)庫的內(nèi)部結(jié)構(gòu)。,2,學(xué)習(xí)交流PPT,教學(xué)要求,3,學(xué)習(xí)交流PPT,引例:AllElectronics的數(shù)據(jù)倉(cāng)庫構(gòu)造和使用的典型框架。,4,學(xué)習(xí)交流PPT,本章內(nèi)容,2.1 數(shù)據(jù)倉(cāng)庫的概念 2.2 數(shù)據(jù)倉(cāng)庫系統(tǒng)的構(gòu)成 2.3 數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)組織,5,學(xué)習(xí)交流PPT,2.1 數(shù)據(jù)倉(cāng)庫的概念,W. H. Inmon對(duì)數(shù)據(jù)倉(cāng)庫的定義：數(shù)據(jù)倉(cāng)庫就是面向主題的、集成的、不可更改的、隨時(shí)間不斷變化的數(shù)據(jù)集合，用于支持經(jīng)營(yíng)管理中的決策制定過程。,6,學(xué)習(xí)交流PPT,數(shù)據(jù)倉(cāng)庫的特征,1數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)是面向主題的 2.

2、 數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)是集成的 3數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)是不可更改的 4數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)是隨時(shí)間不斷變化的,7,學(xué)習(xí)交流PPT,特征1: 數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)是面向主題的,主題是一個(gè)抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用的抽象。在邏輯意義上，它對(duì)應(yīng)企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對(duì)象。 數(shù)據(jù)倉(cāng)庫中數(shù)據(jù)的按主題組織(數(shù)據(jù)庫中的數(shù)據(jù)怎么組織?) 例如:一個(gè)保險(xiǎn)公司的數(shù)據(jù)倉(cāng)庫所組織的主題可能為：客戶、政策、保險(xiǎn)金、索賠等， 而按應(yīng)用來組織則可能為：汽車保險(xiǎn)、生命保險(xiǎn)、傷亡保險(xiǎn)等。,8,學(xué)習(xí)交流PPT,主題的劃分需要遵守的原則,(1) 在劃分主題時(shí)，必須保證每個(gè)主題的獨(dú)立性，也就是

3、說，每一個(gè)主題要具有獨(dú)立的內(nèi)涵，明確的界限。 (2) 在劃分主題時(shí)，需要保證對(duì)主題進(jìn)行分析時(shí)所需的數(shù)據(jù)都可以在此主題內(nèi)找到，保證主題的完備性。 (3) 確定主題以后，需要確定主題應(yīng)該包含的數(shù)據(jù)，此時(shí)應(yīng)該注意不能將圍繞主題的數(shù)據(jù)與業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)相混淆。,9,學(xué)習(xí)交流PPT,思考,商場(chǎng)經(jīng)營(yíng)和決策分析中有哪些應(yīng)用和那些主題？,10,學(xué)習(xí)交流PPT,特征2: 數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)是集成的,集成性是指數(shù)據(jù)倉(cāng)庫中數(shù)據(jù)必須是一致的。數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)是從原有的分散的多個(gè)數(shù)據(jù)庫、數(shù)據(jù)文件和數(shù)據(jù)段中抽取來的，數(shù)據(jù)來源可能既有內(nèi)部數(shù)據(jù)又有外部數(shù)據(jù)。 數(shù)據(jù)集成的內(nèi)容 統(tǒng)一不同來源數(shù)據(jù)的表示 綜合和計(jì)算,11,學(xué)習(xí)交流P

4、PT,特征3: 數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)是不可更改的,從事務(wù)處理系統(tǒng)中提取的數(shù)據(jù)和從外部數(shù)據(jù)源中提取的數(shù)據(jù)，在數(shù)據(jù)倉(cāng)庫中被轉(zhuǎn)換、綜合并存儲(chǔ)。 數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)可以簡(jiǎn)單地理解為按主題組織的企業(yè)歷史數(shù)據(jù)，是對(duì)企業(yè)運(yùn)行歷史的記載。因此，數(shù)據(jù)倉(cāng)庫中的已有數(shù)據(jù)不可以修改，只供查詢和分析。這種不可更新性可以支持不同用戶在不同的時(shí)間查詢相同的問題時(shí)獲得相同的結(jié)果。 因?yàn)閷?duì)數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)只能進(jìn)行查詢和追加等操作，不可進(jìn)行修改操作，因此數(shù)據(jù)倉(cāng)庫的存儲(chǔ)管理相對(duì)于DBMS來說要簡(jiǎn)單得多。,12,學(xué)習(xí)交流PPT,特征4: 數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)是隨時(shí)間不斷變化的,數(shù)據(jù)倉(cāng)庫中數(shù)據(jù)隨時(shí)間變化 數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)追加 (1) 時(shí)標(biāo)方法。 (

5、2) DELTA文件。 (3) 前后映像文件的方法。 (4) 日志文件。,13,學(xué)習(xí)交流PPT,數(shù)據(jù)集市,數(shù)據(jù)倉(cāng)庫中側(cè)重于某特定部門或特定業(yè)務(wù)的數(shù)據(jù)子集 數(shù)據(jù)集市可以分成兩種，一種是獨(dú)立數(shù)據(jù)集市，另一種是從屬數(shù)據(jù)集市。,14,學(xué)習(xí)交流PPT,創(chuàng)建數(shù)據(jù)倉(cāng)庫與數(shù)據(jù)集市的模式,1. 自頂向下：這種模式首先把OLTP數(shù)據(jù)通過ETL匯集到數(shù)據(jù)倉(cāng)庫中，然后再把數(shù)據(jù)通過復(fù)制的方式推進(jìn)各個(gè)數(shù)據(jù)集市中，其優(yōu)點(diǎn)在于： (1) 數(shù)據(jù)來源固定，可以確保數(shù)據(jù)的完整性。 (2) 數(shù)據(jù)格式與單位一致，可以確?？缭讲煌瑪?shù)據(jù)集市進(jìn)行分析的正確性。 (3) 數(shù)據(jù)集市可以保證有共享的字段。因?yàn)槎际菑臄?shù)據(jù)倉(cāng)庫中分離出來的。,15,學(xué)

6、習(xí)交流PPT,創(chuàng)建數(shù)據(jù)倉(cāng)庫與數(shù)據(jù)集市的模式,2. 自底向上：這種模式首先將OLTP數(shù)據(jù)通過ETL匯集到數(shù)據(jù)集市中，然后通過復(fù)制的方式提升到數(shù)據(jù)倉(cāng)庫中，其優(yōu)點(diǎn)在于： (1) 由于首先構(gòu)建數(shù)據(jù)集市的工作相對(duì)簡(jiǎn)單，所以容易成功。 (2) 這種模式也是實(shí)現(xiàn)快速數(shù)據(jù)傳送的原型。,16,學(xué)習(xí)交流PPT,2.2 數(shù)據(jù)倉(cāng)庫系統(tǒng),數(shù)據(jù)倉(cāng)庫系統(tǒng)：對(duì)進(jìn)入數(shù)據(jù)倉(cāng)庫的原始數(shù)據(jù)完成抽取、轉(zhuǎn)換、過濾、清洗等處理，最終進(jìn)入數(shù)據(jù)倉(cāng)庫，以及對(duì)數(shù)據(jù)倉(cāng)庫中存儲(chǔ)的數(shù)據(jù)進(jìn)行更新、管理、使用、表現(xiàn)等的相關(guān)軟件/工具進(jìn)行集合，用以支持?jǐn)?shù)據(jù)倉(cāng)庫應(yīng)用或管理決策。,17,學(xué)習(xí)交流PPT,數(shù)據(jù)倉(cāng)庫系統(tǒng)的構(gòu)成,數(shù)據(jù)倉(cāng)庫系統(tǒng)通常被分為管理層(ETL管理

7、工具)、存儲(chǔ)層(數(shù)據(jù)倉(cāng)庫和數(shù)據(jù)集市)和分析工具層(OLAP、數(shù)據(jù)挖掘等)三個(gè)部分。,18,學(xué)習(xí)交流PPT,數(shù)據(jù)源,常見的數(shù)據(jù)源有： (1) 流行的關(guān)系數(shù)據(jù)庫系統(tǒng)：Oracle、Sybase、SQL Server、DB2等。 (2) 面向?qū)ο髷?shù)據(jù)庫系統(tǒng)：Objectstore等。 (3) 傳統(tǒng)的桌面數(shù)據(jù)庫系統(tǒng)：foxbase、foxpro等。 (4) 文件系統(tǒng)中的數(shù)據(jù)文件：UNIX、WINDOWS等。 (5) 其他數(shù)據(jù)源：word、excel等。 數(shù)據(jù)源可以是遞歸的。數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)源可以是另外一個(gè)數(shù)據(jù)倉(cāng)庫(或數(shù)據(jù)集市)或OLAP服務(wù)器。,19,學(xué)習(xí)交流PPT,數(shù)據(jù)倉(cāng)庫管理層,數(shù)據(jù)倉(cāng)庫管理層的功能

8、就是完成數(shù)據(jù)倉(cāng)庫的定義，數(shù)據(jù)抽取、轉(zhuǎn)換、裝載，數(shù)據(jù)歸檔、備份、維護(hù)、恢復(fù)及元數(shù)據(jù)管理等。 數(shù)據(jù)倉(cāng)庫的管理部分由數(shù)據(jù)倉(cāng)庫定義部件、數(shù)據(jù)獲取部件、數(shù)據(jù)管理部件和元數(shù)據(jù)管理部件四部分組成。,20,學(xué)習(xí)交流PPT,數(shù)據(jù)倉(cāng)庫管理層,數(shù)據(jù)倉(cāng)庫定義部件用于定義和建立數(shù)據(jù)倉(cāng)庫，包括： (1) 設(shè)計(jì)和定義數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)庫。 (2) 定義數(shù)據(jù)源。 (3) 確定數(shù)據(jù)源向數(shù)據(jù)倉(cāng)庫復(fù)制數(shù)據(jù)的轉(zhuǎn)換、清理規(guī)則。,21,學(xué)習(xí)交流PPT,數(shù)據(jù)倉(cāng)庫管理層,數(shù)據(jù)獲取部件主要功能包括： (1) 裝載數(shù)據(jù)倉(cāng)庫。依據(jù)數(shù)據(jù)定義部件定義的規(guī)則從數(shù)據(jù)源中將數(shù)據(jù)抽取到數(shù)據(jù)倉(cāng)庫中，完成清洗、變換和集成工作，將數(shù)據(jù)裝填到數(shù)據(jù)倉(cāng)庫中。 (2) 定期清

9、理數(shù)據(jù)倉(cāng)庫。清除數(shù)據(jù)倉(cāng)庫與數(shù)據(jù)源數(shù)據(jù)庫的不一致，清除失效數(shù)據(jù)。 一般用通用工具或特制的工具完成數(shù)據(jù)獲取工作。 數(shù)據(jù)管理部件對(duì)數(shù)據(jù)倉(cāng)庫中數(shù)據(jù)的維護(hù)、安全、備份、恢復(fù)、日志等管理工作。這些工作要借助DBMS的功能實(shí)現(xiàn)。,22,學(xué)習(xí)交流PPT,數(shù)據(jù)倉(cāng)庫管理層,數(shù)據(jù)倉(cāng)庫的元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫中所有管理、操作的信息目錄，包含了對(duì)數(shù)據(jù)模型、數(shù)據(jù)結(jié)構(gòu)、轉(zhuǎn)換規(guī)則、數(shù)據(jù)倉(cāng)庫結(jié)構(gòu)和控制信息的描述。 有了元數(shù)據(jù)，才可以最有效的利用數(shù)據(jù)倉(cāng)庫。 數(shù)據(jù)倉(cāng)庫的元數(shù)據(jù)包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)目錄兩部分。 技術(shù)元數(shù)據(jù)由關(guān)于數(shù)據(jù)源、目標(biāo)、轉(zhuǎn)換規(guī)則及數(shù)據(jù)源與數(shù)據(jù)倉(cāng)庫之間的映射組成。 業(yè)務(wù)目錄由數(shù)據(jù)倉(cāng)庫管理員生成，由數(shù)據(jù)來源、當(dāng)前值、預(yù)定義

10、的查詢等方面組成，是針對(duì)具體應(yīng)用數(shù)據(jù)的源數(shù)據(jù)管理。,23,學(xué)習(xí)交流PPT,數(shù)據(jù)倉(cāng)庫工具集,數(shù)據(jù)倉(cāng)庫工具集主要由一些分析工具組成，主要包括檢索查詢工具，多維數(shù)據(jù)的OLAP分析工具、統(tǒng)計(jì)分析及數(shù)據(jù)挖掘工具等。 數(shù)據(jù)倉(cāng)庫應(yīng)用是一個(gè)典型的C/S結(jié)構(gòu)，其客戶端的工作主要包括客戶交互、格式化查詢、可視化以及數(shù)據(jù)報(bào)表生成等；服務(wù)器端完成多種輔助的查詢、復(fù)雜的計(jì)算和各類綜合功能等。一般有OLAP服務(wù)器和DM服務(wù)器兩種。,24,學(xué)習(xí)交流PPT,數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)組織,25,學(xué)習(xí)交流PPT,數(shù)據(jù)綜合級(jí)別,早期細(xì)節(jié)數(shù)據(jù)存儲(chǔ)過去的詳細(xì)數(shù)據(jù)，反映真實(shí)的歷史情況，這類數(shù)據(jù)隨著時(shí)間增加，數(shù)據(jù)量很大，使用頻率低，一般存儲(chǔ)在轉(zhuǎn)換

11、介質(zhì)(如磁帶)中。 當(dāng)前細(xì)節(jié)數(shù)據(jù)存儲(chǔ)最近時(shí)期的業(yè)務(wù)數(shù)據(jù)，反映當(dāng)前業(yè)務(wù)的情況，數(shù)據(jù)量大，是數(shù)據(jù)倉(cāng)庫用戶最感興趣的部分。隨著時(shí)間的推移，當(dāng)前細(xì)節(jié)數(shù)據(jù)由數(shù)據(jù)倉(cāng)庫的時(shí)間控制機(jī)制轉(zhuǎn)為早期細(xì)節(jié)數(shù)據(jù)。 輕度綜合數(shù)據(jù)從當(dāng)前基本數(shù)據(jù)中提取出來，通常以較小的時(shí)間段(粒度)統(tǒng)計(jì)而成的數(shù)據(jù)，其數(shù)據(jù)量較細(xì)節(jié)及數(shù)據(jù)少得多。 高度綜合級(jí)的數(shù)據(jù)十分精煉，是一種準(zhǔn)決策數(shù)據(jù)。,26,學(xué)習(xí)交流PPT,數(shù)據(jù)粒度的概念,粒度是指數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)單位中保存數(shù)據(jù)細(xì)化或綜合程度的級(jí)別。 粒度影響存放在數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)量的大小，同時(shí)影響數(shù)據(jù)倉(cāng)庫所能回答查詢問題的細(xì)節(jié)程度。 粒度可以分為兩種形式： 按時(shí)問段綜合數(shù)據(jù)的粒度 按采樣率高低劃分的樣本數(shù)

12、據(jù)庫。,27,學(xué)習(xí)交流PPT,按時(shí)間段綜合數(shù)據(jù)的粒度,按照不同的時(shí)間段來綜合數(shù)據(jù)。 粒度既影響數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)量的多少，也影響數(shù)據(jù)倉(cāng)庫所能回答詢問的種類。 例如：電訊公司數(shù)據(jù)倉(cāng)庫中，保存一個(gè)顧客一個(gè)月內(nèi)每個(gè)電話的細(xì)節(jié)高細(xì)節(jié)級(jí)，低粒度級(jí)，假設(shè)有200個(gè)記錄，包含本月內(nèi)200個(gè)電話的任何信息；保存一個(gè)顧客一個(gè)月內(nèi)每天電話的匯總輕度綜合，較高粒度級(jí)，只有30或31條記錄，只能回答匯總查詢的問題。保存一個(gè)顧客一個(gè)月內(nèi)的電話的綜合低細(xì)節(jié)級(jí)，高粒度級(jí)，只有一條記錄。 為了適應(yīng)不同查詢的需要，在數(shù)據(jù)倉(cāng)庫中經(jīng)常是建立多重粒度，如按周綜合的輕度綜合級(jí)數(shù)據(jù)和按月綜合的高度綜合級(jí)數(shù)據(jù)。,28,學(xué)習(xí)交流PPT,樣本數(shù)

13、據(jù)庫,樣本數(shù)據(jù)庫的粒度級(jí)別根據(jù)采樣率的高低來劃分的。采樣粒度不同的樣本數(shù)據(jù)庫可以具有相同的綜合級(jí)別，一般它是以一定的采樣率從細(xì)節(jié)檔案數(shù)據(jù)或輕度綜合數(shù)據(jù)中抽集的一個(gè)子集。 樣本數(shù)據(jù)庫不是一般目的的數(shù)據(jù)庫，它是根據(jù)一定需求從源數(shù)據(jù)中的一個(gè)抽樣。 樣本數(shù)據(jù)庫的抽取可以按照數(shù)據(jù)的重要程度不同來進(jìn)行，樣本數(shù)據(jù)庫是建立在不同時(shí)點(diǎn)上的粒度。,29,學(xué)習(xí)交流PPT,面向主題的數(shù)據(jù)組織舉例,例如，一家采用“會(huì)員制”經(jīng)營(yíng)方式的商場(chǎng)，按業(yè)務(wù)已建立起銷售、采購(gòu)、庫存管理以及人事管理子系統(tǒng)。 概括各種分析領(lǐng)域的分析對(duì)象，可以綜合得到主題。上例的主題應(yīng)包括供應(yīng)商、商品、顧客等,30,學(xué)習(xí)交流PPT,面向主題的數(shù)據(jù)組織舉例

14、,面向應(yīng)用的數(shù)據(jù)組織,31,學(xué)習(xí)交流PPT,面向主題的數(shù)據(jù)組織舉例,面向主題的數(shù)據(jù)組織,32,學(xué)習(xí)交流PPT,數(shù)據(jù)分割,分割是指將數(shù)據(jù)分散到各自的物理單元中去以便能分別獨(dú)立處理，以提高數(shù)據(jù)處理效率。 數(shù)據(jù)分割后的數(shù)據(jù)單元稱為分片。 分割之后，小單元內(nèi)的數(shù)據(jù)相對(duì)獨(dú)立，處理起來更快、更容易。 一般在進(jìn)行實(shí)際的分析處理時(shí)，對(duì)于存在某種相關(guān)性的數(shù)據(jù)集合的分析是最常見的，如對(duì)某時(shí)間或某時(shí)段的數(shù)據(jù)的分析，對(duì)某一地區(qū)的數(shù)據(jù)的分析；對(duì)特定業(yè)務(wù)領(lǐng)域的數(shù)據(jù)的分析等，將其有這種相關(guān)性的數(shù)據(jù)組織在一起，就會(huì)提高效率。,33,學(xué)習(xí)交流PPT,數(shù)據(jù)分割的好處,對(duì)當(dāng)前細(xì)節(jié)數(shù)據(jù)進(jìn)行分割的總體目的就是把數(shù)據(jù)劃分成小的物理單元，

15、為操作者和設(shè)計(jì)者在管理數(shù)據(jù)時(shí)提供更大的靈活性。 小物理單元具有容易重構(gòu)、自由索引、順序掃描、容易重組、容易恢復(fù)和容易監(jiān)控等優(yōu)點(diǎn)。 數(shù)據(jù)倉(cāng)庫的本質(zhì)之一就是靈活的訪問數(shù)據(jù)，大塊數(shù)據(jù)達(dá)不到這個(gè)目的。,34,學(xué)習(xí)交流PPT,分割的標(biāo)準(zhǔn),數(shù)據(jù)分割的標(biāo)準(zhǔn)可以根據(jù)實(shí)際情況來確定，通?？蛇x擇: 按日期、地域、業(yè)務(wù)領(lǐng)域或組織單位等來進(jìn)行分割， 按多個(gè)分割標(biāo)準(zhǔn)的組合來進(jìn)行， 一般情況分割標(biāo)準(zhǔn)總應(yīng)包括日期項(xiàng)。,35,學(xué)習(xí)交流PPT,分割的層次,分割的層次一般分為系統(tǒng)層和應(yīng)用層兩層。 系統(tǒng)層的分割由數(shù)據(jù)庫管理系統(tǒng)和操作系統(tǒng)完成； 應(yīng)用層的分割有應(yīng)用系統(tǒng)完成，在應(yīng)用層上分割更有意義。,36,學(xué)習(xí)交流PPT,元數(shù)據(jù)的管理

16、,元數(shù)據(jù)的概念 元數(shù)據(jù)作為數(shù)據(jù)的數(shù)據(jù)，可對(duì)數(shù)據(jù)倉(cāng)庫中的各種數(shù)據(jù)進(jìn)行詳細(xì)的描述與說明，說明每個(gè)數(shù)據(jù)的上下文關(guān)系，使每個(gè)數(shù)據(jù)具有符合現(xiàn)實(shí)的真實(shí)含義，使最終用戶了解這些數(shù)據(jù)之間的關(guān)系。,37,學(xué)習(xí)交流PPT,元數(shù)據(jù)的類型,1按元數(shù)據(jù)的類型分類 (1) 關(guān)于基本數(shù)據(jù)的元數(shù)據(jù)：基本數(shù)據(jù)是指數(shù)據(jù)源、數(shù)據(jù)倉(cāng)庫、數(shù)據(jù)集市和應(yīng)用程序管理的所有數(shù)據(jù)。基本數(shù)據(jù)元數(shù)據(jù)包括定義、結(jié)構(gòu)的所有描述。 (2) 用于數(shù)據(jù)處理的元數(shù)據(jù)：對(duì)數(shù)據(jù)裝載、更新處理、分析處理、管理方面的信息，如數(shù)據(jù)抽取、轉(zhuǎn)換、聚合規(guī)則等的描述。 (3) 關(guān)于企業(yè)的組織結(jié)構(gòu)的元數(shù)據(jù)：包括與企業(yè)相關(guān)的管理方面的數(shù)據(jù)和信息，如用戶訪問數(shù)據(jù)倉(cāng)庫、數(shù)據(jù)源、數(shù)據(jù)集市的權(quán)限信息等。,38,學(xué)習(xí)交流PPT,元數(shù)據(jù)的類型,2 按抽象級(jí)別分類 (1) 概念級(jí)：包括業(yè)務(wù)的全部描述，如定義主要的業(yè)務(wù)實(shí)體、特征及其相互關(guān)系。系統(tǒng)的使用方法，已定義的查詢，