1、何謂數(shù)據(jù)倉(cāng)庫(kù)？ 一種面向分析的環(huán)境； 一種把相關(guān)的各種數(shù)據(jù)轉(zhuǎn)換成有商業(yè)價(jià)值的信息的技術(shù)。,1、從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)庫(kù)系統(tǒng)能夠很好的用于事務(wù)處理，但它對(duì)分析處理的支持一直不能令人滿意。特別是當(dāng)以業(yè)務(wù)處理為主的聯(lián)機(jī)事務(wù)處理（OLTP） 應(yīng)用和以分析處理為主的DSS應(yīng)用共存于一個(gè)數(shù)據(jù)庫(kù)系統(tǒng)時(shí)，就會(huì)產(chǎn)生許多問題。 例如，事務(wù)處理應(yīng)用一般需要的是當(dāng)前數(shù)據(jù)，主要考慮較短的響應(yīng)時(shí)間；而分析處理應(yīng)用需要是歷史的、綜合的、集成的數(shù)據(jù)，它的分析處理過程可能持續(xù)幾個(gè)小時(shí)，從而消耗大量的系統(tǒng)資源。,人們逐漸認(rèn)識(shí)到直接用事務(wù)處理環(huán)境來支持DSS是行不通的。要提高分析和決策的有效性，分析型處理及其數(shù)據(jù)必須與操作型處理

2、及其數(shù)據(jù)分離。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來，按照DSS處理的需要進(jìn)行重新組織，建立單獨(dú)的分析處理環(huán)境。 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲(chǔ)和組織技術(shù)。,數(shù)據(jù)倉(cāng)庫(kù)與決策支持系統(tǒng)（DSS） 用戶在進(jìn)行決策制定時(shí)需要得到企業(yè)各方面的信息，因此用戶一般首先根據(jù)各個(gè)業(yè)務(wù)部門數(shù)據(jù)庫(kù)中的數(shù)據(jù)，創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)，存儲(chǔ)各種歷史信息和匯總信息。 對(duì)數(shù)據(jù)倉(cāng)庫(kù)的進(jìn)一步應(yīng)用由功能強(qiáng)大的分析工具來實(shí)現(xiàn)?，F(xiàn)在主要有三類分析工具可用于決策支持。 第一類能夠支持涉及分組和聚集查詢，并能夠?qū)Ω鞣N復(fù)雜的布爾條件、統(tǒng)計(jì)函數(shù)和時(shí)間序列分析提供支持的系統(tǒng)。主要由上述查詢組成的應(yīng)用稱為聯(lián)機(jī)分析處理，即

3、OLAP。在支持OLAP查詢的系統(tǒng)中，數(shù)據(jù)最好看成是一個(gè)多維數(shù)組。,第二類系統(tǒng)仍為支持傳統(tǒng)SQL查詢的DBMS，但為了有效地執(zhí)行OLAP查詢而進(jìn)行了特殊的設(shè)計(jì)。這些系統(tǒng)可以看作是為決策支持應(yīng)用進(jìn)行了優(yōu)化的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)。許多關(guān)系數(shù)據(jù)庫(kù)廠商對(duì)他們的產(chǎn)品進(jìn)行了擴(kuò)展，并且隨著時(shí)間的推移，專門的OLAP系統(tǒng)和支持決策支持的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)之間的差別將逐漸取消。,第三類的分析工具可用于在大量的數(shù)據(jù)集合中，找到有意義的數(shù)據(jù)趨勢(shì)或者模式，而不是上面提到的復(fù)雜數(shù)據(jù)查詢。在數(shù)據(jù)分析過程中，盡管分析者能夠判定得到的數(shù)據(jù)模式是否有意義，但是生成查詢來得到有意義的模式還是很困難的。例如，分析者查看信用卡使用記錄，希望從

4、中找出不正常的信用卡使用行為，以表明是被濫用的丟失的信用卡；商人希望通過查看客戶記錄找出潛在的客戶來提高收益。許多應(yīng)用涉及的數(shù)據(jù)量很大，很難用人工分析或者傳統(tǒng)的統(tǒng)計(jì)分析方法進(jìn)行分析，數(shù)據(jù)挖掘的目的就是對(duì)這種大量數(shù)據(jù)的分析提供支持。,2、數(shù)據(jù)倉(cāng)庫(kù)的定義及特征 數(shù)據(jù)倉(cāng)庫(kù)理論的創(chuàng)始人W.H.Inmon在其Building the Data Warehouse一書中，給出了數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)基本特征：面向主題，數(shù)據(jù)是集成的，數(shù)據(jù)是不可更新的，數(shù)據(jù)是隨時(shí)間不斷變化的。,采購(gòu)子系統(tǒng): 訂單（訂單號(hào)，供應(yīng)商號(hào)，商品號(hào)，類別，單價(jià)。數(shù)量，總金額，日期， ） 供應(yīng)商（供應(yīng)商號(hào)，供應(yīng)商名，地址，電話，） 銷售子系統(tǒng)：

5、 客戶（客戶號(hào)，姓名，地址，電話， ） 銷售（客戶號(hào)，商品號(hào)，數(shù)量，單價(jià)，日期， ） 庫(kù)存子系統(tǒng)： 進(jìn)庫(kù)單（編號(hào)，商品號(hào)，數(shù)量，單價(jià)，日期， ） 出庫(kù)單（編號(hào)，商品號(hào)，數(shù)量，單價(jià)，日期， ） 庫(kù)存（商品號(hào)， 庫(kù)房號(hào)，類別，單價(jià)，庫(kù)存數(shù)量， 總金額，日期， ）,商品固有信息：商品號(hào)，類別，單價(jià)，顏色， 商品采購(gòu)信息：商品號(hào)，類別，供應(yīng)商號(hào)，供應(yīng)日期，單價(jià)，數(shù)量， 商品銷售信息：商品號(hào)，客戶號(hào)，數(shù)量，單價(jià)，銷售日期， 商品庫(kù)存信息：商品號(hào)， 庫(kù)房號(hào)，庫(kù)存數(shù)量，日期， ）,商品主題域：,采購(gòu)子系統(tǒng),銷售子系統(tǒng),庫(kù)存子系統(tǒng),3、數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)分為四個(gè)級(jí)別：早期細(xì)節(jié)級(jí)，當(dāng)前細(xì)節(jié)級(jí)

6、，輕度綜合級(jí)，高度綜合級(jí)。,19851998年 銷售明細(xì)表,19982003年 銷售明細(xì)表,19982003年 每月銷售表,19982003年 每季度銷售表,DW中還有一類重要的數(shù)據(jù)：元數(shù)據(jù)（metedata）。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”（RDBMS中的數(shù)據(jù)字典就是一種元數(shù)據(jù)）。 數(shù)據(jù)倉(cāng)庫(kù)中的元數(shù)據(jù)描述了數(shù)據(jù)的結(jié)構(gòu)、內(nèi)容、索引、碼、數(shù)據(jù)轉(zhuǎn)換規(guī)則、粒度定義等。,4、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)結(jié)構(gòu),RDBMS,數(shù)據(jù)文件,其他,綜合數(shù)據(jù),當(dāng)前數(shù)據(jù),歷史數(shù)據(jù),元數(shù)據(jù),抽取、轉(zhuǎn)換、裝載,數(shù)據(jù)倉(cāng)庫(kù),OLAP工具,DM工具,查詢工具,分析工具,二、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)分為如下三個(gè)階段：,數(shù)據(jù)倉(cāng)庫(kù)建模 分析主題域

7、確定粒度層次 確定數(shù)據(jù)分割策略 構(gòu)建數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)與存儲(chǔ)策略 DSS應(yīng)用編程,三、操作數(shù)據(jù)存儲(chǔ)（ODS ） 在許多情況下，DB-DW的兩層體系結(jié)構(gòu)并不適合企業(yè)的數(shù)據(jù)處理要求。因?yàn)?，雖然可以粗略地把數(shù)據(jù)處理分成操作型和分析型，但這兩種處理處理并不是涇渭分明的。 ODS（Operational Data Store）作為一個(gè)中間層次，一方面，它包含企業(yè)全局一致的、細(xì)節(jié)的、當(dāng)前的或接近當(dāng)前的數(shù)據(jù)，另一方面，它又是一個(gè)面向主題、集成的數(shù)據(jù)環(huán)境，適合完成日常決策的分析處理。,四、數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn) 數(shù)據(jù)倉(cāng)庫(kù)的工具主要有：數(shù)據(jù)預(yù)處理工具，數(shù)據(jù)分析（ OLAP ）工具，數(shù)據(jù)挖掘工具，OLAP服務(wù)器。,

8、數(shù)據(jù)倉(cāng)庫(kù)和OLAP工具基于多維數(shù)據(jù)模型（在數(shù)據(jù)倉(cāng)庫(kù)中，通常以多維方式來存儲(chǔ)數(shù)據(jù)。 ）。 基本概念 維：人們觀察數(shù)據(jù)的特定角度。 維的層次：人們觀察數(shù)據(jù)的特定角度可能存在細(xì)節(jié)程度不同的多個(gè)描述方面，我們稱其為維的層次。 多維分析的基本動(dòng)作 上卷:匯總數(shù)據(jù) 下鉆：明細(xì)數(shù)據(jù) 切片，旋轉(zhuǎn)，。,Sales volume as a function of product, month, and region,Product,Region,Month,Dimensions: Product, Location, Time Hierarchical summarization paths,Industry R

9、egion Year Category Country Quarter Product City Month Week Office Day,Total annual sales of TV in U.S.A.,Date,Product,Country,All, All, All,sum,sum,TV,VCR,PC,1Qtr,2Qtr,3Qtr,4Qtr,U.S.A,Canada,Mexico,sum,選定兩個(gè)維：產(chǎn)品維和地區(qū)維,時(shí)間維,數(shù)據(jù)切片,產(chǎn)品維,地區(qū)維,產(chǎn)品維,地區(qū)維,基于RDBMS的數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn) 關(guān)系數(shù)據(jù)庫(kù)將多維數(shù)據(jù)庫(kù)中的多維結(jié)構(gòu)分為兩類：一類是事實(shí)表，用來存儲(chǔ)事實(shí)的度量值以及各個(gè)

10、維的碼值；另一類是維表。 數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)模型有：星型模式，雪花模式，混合模式 數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)也可以理解為面向OLAP的數(shù)據(jù)庫(kù)設(shè)計(jì)。,在星型模式中，主要數(shù)據(jù)存儲(chǔ)在事實(shí)表中，沒有冗余，并符合3NF或BCNF。 維值信息存儲(chǔ)在維表中。維表一般不需要規(guī)范化。主要原因是維表是靜態(tài)的，是否會(huì)產(chǎn)生因更新而導(dǎo)致異常也就不重要了。,Products,Pid pname category price,Locations,Locid city state country,Pid timeid locid sales,Timeid date month quarter year holiday_flag,Times,

11、Sales,定單號(hào) 銷售員號(hào) 客戶號(hào) 產(chǎn)品號(hào) 日期標(biāo)識(shí) 地區(qū)名稱 數(shù)量 總價(jià),定單號(hào) 定貨日期,客戶號(hào) 客戶名稱 客戶地址,銷售員號(hào) 姓名 城市,產(chǎn)品號(hào) 產(chǎn)品名稱 單價(jià),日期標(biāo)識(shí) 日 月 年,地區(qū)名稱 省,事實(shí)表,星型模式,定單號(hào) 銷售員號(hào) 客戶號(hào) 產(chǎn)品號(hào) 日期標(biāo)識(shí) 地區(qū)名稱 數(shù)量 總價(jià),定單號(hào) 定貨日期,客戶號(hào) 客戶名稱 客戶地址,銷售員號(hào) 姓名 城市,產(chǎn)品號(hào) 產(chǎn)品名稱 單價(jià),日期標(biāo)識(shí) 日 月 年,地區(qū)名稱 省,事實(shí)表,雪花模式,產(chǎn)品號(hào) 公司代碼,公司代碼 公司名稱 地址,五、SQL Server 2000 數(shù)據(jù)倉(cāng)庫(kù)工具 數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS) 用于向數(shù)據(jù)倉(cāng)庫(kù)中加載數(shù)據(jù) 數(shù)據(jù)復(fù)制 用于分布式

12、數(shù)據(jù)倉(cāng)庫(kù)分布和加載數(shù)據(jù) OLE DB 提供應(yīng)用程序與數(shù)據(jù)源的接口API Analysis Service 用于采集和分析數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù) English Query 提供使用英語(yǔ)語(yǔ)言查詢數(shù)據(jù)倉(cāng)庫(kù) Meta Data Service 瀏覽數(shù)據(jù)倉(cāng)庫(kù)中的元數(shù)據(jù) PivotTable服務(wù) 用于定制操作多維數(shù)據(jù)的客戶端接口,在數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)市場(chǎng)中的信息可以由聯(lián)機(jī)分析(OLAP)處理，OLAP可以有效地以由維度和度量組成的立方體方式查看數(shù)據(jù)。然而，存在著這種問題：雖然OLAP合計(jì)是在數(shù)據(jù)倉(cāng)庫(kù)中可以達(dá)到的查詢性能的關(guān)鍵因素，但是存儲(chǔ)這些合計(jì)數(shù)據(jù)的成本是磁盤存儲(chǔ)量。事實(shí)上，合計(jì)數(shù)據(jù)量可以輕易地超過原有的數(shù)據(jù)

13、量。另外，當(dāng)維度和合計(jì)量提高時(shí)，所要求的OLAP數(shù)據(jù)存儲(chǔ)量也大大地提高。這種對(duì)存儲(chǔ)量的極大要求一般稱為數(shù)據(jù)爆炸。 OLAP描述的是一種多維數(shù)據(jù)服務(wù)，這種服務(wù)的設(shè)計(jì)目的是保證分析員、經(jīng)理和決策者針對(duì)特定的問題，通過快速、一致、交互式的實(shí)時(shí)數(shù)據(jù)訪問和分析，獲得有創(chuàng)意的發(fā)現(xiàn)。,在SQL Server 2000中，有3種用于存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)中維度數(shù)據(jù)的方法，每一種方法都隨其數(shù)據(jù)存儲(chǔ)要求和其數(shù)據(jù)檢索速度而變化。 (l) MOLAP：多維型OLAP在一個(gè)用于壓縮索引的永久數(shù)據(jù)存儲(chǔ)中存儲(chǔ)維度數(shù)據(jù)和事實(shí)數(shù)據(jù)。合計(jì)存儲(chǔ)用來加快數(shù)據(jù)訪問。MOLAP查詢引擎是專有的，并且優(yōu)化成由MOLAP數(shù)據(jù)存儲(chǔ)使用的存儲(chǔ)格式。MOLAP提供了比ROLAP更快的查詢處理速度，并且要求更少的存儲(chǔ)空間。然而，它不能較好地伸縮，并且要求使用單獨(dú)的數(shù)據(jù)庫(kù)來存儲(chǔ)。,(2) ROLAP：關(guān)系型OLAP在關(guān)系型數(shù)據(jù)表中存儲(chǔ)合計(jì)。ROLAP針對(duì)關(guān)系型數(shù)據(jù)庫(kù)的應(yīng)用允許其利用已有的數(shù)據(jù)庫(kù)