數(shù)據(jù)倉(cāng)庫(kù)概念、設(shè)計(jì)及應(yīng)用提綱1.為什么要建立數(shù)據(jù)倉(cāng)庫(kù)2.數(shù)據(jù)倉(cāng)庫(kù)的概念及特性3.數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)4.數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)5.數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)過(guò)程6.數(shù)據(jù)倉(cāng)庫(kù)的典型應(yīng)用事務(wù)處理環(huán)境不適宜DSS應(yīng)用的原因

事務(wù)處理和分析處理的性能特性不同操作型處理對(duì)數(shù)據(jù)的存取操作頻率高而每次操作處理的時(shí)間短；

在分析處理環(huán)境中，某個(gè)DSS應(yīng)用程序可能需要連續(xù)幾個(gè)小時(shí)，從而消耗大量的系統(tǒng)資源。數(shù)據(jù)集成問(wèn)題數(shù)據(jù)動(dòng)態(tài)集成問(wèn)題歷史數(shù)據(jù)問(wèn)題數(shù)據(jù)的綜合問(wèn)題

抽取程序用抽取程序能將數(shù)據(jù)從高性能聯(lián)機(jī)事務(wù)處理方式中轉(zhuǎn)移出來(lái)，在需要總體分析數(shù)據(jù)時(shí)就與聯(lián)機(jī)事務(wù)處理性能不發(fā)生沖突。用抽取程序能將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理范圍內(nèi)移出時(shí)，數(shù)據(jù)的控制方式就發(fā)生了轉(zhuǎn)變。蜘蛛網(wǎng)問(wèn)題數(shù)據(jù)缺乏可信性數(shù)據(jù)無(wú)時(shí)基數(shù)據(jù)算法上的差異抽取的多層次外部數(shù)據(jù)問(wèn)題無(wú)起始的公共數(shù)據(jù)源生產(chǎn)率低根據(jù)全部數(shù)據(jù)生成企業(yè)報(bào)表定位數(shù)據(jù)需要瀏覽大量文件抽取程序很多，并且每個(gè)都是定制的，不得不克服很多技術(shù)上的障礙。數(shù)據(jù)轉(zhuǎn)化為信息的不可行性數(shù)據(jù)沒(méi)有集成化缺乏將數(shù)據(jù)轉(zhuǎn)化為信息所需的歷史數(shù)據(jù)體系結(jié)構(gòu)設(shè)計(jì)環(huán)境的層次數(shù)據(jù)操作層只保存原始數(shù)據(jù)并且服務(wù)于高性能事務(wù)處理領(lǐng)域；數(shù)據(jù)倉(cāng)庫(kù)層存儲(chǔ)不更新的原始數(shù)據(jù)，此外一些導(dǎo)出數(shù)據(jù)也在此存在；數(shù)據(jù)的部門層幾乎只存放導(dǎo)出數(shù)據(jù)；在數(shù)據(jù)個(gè)體層中完成大多數(shù)啟發(fā)式分析操作層原子/數(shù)據(jù)倉(cāng)庫(kù)層部門層個(gè)體層數(shù)據(jù)倉(cāng)庫(kù)的概念

數(shù)據(jù)倉(cāng)庫(kù)是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合。[WilliamH.Inmon]與其他數(shù)據(jù)庫(kù)應(yīng)用不同的是，數(shù)據(jù)倉(cāng)庫(kù)更像一種過(guò)程，對(duì)分布在企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)的整合、加工和分析的過(guò)程。數(shù)據(jù)倉(cāng)庫(kù)的特性

面向主題典型的主題領(lǐng)域：客戶；產(chǎn)品；交易；帳目集成的數(shù)據(jù)提取、凈化、轉(zhuǎn)換、裝載非易失的數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)通常是一起載入和訪問(wèn)的，但并不進(jìn)行一般意義上的數(shù)據(jù)更新隨時(shí)間的變化性數(shù)據(jù)倉(cāng)庫(kù)中的時(shí)間期限要遠(yuǎn)遠(yuǎn)長(zhǎng)于操作型系統(tǒng)中的時(shí)間期限（5~10年）；數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是一系列某一時(shí)刻生成的復(fù)雜的快照；數(shù)據(jù)倉(cāng)庫(kù)的鍵碼結(jié)構(gòu)總是包含某時(shí)間元素。數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)早期細(xì)節(jié)級(jí)當(dāng)前細(xì)節(jié)級(jí)輕度綜合級(jí)數(shù)據(jù)集市高度綜合級(jí)元數(shù)據(jù)操作型轉(zhuǎn)換

數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中的幾個(gè)重要概念

ETLETL（Extract/Transformation/Load）—用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換,最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。元數(shù)據(jù)關(guān)于數(shù)據(jù)的數(shù)據(jù)，指在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過(guò)程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義，目標(biāo)定義，轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。同時(shí)元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息。粒度數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級(jí)別。細(xì)化程度越高，粒度級(jí)就越??；相反，細(xì)化程度越低，粒度級(jí)就越大。分割結(jié)構(gòu)相同的數(shù)據(jù)被分成多個(gè)數(shù)據(jù)物理單元。任何給定的數(shù)據(jù)單元屬于且僅屬于一個(gè)分割。典型的元元數(shù)據(jù)包包括：數(shù)據(jù)倉(cāng)庫(kù)庫(kù)表的結(jié)結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)表的屬屬性數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的源數(shù)數(shù)據(jù)（記記錄系統(tǒng)統(tǒng)）從記錄系系統(tǒng)到數(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的映射射數(shù)據(jù)模型型的規(guī)格格說(shuō)明抽取日志志訪問(wèn)數(shù)據(jù)據(jù)的公用用例行程程序數(shù)據(jù)倉(cāng)庫(kù)庫(kù)設(shè)計(jì)中中的幾個(gè)個(gè)重要概概念(續(xù)）DataMart數(shù)據(jù)集市市--小型型的，面面向部門門或工作作組級(jí)數(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)。OperationDataStore操作數(shù)據(jù)據(jù)存儲(chǔ)——ODS是能支持持企業(yè)日日常的全全局應(yīng)用用的數(shù)據(jù)據(jù)集合,是不同同于DB的一種新新的數(shù)據(jù)據(jù)環(huán)境,是DW擴(kuò)展后得得到的一一個(gè)混合合形式。。四個(gè)基基本特點(diǎn)點(diǎn)：面向向主題的的(Subject-Oriented)、、集成的、、可變的的、當(dāng)當(dāng)前或接接近當(dāng)前前的。datamodel數(shù)據(jù)模型型--（1）邏輯數(shù)數(shù)據(jù)結(jié)構(gòu)構(gòu)，包括括由DBMS為有效進(jìn)進(jìn)行數(shù)據(jù)據(jù)庫(kù)處理理提供的的操作和和約束；；（2）用于表表示數(shù)據(jù)據(jù)的系統(tǒng)統(tǒng)（例如如，ERD或關(guān)系型型模型））。artifact人工關(guān)系系--在DSS環(huán)境中用用于表示示參照完完整性的的一種設(shè)設(shè)計(jì)技術(shù)術(shù)。企業(yè)數(shù)據(jù)據(jù)模型到到數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)數(shù)據(jù)據(jù)模型的的轉(zhuǎn)換除去純粹粹用于操操作型環(huán)環(huán)境的數(shù)數(shù)據(jù)在企業(yè)鍵鍵碼結(jié)構(gòu)構(gòu)中增加加時(shí)間元元素增加導(dǎo)出出數(shù)據(jù)創(chuàng)建人工工關(guān)系數(shù)據(jù)模型型的規(guī)范范化/反反規(guī)范化化為了減少少程序在在表中的的跳轉(zhuǎn)、、節(jié)省I/O，，需將多個(gè)個(gè)相關(guān)的的表合并并；引入冗余余數(shù)據(jù)；；當(dāng)訪問(wèn)概概率有很很大懸殊殊時(shí)，要要對(duì)數(shù)據(jù)據(jù)做進(jìn)一一步分離離；在物理理數(shù)據(jù)據(jù)庫(kù)的的設(shè)計(jì)計(jì)中引引入導(dǎo)導(dǎo)出數(shù)數(shù)據(jù)可可以減減少I/O；建立所所謂的的“創(chuàng)創(chuàng)造的的”索索引或或創(chuàng)造造的簡(jiǎn)簡(jiǎn)要記記錄（（如卷卷中的的前十十名顧顧客是是———）數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)OLTP數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市?數(shù)據(jù)采集及整合數(shù)據(jù)的映射規(guī)則、模型。。。

（元數(shù)據(jù)管理）數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目流程管理及系統(tǒng)性能管理和監(jiān)控?數(shù)據(jù)展現(xiàn)及決策生產(chǎn)財(cái)務(wù)結(jié)算外部航線分析總量分析市場(chǎng)分析InfoPump數(shù)據(jù)分析、DM終端用戶終端用戶從操作作型的的現(xiàn)存存系統(tǒng)統(tǒng)到數(shù)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)中中數(shù)據(jù)據(jù)轉(zhuǎn)換換工作作的難難點(diǎn)現(xiàn)有系系統(tǒng)缺缺乏數(shù)數(shù)據(jù)集集成，，跨越越不同同應(yīng)用用的數(shù)數(shù)據(jù)集集成性性很差差存取現(xiàn)現(xiàn)存系系統(tǒng)的的效率率，掃掃描已已有文文件成成了數(shù)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)體體系結(jié)結(jié)構(gòu)設(shè)設(shè)計(jì)者者主要要面對(duì)對(duì)的問(wèn)問(wèn)題時(shí)基的的變化化數(shù)據(jù)要要濃縮縮概念：數(shù)據(jù)周周期、、簡(jiǎn)要要記錄錄數(shù)據(jù)周周期：：是指從從操作作型數(shù)數(shù)據(jù)發(fā)發(fā)生改改變起起，到到這個(gè)個(gè)變化化反映映到數(shù)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)中中所用用的時(shí)時(shí)間。從操作作型環(huán)環(huán)境知知道數(shù)數(shù)據(jù)的的改變變到這這個(gè)變變化反反映到到數(shù)據(jù)據(jù)倉(cāng)庫(kù)庫(kù)中至至少應(yīng)應(yīng)該經(jīng)經(jīng)歷24小小時(shí)。。簡(jiǎn)要記記錄：：或聚集集記錄錄，是是把不不同操操作型型數(shù)據(jù)據(jù)的詳詳細(xì)信信息聚聚集在在一個(gè)個(gè)記錄錄中而而形成成的記記錄。。好處：：①減減少數(shù)數(shù)據(jù)量量；②為用用戶的的訪問(wèn)問(wèn)和分分析提提供了了一種種緊湊湊的方方便的的數(shù)據(jù)據(jù)組織織形式式；缺點(diǎn)：：信息息的詳詳細(xì)程程度將將會(huì)降降低。。數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的的建模模數(shù)據(jù)模模型所有的的實(shí)體體都是是平等等關(guān)系系。僅僅從從數(shù)據(jù)據(jù)模型型的角角度來(lái)來(lái)著手手設(shè)計(jì)計(jì)數(shù)據(jù)據(jù)倉(cāng)庫(kù)庫(kù)會(huì)產(chǎn)產(chǎn)生一一種““平面面”效效應(yīng)。。星型連連接事實(shí)表表：位于星星型連連接的的中央央，它它是被被大量量載入入數(shù)據(jù)據(jù)的實(shí)實(shí)體。。維表：：周圍圍的其其它實(shí)實(shí)體。。在很多多情況況下：：文本本數(shù)據(jù)據(jù)與數(shù)數(shù)值數(shù)數(shù)據(jù)是是分離離開(kāi)的的。通過(guò)數(shù)數(shù)據(jù)預(yù)預(yù)連接接和建建立有有選擇擇的數(shù)數(shù)據(jù)冗冗余，，設(shè)計(jì)計(jì)者為為訪問(wèn)問(wèn)和分分析過(guò)過(guò)程大大大簡(jiǎn)簡(jiǎn)化了了數(shù)據(jù)據(jù)。星型連連接應(yīng)應(yīng)用于于設(shè)計(jì)計(jì)數(shù)據(jù)據(jù)倉(cāng)庫(kù)庫(kù)中很很大的的實(shí)體體，而而數(shù)據(jù)據(jù)模型型則應(yīng)應(yīng)用于于數(shù)據(jù)據(jù)倉(cāng)庫(kù)庫(kù)中較較小的的實(shí)體體。VendordataVendordataVendordatavendor_id供應(yīng)商cust_id客戶order_id發(fā)貨OrderdataOrderdataorder_id訂單CustdataCustdataCustdataNonkeydataOrderdataOrderdataOrderdata產(chǎn)品ProductdataProductdataProductdataProductidVendoridNonkeydatacustidNonkeydataorderidNonkeydataproductid數(shù)據(jù)建建模的的十條條戒律律①必須須回答答緊迫迫的問(wèn)問(wèn)題；；②必須須有正正確的的事實(shí)實(shí)表；；③將有有正確確的維維表，，描述述必須須按最最終用用戶的的業(yè)務(wù)務(wù)術(shù)語(yǔ)語(yǔ)表達(dá)達(dá)；④必須須理解解數(shù)據(jù)據(jù)倉(cāng)庫(kù)庫(kù)所影影響的的公司司過(guò)程程或影影響數(shù)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的的公司司過(guò)程程；⑤對(duì)于于事實(shí)實(shí)表，，應(yīng)該該有正正確的的“粒粒度””；⑥根據(jù)據(jù)需要要存儲(chǔ)儲(chǔ)正確確長(zhǎng)度度的公公司歷歷史數(shù)數(shù)據(jù)；；⑦以一一種對(duì)對(duì)于公公司有有意義義的方方式來(lái)來(lái)集成成所有有必要要的數(shù)數(shù)據(jù)；；⑧創(chuàng)建建必要要的總總結(jié)表表；⑨創(chuàng)建建必要要的索索引；；⑩能夠夠加載載數(shù)據(jù)據(jù)倉(cāng)庫(kù)庫(kù)數(shù)據(jù)據(jù)庫(kù)并并使它它以一一種適適宜的的方式式可用用。數(shù)據(jù)集集市外部數(shù)數(shù)據(jù)用自頂頂向下下的方方法構(gòu)構(gòu)建數(shù)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)數(shù)據(jù)集集市建造企企業(yè)數(shù)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)建設(shè)中心數(shù)數(shù)據(jù)模型一次性的完完成數(shù)據(jù)的的重構(gòu)工作作最小化數(shù)據(jù)據(jù)冗余度和和不一致性性存儲(chǔ)詳細(xì)的的歷史數(shù)據(jù)據(jù)從企業(yè)數(shù)據(jù)據(jù)倉(cāng)庫(kù)中建建造數(shù)據(jù)集集市得到大部分分的集成數(shù)數(shù)據(jù)直接依賴于于數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的可用性性操作數(shù)據(jù)問(wèn)題投資效益的的時(shí)間?建設(shè)中心數(shù)數(shù)據(jù)模型的的必要性和和可能性?初始費(fèi)用?企業(yè)數(shù)據(jù)倉(cāng)庫(kù)用自底向上上的方法構(gòu)構(gòu)建數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)數(shù)據(jù)集市建立部門數(shù)數(shù)據(jù)集市限制在一個(gè)個(gè)主題區(qū)域域快速投資收收益區(qū)域自治––設(shè)計(jì)計(jì)的可伸縮縮性強(qiáng)對(duì)相關(guān)部門門的應(yīng)用容容易復(fù)制對(duì)每個(gè)數(shù)據(jù)據(jù)集市需要要數(shù)據(jù)重構(gòu)構(gòu)存在一定的的冗余及不不一直性逐步擴(kuò)展到到企業(yè)數(shù)據(jù)據(jù)倉(cāng)庫(kù)(EDW)把建造EDW作為一個(gè)長(zhǎng)長(zhǎng)期的目標(biāo)標(biāo)存在的問(wèn)題題:數(shù)據(jù)集市的的數(shù)據(jù)都是是可用的嗎嗎?能生成數(shù)據(jù)據(jù)模型嗎?如何解決不不一致性?外部數(shù)據(jù)操作數(shù)據(jù)(全局)&操作數(shù)據(jù)(局部)操作數(shù)據(jù)(局部)數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)的的開(kāi)發(fā)過(guò)程程建立或獲得得企業(yè)的數(shù)數(shù)據(jù)模型；；定義記錄系系統(tǒng)；設(shè)計(jì)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)并按主主題領(lǐng)域進(jìn)進(jìn)行組織；；設(shè)計(jì)和建立立操作型環(huán)環(huán)境中的記記錄系統(tǒng)和和數(shù)據(jù)倉(cāng)庫(kù)庫(kù)之間的接接口，這些些接口能保保證數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的載入入工作能有有序的進(jìn)行行；開(kāi)始載入第第一個(gè)主題題領(lǐng)域，進(jìn)進(jìn)入載入和和反饋過(guò)程程，數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)中的數(shù)數(shù)據(jù)在此過(guò)過(guò)程中也在在不斷地改改變。數(shù)據(jù)模型的的內(nèi)容標(biāo)識(shí)主要主主題領(lǐng)域。。各個(gè)主要主主題之間的的各種關(guān)系系。清晰地定義義模型的邊邊界。把原始數(shù)據(jù)據(jù)和導(dǎo)出數(shù)數(shù)據(jù)分離。。每個(gè)主題領(lǐng)領(lǐng)域需要標(biāo)標(biāo)識(shí)鍵碼屬性屬性分組之之間的關(guān)系系多重出現(xiàn)的的數(shù)據(jù)數(shù)據(jù)的類型型表達(dá)數(shù)據(jù)模模型的最好好數(shù)據(jù)最實(shí)時(shí)最準(zhǔn)確最完備與外部數(shù)據(jù)據(jù)源最近最具結(jié)構(gòu)兼兼容性定義記錄系系統(tǒng)就是找找出現(xiàn)存系系統(tǒng)所具有有的最好的的數(shù)據(jù)將數(shù)據(jù)模型型變?yōu)閿?shù)據(jù)據(jù)倉(cāng)庫(kù)要做做的主要工工作如果原先沒(méi)沒(méi)有時(shí)間元元素的話，，時(shí)間元素素必須加入入到鍵碼結(jié)結(jié)構(gòu)中必須清除所所有的純操操作型數(shù)據(jù)據(jù)需要將參照照完整性關(guān)關(guān)系轉(zhuǎn)換成成“人工關(guān)關(guān)系”將經(jīng)常需要要用到的到到處數(shù)據(jù)假假如到設(shè)計(jì)計(jì)中對(duì)數(shù)據(jù)的結(jié)結(jié)構(gòu)進(jìn)行調(diào)調(diào)整增加數(shù)據(jù)陣陣列增加數(shù)據(jù)冗冗余在合適的情情況下進(jìn)一一步分離數(shù)數(shù)據(jù)在合適的時(shí)時(shí)候合并數(shù)數(shù)據(jù)表需要做數(shù)據(jù)據(jù)的穩(wěn)定性性分析在接口中需需完成的工工作數(shù)據(jù)抽取對(duì)來(lái)自操作作型、面向向應(yīng)用型環(huán)環(huán)境的數(shù)據(jù)據(jù)的集成數(shù)據(jù)時(shí)基的的變更數(shù)據(jù)壓縮對(duì)現(xiàn)存系統(tǒng)統(tǒng)環(huán)境的有有效掃描數(shù)據(jù)倉(cāng)庫(kù)開(kāi)開(kāi)發(fā)成功的的關(guān)鍵關(guān)鍵：是數(shù)數(shù)據(jù)體系結(jié)結(jié)構(gòu)設(shè)計(jì)者者和DSS分析者之間間的反饋循循環(huán)。有幾點(diǎn)觀察察結(jié)果對(duì)數(shù)數(shù)據(jù)倉(cāng)庫(kù)環(huán)環(huán)境的成功功建立是至至關(guān)重要的的問(wèn)題：DSS分析人員一一定要嚴(yán)格格遵循“給給我我所要要的東西，，然后我能能告訴你我我真正需要要的東西””的工作模模式；反饋循環(huán)的的周期越短短，越有可可能成功；；需要調(diào)整的的數(shù)據(jù)量越越大，反饋饋循環(huán)所需需要的周期期就越長(zhǎng)數(shù)據(jù)倉(cāng)庫(kù)的的應(yīng)用在證券業(yè)的應(yīng)應(yīng)用:可處理客戶戶分析、帳帳戶分析、、證券交易易數(shù)據(jù)分析析、非資金金交易分析析等多個(gè)業(yè)業(yè)界關(guān)心的的主題，為為客戶提供供針對(duì)其個(gè)