第6章數(shù)據(jù)倉(cāng)庫(kù)技術(shù),6.1數(shù)據(jù)倉(cāng)庫(kù)概述6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架6.3數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)及開(kāi)發(fā)過(guò)程6.4數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)中的關(guān)鍵技術(shù)6.5可視數(shù)據(jù)倉(cāng)庫(kù)6.6SAS數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)與功能,6.1數(shù)據(jù)倉(cāng)庫(kù)概述,6.1.1數(shù)據(jù)倉(cāng)庫(kù)的定義,數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集成的、穩(wěn)定的、不同時(shí)間的數(shù)據(jù)集合，用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程。,數(shù)據(jù)倉(cāng)庫(kù)是一種解決方案，是對(duì)原始的操作數(shù)據(jù)進(jìn)行各種處理并轉(zhuǎn)換成有用信息的處理過(guò)程，用戶可以通過(guò)分析這些信息，從而作出策略性的決策。,也把數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)稱為“決策支持系統(tǒng)”。,6.1數(shù)據(jù)倉(cāng)庫(kù)概述,6.1.2數(shù)據(jù)倉(cāng)庫(kù)查詢系統(tǒng)的特點(diǎn),數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的查詢通常都非常復(fù)雜，主要有兩種查詢方式：,一種以報(bào)表為主，從數(shù)據(jù)庫(kù)中產(chǎn)生各種形式的業(yè)務(wù)報(bào)表，這種查詢是預(yù)先規(guī)劃好的（predefinedquery）；,2.另一種則是隨機(jī)的、動(dòng)態(tài)的查詢（adhocquery），對(duì)查詢的結(jié)果也是不能預(yù)料的。,因此，系統(tǒng)的可擴(kuò)展能力是必須考慮的重要因素之一,6.1數(shù)據(jù)倉(cāng)庫(kù)概述,6.1.3OLTP與OLAP的特點(diǎn),OLTP系統(tǒng)也稱為生產(chǎn)系統(tǒng),它是事件驅(qū)動(dòng)、面向應(yīng)用的。,OLTP的基本特點(diǎn)如下：(1)對(duì)響應(yīng)時(shí)間要求非常高；用戶數(shù)量非常龐大，主要是操作人員；(2)數(shù)據(jù)庫(kù)的各種操作基于索引進(jìn)行。,聯(lián)機(jī)分析處理（onlineanalyticalprocessing,OLAP)是基于數(shù)據(jù)倉(cāng)庫(kù)的信息分析處理過(guò)程，是數(shù)據(jù)倉(cāng)庫(kù)的用戶接口部分。OLAP系統(tǒng)是跨部門、面向主題的。,基本特點(diǎn)是：基礎(chǔ)數(shù)據(jù)來(lái)源于生產(chǎn)系統(tǒng)中的操作數(shù)據(jù)（operationdata);響應(yīng)時(shí)間合理;用戶數(shù)量相對(duì)較少，其用戶主要是業(yè)務(wù)決策與管理人員;數(shù)據(jù)庫(kù)的各種操作不能完全基于索引進(jìn)行。,6.1數(shù)據(jù)倉(cāng)庫(kù)概述,6.1.4詳細(xì)數(shù)據(jù)與小結(jié)數(shù)據(jù),詳細(xì)數(shù)據(jù)中包含了許多有價(jià)值的信息，經(jīng)小結(jié)處理后，可能會(huì)丟失這些信息。,處理原因：(1)數(shù)據(jù)倉(cāng)庫(kù)的引擎（數(shù)據(jù)庫(kù)系統(tǒng)）不適合處理大量的數(shù)據(jù);(2)降低存儲(chǔ)系統(tǒng)投資。在以前，存儲(chǔ)介質(zhì)是非常昂貴的;(3)降低MIPS投資;,6.1數(shù)據(jù)倉(cāng)庫(kù)概述,6.1.5數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市,數(shù)據(jù)倉(cāng)庫(kù)是企業(yè)級(jí)的，能為整個(gè)企業(yè)各個(gè)部門的運(yùn)行提供決策支持手段；,數(shù)據(jù)集市是部門級(jí)的，一般只能為某個(gè)局部范圍內(nèi)的管理人員服務(wù)。有些供應(yīng)商也稱為“部門級(jí)數(shù)據(jù)倉(cāng)庫(kù)”（departmentaldatawarehouse）。,6.1數(shù)據(jù)倉(cāng)庫(kù)概述,6.1.5數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市,數(shù)據(jù)集市分類：兩種；獨(dú)立的數(shù)據(jù)集市（independentdatamart）從屬的數(shù)據(jù)集市（dependentdatamart）。,6.1數(shù)據(jù)倉(cāng)庫(kù)概述,6.1.6數(shù)據(jù)倉(cāng)庫(kù)引擎的選擇,所謂數(shù)據(jù)倉(cāng)庫(kù)引擎，就是數(shù)據(jù)庫(kù)管理系統(tǒng)。從前面的分析可以看到，作為數(shù)據(jù)倉(cāng)庫(kù)引擎的數(shù)據(jù)庫(kù)管理系統(tǒng)，其性能的優(yōu)劣對(duì)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)解決方案的成功實(shí)施起著舉足輕重的作用。,衡量其數(shù)據(jù)庫(kù)性能的主要指標(biāo)是TPC-D；主要有3方面的數(shù)據(jù)需要考慮。,（1）QppD。,（2）QthD。,（3）QppD。,6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.1框架的概念和重要性,所謂框架就是利用簡(jiǎn)化類比的集合，把復(fù)雜事物分為若干細(xì)小的易于理解的構(gòu)件的方法。,2.能夠把數(shù)據(jù)倉(cāng)庫(kù)方案的各組成部分進(jìn)行分離的框架稱通用框架，有的也稱參照結(jié)構(gòu)，如圖,6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.1框架的重要性,（1）提出一種通用的“藍(lán)圖”框架。,（2）為實(shí)現(xiàn)企業(yè)的目標(biāo)創(chuàng)建一個(gè)持久的基礎(chǔ)，框架是實(shí)現(xiàn)一個(gè)目標(biāo)的持久有效的方法。,（3）實(shí)現(xiàn)可以提供可供選擇的替換。,（4）在參照結(jié)構(gòu)框架內(nèi)提供制售商的情況。,（5）突出方案中有生產(chǎn)價(jià)值的解題成分。,6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.2通用框架結(jié)構(gòu),數(shù)據(jù)倉(cāng)庫(kù)參照結(jié)構(gòu)把數(shù)據(jù)倉(cāng)庫(kù)的組成部分劃分成許多塊和層，塊主要有數(shù)據(jù)源、數(shù)據(jù)站場(chǎng)、數(shù)據(jù)倉(cāng)庫(kù)、存取與使用；層主要有數(shù)據(jù)管理、元數(shù)據(jù)管理、傳輸和基礎(chǔ)結(jié)構(gòu)。塊與特定的數(shù)據(jù)倉(cāng)庫(kù)相關(guān)，而層則表示用于實(shí)現(xiàn)塊的環(huán)境。,6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.3數(shù)據(jù)源塊,產(chǎn)品數(shù)據(jù)2.遺留數(shù)據(jù)3.內(nèi)部辦公系統(tǒng)4.外部系統(tǒng)5.數(shù)據(jù)源元數(shù)據(jù),6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.4數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)塊,(1)“求精”：元數(shù)據(jù)被映射為標(biāo)準(zhǔn)數(shù)據(jù)名稱和定義，為被抽取數(shù)據(jù)的時(shí)間戳及其來(lái)源以及已增加的新域再創(chuàng)建和捕獲一些元數(shù)據(jù)；,(2)重構(gòu)工程部分負(fù)責(zé)檢驗(yàn)數(shù)據(jù)是否滿足商業(yè)用戶分析的需求；,(3)數(shù)據(jù)倉(cāng)庫(kù)成分負(fù)責(zé)數(shù)據(jù)建模等；,6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.5數(shù)據(jù)站場(chǎng)結(jié)構(gòu)塊,數(shù)據(jù)站場(chǎng)中的求精與重構(gòu)工程構(gòu)件主要完成以下工作：(1)過(guò)濾與匹配從數(shù)據(jù)倉(cāng)庫(kù)中抽取的數(shù)據(jù)；將數(shù)據(jù)倉(cāng)庫(kù)集成到新的或重新定義的主題域；(2)創(chuàng)建新的概括或聚集；(3)將數(shù)據(jù)倉(cāng)庫(kù)中初步概括的數(shù)據(jù)求精為高度概括的數(shù)據(jù)；(4)對(duì)所有時(shí)間和來(lái)源戳的數(shù)據(jù)預(yù)測(cè)和導(dǎo)出新的數(shù)據(jù)。,6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.6數(shù)據(jù)倉(cāng)庫(kù)的存取和使用模塊,由兩部分組成：一是存取與檢索；二是分析與報(bào)表。該塊為整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)提供決策性的和有價(jià)值的東西,6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.7數(shù)據(jù)管理層模塊,（1）從所選的數(shù)據(jù)源中抽取并挑選數(shù)據(jù)，為進(jìn)一步求精和重構(gòu)工程以及存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中做準(zhǔn)備。（2）從新的或當(dāng)前的數(shù)據(jù)源中按需求追蹤和充實(shí)新數(shù)據(jù)。（3）捕獲運(yùn)作數(shù)據(jù)源中數(shù)據(jù)的變化，然后刷新或更新數(shù)據(jù)倉(cāng)庫(kù)。,從數(shù)據(jù)倉(cāng)庫(kù)的觀點(diǎn)來(lái)看，主要完成的功能：,6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.8運(yùn)輸層模塊,該模塊使用了刷新與復(fù)制技術(shù)、數(shù)據(jù)傳輸、傳送網(wǎng)絡(luò)，以及中間件等構(gòu)件，它也為傳輸請(qǐng)求提供了安全保障。,運(yùn)輸層在硬件/軟件平臺(tái)之間建起了必要的信息通道，這些通道在參照結(jié)構(gòu)中被不同的模塊分割成一個(gè)個(gè)平臺(tái)。,6.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)框架,6.2.9基礎(chǔ)結(jié)構(gòu)層模塊,由系統(tǒng)管理，工作流程管理，存儲(chǔ)系統(tǒng)和處理系統(tǒng)組成。,提供諸如執(zhí)行、管理、終止工具和應(yīng)用程序等功能,維護(hù)和系統(tǒng)管理任務(wù),多維存儲(chǔ)系統(tǒng)和本地存儲(chǔ)系統(tǒng),主要模塊的基本操作環(huán)境,6.3數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)及其開(kāi)發(fā)過(guò)程,6.3.1數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)(datawarehousesystem,DWS),由數(shù)據(jù)倉(cāng)庫(kù)、倉(cāng)庫(kù)管理和分析工具3部分組成,6.3數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)及其開(kāi)發(fā)過(guò)程,6.3.2開(kāi)發(fā)過(guò)程,（1）啟動(dòng)工程。,（2）建立技術(shù)環(huán)境。,（3）設(shè)計(jì)主題進(jìn)行數(shù)據(jù)建模。,（4）設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)庫(kù)。,（5）數(shù)據(jù)轉(zhuǎn)換程序。,（6）管理元數(shù)據(jù)。,（7）開(kāi)發(fā)用戶決策的數(shù)據(jù)分析工具。,（8）管理數(shù)據(jù)倉(cāng)庫(kù)環(huán)境。,6.4數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)中的關(guān)鍵技術(shù),6.4.1引言,DSS,OLAP,數(shù)據(jù)開(kāi)采,多庫(kù)系統(tǒng),數(shù)據(jù)倉(cāng)庫(kù)技術(shù),所謂數(shù)據(jù)倉(cāng)庫(kù)就是一個(gè)專門的數(shù)據(jù)倉(cāng)儲(chǔ)（repository），用來(lái)保存從多個(gè)數(shù)據(jù)庫(kù)或其他信息源選取的已有數(shù)據(jù)，并為上層應(yīng)用提供統(tǒng)一的用戶接口，用以完成數(shù)據(jù)查詢和分析。,6.4數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)中的關(guān)鍵技術(shù),6.4.2系統(tǒng)結(jié)構(gòu),數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基礎(chǔ)仍是一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)，通過(guò)利用一個(gè)專門的數(shù)據(jù)庫(kù)管理系統(tǒng)，對(duì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)進(jìn)行存儲(chǔ)和維護(hù)。數(shù)據(jù)倉(cāng)庫(kù)可以是集中的，也可以是分布的，不同之處在于采用集中式DBMS還是分布式DBMS。,6.4數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)中的關(guān)鍵技術(shù),6.4.2系統(tǒng)結(jié)構(gòu),數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)多級(jí)視圖機(jī)制。具體過(guò)程分為兩級(jí)映射：,第一級(jí)，數(shù)據(jù)將從局部數(shù)據(jù)庫(kù)中，經(jīng)過(guò)數(shù)據(jù)翻譯、轉(zhuǎn)換并具體化成符合公共模型格式的中間視圖，這些具體化模型是臨時(shí)性的，在生成上層模式后不必保留；,第二級(jí)，經(jīng)過(guò)消除語(yǔ)義沖突、數(shù)據(jù)集成和數(shù)據(jù)導(dǎo)出處理，將有關(guān)的實(shí)體化中間視圖集成為滿足專門應(yīng)用的集成視圖。,6.4數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)中的關(guān)鍵技術(shù),6.4.3系統(tǒng)主要模塊,6.4數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)中的關(guān)鍵技術(shù),6.4.3關(guān)鍵技術(shù),優(yōu)化處理：為了提高數(shù)據(jù)倉(cāng)庫(kù)的效率，需要采用一些專門的優(yōu)化措施，以節(jié)省存儲(chǔ)空間、加快響應(yīng)速度、減少維護(hù)費(fèi)用等。可采用的技術(shù)主要有以下3種：,(1)過(guò)濾源場(chǎng)地上無(wú)關(guān)的修改操作。,(2)可自維護(hù)性。,(3)多視圖的優(yōu)化。,其他問(wèn)題,(1)數(shù)據(jù)倉(cāng)庫(kù)的維護(hù)管理。,(2)數(shù)據(jù)源的演變。,(3)老化數(shù)據(jù)。,6.5可視數(shù)據(jù)倉(cāng)庫(kù),6.5.1引言,可視數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)倉(cāng)庫(kù)解決方案的重要組成部分,主要由以下幾部分組成：,數(shù)據(jù)訪問(wèn),數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)分布,數(shù)據(jù)存儲(chǔ),靠描述性數(shù)據(jù)查找和理解數(shù)據(jù),顯示,分析和發(fā)掘數(shù)據(jù),數(shù)據(jù)轉(zhuǎn)換過(guò)程的自動(dòng)化及其管理,6.5可視數(shù)據(jù)倉(cāng)庫(kù),6.5.2可視數(shù)據(jù)倉(cāng)庫(kù)的功能,1.描述性數(shù)據(jù)的存儲(chǔ),2.小型數(shù)據(jù)倉(cāng)庫(kù)的規(guī)?；瘮U(kuò)展,3.開(kāi)發(fā)系統(tǒng)環(huán)境,6.5.3數(shù)據(jù)倉(cāng)庫(kù)規(guī)?；捏w系結(jié)構(gòu),1.管理員,2.控制數(shù)據(jù)庫(kù),3.客戶端管理員,4.代理,VisualWarehouse提供一個(gè)完整的分布式客戶機(jī)服務(wù)器系統(tǒng)環(huán)境，它使得用戶可以充分享受到“網(wǎng)絡(luò)計(jì)算”帶來(lái)的便利，而且適用于多種平臺(tái)。,6.5可視數(shù)據(jù)倉(cāng)庫(kù),6.5.4可視數(shù)據(jù)倉(cāng)庫(kù)管理,VisualWarehouse的管理是由其客戶端管理員實(shí)現(xiàn)的，它使管理得以集中于一點(diǎn)。它包括以下6點(diǎn)：,1.商業(yè)視圖3.編輯版2.監(jiān)控?cái)?shù)據(jù)轉(zhuǎn)換過(guò)程4.定期執(zhí)行5.級(jí)聯(lián)式商業(yè)視圖（cascadedbusinessview）6.版本,6.5可視數(shù)據(jù)倉(cāng)庫(kù),6.5.5IBM可視數(shù)據(jù)倉(cāng)庫(kù)解決方案,IBM的VisualWarehouse提供了強(qiáng)有力的工具，以定義、建立、管理、監(jiān)控和維護(hù)一個(gè)商用信息系統(tǒng)環(huán)境數(shù)據(jù)倉(cāng)庫(kù)。但是，IBM并不滿足于此，為了更好地滿足用戶的要求，IBM設(shè)計(jì)了一個(gè)完整的解決方案。,1.信息分類表,DataGuide將數(shù)據(jù)倉(cāng)庫(kù)中的所有信息分類展示給商業(yè)用戶。,2.查詢和報(bào)表工具,(1)分階段機(jī)制。,(2)容錯(cuò)機(jī)制。,(3)異步機(jī)制。,6.6SAS數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)與功能,6.6.1SAS數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu),數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)適用于對(duì)企業(yè)級(jí)數(shù)據(jù)、信息的多維、快速查詢、進(jìn)行OLAP操作和決策支持的數(shù)據(jù)、信息的采集、管理、處理和展現(xiàn)的架構(gòu)體系。,環(huán)境(environment)是屬于數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)的一部分，它由兩大部分組成：一部分是分別含有不同主題內(nèi)容的若干個(gè)數(shù)據(jù)倉(cāng)庫(kù)；另一部分是對(duì)數(shù)據(jù)源的定義。這構(gòu)成了從數(shù)據(jù)采集到直接應(yīng)用的完整的支持體系。,數(shù)據(jù)倉(cāng)庫(kù)（datawarehouse）可以由不同層次的多個(gè)數(shù)據(jù)倉(cāng)庫(kù)組成,主題(detail)表系統(tǒng)放置的是從各個(gè)數(shù)據(jù)源取出、經(jīng)過(guò)清理、整合的原始數(shù)據(jù)。,6.6SAS數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)與功能,6.6.1SAS數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu),在匯總表組(summarygroup)中定義進(jìn)行數(shù)據(jù)匯總處理時(shí)的層次維數(shù)和所分析的變量。,信息市場(chǎng)(informationmarts)是信息市場(chǎng)的分組，在一項(xiàng)主題中可以有若干組信息市場(chǎng)。,信息市場(chǎng)項(xiàng)目(informationmartitems)是信息市場(chǎng)中一項(xiàng)具體的信息，它是對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)處理后產(chǎn)生的結(jié)果。,數(shù)據(jù)市場(chǎng)組（datamartgroup）是對(duì)市場(chǎng)項(xiàng)目的分組，在一個(gè)數(shù)據(jù)庫(kù)中可以有多組數(shù)據(jù)市場(chǎng)，這也是按內(nèi)容不同進(jìn)行數(shù)據(jù)分組的。,運(yùn)行數(shù)據(jù)定義組（operationaldatadefinitiongroup）是對(duì)要從數(shù)據(jù)源取出的數(shù)據(jù)進(jìn)行定義的分組。,6.6.1SAS數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu),SAS數(shù)據(jù)倉(cāng)庫(kù)有一個(gè)十分完善的體系結(jié)構(gòu)，不僅為建立決策支持系統(tǒng)提供了完整的解決方案，而且為今后的發(fā)展留下了廣闊的天地。,6.6SAS數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)與功能,6.6.2SAS數(shù)據(jù)倉(cāng)庫(kù)的功能,數(shù)據(jù)倉(cāng)庫(kù)是適應(yīng)決策支持系統(tǒng)的需要而產(chǎn)生的，所以人們希望所采用的軟件產(chǎn)品能支持決策過(guò)程的全部工作內(nèi)容，SAS的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)就可以支持決策全過(guò)程。,（1）從任何業(yè)務(wù)處理系統(tǒng)或數(shù)據(jù)源中取出決策所需數(shù)據(jù)。（2）對(duì)源數(shù)據(jù)進(jìn)行清理和整合。（3）按計(jì)劃或規(guī)則進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的裝載和更新。（4）按決策的需要，以多種形式進(jìn)行數(shù)據(jù)和信息的組織。（5）最豐富的決策數(shù)據(jù)處理能力。（6）靈活多樣的數(shù)據(jù)展現(xiàn)方式。,6.6SAS數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)與功能,SAS的功能,1.SAS系統(tǒng)的數(shù)據(jù)存取能力,2.數(shù)據(jù)