第1章 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述

第三章數(shù)據(jù)倉庫設(shè)計3.1 數(shù)據(jù)倉庫中的數(shù)據(jù)模型概述 3.2 概念模型設(shè)計 3.3 邏輯模型設(shè)計3.4物理模型設(shè)計

3.1數(shù)據(jù)倉庫中的數(shù)據(jù)模型概述在數(shù)據(jù)倉庫的構(gòu)建過程中，將客觀事物從現(xiàn)實世界的存在到計算機物理實現(xiàn)的抽象過程劃分為四個階段，即現(xiàn)實世界、概念世界、邏輯世界和計算機世界3.1數(shù)據(jù)倉庫中的數(shù)據(jù)模型概述所謂現(xiàn)實世界，即客觀存在的世界，它是存在于現(xiàn)實中的各種客觀事物及其相互關(guān)系的總和。對于數(shù)據(jù)倉庫而言，它的內(nèi)容只是完整的客觀世界的一個真子集，包含了對特定決策進行支持所必需的所有客觀對象。3.1數(shù)據(jù)倉庫中的數(shù)據(jù)模型概述所謂概念世界，是人們對現(xiàn)實世界中對象的屬性進行條析、逐步概括和歸納之后，將其以抽象的形式反映出來的結(jié)果，它包括概念和關(guān)系兩大部分內(nèi)容。3.1數(shù)據(jù)倉庫中的數(shù)據(jù)模型概述所謂邏輯世界，是指人們依據(jù)計算機物理存儲的要求，將頭腦中的概念世界進行轉(zhuǎn)化，從而形成的邏輯表達結(jié)果。這一結(jié)果的形成，可以幫助人們將需要描述的對象從概念世界轉(zhuǎn)入計算機世界。3.1數(shù)據(jù)倉庫中的數(shù)據(jù)模型概述計算機世界，是指現(xiàn)實世界中的客觀對象在計算機中的最終表達形式，即計算機系統(tǒng)中的實際存儲模型。客觀對象的內(nèi)容只有在計算機中實現(xiàn)了物理存儲，才能供人們有效地進行分析和處理。3.1數(shù)據(jù)倉庫中的數(shù)據(jù)模型概述三種模型對對象進行分析概括，去粗取精、去偽存真，得到一系列的基本概念與基本關(guān)系，這樣，就形成了概念世界中的結(jié)果——概念模型。對概念模型進行細分，簡化基本概念的內(nèi)涵，細化實體間的邏輯關(guān)系，以便最終在計算機中得到實現(xiàn)，這就構(gòu)成了邏輯模型。依據(jù)計算機所能接受的方式，將邏輯模型的內(nèi)容進一步轉(zhuǎn)化為可體現(xiàn)在計算機系統(tǒng)中的模式，就得到了物理模型。3.1數(shù)據(jù)倉庫中的數(shù)據(jù)模型概述數(shù)據(jù)倉庫構(gòu)造過程中各種數(shù)據(jù)模型的層次與相互關(guān)系元數(shù)據(jù)，即有關(guān)數(shù)據(jù)的數(shù)據(jù)，是數(shù)據(jù)倉庫中關(guān)于數(shù)據(jù)、數(shù)據(jù)操作和應用程序的結(jié)構(gòu)與意義的描述信息，是數(shù)據(jù)倉庫的核心部件。元數(shù)據(jù)模型是指數(shù)據(jù)倉庫中所有元數(shù)據(jù)的整體，它體現(xiàn)于數(shù)據(jù)倉庫的設(shè)計、開發(fā)和使用過程的始終，對于概念模型、邏輯模型、計算機模型之間的轉(zhuǎn)化和數(shù)據(jù)倉庫的建立，都是不可或缺的。粒度模型，是指數(shù)據(jù)倉庫在構(gòu)造過程中各種粒度參數(shù)的總和。在從概念模型構(gòu)造邏輯模型，由邏輯模型轉(zhuǎn)換成計算機模型，最終構(gòu)建數(shù)據(jù)倉庫的過程，它也起著至關(guān)重要的作用。3.2概念模型設(shè)計3.2.1企業(yè)模型建立

建立企業(yè)模型是構(gòu)建數(shù)據(jù)倉庫的第一步。要建立起完整、正確的概念模型，必須首先建立起完整、準確的企業(yè)模型。描述了企業(yè)在進行決策支持時所需的數(shù)據(jù)的內(nèi)容，以及數(shù)據(jù)之間相互依存、相互影響的關(guān)系，反映了企業(yè)內(nèi)各部門、各層次員工對信息的供需情況。人們可以針對該模型所揭示的內(nèi)容，分步驟地構(gòu)建企業(yè)的數(shù)據(jù)倉庫，逐步加以完善。在構(gòu)建企業(yè)模型時，最常用的方法是E-R圖法，即“實體-關(guān)系圖”。3.2概念模型設(shè)計3.2.1企業(yè)模型建立

E-R圖改進：事實實體:（FactEntity）：用于表示現(xiàn)實世界中一系列相互關(guān)聯(lián)的事實，一般是查詢分析的焦點，在E-R圖中用矩形表示；維度實體（DimensionEntity）：用于對事實實體的各種屬性作細化的描述，是開展查詢分析的重要依據(jù)，在E-R用菱形表示；引用實體（QuotationEntity）：對應于現(xiàn)實世界中的某個具體實體或?qū)ο?，在事務?shù)據(jù)查詢時能提供詳細的數(shù)據(jù)，在E-R圖中用六角形表示。3.2概念模型設(shè)計3.2.2數(shù)據(jù)模型規(guī)范

3.2概念模型設(shè)計3.2.2數(shù)據(jù)模型規(guī)范

第一范式：字段都是單一屬性的，不可再分3.2概念模型設(shè)計3.2.2數(shù)據(jù)模型規(guī)范

第二范式：滿足第二范式（2NF）必須先滿足第一范式（1NF），同時非主屬性完全依賴于主關(guān)鍵字(學號,

課程名稱)

→

(姓名,

年齡,

成績,

學分)(課程名稱)

→

(學分)(學號)

→

(姓名,

年齡)學生：Student(學號,

姓名,

年齡)課程：Course(課程名稱,

學分)選課關(guān)系：SelectCourse(學號,

課程名稱,

成績)3.2概念模型設(shè)計3.2.2數(shù)據(jù)模型規(guī)范

第三范式：滿足第三范式（3NF）必須先滿足第二范式（2NF），同時屬性不依賴于其它非主屬性(學號)

→

(姓名,

年齡,

所在學院,

學院地點,

學院電話)(學號)

→

(所在學院)

→

(學院地點,

學院電話)學生：(學號,

姓名,

年齡,

所在學院)學院：(學院,

地點,

電話)3.2概念模型設(shè)計3.2.2數(shù)據(jù)模型規(guī)范

數(shù)據(jù)倉庫的反規(guī)范化的處理關(guān)系型數(shù)據(jù)庫進行規(guī)范化處理的目的，是為了解決數(shù)據(jù)庫中插入、修改異常和數(shù)據(jù)冗余度高的問題。規(guī)范化處理的結(jié)果，表現(xiàn)為將一個復雜的、依賴關(guān)系眾多的大表分解成為若干個內(nèi)容簡潔、關(guān)系清楚的小表。3.2概念模型設(shè)計3.2.2數(shù)據(jù)模型規(guī)范

數(shù)據(jù)倉庫的反規(guī)范化的處理對于數(shù)據(jù)倉庫來說，這種分解結(jié)果也不是最佳的。因為數(shù)據(jù)倉庫要實現(xiàn)對決策的支持，常常需要進行大規(guī)模的查詢操作，這種操作必然涉及對眾多小表進行動態(tài)的關(guān)聯(lián)。這不僅給CPU帶來了巨大的運算壓力，而且還要求數(shù)據(jù)庫系統(tǒng)必須有足夠的存儲容量，以作為關(guān)聯(lián)操作的緩沖區(qū)，同時，對多個小表的同步訪問，也給系統(tǒng)的I/O帶來了考驗3.2概念模型設(shè)計3.2.2數(shù)據(jù)模型規(guī)范

數(shù)據(jù)倉庫的反規(guī)范化的處理3.2概念模型設(shè)計3.2.3常見的概念模型

E-R圖方法具備較好的可操作型，形式簡明，易于理解，對于客觀世界中的事物具有良好的描述能力，因此，它是設(shè)計數(shù)據(jù)倉庫的有力工具。但是E-R圖法也存在著“重點不突出”的缺陷，它所描述的所有實體，其地位是平等的，反映不出管理者和決策者所重點關(guān)心的對象。因此，需要數(shù)據(jù)倉庫中的概念模型。3.2概念模型設(shè)計3.2.3常見的概念模型

星型模型星形模型是最常用的數(shù)據(jù)倉庫設(shè)計結(jié)構(gòu)的實現(xiàn)模式，它使數(shù)據(jù)倉庫形成了一個集成系統(tǒng)，為最終用戶提供報表服務和分析服務3.2概念模型設(shè)計3.2.3常見的概念模型

星形模型通過使用一個包含主題的事實表和多個維度表來支持各種決策查詢。星形模型可以采用關(guān)系型數(shù)據(jù)庫結(jié)構(gòu)，模型的核心是事實表，圍繞事實表的是維度表。通過事實表將各種不同的維度表連接起來，各個維度表都連接到中央事實表。維度表中的對象通過事實表與另一維度表中的對象相關(guān)聯(lián)這樣就能建立各個維度表對象之間的聯(lián)系。每一個維度表通過一個主鍵與事實表進行連接。3.2概念模型設(shè)計3.2.3常見的概念模型

星型模型3.2概念模型設(shè)計3.2.3常見的概念模型

星型模型事實表主要包含了描述特定商業(yè)事件的數(shù)據(jù)：訂單號、銷售員號、客戶號、產(chǎn)品號、日期標識、地區(qū)名稱、數(shù)量、總價等。維度表主要包含了存儲在事實表中數(shù)據(jù)的特征數(shù)據(jù)：訂貨日期、客戶名稱、客戶地址、銷售員姓名、產(chǎn)民名稱等。每一個維度表利用維度關(guān)鍵字通過事實表中的外鍵約束于事實表中的某一行，實現(xiàn)與事實表的關(guān)聯(lián)。3.2概念模型設(shè)計3.2.3常見的概念模型

星型模型優(yōu)點：由于數(shù)據(jù)的組織已經(jīng)過預處理，主要數(shù)據(jù)都在龐大的事實表中，所以只要掃描事實表就可以進行查詢，而不必把多個龐大的表聯(lián)接起來，查詢訪問效率較高；同時由于維表一般都很小，甚至可以放在高速緩存中，與事實表進行連接時其速度較快；對于非計算機專業(yè)的用戶而言，星形模型比較直觀，通過分析星形模型，很容易組合出各種查詢。3.2概念模型設(shè)計3.2.3常見的概念模型

星型模型缺點：當業(yè)務發(fā)生變化時，原來的維度不能滿足要求，需要增加維度，由于事實表中的主鍵是由所有的維度表中的主鍵組成，所以這種維度的變化帶來的數(shù)據(jù)的變化是非常復雜的；數(shù)據(jù)冗余量很大，不適合大數(shù)據(jù)量的情況3.2概念模型設(shè)計3.2.3常見的概念模型

雪花型模型雪花形模型是對星形模型的擴展，每一個維度都可以向外連接多個詳細類別表。在這種模式中，維度表除了具有星形模型中維度表的功能外，還連接對事實表進行詳細描述的詳細類別表。詳細類別表通過對事實表在有關(guān)維上的詳細描述達到了縮小事實表和提高查詢效率的目的。3.2概念模型設(shè)計3.2.3常見的概念模型

雪花型模型雪花模型對星形模型的維度表進一步標準化，對星形模型中的維度表進行了規(guī)范化處理。雪花模型的維度表中存儲了正規(guī)化的數(shù)據(jù)，這種結(jié)構(gòu)通過把多個較小的標準化表（而不是星形模型中的大的非標準化表）聯(lián)合在一起來改善查詢性能，提高了數(shù)據(jù)倉庫應用的靈活性。這些連接需要花費相當多的時間。一般來說，一個雪花形圖表要比一個星形圖表效率低。3.2概念模型設(shè)計3.2.3常見的概念模型

雪花型模型3.2概念模型設(shè)計3.2.3常見的概念模型

星型模型與雪花型模型的比較3.3邏輯模型設(shè)計3.3.1數(shù)據(jù)倉庫的數(shù)據(jù)綜合

3.3邏輯模型設(shè)計3.3.1數(shù)據(jù)倉庫的數(shù)據(jù)綜合

當前細節(jié)級來自數(shù)據(jù)源的數(shù)據(jù)，所反應的都是當前的業(yè)務情況，因此在導入數(shù)據(jù)倉庫之后，首先作為當前細節(jié)級數(shù)據(jù)進行存儲。這些數(shù)據(jù)規(guī)模較大，實時性強，是數(shù)據(jù)倉庫用戶最感興趣的部分。當前細節(jié)級的數(shù)據(jù)，一方面依據(jù)數(shù)據(jù)倉庫的既定規(guī)則，經(jīng)過處理，得到輕度綜合級和高度綜合級的數(shù)據(jù)，另一方面，隨時間的推移，逐漸“老化”，成為歷史細節(jié)級的數(shù)據(jù)。3.3邏輯模型設(shè)計3.3.1數(shù)據(jù)倉庫的數(shù)據(jù)綜合

歷史細節(jié)級當前細節(jié)級的數(shù)據(jù)對于決策的支持程度，隨數(shù)據(jù)發(fā)生時間的久遠而降低。為了有效控制數(shù)據(jù)倉庫中當前細節(jié)級數(shù)據(jù)的規(guī)模，保證系統(tǒng)的運行效率，在設(shè)計數(shù)據(jù)倉庫時，設(shè)定一個合理的時間閾值，將當前細節(jié)級數(shù)據(jù)中發(fā)生時間超過該閾值的部分，即已經(jīng)“老化”的數(shù)據(jù)，轉(zhuǎn)為歷史細節(jié)級的數(shù)據(jù)，并以合適的方式進行存儲。3.3邏輯模型設(shè)計3.3.1數(shù)據(jù)倉庫的數(shù)據(jù)綜合

輕度綜合級為了有效控制數(shù)據(jù)倉庫中進行決策支持時的系統(tǒng)開銷，對當前細節(jié)級的數(shù)據(jù)，通常以一定的時間段為單位進行綜合。這一設(shè)定的時間段參數(shù)又稱為“粒度”。以較小的粒度生成的綜合數(shù)據(jù)，稱為“輕度綜合級數(shù)據(jù)”。3.3邏輯模型設(shè)計3.3.1數(shù)據(jù)倉庫的數(shù)據(jù)綜合

高度綜合級以較長的時間段，即較大的粒度，對當前細節(jié)級的數(shù)據(jù)進行綜合而形成的結(jié)果，稱為“高度綜合級數(shù)據(jù)”。高度綜合級的數(shù)據(jù)內(nèi)容十分精煉，可以認為是一種“準決策數(shù)據(jù)”。3.3邏輯模型設(shè)計3.3.1數(shù)據(jù)倉庫的數(shù)據(jù)綜合

3.3邏輯模型設(shè)計3.3.2數(shù)據(jù)倉庫的數(shù)據(jù)分割

數(shù)據(jù)分割是指把數(shù)據(jù)分散存儲到多個物理存儲單元中，可提高數(shù)據(jù)處理的靈活性，達到以下目的：3.3邏輯模型設(shè)計3.3.2數(shù)據(jù)倉庫的時間分割

數(shù)據(jù)分割的依據(jù)和粒度，應隨數(shù)據(jù)倉庫所在行業(yè)的特點而變。常用的分割依據(jù)包括：3.3邏輯模型設(shè)計3.3.2數(shù)據(jù)倉庫的數(shù)據(jù)分割

證券行業(yè)設(shè)定時間閾值，數(shù)據(jù)量也會達到GB以年為單位進行分割，閾值為3年，工作量減少1/3分析不同等級城市的交易狀況，可以按營業(yè)部所在地理位置進行分割考察不同等級城市中各種委托方式對交易量的貢獻，也可同時按地理位置和委托方式進行數(shù)據(jù)分割3.3邏輯模型設(shè)計3.3.3數(shù)據(jù)倉庫的數(shù)據(jù)組織

3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度是指數(shù)據(jù)倉庫中數(shù)據(jù)單元的詳細程度和級別。數(shù)據(jù)越詳細，粒度就越小，級別也就越低；數(shù)據(jù)綜合度越高，粒度就越大，級別也就越高3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度對數(shù)據(jù)分析的影響3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度對數(shù)據(jù)分析的影響：影響邏輯結(jié)構(gòu)設(shè)計AdventureWorksCycles公司的管理者想按照國家、區(qū)域、分區(qū)域和分區(qū)域內(nèi)的銷售員這樣的層次關(guān)系來查看公司的銷售情況3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度對數(shù)據(jù)分析的影響：影響邏輯結(jié)構(gòu)設(shè)計3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度對數(shù)據(jù)分析的影響：影響數(shù)據(jù)的存儲電話公司記錄：每個顧客每月有200條記錄，每條記錄需要200個字節(jié)存儲，總共需要40000個字節(jié)。但每個顧客一個月的綜合信息只有1條，存儲只需200字節(jié)。可見低粒度和高粒度在存儲空間上差別很大3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度對數(shù)據(jù)分析的影響：影響分析效果數(shù)據(jù)的綜合使得細節(jié)信息丟失。若分析需求的粒度小于設(shè)計的粒度，則需求不可能得到滿足；若分析需求的粒度大于設(shè)計的粒度，則查詢會在更小的粒度上進行統(tǒng)計運算后才能回答，這將增加用戶的等待時間。3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度對數(shù)據(jù)分析的影響：影響分析效果李某在2008年2月21號是否在上海買了一輛變速車張某某在2008年1月到2008年12月自行車配件的總消費是多少細節(jié)數(shù)據(jù)綜合數(shù)據(jù)3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度的設(shè)計技巧數(shù)據(jù)倉庫的性能和存儲空間是一對矛盾。如果粒度設(shè)計得很小，則事實表將不得不記錄所有的細節(jié)，儲存數(shù)據(jù)所需要的空間將會急劇的膨脹；若設(shè)計的粒度很大，雖然由于事實表體積大而帶來的諸多問題能夠得到一定程度的緩解，但決策者不能觀察細節(jié)數(shù)據(jù)。粒度的設(shè)計成了事實表設(shè)計中的重要一環(huán)。3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度的設(shè)計技巧設(shè)計步驟粗略估算確定合適的粒度級的起點，可以粗略估算數(shù)據(jù)倉庫中將來的數(shù)據(jù)行數(shù)和所需的直接存取存儲空間，粗略估算可以按照以下步驟完成。①確定數(shù)據(jù)倉庫中將要創(chuàng)建的所有表，然后估計每張表中行的大小（確切大小可能難以知道，估計一個下界和一個上界就可以了）。②估計一年內(nèi)表中的最少行數(shù)和最多行數(shù)③將各表中行數(shù)可能的最大值和最小值分別乘以數(shù)據(jù)的最大長度和最小長度3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度的設(shè)計技巧設(shè)計步驟（2）確定雙重或單一的粒度一旦估計完成后，根據(jù)數(shù)據(jù)倉庫環(huán)境中將具有的總的行數(shù)的大小，設(shè)計和開發(fā)必須采取不同的方法。3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度的設(shè)計技巧設(shè)計步驟（3）確定粒度的級別計劃在數(shù)據(jù)倉庫中進行的分析類型將直接影響到數(shù)據(jù)倉庫的粒度劃分。將粒度的層次定義得越高，就越不能在該倉庫中進行更細致的分析。粒度層次為月按日匯總的信息分析3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度的設(shè)計技巧設(shè)計步驟（3）確定粒度的級別數(shù)據(jù)倉庫通常在同一模式中使用多重粒度。例如，可以用低粒度數(shù)據(jù)保存近期的財務數(shù)據(jù)和匯總數(shù)據(jù)，對時間較遠的財務數(shù)據(jù)只保留粒度較大的匯總數(shù)據(jù)。這樣既可以對財務近況進行細節(jié)分析，又可以利用匯總數(shù)據(jù)對財務趨勢進行分析，這里的數(shù)據(jù)粒度劃分策略就需要采用多重數(shù)據(jù)粒度。3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計

粒度的設(shè)計技巧設(shè)計步驟設(shè)計原則粒度設(shè)計主要是權(quán)衡粒度級別，對于業(yè)務量大，分析要求比較高的情況下，最佳解決辦法則是采用多重粒度的形式。而針對具體的某個事實的粒度而言，應當采用“最小粒度原則”，即將量度的粒度設(shè)置到最小。3.3邏輯模型設(shè)計3.3.4數(shù)據(jù)倉庫的粒度設(shè)計報刊名稱訂閱人姓名訂閱人ID訂閱人年齡訂閱人性別聯(lián)系電話支付金額期刊編號收寄地址所在支局營業(yè)員姓名支局電話。。。訂閱總?cè)藬?shù)總訂閱金額人均訂閱金額總金額同比增長訂閱量最大報刊訂閱量最小報刊訂閱人性別比例訂閱人年齡層次比例3.4物理模型設(shè)計數(shù)據(jù)倉庫的物理數(shù)據(jù)模型，是指邏輯模型在計算機世界中的具體實現(xiàn)方法，包括物理存取方式的設(shè)計、數(shù)據(jù)存儲結(jié)構(gòu)的構(gòu)造、數(shù)據(jù)存放位置的確定等。數(shù)據(jù)倉庫的物理數(shù)據(jù)模型是在邏輯模型的基礎(chǔ)上實現(xiàn)的。3.4物理模型設(shè)計3.4.1物理模型設(shè)計要點

（1）對數(shù)倉庫所依據(jù)的DBMS必須有深入的了解，特別