第2章

數(shù)據(jù)倉庫03數(shù)據(jù)倉庫模型什么是數(shù)據(jù)模型數(shù)據(jù)模型的結(jié)構(gòu)數(shù)據(jù)模型的價值數(shù)據(jù)模型的分類數(shù)據(jù)倉庫數(shù)據(jù)模型架數(shù)據(jù)倉庫的建模階段劃分數(shù)據(jù)模型是現(xiàn)實世界數(shù)據(jù)特征的抽象，用于描述一組數(shù)據(jù)的概念和定義。數(shù)據(jù)模型是數(shù)據(jù)庫中數(shù)據(jù)的存儲方式，是數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)?，F(xiàn)實世界信息世界（概念模型）計算機世界（物理模型）抽象轉(zhuǎn)換現(xiàn)實世界現(xiàn)實世界是指客觀存在的事物及其相互間的聯(lián)系。信息世界信息世界是人們把現(xiàn)實世界的信息和聯(lián)系，通過“符號”記錄下來，然后用規(guī)范化的數(shù)據(jù)庫定義語言來定義描述而構(gòu)成的一個抽象世界。計算機世界計算機世界是將信息世界的內(nèi)容數(shù)據(jù)化后的產(chǎn)物。什么是數(shù)據(jù)模型數(shù)據(jù)模型所描述的內(nèi)容包括三個部分：數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)操作、數(shù)據(jù)約束。數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)操作數(shù)據(jù)約束數(shù)據(jù)模型數(shù)據(jù)結(jié)構(gòu)主要描述數(shù)據(jù)的類型、內(nèi)容、性質(zhì)以及數(shù)據(jù)間的聯(lián)系等，是目標(biāo)類型的集合。數(shù)據(jù)操作主要描述在相應(yīng)的數(shù)據(jù)結(jié)構(gòu)上的操作類型和操作方式。數(shù)據(jù)約束主要描述數(shù)據(jù)結(jié)構(gòu)內(nèi)數(shù)據(jù)間的語法、詞義聯(lián)系、他們之間的制約和依存關(guān)系，以及數(shù)據(jù)動態(tài)變化的規(guī)則，以保證數(shù)據(jù)的正確、有效和相容。數(shù)據(jù)模型的結(jié)構(gòu)只有數(shù)據(jù)模型將數(shù)據(jù)有序的組織和存儲起來之后，大數(shù)據(jù)才能得到高性能、低成本、高效率、高質(zhì)量的使用，也是衡量數(shù)據(jù)模型價值的標(biāo)準(zhǔn)。性能良好的數(shù)據(jù)模型能幫助我們快速查詢所需要的數(shù)據(jù)，減少數(shù)據(jù)的I/O吞吐，提高使用數(shù)據(jù)的效率。成本良好的數(shù)據(jù)模型能極大地減少不必要的數(shù)據(jù)冗余，也能實現(xiàn)計算結(jié)果復(fù)用，極大地降低存儲和計算成本。效率良好的數(shù)據(jù)模型在業(yè)務(wù)或系統(tǒng)發(fā)生變化時，可以保持穩(wěn)定或很容易地實現(xiàn)擴展，提高數(shù)據(jù)穩(wěn)定性和連續(xù)性。質(zhì)量良好的數(shù)據(jù)模型能改善數(shù)據(jù)統(tǒng)計口徑的不一致性，減少數(shù)據(jù)計算錯誤的可能性。數(shù)據(jù)模型的價值目前成熟地應(yīng)用在數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)模型主要有三種：層次模型、網(wǎng)狀模型和關(guān)系模型。網(wǎng)狀模型關(guān)系模型層次模型數(shù)據(jù)模型的分類用樹形結(jié)構(gòu)表示實體之間聯(lián)系的模型叫層次模型，樹中每一個節(jié)點代表一個記錄類型，樹狀結(jié)構(gòu)表示實體型之間的聯(lián)系。層次模型的特征是：有且僅有一個結(jié)點沒有父結(jié)點，它就是根結(jié)點；其他結(jié)點有且僅有一個父結(jié)點。學(xué)校文學(xué)外語數(shù)學(xué)計算機軟件工程網(wǎng)絡(luò)工程應(yīng)用數(shù)學(xué)英語層次模型用網(wǎng)絡(luò)結(jié)構(gòu)表示實體類型及其實體之間聯(lián)系的模型，網(wǎng)狀模型是一種可以靈活地描述事物及其之間關(guān)系的數(shù)據(jù)庫模型。網(wǎng)狀模型的特征：允許結(jié)點有多于一個父結(jié)點；可以有一個以上的結(jié)點沒有父結(jié)點。課程專業(yè)系教研室學(xué)生教師任課選課網(wǎng)狀模型關(guān)系模型以二維表結(jié)構(gòu)來表示實體與實體之間的聯(lián)系，它是以關(guān)系代數(shù)理論為基礎(chǔ)的。關(guān)系模型的數(shù)據(jù)結(jié)構(gòu)是一個“二維表框架”組成的集合。學(xué)生編號姓名性別所在院系11001劉振杰男計算機11002郭衛(wèi)東男計算機11003宋愛梅女文學(xué)院11004賈燕青女商學(xué)院課程編號課程名學(xué)生編號上課教室21001高等數(shù)學(xué)11001一教20121002線性代數(shù)11002三教30421003大學(xué)英語11004三教40121004軟件工程11001二教101學(xué)生信息表選課信息表關(guān)系模型數(shù)據(jù)倉庫的數(shù)據(jù)區(qū)域劃分和數(shù)據(jù)倉庫的整體架構(gòu)是緊密關(guān)聯(lián)在一起的，整個數(shù)據(jù)倉庫的數(shù)據(jù)區(qū)域分成5大部分，每個部分都有其獨特的功能。數(shù)據(jù)倉庫數(shù)據(jù)模型架構(gòu)系統(tǒng)記錄域這部分是主要的數(shù)據(jù)倉庫業(yè)務(wù)數(shù)據(jù)存儲區(qū)，數(shù)據(jù)模型在這里確保數(shù)據(jù)的一致性。內(nèi)部管理域這部分主要存儲數(shù)據(jù)倉庫用于內(nèi)部管理的元數(shù)據(jù)，數(shù)據(jù)模型在這里能夠幫助進行統(tǒng)一的元數(shù)據(jù)的管理。匯總域這部分數(shù)據(jù)來自于系統(tǒng)記錄域的匯總，數(shù)據(jù)模型在這里保證了分析域的主題分析的性能，滿足了部分的報表查詢。分析域這部分數(shù)據(jù)模型主要用于各個業(yè)務(wù)部分的具體的主題業(yè)務(wù)分析。反饋域這部分數(shù)據(jù)模型主要用于相應(yīng)前端的反饋數(shù)據(jù)，數(shù)據(jù)倉庫可以根據(jù)業(yè)務(wù)的需要設(shè)置這一區(qū)域。數(shù)據(jù)倉庫數(shù)據(jù)模型架構(gòu)數(shù)據(jù)倉庫的數(shù)據(jù)建模按照時間的先后順序，可以大致分為四個階段，依次為業(yè)務(wù)建模、領(lǐng)域概念建模、邏輯建模、物理建模。業(yè)務(wù)建模領(lǐng)域概念建模邏輯建模物理建模數(shù)據(jù)倉庫的建模階段劃分1劃分整個單位的業(yè)務(wù)，一般按照業(yè)務(wù)部門的劃分，進行各個部分之間業(yè)務(wù)工作的界定，理清各業(yè)務(wù)部門之間的關(guān)系2深入了解各個業(yè)務(wù)部門的內(nèi)具體業(yè)務(wù)流程并將其程序化3提出修改和改進業(yè)務(wù)部門工作流程的方法并程序化4數(shù)據(jù)建模的范圍界定，整個數(shù)據(jù)倉庫項目的目標(biāo)和階段劃分業(yè)務(wù)建模的主要工作1抽取關(guān)鍵業(yè)務(wù)概念，并將之抽象化2將業(yè)務(wù)概念分組，按照業(yè)務(wù)主線聚合類似的分組概念3細化分組概念，理清分組概念內(nèi)的業(yè)務(wù)流程并抽象化4理清分組概念之間的關(guān)聯(lián)，形成完整的領(lǐng)域概念模型領(lǐng)域概念建模的主要工作1業(yè)務(wù)概念實體化，并考慮其具體的屬性2事件實體化，并考慮其屬性內(nèi)容3說明實體化，并考慮其屬性內(nèi)容邏輯建模的主要工作1針對特定物理化平臺，做出相應(yīng)的技術(shù)調(diào)整2針對模型的性能考慮，對特定平臺作出相應(yīng)的調(diào)整3針對管理的需要，結(jié)合特定的平臺，做出相應(yīng)的調(diào)整4生成最后的執(zhí)行腳本，并對其完善物理建模的主要工作目前業(yè)界較為流行的數(shù)據(jù)倉庫的建模方法非常多，這里主要介紹范式建模法，維度建模法，實體建模法等幾種方法，每種方法其實從本質(zhì)上講就是從不同的角度看業(yè)務(wù)中的問題。維度建模法實體建模法范式建模法數(shù)據(jù)庫倉庫建模方法第一范式（1NF）所有表中的數(shù)據(jù)都為原子數(shù)據(jù)，不可再分第二范式（2NF）所有表中的所有字段都必須依賴主關(guān)鍵字第三范式（3NF）所有表中的非主關(guān)鍵詞之間不能函數(shù)依賴關(guān)系范式建模法是在構(gòu)建數(shù)據(jù)模型常用的一個方法，主要利用技術(shù)層面上的方法解決關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)存儲。在學(xué)習(xí)范式建模法之前，我們先來了解一下數(shù)據(jù)庫三范式。范式建模法優(yōu)點：從關(guān)系型數(shù)據(jù)庫的角度出發(fā)，結(jié)合了聯(lián)機事務(wù)處理系統(tǒng)的數(shù)據(jù)模型，能夠比較方便的實現(xiàn)數(shù)據(jù)倉庫的建模。缺點：由于建模方法限定在關(guān)系型數(shù)據(jù)庫之上，在某些時候反而限制了整個數(shù)據(jù)倉庫模型的靈活性，性能等。范式建模的優(yōu)缺點事實表事實數(shù)據(jù)表的主要特點是包含數(shù)字數(shù)據(jù)（事實），并且這些數(shù)字信息可以匯總，以提供有關(guān)單位作為歷史的數(shù)據(jù)，每個事實數(shù)據(jù)表包含一個由多個部分組成的索引，該索引包含作為外鍵的相關(guān)性緯度表的主鍵。維度表維度表可以看作是用戶來分析數(shù)據(jù)的窗口，緯度表中包含事實數(shù)據(jù)表中事實記錄的特性，有些特性提供描述性信息，有些特性指定如何匯總事實數(shù)據(jù)表數(shù)據(jù)，以便為分析者提供有用的信息，維度表包含幫助匯總數(shù)據(jù)的特性的層次結(jié)構(gòu)。維度建模法按照事實表，維度表來構(gòu)建數(shù)據(jù)倉庫，數(shù)據(jù)集市。這種方法的最被人廣泛知曉的名字就是星型模式。維度建模法針對各個維度作了大量的預(yù)處理，能夠極大的提升數(shù)據(jù)倉庫的處理能力；維度建模非常直觀，緊緊圍繞著業(yè)務(wù)模型，可以直觀的反映出業(yè)務(wù)模型中的業(yè)務(wù)問題；不需要經(jīng)過特別的抽象處理，即可以完成維度建模。由于在構(gòu)建星型模式之前需要進行大量的數(shù)據(jù)預(yù)處理，因此會導(dǎo)致大量的數(shù)據(jù)處理工作；當(dāng)業(yè)務(wù)發(fā)生變化，需要重新進行維度的定義時，往往需要重新進行維度數(shù)據(jù)的預(yù)處理；不能保證數(shù)據(jù)來源的一致性和準(zhǔn)確性，在數(shù)據(jù)倉庫的底層，不是特別適用于維度建模的方法。優(yōu)點缺點維度建模的優(yōu)缺點將任何一個業(yè)務(wù)過程劃分成3個部分，實體，事件和說明就是我們實體建模的主要工作。實體主要指領(lǐng)域模型中特定的概念主體，指發(fā)生業(yè)務(wù)關(guān)系的對象事件主要指概念主體之間完成一次業(yè)務(wù)流程的過程，特指特定的業(yè)務(wù)過程說明主要是針對實體和事件的特殊說明實體建模法將整個業(yè)務(wù)也可以劃分成一個個的實體，而每個實體之間的關(guān)系，以及針對這些關(guān)系的說明就是我們數(shù)據(jù)建模需要做的工作。實體實體說明事件小明學(xué)校開車上學(xué)實體建模法優(yōu)點：能夠很輕松的實現(xiàn)業(yè)務(wù)模型的劃分，廣泛應(yīng)用于業(yè)務(wù)建模階段和領(lǐng)域概念建模階段。缺點：實體說明法只是一種抽象客觀世界的方法，該建模方法只能局限在業(yè)務(wù)建模和領(lǐng)域概念建模階段。實體建模的優(yōu)缺點1.數(shù)據(jù)倉庫的數(shù)據(jù)建模按照時間的先后順序，可以大致分為四個階段，具體的順序為（）A、業(yè)務(wù)建模->領(lǐng)域概念建模->邏輯建模->物理建模B、業(yè)務(wù)建模->領(lǐng)域概念建模->物理建模->邏輯建模C、領(lǐng)