維度建模方法元數(shù)據(jù)的重要性管理人員做分析時(shí)，往往先從元數(shù)據(jù)入手。例如：從元數(shù)據(jù)中查廣義索引，再進(jìn)一步搜索支持?jǐn)?shù)據(jù)轉(zhuǎn)換：DB環(huán)境的數(shù)據(jù)DW環(huán)境的數(shù)據(jù)元數(shù)據(jù)描述“轉(zhuǎn)換”；元數(shù)據(jù)本身具有良好的靈活性，適應(yīng)變化。例如：不同時(shí)期，數(shù)據(jù)結(jié)構(gòu)是變化的支持對(duì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的理解例如：結(jié)構(gòu)、粒度層次、分片策略、索引等元數(shù)據(jù)的分類(lèi)技術(shù)元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和管理人員用于開(kāi)發(fā)和日常管理數(shù)據(jù)倉(cāng)庫(kù)是用的數(shù)據(jù)。包括：數(shù)據(jù)源信息；數(shù)據(jù)轉(zhuǎn)換的描述；數(shù)據(jù)倉(cāng)庫(kù)內(nèi)對(duì)象和數(shù)據(jù)結(jié)構(gòu)的定義；數(shù)據(jù)清理和數(shù)據(jù)更新時(shí)用的規(guī)則；源數(shù)據(jù)到目的數(shù)據(jù)的映射；用戶(hù)訪(fǎng)問(wèn)權(quán)限，數(shù)據(jù)備份歷史記錄，數(shù)據(jù)導(dǎo)入歷史記錄，信息發(fā)布?xì)v史記錄等。商業(yè)元數(shù)據(jù)從商業(yè)業(yè)務(wù)的角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。包括：業(yè)務(wù)主題的描述，包含的數(shù)據(jù)、查詢(xún)、報(bào)表；[業(yè)務(wù)的關(guān)注點(diǎn)，比如銷(xiāo)售量，客戶(hù)購(gòu)買(mǎi)情況]維度建模方法維度建模維度建模的相關(guān)概念維度建模的基本步驟多維數(shù)據(jù)模型直觀的表示現(xiàn)實(shí)中的復(fù)雜關(guān)系基本組成維度量（變量、指標(biāo)）立方體Example：計(jì)算每一個(gè)商場(chǎng)，每一產(chǎn)品銷(xiāo)售額產(chǎn)品、商場(chǎng)交叉表聯(lián)機(jī)分析(OLAP)維度模型多維數(shù)據(jù)模型的組成維（Dimension）維層次路徑、維層次、維成員（維實(shí)例）、維層次屬性事實(shí)（Fact）度量（Measure）數(shù)據(jù)立方體（Cube）維維：對(duì)數(shù)據(jù)進(jìn)行分類(lèi)的一種結(jié)構(gòu)，以用于從特定的角度觀察數(shù)據(jù)。（例如：時(shí)間、地區(qū)、產(chǎn)品）維的兩個(gè)用途選擇針對(duì)期望詳細(xì)程度的層次的數(shù)據(jù)分組對(duì)細(xì)節(jié)數(shù)據(jù)綜合（聚集）到相應(yīng)的詳細(xì)程度的數(shù)據(jù)層次維維的組織方式：維層次路徑（HIERARCHY）維層次路徑由代表不同詳細(xì)程度的維層次（Level）組成。維的層次：特定角度的不同細(xì)節(jié)程度維層級(jí)層級(jí)是維度屬性組內(nèi)屬性之間的兩級(jí)或多級(jí)結(jié)構(gòu)。高一級(jí)的屬性（組）構(gòu)成的維度完全包含低一級(jí)的一個(gè)或多個(gè)屬性（組）構(gòu)成的維度。CountryStateCountyCity事實(shí)（度量）度量（指標(biāo)）：數(shù)據(jù)的實(shí)際意義，一般是一個(gè)數(shù)值度量指標(biāo)例如：銷(xiāo)售量、銷(xiāo)售額，……而具體數(shù)據(jù)（如“10000”）是變量的一個(gè)值事實(shí):存儲(chǔ)一個(gè)多維數(shù)據(jù)表達(dá)期望分析的主題（目的、感興趣的事情、事件或者指標(biāo)等）具有一定的粒度，粒度的大小與維層次相關(guān)一個(gè)事實(shí)中通常包含一個(gè)或者多個(gè)度量一個(gè)度量的兩個(gè)組件數(shù)字型指標(biāo)聚集函數(shù)立方體（CUBE）按照一定維層次結(jié)構(gòu)和度量（事實(shí)）的邏輯上的組織其邏輯上相當(dāng)于一個(gè)多維數(shù)組多維數(shù)組多維數(shù)組：一個(gè)多維數(shù)組表示為：（維1，維2，...，維n，變量）例如：（時(shí)間、地區(qū)、銷(xiāo)售渠道、銷(xiāo)售額）可擴(kuò)展維數(shù)：如（時(shí)間、地區(qū)、銷(xiāo)售渠道、商品類(lèi)型、銷(xiāo)售額）數(shù)據(jù)單元（Cell）數(shù)據(jù)單元（單元格）：多維數(shù)組的取值可表示為：（維1維成員，維2維成員，...，維n維成員，變量的值）例如：（1997年1月，北京，批發(fā)，10000）多維分析多維的切片（slice）從多維數(shù)組選定一個(gè)二維子集，切出一個(gè)“平面”多維的切塊（dice）從多維數(shù)組選定一個(gè)三維子集，切出一個(gè)“立方體”切片切片和切塊多維分析2002年2003年1季度2季度3季度4季度1季度2季度3季度4季度北京市123564566134562355上海市13410398871021399782天津市6773599673696294旋轉(zhuǎn)改變一個(gè)報(bào)告（或頁(yè)面）顯示的維方向旋轉(zhuǎn)

北京市上海市天津市

2002年1季度12313467

2季度5610373

3季度459859

4季度6687962003年1季度13410273

2季度5613969

3季度239762

4季度558294鉆取根據(jù)維層次，改變數(shù)據(jù)的粒度“上卷”（roll_up）是指沿某一個(gè)維的概念分層向上歸約；“下鉆”（drill_down）是上卷的逆向操作，它是沿某一個(gè)維的概念分層向下或引入新的維來(lái)實(shí)現(xiàn)；其它OLAP操作“鉆過(guò)”（DrillAcross）是指對(duì)多個(gè)事實(shí)表進(jìn)行查詢(xún)；“鉆透”（DrillThrough）是指對(duì)立方體操作時(shí)，利用數(shù)據(jù)庫(kù)關(guān)系，鉆透立方體的底層，進(jìn)入后端的關(guān)系表。OLAP的其它操作還有統(tǒng)計(jì)表中最高值和最低值的項(xiàng)數(shù)，計(jì)算平均值、增長(zhǎng)率、利潤(rùn)、投資回報(bào)率等統(tǒng)計(jì)計(jì)算。多維數(shù)據(jù)模型的實(shí)現(xiàn)RelationalOLAP(ROLAP)（關(guān)系數(shù)據(jù)庫(kù)）利用關(guān)系數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)和管理基本數(shù)據(jù)和聚合數(shù)據(jù)，并利用一些中間件來(lái)支持缺失數(shù)據(jù)的處理，具有良好的可擴(kuò)展性MultidimensionalOLAP(MOLAP)利用多維數(shù)據(jù)庫(kù)來(lái)存放和管理基本數(shù)據(jù)和聚合數(shù)據(jù)，其中需要對(duì)稀疏矩陣處理技術(shù)對(duì)預(yù)綜合的數(shù)據(jù)進(jìn)行快速索引HybridOLAP(HOLAP)利用關(guān)系數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)和管理基本數(shù)據(jù)，利用多維數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)和管理聚合數(shù)據(jù)。多維數(shù)據(jù)的組織存放（細(xì)節(jié)數(shù)據(jù)）關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)組織多維數(shù)據(jù)庫(kù)中的數(shù)據(jù)組織MDB方法的優(yōu)點(diǎn)（細(xì)節(jié)數(shù)據(jù)）清晰簡(jiǎn)明，占用存儲(chǔ)少性能好，尤其像“冰箱銷(xiāo)售總量是多少？”的查詢(xún)RDB方法：找出有關(guān)“冰箱”的記錄，再對(duì)銷(xiāo)售MDB方法：找到有關(guān)“冰箱”的行，按行求和多維數(shù)據(jù)的組織存放（綜合數(shù)據(jù)）RDB中數(shù)據(jù)組織MDB中數(shù)據(jù)組織MDB方法的優(yōu)點(diǎn)（綜合數(shù)據(jù)）多維概念表達(dá)清晰，占用存儲(chǔ)少對(duì)數(shù)據(jù)進(jìn)行綜合的速度快（只需按行/列累加）在RDB中，“總和”作為某個(gè)域上的取值（屬性值）與列定義語(yǔ)義不符用關(guān)系結(jié)構(gòu)表示多維數(shù)據(jù)關(guān)系數(shù)據(jù)庫(kù)使用廣泛，相當(dāng)成熟用二維表表達(dá)多維概念用兩類(lèi)表來(lái)表示多維結(jié)構(gòu):事實(shí)表，維表事實(shí)(fact)表用來(lái)存儲(chǔ)變量值和各維的碼值維表用來(lái)存儲(chǔ)維的描述信息(元數(shù)據(jù))，包括層次和類(lèi)等維度模型一種非規(guī)范化的關(guān)系模型由一組屬性構(gòu)成的表所組成表與表之間的關(guān)系通過(guò)關(guān)鍵字和外鍵來(lái)定義以良好的可理解性和方便的產(chǎn)生報(bào)表來(lái)進(jìn)行組織，很少考慮修改的性能通過(guò)MDX或相關(guān)的工具實(shí)現(xiàn)數(shù)據(jù)的查詢(xún)和維護(hù)E-R模型和維度模型ER模型維模型數(shù)據(jù)組織一張表代表一個(gè)實(shí)體數(shù)據(jù)組織以事實(shí)表為核心要求目標(biāo)最少的數(shù)據(jù)冗余最大的可理解性?xún)?yōu)化策略面向Update操作進(jìn)行優(yōu)化面向檢索進(jìn)行優(yōu)化面向系統(tǒng)面向事務(wù)處理的模型面向數(shù)據(jù)倉(cāng)庫(kù)的模型星形模型ProductTableProduct_idProduct_disc,...

TimeTableDay_idMonth_idYear_id,...SalesFactTableProduct_idStore_idItem_idDay_idSales_amountSales_units,...ItemTableItem_idItem_desc,...StoreTableStore_idDistrict_id,...CentralfacttableDenormalizeddimensionsFactTable每一個(gè)事實(shí)表通常包含了處理所關(guān)心的一系列的度量值每一個(gè)事實(shí)表的行包括具有可加性的數(shù)值型的度量值與維表相連接的外鍵事實(shí)表（facttable）YearProductTypeSalesRegionMarketingCampaignBuyer'sAgeTotalSales2003MythicWorldNortheastHistoryMagSpringAd0–2556,3422003MythicWorldNortheastHistoryMagSpringAd25–35104,5472003MythicWorldNortheastHistoryMagSpringAd35–45234,3852003MythicWorldNortheastHistoryMagSpringAd45–55534,5322003MythicWorldNortheastHistoryMagSpringAd55–65829,2822003MythicWorldNortheastHistoryMagSpringAd65+284,540事實(shí)表討論假設(shè)，以上案例中marketingcampaign維有8個(gè)成員，year維度有6個(gè)成員，producttype維度有4個(gè)成員，sales

region維有4個(gè)成員，

buyer‘sage維有6個(gè)成員，事實(shí)表中的記錄數(shù)可達(dá)到： 8×6×4×4×6or4608rowsintheSalesFacttable.

度量組（measuregroup）事實(shí)表的特征非常大列數(shù)較少經(jīng)常發(fā)生（數(shù)據(jù)追加）變化事實(shí)表的使用各類(lèi)度量值的聚集計(jì)算DimensionTable每一張維表對(duì)應(yīng)現(xiàn)實(shí)世界中的一個(gè)對(duì)象或者概念例如：客戶(hù)、產(chǎn)品、日期、地區(qū)維表的特征包含了眾多描述性的列通常情況下，跟事實(shí)表相比，行數(shù)相對(duì)較少內(nèi)容相對(duì)固定維表的應(yīng)用基于維屬性的過(guò)濾（切片、切塊等）基于維屬性的個(gè)中聚集操作（上卷、下鉆）報(bào)表中各類(lèi)標(biāo)簽的主要來(lái)源事實(shí)表通過(guò)維表進(jìn)行應(yīng)用SnowflakeSchemaModelTimeTableWeek_idPeriod_idYear_idDeptTableDept_idDept_descMgr_idMgrTableDept_idMgr_idMgr_nameProductTableProduct_idProduct_descItemTableItem_idItem_descDept_idSalesFactTableItem_idStore_idProduct_idWeek_idSales_amountSales_unitsStoreTableStore_idStore_descDistrict_idDistrictTableDistrict_idDistrict_desc慢變維（SCD）相對(duì)與事實(shí)表，維表的內(nèi)容穩(wěn)定新的事務(wù)或交易不斷產(chǎn)生新產(chǎn)品的加入?yún)s相對(duì)較少新商場(chǎng)的開(kāi)張更少有些維度內(nèi)容盡管變化相當(dāng)緩慢，但維度屬性可能隨著時(shí)間發(fā)生變化客戶(hù)地址發(fā)生變化商場(chǎng)根據(jù)地域進(jìn)行分組，或者由于企業(yè)重組，地域的劃分也隨之改變數(shù)據(jù)倉(cāng)庫(kù)的生成（Extract）數(shù)據(jù)的抽?。═ransform）數(shù)據(jù)的轉(zhuǎn)換（Clean）數(shù)據(jù)的清洗（Load）數(shù)據(jù)的裝載數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)“Effectivedataextract,transformandload(ETL)processesrepresentthenumberonesuccessfactorforyourdatawarehouseprojectandcanabsorbupto70percentofthetimespentonatypicaldatawarehousingproject.”—DMReview,March2001SourceTargetStagingArea抽取、轉(zhuǎn)換和加載(ETL)過(guò)程

抽取源數(shù)據(jù)轉(zhuǎn)換/清除數(shù)據(jù)索引和相加加載數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)檢測(cè)修改更新數(shù)據(jù)OperationalsystemsETLDataWarehouseProgramsToolsGatewaysETL:任務(wù)、重要性和費(fèi)用Operational

systems相關(guān)性

實(shí)用性

可靠性

準(zhǔn)確性

操作性DataWarehouseETL抽取

清洗

整合

重構(gòu)

裝載

維持

更新Warehousedatabase抽取數(shù)據(jù)SourcesystemsDatafromvariousdatasourcesinvariousformatsExtractionRoutinesDevelopedtoselectdatafieldsfromsourcesConsistofbusinessrules,audittrails,errorcorrectionfacilitiesDatamappingTransformOperationaldatabasesDatastagingarea檢查源數(shù)據(jù)產(chǎn)生歸檔的內(nèi)部的外部的抽取技術(shù)Programs:C,C++,COBOL,PL/SQL,JavaGateways:transparentdatabaseaccessTools:In-housedevelopedtoolsVendor’sdataextractiontools抽取方法LogicalExtractionmethods:FullExtractionIncrementalExtractionPhysicalExtractionmethods:OnlineExtractionOfflineExtraction抽取工具轉(zhuǎn)換Transformationeliminatesanomaliesfromoperationaldata:CleansandstandardizesPresentssubject-orienteddataExtractWarehouseLoadOperational

systemsDataStagingAreaTransform: Cleanup Consolidate Restructure

轉(zhuǎn)換技術(shù)

MergingdataAddingaDateStampAddingKeystoData轉(zhuǎn)換工具Third-partytools（第三方工具）SQL*Loader（結(jié)構(gòu)化查詢(xún)語(yǔ)句）In-housedevelopedprograms（高級(jí)語(yǔ)言自己寫(xiě)程序）加載數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)LoadingmovesthedataintothewarehouseLoadingcanbetime-consuming:ConsidertheloadwindowScheduleandautomatetheloadingInitialloadmoveslargevolumesofdataSubsequentrefreshmovessmallervolumesofdataOperationaldatabasesWarehousedatabaseStagingareaExtractTransformTransport,

Load加載技術(shù)Tools（工具）CustomizedcopyprogramsFTPManual數(shù)據(jù)倉(cāng)庫(kù)的使用和維護(hù)DSS應(yīng)用開(kāi)發(fā)的步驟數(shù)據(jù)倉(cāng)庫(kù)的使用及維護(hù)理解需求、完善系統(tǒng)增加主題（如：在商場(chǎng)DW中增加“顧客”主題）調(diào)整粒度層次增加屬性（如對(duì)“商品”主題增加“商品檔次”屬性）……DW維護(hù)數(shù)據(jù)裝入（刷新當(dāng)前詳細(xì)數(shù)據(jù)，將過(guò)時(shí)數(shù)據(jù)轉(zhuǎn)化為歷史數(shù)據(jù)）清除不再使用的數(shù)據(jù)追加數(shù)據(jù)（確定刷新頻率）管理元數(shù)據(jù)Inmon提出的設(shè)計(jì)步驟DataMarts數(shù)據(jù)倉(cāng)庫(kù)(事實(shí)和匯總）數(shù)據(jù)的一個(gè)子集。

BI環(huán)境中的大部分分析活動(dòng)均在數(shù)據(jù)集市中進(jìn)行。每個(gè)數(shù)據(jù)集市中的數(shù)據(jù)通常是為特定的功能（或部門(mén)）所定制，不必對(duì)其他的使用有效。DataWarehousesVersus

DataMartsPropertyDataWarehouseDataMartScopeEnterpriseDepartmentSubjectsMultipleSingle-subject,LOBDataSourceManyFewImplementationtimeMonthstoyearsMonthsDependentDataMartOperational

SystemsExternalDataOperationsDataLegacyDataDataWarehouseDataMartsFlatFilesMarketingSalesFinanceMarketingSalesFinanceHRExternalDataIndependentDataMartSalesor

MarketingFlatFilesOperational

SystemsExternalDataOperationsDataLegacyDataExternalData案例分析案例背景經(jīng)過(guò)三年快速的增長(zhǎng)，MAXMIN公司的業(yè)務(wù)增長(zhǎng)了300%，基于原有信息系統(tǒng)的報(bào)表系統(tǒng)只能提供細(xì)節(jié)型的信息，并且難以提供多種視角的靈活分析方式。同時(shí)，在同產(chǎn)品領(lǐng)域的競(jìng)爭(zhēng)非常激烈，公司為了應(yīng)對(duì)競(jìng)爭(zhēng)需要進(jìn)行有效的決策，而現(xiàn)有現(xiàn)有系統(tǒng)架構(gòu)下難以滿(mǎn)足?；谝陨蟽牲c(diǎn)，公司決定開(kāi)發(fā)一種真正的商務(wù)智能系統(tǒng)。當(dāng)前系統(tǒng)業(yè)務(wù)需求基于每天、每臺(tái)機(jī)器、每種產(chǎn)品、每一批次的合格品數(shù)量基于每天、每臺(tái)機(jī)器、每種產(chǎn)品、每一批次的次品數(shù)量基于每天、每臺(tái)機(jī)器、每種產(chǎn)品、每一批次的注塑和固化時(shí)間基于每天、每臺(tái)機(jī)器、每種產(chǎn)品、每一批次的處理和噴繪時(shí)間產(chǎn)品能夠按照產(chǎn)品子類(lèi)別、產(chǎn)品類(lèi)別進(jìn)行上卷和下鉆機(jī)器能夠按照機(jī)器類(lèi)別和材料（粘土、白蠟和鋁）進(jìn)行上卷和下鉆機(jī)器能夠按照生產(chǎn)工廠和國(guó)家進(jìn)行上卷和下鉆日期能夠按照月份、季度和年份進(jìn)行上卷和下鉆現(xiàn)有數(shù)據(jù)（生產(chǎn)自動(dòng)化系統(tǒng)日志）產(chǎn)品原材料批次編號(hào)機(jī)器編號(hào)號(hào)操作員編號(hào)生產(chǎn)起始日期和時(shí)間（每批次開(kāi)始）生產(chǎn)結(jié)束日期和時(shí)間（每批次結(jié)束）不合格標(biāo)志度量值MeasureOLTPFieldsNumberofAcceptedProductsRejectFlagNumberofRejectedProductsRejectFlagElapsedMinutesforMoldingandHardeningNOTAVAILABLEElapsedMinutesforPaintingandCuringNOTAVAILABLEMeasureOLTPFieldsDataTypeFormulaNumberofAcceptedProductsRejectFlagIntCountwhenrejectflagisfalseNumberofRejectedProductsRejectFlagIntCountwhenrejectflagistrueElapsedMinutesforManufacturingStartofmanufacturedateandtime,EndofmanufacturedateandtimeDecimal(6.2)DATEDIFF(mi.[Startofmanufacturedateandtime].[Endofmanufacturedateandtime])維度數(shù)據(jù)DimensionOLTPFieldsProductProductProductSubtypeNOTAVAILABLEProductTypeNOTAVAILABLEBatchBatchMachineMachineMachineTypeNOTAVAILABLEMaterialNOTAVAILABLEPlantNOTAVAILABLECountryNOTAVAILABLEDa