1、梅花與劍,數(shù)據(jù)倉庫相關(guān)概念,數(shù)據(jù)倉庫體系結(jié)構(gòu),數(shù)據(jù)倉庫實(shí)施方法,目 錄,一、數(shù)據(jù)倉庫相關(guān)概念,什么是數(shù)據(jù)倉庫,一種面向分析的環(huán)境； 一種把相關(guān)的各種數(shù)據(jù)轉(zhuǎn)換成有商業(yè)價值的信息的技術(shù)。,數(shù)據(jù)倉庫理論的創(chuàng)始人W.H.Inmon在其Building the Data Warehouse一書中，給出了數(shù)據(jù)倉庫的四個基本特征：面向主題，數(shù)據(jù)是集成的，數(shù)據(jù)是不可更新的，數(shù)據(jù)是隨時間不斷變化的。,一、數(shù)據(jù)倉庫相關(guān)概念,區(qū)分業(yè)務(wù)型與分析型數(shù)據(jù)庫,一、數(shù)據(jù)倉庫相關(guān)概念,業(yè)務(wù)型數(shù)據(jù)庫的特點(diǎn),用于減少冗余和提高精度 適合于數(shù)據(jù)的寫入和更新而不是數(shù)據(jù)的讀取,一、數(shù)據(jù)倉庫相關(guān)概念,業(yè)務(wù)型數(shù)據(jù)庫的問題,一、數(shù)據(jù)倉庫相關(guān)概

2、念,分析型數(shù)據(jù)庫的特點(diǎn),一、數(shù)據(jù)倉庫相關(guān)概念,星型結(jié)構(gòu)的好處,一、數(shù)據(jù)倉庫相關(guān)概念,維度,一、數(shù)據(jù)倉庫相關(guān)概念,度量,度量也叫事實(shí)，是用于評價業(yè)務(wù)狀況的數(shù)值型數(shù)據(jù) 例如：銷售額、成本、利潤、庫存量、交易數(shù) 在企業(yè)活動中通常是通過如銷售額、費(fèi)用、庫存量和定額一類的關(guān)鍵 性能指標(biāo)度量來監(jiān)測業(yè)務(wù)的成效。 不同的度量反映出不同的業(yè)務(wù)性質(zhì)。度量之間相互獨(dú)立。 度量是業(yè)務(wù)量化的表示。,一、數(shù)據(jù)倉庫相關(guān)概念,多維立方體,露營裝備2005年在歐洲的銷量,一、數(shù)據(jù)倉庫相關(guān)概念,多維分析,一、數(shù)據(jù)倉庫相關(guān)概念,維度、層和類別,數(shù)據(jù)倉庫相關(guān)概念,數(shù)據(jù)倉庫體系結(jié)構(gòu),數(shù)據(jù)倉庫實(shí)施方法,目 錄,一、數(shù)據(jù)倉庫相關(guān)概念,In

3、mon的企業(yè)信息化工廠,企業(yè)數(shù)據(jù) 倉庫,ETL,組織數(shù)據(jù)用于部門級分析 多維模型,原子數(shù)據(jù)的集成倉庫 第三范式,操作型 應(yīng)用程序,用戶,數(shù)據(jù)集市,DSS 應(yīng)用程序,挖掘&探索,一、數(shù)據(jù)倉庫相關(guān)概念,Kimball的維度數(shù)據(jù)倉庫,維度數(shù)據(jù) 倉庫,ETL,數(shù)據(jù)集市：數(shù)據(jù)倉庫中的主題區(qū)域,原子數(shù)據(jù)的集成倉庫 維度模型,操作型 應(yīng)用程序,用戶,一、數(shù)據(jù)倉庫相關(guān)概念,獨(dú)立型數(shù)據(jù)集市,ETL,相互獨(dú)立的數(shù)據(jù)倉庫,操作型 應(yīng)用程序,DSS系統(tǒng),分析系統(tǒng),ETL,ETL,專賣分析,數(shù)據(jù)倉庫,二、數(shù)據(jù)倉庫體系結(jié)構(gòu),數(shù)據(jù)中心用戶是誰？要解決什么問題？,用戶： 領(lǐng)導(dǎo) 決策支持 業(yè)務(wù)人員報表、業(yè)務(wù)操作 信息中心服務(wù)領(lǐng)

4、導(dǎo)和業(yè)務(wù)人員 解決問題： 數(shù)據(jù)分散：難管理、難應(yīng)用 數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一：可信度低 辦法： 集中：數(shù)入一庫 集成：數(shù)出一門 應(yīng)用：報表、數(shù)據(jù)挖掘、數(shù)據(jù)共享,二、數(shù)據(jù)倉庫體系結(jié)構(gòu),數(shù)據(jù)中心五大體系,信息資源標(biāo)準(zhǔn)體系 數(shù)據(jù)交換服務(wù)體系 數(shù)據(jù)加工存儲體系 數(shù)據(jù)分析應(yīng)用體系 信息安全保障體系,二、數(shù)據(jù)倉庫體系結(jié)構(gòu),信息資源標(biāo)準(zhǔn)體系-“建、管、用”,數(shù)據(jù)標(biāo)準(zhǔn)：主數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)元標(biāo)準(zhǔn) 、指標(biāo)體系、指數(shù)體系、數(shù)據(jù)模型標(biāo)準(zhǔn)等 技術(shù)標(biāo)準(zhǔn)：數(shù)據(jù)交換標(biāo)準(zhǔn)等 管理標(biāo)準(zhǔn)：數(shù)據(jù)中心管理辦法、數(shù)據(jù)中心管理流程 運(yùn)維標(biāo)準(zhǔn)：數(shù)據(jù)安全管理規(guī)范，數(shù)據(jù)發(fā)布、共享及服務(wù)規(guī)范等 標(biāo)準(zhǔn)如何落地？,二、數(shù)據(jù)倉庫體系結(jié)構(gòu),數(shù)據(jù)交換服務(wù)體

5、系,ETL 數(shù)據(jù)復(fù)制 WEB服務(wù) MQ 中間表共享 文件方式共享,二、數(shù)據(jù)倉庫體系結(jié)構(gòu),數(shù)據(jù)加工存儲體系,數(shù)據(jù)建模 ODS： 緩沖數(shù)據(jù)區(qū)（全量） 規(guī)范數(shù)據(jù)區(qū)（增量） 整合數(shù)據(jù)區(qū)（明細(xì)維度模型-按主題，近期數(shù)據(jù)） DW： 整合數(shù)據(jù)區(qū)（明細(xì)維度模型-按主題，全量數(shù)據(jù)） 匯總數(shù)據(jù)區(qū)（按需匯總，全量） DM： 多維模型-面向業(yè)務(wù)部門,二、數(shù)據(jù)倉庫體系結(jié)構(gòu),信息安全保障體系,內(nèi)容： 數(shù)據(jù)安全保障：傳輸、加工存儲、分析應(yīng)用 數(shù)據(jù)質(zhì)量保障 實(shí)施安全保障：身份鑒別、訪問控制、安全審計、容錯、備份恢復(fù)等 注意事項(xiàng)： 安全意識 權(quán)限控制 責(zé)任清晰 運(yùn)維工作實(shí)時性 應(yīng)急措施及應(yīng)急演練,數(shù)據(jù)倉庫相關(guān)概念,數(shù)據(jù)倉庫體系

6、結(jié)構(gòu),數(shù)據(jù)倉庫實(shí)施方法,目 錄,三、數(shù)據(jù)倉庫實(shí)施方法,數(shù)據(jù)中心實(shí)施路徑,信息系統(tǒng)建模 用戶視圖登記 數(shù)據(jù)項(xiàng)整理 數(shù)據(jù)元素規(guī)范化 業(yè)務(wù)建模,標(biāo)準(zhǔn)制定 主數(shù)據(jù)建模 企業(yè)數(shù)據(jù)建模,分析模型,明確項(xiàng)目范圍和目標(biāo),三、數(shù)據(jù)倉庫實(shí)施方法,維度模型設(shè)計四步維度建模法,1選取業(yè)務(wù)過程 2 定義粒度 3 選定維度 4 確定事實(shí),三、數(shù)據(jù)倉庫實(shí)施方法,第一步：選取業(yè)務(wù)過程,原則： 針對業(yè)務(wù)流程進(jìn)行維度建模 確保某個業(yè)務(wù)流程中的核心數(shù)據(jù)只被抽取一次 保證數(shù)據(jù)倉庫中業(yè)務(wù)數(shù)據(jù)一致性 誤區(qū)： 不針對業(yè)務(wù)流程而針對業(yè)務(wù)部門進(jìn)行維度建模 為某個部門或某張報表建立單獨(dú)的維度模型,三、數(shù)據(jù)倉庫實(shí)施方法,第二步：定義粒度,粒度的解

7、釋： 粒度傳遞了同事實(shí)表度量值相聯(lián)系的細(xì)節(jié)所達(dá)到的程度方面的信息。簡單的說，反映了事實(shí)表的明細(xì)程度。 粒度舉例： 超市小票上的購物清單（某位顧客某天在某個超市的某個收銀臺購買了什么商品） 醫(yī)生的處方藥品清單 倉庫每種產(chǎn)品庫存值的月快照 原則： 最小粒度原則。優(yōu)先考慮具有原子粒度的業(yè)務(wù)信息，這些數(shù)據(jù)不能再做進(jìn)一步的細(xì)分 數(shù)據(jù)倉庫中存儲匯總的、概要性的數(shù)據(jù)主要是基于數(shù)據(jù)庫性能上的考慮 匯總數(shù)據(jù)不能成為最底層細(xì)節(jié)數(shù)據(jù)的替代品,三、數(shù)據(jù)倉庫實(shí)施方法,第三步：選擇維度,原則： 在粒度確認(rèn)后，選取能從各個角度，充分描述問題的維度 為每個維度添加豐富的維度屬性 誤區(qū)： 沒有定義粒度就開始選定維度 示例： 常

8、見維度包括日期、產(chǎn)品、顧客、事務(wù)類型和狀態(tài),三、數(shù)據(jù)倉庫實(shí)施方法,第四步：確定事實(shí),原則： 事實(shí)表由包含引用維度的外鍵和事實(shí)構(gòu)成。 在需求調(diào)研時我們可以通過提出“您需要對哪些指標(biāo)進(jìn)行統(tǒng)計？”這樣的問題來確定事實(shí)。 事實(shí)表應(yīng)該包含所有與業(yè)務(wù)過程有關(guān)的事實(shí)。 反映不同業(yè)務(wù)過程的事實(shí)應(yīng)該放在不同的事實(shí)表中。 具有不同粒度的事實(shí)必須放在不同的事實(shí)表中 事實(shí)一般在各維度上都有良好的可加性,三、數(shù)據(jù)倉庫實(shí)施方法,維度建?？偨Y(jié),維度建?？傇瓌t：需求驅(qū)動和數(shù)據(jù)驅(qū)動相結(jié)合,維度模型 1.業(yè)務(wù)處理 2.粒度 3.維度 4.事實(shí),業(yè)務(wù)需求,實(shí)際數(shù)據(jù),業(yè)務(wù)需求調(diào)研,數(shù)據(jù)資源規(guī)劃,三、數(shù)據(jù)倉庫實(shí)施方法,案例,背景： 國

9、家煙草專賣局下有33個省級公司，300多家市公司負(fù)責(zé)卷煙的銷售。 每個市公司都有配套部門，包括計劃、物流、倉儲、分揀等人員，并有幾十個卷煙品牌在各地銷售，每個卷煙品牌下面又有多個卷煙規(guī)格。各個規(guī)格按按價格可以分為多個價類。 國家局已經(jīng)建設(shè)的相關(guān)系統(tǒng)對每天卷煙的采購、庫存和銷售情況進(jìn)行監(jiān)控，采集了相關(guān)數(shù)據(jù)。 管理人員希望對卷煙的銷售情況進(jìn)行靈活的分析，及時發(fā)現(xiàn)銷售情況的問題。,三、數(shù)據(jù)倉庫實(shí)施方法,維度建模實(shí)例,第一步：選取業(yè)務(wù)處理過程： 需要建立一個模型，反映省市公司卷煙的采購、庫存及銷售過程 第二步：定義粒度 每天、每個市公司、每個規(guī)格卷煙的采購、庫存及銷售情況,三、數(shù)據(jù)倉庫實(shí)施方法,維度建

10、模實(shí)例,第三步：選取維度 日期維度：年、季度、月、日 企業(yè)維度：省公司、市公司 產(chǎn)品維度：品牌、規(guī)格 價類維度：價類,三、數(shù)據(jù)倉庫實(shí)施方法,維度建模實(shí)例,第四步：選擇事實(shí),可加型事實(shí),半可加型事實(shí)：,非可加型事實(shí),三、數(shù)據(jù)倉庫實(shí)施方法,添加維度表屬性,確定哪些字段的值需要被篩選掉或者需要存在 確定是否需要同時存儲編號和描述，或者只是編號，或者只是描述的信息 增加的維度屬性會為用戶帶來更多的查詢條件 豐富的維度屬性將使查詢變得更加靈活,三、數(shù)據(jù)倉庫實(shí)施方法,維度表設(shè)計技巧,代理鍵：為每個維度表分配一個代理鍵，用于唯一地區(qū)分表中的每行記錄。數(shù)據(jù)倉庫中維度和事實(shí)表之間的每個連接都應(yīng)該用沒有明確含義的

11、整型代理關(guān)鍵字來建立。應(yīng)該避免使用自然的操作型產(chǎn)品編碼。 豐富的維度組合：在維度表中提供豐富和全面的維度屬性集合，可以顯著地提高分析性能。（代碼與描述符、標(biāo)志和標(biāo)志值） 多列組合字段：存儲全部屬性（xxx-yyy-zzz，拆分為xxx、yyy、zzz）,三、數(shù)據(jù)倉庫實(shí)施方法,維度表設(shè)計技巧,當(dāng)事實(shí)表和維度表有多重關(guān)系時，沒有必要為維度建立多個副本。每個角色都能通過在事實(shí)表中連接維度的視圖或別名到適當(dāng)?shù)耐怄I來存取。 避免空值。維度列中不應(yīng)該存在空值，而應(yīng)該選擇某個值作為當(dāng)數(shù)據(jù)無效時存儲的值。（數(shù)值列經(jīng)常用0代替，日期經(jīng)常默認(rèn)為將來的某個日期）,三、數(shù)據(jù)倉庫實(shí)施方法,區(qū)分?jǐn)?shù)值型維度,如果一個屬性通

12、常用于聚集或匯總，那么它就是事實(shí)；如果通常被用于提供聚集或匯總的環(huán)境，那么它就是維度。 如果一個元素值用于過濾查詢、排序、控制聚集、區(qū)分主從關(guān)系等，該元素通常是維度。 數(shù)量單位一般是維度，數(shù)量匯總一般是事實(shí)。,大多數(shù)的維度的內(nèi)容都會有不同程度的改變。比如： 用戶的職務(wù)變更 客戶更改了他的名稱或地址 生產(chǎn)企業(yè)的變化 我們?nèi)绾稳ヌ幚磉@些維度中的變化呢？ 直接更新維度屬性值 插入新維度行 新增一列保留歷史,三、數(shù)據(jù)倉庫實(shí)施方法,緩慢變化維,三、數(shù)據(jù)倉庫實(shí)施方法,方式一：直接更新維度屬性值,不能維護(hù)維度的歷史信息,三、數(shù)據(jù)倉庫實(shí)施方法,方式二：插入新維度行,可以維護(hù)維度的歷史信息。 維度表中出現(xiàn)包含重

13、復(fù)的信息，可以設(shè)置當(dāng)前版本標(biāo)識位，通過提供distinct查詢視圖。,按照新的生產(chǎn)企業(yè)增加一行,歷史記錄仍然引用舊的維度信息,新的記錄引用新的維度信息,三、數(shù)據(jù)倉庫實(shí)施方法,方式三：新增一列保留歷史,可以有限度地維護(hù)維度的歷史信息。 維度表中不會出現(xiàn)包含重復(fù)的信息,新增一列保留上一生產(chǎn)企業(yè),三、數(shù)據(jù)倉庫實(shí)施方法,事實(shí)表設(shè)計技巧事務(wù)事實(shí)表,事務(wù)事實(shí)表，也稱為事務(wù)粒度的事實(shí)表。用于跟蹤發(fā)生在非連續(xù)時間點(diǎn)（即當(dāng)事務(wù)/事件發(fā)生時）上的每次事務(wù)。比如訂單的預(yù)訂、發(fā)貨等。 粒度。事實(shí)表的每一行描述一個特定的事件，但不一定是單個事件。 稀疏性。僅當(dāng)事務(wù)發(fā)生時才生成一條記錄。（比如2號沒有銷售行為發(fā)生，事實(shí)表

14、中就沒有2號的銷售記錄。） 可加性。事務(wù)事實(shí)表通常記錄可加的事實(shí)。大部分可加事實(shí)都應(yīng)該被拆分為完全可加的事實(shí)被存儲。（比如同比、占比、利潤率等）,三、數(shù)據(jù)倉庫實(shí)施方法,事實(shí)表設(shè)計技巧累計快照事實(shí)表,周期快照事實(shí)表用來記錄有規(guī)律的，可預(yù)見時間間隔的業(yè)務(wù)累計數(shù)據(jù)。通常的時間間隔可以是每天、每周或者每月。典型的例子是庫存日快照事實(shí)表、銀行賬戶每日余額事實(shí)表等。,1、快照事實(shí)表包含至少一個半可加性質(zhì)的事實(shí)。 2、快照事實(shí)表是稠密的。在周期內(nèi)無論是否發(fā)生事務(wù)，都會記錄一行。,如果在周期內(nèi)不記錄行，查詢會非常困難： 檢查相關(guān)日期（2012-2-2）。 如果沒有找到，檢查前一天。 重復(fù)上述步驟，直到找到為止

15、。,三、數(shù)據(jù)倉庫實(shí)施方法,事實(shí)表設(shè)計技巧累計快照事實(shí)表,累計快照事實(shí)表一般用來涵蓋一個事務(wù)的生命周期內(nèi)的不確定的時間跨度。典型的例子是用多個日期字段的訂單發(fā)貨事實(shí)表。 粒度。累計快照設(shè)計的粒度是依照在業(yè)務(wù)流程中可識別的實(shí)體來構(gòu)造的。實(shí)體的每個實(shí)例在事實(shí)表中恰好有一行記錄。 記錄里程碑的關(guān)鍵日期。便于統(tǒng)計不同里程碑的花費(fèi)時間。 事務(wù)和累積快照模型能夠相互補(bǔ)充。如果需要同時構(gòu)建事務(wù)模型和累積模型，應(yīng)該使用事務(wù)星型模型作為累計快照的數(shù)據(jù)源。,卷煙銷售合同事實(shí)表,三、數(shù)據(jù)倉庫實(shí)施方法,ETL設(shè)計,ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程，目的是多個數(shù)據(jù)源中分散、零亂、標(biāo)準(zhǔn)不統(tǒng)

16、一的數(shù)據(jù)整合到一起。 ETL的設(shè)計分三部分：數(shù)據(jù)抽取、數(shù)據(jù)的清洗轉(zhuǎn)換、數(shù)據(jù)的加載。在設(shè)計ETL的時候也是從這三部分出發(fā)。ETL三個部分中，花費(fèi)時間最長的是T(清洗、轉(zhuǎn)換)的部分，一般情況下這部分工作量是整個ETL的2/3。數(shù)據(jù)的加載一般在數(shù)據(jù)清洗完了之后直接寫入DW中去。,三、數(shù)據(jù)倉庫實(shí)施方法,ETL設(shè)計數(shù)據(jù)抽取,數(shù)據(jù)抽取就是從外部異構(gòu)數(shù)據(jù)源抽取數(shù)據(jù)，但是并不是所有的抽取源表數(shù)據(jù)項(xiàng)都有實(shí)際的意義。 第一步：確定抽取范圍 第二步：制定抽取策略 第三步：數(shù)據(jù)抽取方式,三、數(shù)據(jù)倉庫實(shí)施方法,ETL設(shè)計數(shù)據(jù)抽取策略,時間戳方式 需要在源系統(tǒng)中業(yè)務(wù)表中統(tǒng)一添加時間字段作為時間戳（如表中已有相應(yīng)的時間字段

17、，可以不必添加），每當(dāng)源系統(tǒng)中更新修改業(yè)務(wù)數(shù)據(jù)時，同時修改時間戳字段值。當(dāng)作ETL加載時，通過系統(tǒng)時間與時間戳字段的比較來決定進(jìn)行何種數(shù)據(jù)抽取。 優(yōu)點(diǎn)：ETL系統(tǒng)設(shè)計清晰，源數(shù)據(jù)抽取相對清楚簡單，速度快?？梢詫?shí)現(xiàn)數(shù)據(jù)的增量抽取。 缺點(diǎn)：時間戳維護(hù)需要由源系統(tǒng)完成，需要修改源系統(tǒng)中業(yè)務(wù)表結(jié)構(gòu)；所有添加時間戳的表，在業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)發(fā)生變化時，同時更新時間戳字段，需要對源系統(tǒng)業(yè)務(wù)操作程序作修改，工作量大，改動面大，風(fēng)險大。,三、數(shù)據(jù)倉庫實(shí)施方法,ETL設(shè)計數(shù)據(jù)抽取策略,全刪全插方式 每次ETL操作均刪除目標(biāo)表數(shù)據(jù)，由ETL全新加載數(shù)據(jù)。 優(yōu)點(diǎn)：ETL加載規(guī)則簡單，速度快 缺點(diǎn)：對于維表加代理鍵不適

18、應(yīng)，當(dāng)源系統(tǒng)產(chǎn)生刪除數(shù)據(jù)操作時，OLAP層將不會記錄到所刪除的歷史數(shù)據(jù)。 不可以實(shí)現(xiàn)數(shù)據(jù)的遞增抽取，不適合大數(shù)據(jù)量的抽取。,三、數(shù)據(jù)倉庫實(shí)施方法,ETL設(shè)計數(shù)據(jù)抽取策略,全表對比方式 在ETL過程中，抽取所有源數(shù)據(jù)，并進(jìn)行相應(yīng)規(guī)則轉(zhuǎn)換，完成后先不插入目標(biāo)，而對每條數(shù)據(jù)進(jìn)行目標(biāo)表比對。根據(jù)主鍵值進(jìn)行插入與更新的判定，目標(biāo)表已存在該主鍵值的，表示該記錄已有，并進(jìn)行其余字段比對，如有不同，進(jìn)行Update操作，如目標(biāo)表沒有存在該主鍵值，表示該記錄還沒有，即進(jìn)行Insert操作。 優(yōu)點(diǎn)：對已有系統(tǒng)表結(jié)構(gòu)不產(chǎn)生影響，不需要修改業(yè)務(wù)操作程序，所有抽取規(guī)則由ETL完成，管理維護(hù)統(tǒng)一，可以實(shí)現(xiàn)數(shù)據(jù)的遞增加載。

19、沒有風(fēng)險。 缺點(diǎn)：ETL比對較復(fù)雜，設(shè)計較為復(fù)雜，速度較慢,三、數(shù)據(jù)倉庫實(shí)施方法,ETL設(shè)計數(shù)據(jù)抽取策略,業(yè)務(wù)日志表方式 在源系統(tǒng)中添加系統(tǒng)日志表，當(dāng)業(yè)務(wù)數(shù)據(jù)發(fā)生變化時，更新維護(hù)日志表內(nèi)容，當(dāng)作ETL加載時，通過讀日志表數(shù)據(jù)決定加載那些數(shù)據(jù)及如何加載。 優(yōu)點(diǎn)：不需要修改源系統(tǒng)表結(jié)構(gòu)，源數(shù)據(jù)抽取清楚，速度較快?？梢詫?shí)現(xiàn)數(shù)據(jù)的遞增加載。 缺點(diǎn)：日志表維護(hù)需要由源系統(tǒng)完成，需要對源系統(tǒng)業(yè)務(wù)操作程序作修改，記錄日志信息。日志表維護(hù)較為麻煩，對原有系統(tǒng)有較大影響。工作量較大，改動較大。有一定風(fēng)險。,三、數(shù)據(jù)倉庫實(shí)施方法,ETL設(shè)計數(shù)據(jù)抽取策略,觸發(fā)器方式 觸發(fā)器方式是普遍采取的一種增量抽取機(jī)制該方式。根據(jù)抽取要求在要被抽取的源表上建立