1、物流數(shù)據(jù)倉庫模型設(shè)計方法及規(guī)范,物流數(shù)據(jù)倉庫數(shù)據(jù)模型設(shè)計方法及規(guī)范,1,模型概述,2,建模方法,3,建模規(guī)范,議題,物流EDW模型總體架構(gòu),TI Staging,TO ODS,TW DW,TA DM/Report,物流EDW分為四層： TI/Staging層作業(yè)為數(shù)據(jù)源數(shù)據(jù)的接口層；表結(jié)構(gòu)和數(shù)據(jù)源一致，如需要增加識別數(shù)據(jù)源的字段； TO/ODS層作為數(shù)據(jù)源數(shù)據(jù)的整合存儲層，會保存一定時間段的歷史數(shù)據(jù)；可支持基本的業(yè)務(wù)報表；表結(jié)構(gòu)和TI層一致，如需增加識別歷史的字段； TW/DW層作為數(shù)據(jù)倉庫的模型層，采用星型模型設(shè)計，維表采用逆規(guī)范化設(shè)計，維表主鍵為整數(shù)序列，事實表的編碼轉(zhuǎn)換為維表的主鍵，事實

2、表需要盡量簡化，不允許保存描述信息； TA/DM/Report主要是匯總事實表和保存為報表需要的計算結(jié)果，盡量為匯總級別的星型模型，允許在某些情況將指標(biāo)和描述信息保存在同一表中。,1,模型概述,2,建模方法,3,建模規(guī)范,議題,建模過程,建模過程分為5個階段： 1. 需求及數(shù)據(jù)源分析 需求分析主要了解業(yè)務(wù)的流程，業(yè)務(wù)過程產(chǎn)生的單據(jù)，以及單據(jù)間的關(guān)系，業(yè)務(wù)過程中涉及的人、物、組織和事； 數(shù)據(jù)源分析需要了解單據(jù)和業(yè)務(wù)中所涉及的人、物、組織等的主數(shù)據(jù)表，人物事之間的關(guān)系表；了解以及這些表中包含的主要信息，還有這些表的數(shù)據(jù)量。 2. High Level模型設(shè)計 將需求分析階段的所得到實體按照數(shù)據(jù)倉庫

3、總線矩陣進(jìn)行整理；包含哪些分析主題，每個主題有哪些事實表，有哪些主數(shù)據(jù)，這些主數(shù)據(jù)可以歸納成哪些維表。每個分析主題或事實表與哪些維度有關(guān)。,建模過程,建模過程分為5個階段： 3. DW層模型設(shè)計 DW層設(shè)計采用數(shù)據(jù)驅(qū)動和業(yè)務(wù)驅(qū)動結(jié)合的方法，首先通過數(shù)據(jù)驅(qū)動的方法識別維表的主要屬性，如果需要在通過業(yè)務(wù)驅(qū)動的方法增加業(yè)務(wù)需要的屬性或者層級；先設(shè)計維表，在設(shè)計事實表，事實表可以直接引用維表ID字段，事實表需要保存最低粒度的交易事實。 維表設(shè)計需要考慮維表的數(shù)據(jù)量，對于大規(guī)模維度需要特殊處理: 一種方法是將常用的上面幾層單獨新建一個維度 另一種方法是將維表的數(shù)據(jù)按照使用情況，將最近一個階段用到的記錄單

4、獨抽出來最為一個維表，這種情況需要保證，兩個表的ID一致，事實表只有一個字段連接全表和最近使用的表。 定義事實表時，需要將業(yè)務(wù)系統(tǒng)單據(jù)的屬性做簡化，如果事實表包含同一維表的多個層級，只保留最低的層級，單據(jù)中的多個類型、狀態(tài)、FLAG字段需要通過雜項維來簡化，減少事實表字段；對于必要的相關(guān)單據(jù)號，如訂單號，直接保留在事實表中，作為退化維處理，不需要要為退化維建維表。,建模過程,建模過程分為5個階段： 4. DM/報表層模型設(shè)計 DM設(shè)計采用需求驅(qū)動的方法，需求驅(qū)動方法步驟： 調(diào)查報表需求, 報表需求需要落實到具體需要分析哪些指標(biāo)，需要從哪些維度來看，需要哪些查詢條件； 整理報表需求中的指標(biāo)和維度，維度整理需要了解維度有哪些層次，每個層次有哪些關(guān)鍵屬性，指標(biāo)的整理需要了解指標(biāo)的計算公式，并將指標(biāo)的計算項落實到，DW層的基礎(chǔ)度量，還需要了解指標(biāo)的分析的最細(xì)粒度，就要分析到哪些維度的哪些層級，參考倉庫模型設(shè)計文檔倉庫維度指標(biāo).xlsx； 整理維度指標(biāo)矩陣，參考倉庫模型設(shè)計文檔倉庫維度指標(biāo).xlsx ； 根據(jù)維度指標(biāo)矩陣整理需要的匯總事實表，可將相同的主題的相同粒度的指標(biāo)放到一個匯總事實表。,建模過程,建模過程分為5個階段： 5. 物理模型設(shè)計 物流數(shù)據(jù)倉庫采用Hadoop/Hive/Impala的技術(shù)架構(gòu)。 請打大數(shù)據(jù)開發(fā)Team補充這部分內(nèi)容。,1,模型概述,2,建模方