1、第五講 數(shù)據(jù)倉庫的物理設(shè)計、部署與維護,第五講,物理設(shè)計過程 物理設(shè)計步驟 物理設(shè)計考慮的因素 物理存儲 為數(shù)據(jù)倉庫建立索引 提高性能的技術(shù),數(shù)據(jù)倉庫部署 部署的主要任務(wù) 領(lǐng)航系統(tǒng) 安全 備份和恢復(fù),升級與維護 監(jiān)視數(shù)據(jù)倉庫 用戶培訓(xùn)和支持 管理數(shù)據(jù)倉庫,1 物理設(shè)計過程,Objects 明確數(shù)據(jù)倉庫的物理和邏輯設(shè)計的區(qū)別 研究物理設(shè)計的過程 明白物理設(shè)計需要考慮的因素及其含義 掌握物理設(shè)計中存儲因素的角色 考察數(shù)據(jù)倉庫環(huán)境下的索引技術(shù) 總結(jié)所有提高系統(tǒng)性能的方法,Contents 物理設(shè)計步驟 物理設(shè)計考慮的因素 物理存儲 為數(shù)據(jù)倉庫建立索引 提高性能的技術(shù),物理設(shè)計使項目組更接近于最后的實

2、現(xiàn)和部署 每個物理設(shè)計的任務(wù)是將邏輯設(shè)計推向更有意義的下一步,1 物理設(shè)計過程,Contents 物理設(shè)計步驟 物理設(shè)計考慮的因素 物理存儲 為數(shù)據(jù)倉庫建立索引 提高性能的技術(shù),物理設(shè)計步驟,建立標(biāo)準(zhǔn) 建立聚集計劃 確定數(shù)據(jù)分區(qū)方案 建立聚簇選項：大量數(shù)據(jù)的順序訪問 準(zhǔn)備索引策略 安排存儲結(jié)構(gòu) 完成物理建模,數(shù)據(jù)庫分區(qū)技術(shù),分區(qū)將表分離在若干不同的表空間上，用分而治之的方法來支撐無限膨脹的大表，給大表在物理一級的可管理性。 將大表分割成較小的分區(qū)可以改善表的維護、備份、恢復(fù)、事務(wù)及查詢性能。,數(shù)據(jù)倉庫的分區(qū)方案,分區(qū)原因：事實表太大而不得不分區(qū)，有些維度表可能也很大。方案： 選擇需要分區(qū)的事實

3、表和維度表 每個表的分區(qū)類型-水平或者垂直 每個表的分區(qū)個數(shù) 表的分區(qū)準(zhǔn)則（例如，按照產(chǎn)品分組） 描述查詢?nèi)绾沃来嬖诜謪^(qū),分區(qū)例子,CREATE TABLESPACE ts_sale1999q1 DATAFILE /u1/oradata/sales/sales1999_q1.dat SIZE 100M DEFAULT STORAGE (INITIAL 30m NEXT 30m MINEXTENTS 3 PCTINCREASE 0) CREATE TABLESPACE ts_sale1999q2 DATAFILE /u1/oradata/sales/sales1999_q2.dat SIZE

4、100M DEFAULT STORAGE (INITIAL 30m NEXT 30m MINEXTENTS 3 PCTINCREASE 0) CREATE TABLESPACE ts_sale1999q3 DATAFILE /u1/oradata/sales/sales1999_q3.dat SIZE 100M DEFAULT STORAGE (INITIAL 30m NEXT 30m MINEXTENTS 3 PCTINCREASE 0) CREATE TABLESPACE ts_sale1999q4 DATAFILE /u1/oradata/sales/sales1999_q4.dat S

5、IZE 100M DEFAULT STORAGE (INITIAL 30m NEXT 30m MINEXTENTS 3 PCTINCREASE 0),分區(qū)例子（cont.）,CREATE TABLE sales (invoice_no NUMBER, . sale_date DATE NOT NULL ) PARTITION BY RANGE (sale_date) (PARTITION sales1999_q1 VALUES LESS THAN (TO_DATE(1999-04-01,YYYY-MM-DD) TABLESPACE ts_sale1999q1, PARTITION sales1

6、999_q2 VALUES LESS THAN (TO_DATE(1999-07-01,YYYY-MM-DD) TABLESPACE ts_sale1999q2, PARTITION sales1999_q3 VALUES LESS THAN (TO_DATE(1999-10-01,YYYY-MM-DD) TABLESPACE ts_sale1999q3, PARTITION sales1999_q4 VALUES LESS THAN (TO_DATE(2000-01-01,YYYY-MM-DD) TABLESPACE ts_sale1999q4 );,1 物理設(shè)計過程,Contents 物理

7、設(shè)計步驟 物理設(shè)計考慮的因素 物理存儲 為數(shù)據(jù)倉庫建立索引 提高性能的技術(shù),物理設(shè)計考慮的因素,物理設(shè)計目標(biāo) 提高性能 保證可伸縮性 存儲管理 提供簡便的管理 靈活性設(shè)計,物理設(shè)計考慮的因素,從邏輯模型到物理模型,邏輯模型,物理模型,數(shù)據(jù)建模工具,對象命名標(biāo)準(zhǔn)化,改變屬性數(shù)據(jù)類型,為鍵指定合適的數(shù)據(jù)類型,為屬性指定約束,定義外鍵關(guān)系,考慮選擇數(shù)據(jù)庫管理系統(tǒng),有需要的時候 就增加注釋,物理模型意味著信息內(nèi)容更加的接近硬件層,物理設(shè)計考慮的因素,物理模型的組成,方案 子方案 定義,表,列,同義詞,視圖,注釋,用戶角色,主鍵,外鍵,約束,索引,安全特權(quán),文件/表空間,數(shù)據(jù)倉庫：物理模型組件,CREA

8、TE SCHEMA ORDER_ANALYSIS AUTHORIZATION SAMUEL_JOHNSON . CREATE TABLE PRODUCT ( PRODUCT_KEY CHARACTER (8) PRIMARY KEY, PRODUCT_NAME CHARACTER (25), PRODUCT_SKU CHARACTER (20), PRODUCT_BRAND CHARACTER (25), CREATE TABLE SALESPERSON ( SALPERS_KEY CHARACTER (8) PRIMARY KEY, SALPERS_NAME CHARACTER (30),

9、TERRITORY CHARACTER (20), REGION CHARACTER (20),CREATE TABLE ORDER_FACT ( PRODUCT_REF CHARACTER (8) PRIMARY KEY, SALPERS_REF CHARACTER (8), PRIMARY KEY, ORDER_AMOUNT NUMERIC (8.2), ORDER_COST NUMERIC (8.2), FOREIGN KEY PRODUCT_REF REFERENCES PRODUCT, FOREIGN KEY SALPERS_REF REFERENCES SALESPERSON),S

10、QL描述的示例方案,邏輯模型,產(chǎn)品鍵 名子 SKU 品牌,產(chǎn)品,銷售代表鍵 姓名 區(qū)域 地區(qū),訂單鍵 訂單 數(shù)量 成本,訂單事實表,邏輯模型,邏輯模型及物理模型,物理設(shè)計考慮的因素,標(biāo)準(zhǔn)的意義 數(shù)據(jù)庫對象的命名 對象組件命名 customer_loan_balance 單詞分界符 邏輯模型和物理模型的命名 準(zhǔn)備區(qū)域文件和表名稱定義 標(biāo)志進程 表明目的 示例：product_full_refresh, customer_daily_update 物理文件命名規(guī)范 保存源代碼和腳本的文件 數(shù)據(jù)庫文件 應(yīng)用程序文檔,1 物理設(shè)計過程,Contents 物理設(shè)計步驟 物理設(shè)計考慮的因素 物理存儲 為數(shù)

11、據(jù)倉庫建立索引 提高性能的技術(shù),物理存儲,存儲區(qū)數(shù)據(jù)結(jié)構(gòu),數(shù)據(jù)準(zhǔn)備區(qū),數(shù)據(jù)倉庫存儲區(qū),OLAP系統(tǒng),以專用矩陣格式存儲的多維 數(shù)據(jù)立方體物理文件,關(guān)系數(shù)據(jù)庫數(shù)據(jù)文件 （轉(zhuǎn)換過的數(shù)據(jù)）,關(guān)系數(shù)據(jù)庫索引文件 裝載映像文件,關(guān)系數(shù)據(jù)庫索引文件,己分區(qū)的 物理文件,細節(jié)數(shù)據(jù)和 簡單匯總,數(shù)據(jù)抽取平面文件,關(guān)系數(shù)據(jù)庫數(shù)據(jù)文件 （倉庫數(shù)據(jù)）,物理存儲,優(yōu)化存儲 塊：數(shù)據(jù)庫的數(shù)據(jù)和內(nèi)存之間I/O傳輸?shù)幕締挝?設(shè)定正確的塊大小 設(shè)置合適的塊使用參數(shù) 塊空閑率 塊使用率 數(shù)據(jù)遷移管理 塊使用管理 采用文件分帶技術(shù)：可使I/O并發(fā)進行,物理存儲,使用RAID技術(shù) Redundant Array of Indep

12、endent Disk ：廉價冗余磁盤陣列（ 獨立磁盤冗余陣列） 安全性高，速度快，數(shù)據(jù)容量超大 磁盤鏡像- 將相同的數(shù)據(jù)寫入連接到相同控制器的兩個磁盤中 雙磁盤- 和磁盤鏡像類似，不同的是每個驅(qū)動器有自己單獨的控制器 奇偶校驗- 為數(shù)據(jù)加入校驗位以保證數(shù)據(jù)傳輸可靠 磁盤分帶- 數(shù)據(jù)按扇區(qū)或者字節(jié)分布在多個磁盤上,RAID 0,高性能、低成本、單 磁盤損壞導(dǎo)致整個磁 盤陣列無法使用,數(shù)據(jù)帶狀分布在多個 磁盤上，沒有冗余,RAID 1,可讀性能和可靠性 高，因為數(shù)據(jù)復(fù)制， 所以昂貴,磁盤鏡像，數(shù)據(jù)寫入 成對的冗余驅(qū)動器,RAID 2,高性能，糾一位 錯，兩位檢錯， 代價昂貴,數(shù)據(jù)按位或者塊交錯分

13、 布在磁盤上，額外的驅(qū) 動器存儲校驗碼,RAID 3,對大塊數(shù)據(jù)性能較高， 不支持運行時恢復(fù),數(shù)據(jù)按位或塊交錯存 儲，有一個驅(qū)動器存 儲校驗數(shù)據(jù),RAID 4,可以處理多個復(fù)雜操作 系統(tǒng)中的I / 0操作，只用 兩個驅(qū)動器,數(shù)據(jù)記錄按扇區(qū)交錯存 儲，有一個專門驅(qū)動器 存儲校驗數(shù)據(jù),RAID 5,不需要專門的校驗驅(qū)動 器，需要兩個或三個驅(qū) 動器，寫能力較弱,數(shù)據(jù)扇區(qū)交錯存 儲于多個驅(qū)動器， 非常流行,RAID技術(shù),物理存儲,估計存儲容量 對每個數(shù)據(jù)表，確定 行數(shù)的初始估計 行的平均長度 估計行的每月增長數(shù) 表的初始大小，以兆字節(jié)（MB）計算 表6個月和12月的大小 對所有表，確定 索引的個數(shù) 索

14、引在，最初，6個月和12個月后需要的空間 估計 排序、合并需要的臨時空間 準(zhǔn)備區(qū)內(nèi)的臨時文件 準(zhǔn)備區(qū)內(nèi)的長久文件,1 物理設(shè)計過程,Contents 物理設(shè)計步驟 物理設(shè)計考慮的因素 物理存儲 為數(shù)據(jù)倉庫建立索引 提高性能的技術(shù),為數(shù)據(jù)倉庫建立索引,索引一覽 索引和加載 建立大表的索引 選擇索引的列 一種分階段的方法,為數(shù)據(jù)倉庫建立索引,B-Tree索引 位圖索引 簇索引 為事實表建立索引 為維度表建立索引,為數(shù)據(jù)倉庫建立索引,B-Tree索引,A-K L-Z,A-D E-G H-K,ALLEN BUSH CLYNE DUNNE,ENGEL FARIS GORE,HAIG IGNAR JONE

15、S KUMAR,LOEWE MAHER NIXON OTTO,PAINE QUINN RAJ,SEGEL TOTO VETRI WILLS,L-O P-R S-Z,ENGEL-地址 FARIS-地址 GORE-地址,指向數(shù)據(jù) 行的指針,地址或行號日期 產(chǎn)品 地區(qū) 顏色 銷售量 00001BFF.0012.0111 15-Nov-00 洗碗機 東 白 300 00001BFF.0013.0114 15-Nov-00 干洗機 西 杏黃 450 00001BFF.0012.0115 16-Nov-00 洗碗機 西 杏黃 350 00001BFF.0012.0138 16-Nov-00 洗衣機 北 黑

16、 550 00001BFF.0012.0145 17-Nov-00 洗衣機 南 白 500 00001BFF.0012.0157 17-Nov-00 干洗機 東 白 400 00001BFF.0014.0165 17-Nov-00 洗衣機 南 杏黃 575,銷售數(shù)據(jù)抽取,產(chǎn)品列排序位圖索引 顏色排序位圖索引 地域排序位圖索引 洗衣機、干洗機、洗碗機 白色、杏黃色、黑色 東、西、北、南,地址或行號 位 00001BFF.0012.0111 001 00001BFF.0013.0114 010 00001BFF.0012.0115 001 00001BFF.0012.0138 100 00001B

17、FF.0012.0145 100 00001BFF.0012.0157 010 00001BFF.0014.0165 100,地址或行號 位 00001BFF.0012.0111 100 00001BFF.0013.0114 010 00001BFF.0012.0115 010 00001BFF.0012.0138 001 00001BFF.0012.0145 100 00001BFF.0012.0157 100 00001BFF.0014.0165 010,地址或行號 位 00001BFF.0012.0111 1000 00001BFF.0013.0114 0100 00001BFF.001

18、2.0115 0100 00001BFF.0012.0138 0010 00001BFF.0012.0145 0001 00001BFF.0012.0157 1000 00001BFF.0014.0165 0001,位圖索引示例,為數(shù)據(jù)倉庫建立索引,選出淺黃褐色洗衣機在東區(qū)或南區(qū)的銷售信息行：,產(chǎn)品顏色地區(qū)地址或行號 0011001000 00001BFF.0012.0111 0100100100 00001BFF.0013.0114 0010100100 00001BFF.0012.0115 1000010010 00001BFF.0012.0138 1001000001 00001BFF.

19、0012.0145 0101001000 00001BFF.0012.0157 1000100001 00001BFF.0014.0165,第1個位 = 1,第1或第4個位= 1,第2個位 = 1,且,且,這一行滿足查詢要求,位圖索引：數(shù)據(jù)查詢,為數(shù)據(jù)倉庫建立索引,為事實表建立索引的提示 如果DBMS不為主鍵建立索引，那么專門為全部的主鍵建立一個B-Tree索引 仔細設(shè)計要建立索引的組合鍵中的單個鍵的順序。將查詢中經(jīng)常使用到的列作為組合鍵中級別高的鍵 考慮組合鍵中的每一個鍵，根據(jù)查詢過程需要建立組合索引 不要忽略為包括指標(biāo)的列建立索引的可能性 位圖索引不適用于事實表。,為數(shù)據(jù)倉庫建立索引,為維

20、度表建立索引 在單一主鍵上建立惟一的B-Tree索引 檢查約束查詢經(jīng)常用到的列。這些列是位圖索引的候選列 在大的維度表中查找經(jīng)常被一起訪問的列。確定如何在這幾列上建立和安排多列索引。經(jīng)常訪問的列或者維度表中的層次比較高的列應(yīng)該在多列索引中具有較高的位置 為經(jīng)常用于連接條件的每個列建立單獨的索引,1 物理設(shè)計過程,Contents 物理設(shè)計步驟 物理設(shè)計考慮的因素 物理存儲 為數(shù)據(jù)倉庫建立索引 提高性能的技術(shù),提高性能的技術(shù),數(shù)據(jù)分區(qū)(水平、垂直) 查詢只需訪問必要的分區(qū) 整個分區(qū)可以脫機維護 索引建立得更快 向數(shù)據(jù)倉庫中加載數(shù)據(jù)更容易和易于管理 數(shù)據(jù)損壞只影響一個分區(qū) 將分區(qū)映射到不同的磁盤驅(qū)

21、動器以平衡I/O負載 數(shù)據(jù)聚簇 并行查詢 匯總級別 參考完整性檢查 初始化參數(shù) 反規(guī)范化設(shè)計,小結(jié),物理設(shè)計使數(shù)據(jù)倉庫的實現(xiàn)更接近硬件。物理設(shè)計過程可以總結(jié)為7個不同的步驟 標(biāo)準(zhǔn)的重要性需再三強調(diào)。在物理設(shè)計過程中要使用好的標(biāo)準(zhǔn) 物理設(shè)計中的優(yōu)化存儲分配占有很高的地位。要使用RAID技術(shù) 數(shù)據(jù)倉庫的性能很大程度上依賴于合適的索引機制。B-Tree索引和位圖索引都很合適 其他的一些提高性能的方案也是物理設(shè)計的一部分，包括：數(shù)據(jù)分區(qū)、數(shù)據(jù)聚簇、并行處理、建立匯總、調(diào)整參考完整性檢驗、合適的DBMS初始化參數(shù)調(diào)整等等。,2 數(shù)據(jù)倉庫部署,Objects 研究部署階段在數(shù)據(jù)倉庫開發(fā)生命周期中的角色 回

22、顧部署的主要任務(wù)和如何完成任務(wù) 檢查對領(lǐng)航系統(tǒng)的需求，如何劃分領(lǐng)航的類型 考慮數(shù)據(jù)倉庫環(huán)境下的數(shù)據(jù)安全 考察數(shù)據(jù)備份和恢復(fù)需求,Contents 部署的主要任務(wù) 領(lǐng)航系統(tǒng) 安全 備份和恢復(fù),數(shù)據(jù)倉庫部署,總結(jié)：建造階段我們己經(jīng)完成的主要工作 基礎(chǔ)結(jié)構(gòu)的組件進行了完整測試 體系結(jié)構(gòu)的有效性己被論證 數(shù)據(jù)庫己定義。各種表的空間分配己經(jīng)完成 己分配好準(zhǔn)備區(qū)己建立的文件 抽取、轉(zhuǎn)換和其他的準(zhǔn)備區(qū)作業(yè)全部測試完成 建立的裝載映像在開發(fā)環(huán)境中己經(jīng)測試完畢。初始裝載和增量裝載己經(jīng)完成 查詢和報表工具己經(jīng)在開發(fā)環(huán)境中測試完畢 OLAP系統(tǒng)己經(jīng)安裝和測試過了 完成了數(shù)據(jù)倉庫的Web功能,2 數(shù)據(jù)倉庫部署,Con

23、tents 部署的主要任務(wù) 領(lǐng)航系統(tǒng) 安全 備份和恢復(fù),部署的主要任務(wù),完成用戶認可 完成包括所有用戶界面及系統(tǒng)性參方面的所有項目的最后測試,執(zhí)行初始裝載 加載維度表，然后是事實表，最后建立聚集表,準(zhǔn)備好用戶桌面 安裝好所有需要的桌面用戶工具。測試每個客戶的計算機,完成初始用戶培訓(xùn) 培訓(xùn)用戶學(xué)習(xí)數(shù)據(jù)倉庫相關(guān)的概念，相關(guān)內(nèi)容和數(shù)據(jù)訪問工具,按階段部署 按部署分為用戶同意的可管理階段,建立初始用戶支持 建立對初始用戶的基本使用支持，回答問題建立聯(lián)系,部署的主要任務(wù),一、完成用戶認可 在每個主題領(lǐng)域或部門，讓用戶選擇幾個典型的查詢和報表，其中一些是為了可以簡單地驗證一下結(jié)果，另外一些是驗證維度表的約

24、束。讓用戶執(zhí)行查詢并產(chǎn)生報表。最后從操作型系統(tǒng)生成報表作為驗證。比較操作型系統(tǒng)的報表和數(shù)據(jù)倉庫產(chǎn)生的報表。找出并計數(shù)所有的不同點。在和數(shù)據(jù)倉庫比較之前，驗證操作型系統(tǒng)的結(jié)果沒有任何錯誤 現(xiàn)在是測試預(yù)定義查詢和報表的最好時候。讓每個用戶組選擇一些這樣的查詢和報表，測試它們的情況 讓用戶測試OLAP系統(tǒng)。如果你采用MOLAP方式，為OLAP系統(tǒng)建立多維立方體。讓用戶選擇大約5個典型分析會話進行測試。同樣，與操作型系統(tǒng)的結(jié)果比較,幾乎每個數(shù)據(jù)倉庫，用戶需要學(xué)習(xí)和習(xí)慣新的前端工具的功能。大多數(shù)用戶要能很容易地使用這些工具。在結(jié)束前為工具的可用性設(shè)計認可測試。當(dāng)然，大多數(shù)這樣測試是在工具選擇時做的。但在

25、那時，是在供應(yīng)商或者系統(tǒng)開發(fā)測試環(huán)境下測試的?，F(xiàn)在是在產(chǎn)品環(huán)境下的測試。這有很大的不同 如果你的數(shù)據(jù)倉庫是支持Web的，讓用戶測試Web特性。如果Web技術(shù)用于信息傳遞，也讓用戶測試這一項 沒有系統(tǒng)性能認可測試的用戶認可測試是不完整的。項目必須將用戶的性能期望放在一個可以接受的程度上。查詢響應(yīng)時間大約是35秒。實際上，單獨的查詢和平均值是不同的，這是可以理解的。用戶能夠接受這些不同之處，只要這種情況不是經(jīng)常發(fā)生,部署的主要任務(wù),二、完整的初始裝載主要步驟 刪除數(shù)據(jù)倉庫關(guān)系表中的索引 每個維度表和對應(yīng)的事實表是一對多的關(guān)系。也就是說DBMS在關(guān)系上使用了關(guān)系完整性的檢查。假定裝載映像是非常仔細地

26、建立的。我們可以掛起這些限制，加速裝載過程 如果裝載過程中出現(xiàn)中斷，確保建立合適的檢查點，從最后的檢查點繼續(xù) 先裝載維度表，然后是事實表。一些數(shù)據(jù)倉庫喜歡在裝載大表之前先裝載小的維度表并驗證裝載過程 基于己經(jīng)為聚合和統(tǒng)計表建立的計劃，建立基于維度表和事實表的聚合表。有時候，裝載映像己經(jīng)在準(zhǔn)備區(qū)建立了。如果這樣，應(yīng)用這些裝載映像建立聚合表 在裝載時停止了索引建立，現(xiàn)在是建立索引的時候了 如果沒有掛起參考完整性約束，在裝載過程中，所有的參考性錯誤記錄在系統(tǒng)中，檢查日志文件，找出所有裝載異常,部署的主要任務(wù),三、準(zhǔn)備好用戶桌面 完成桌面工具意味著用戶可以上機訪問數(shù)據(jù)倉庫信息。(數(shù)據(jù)訪問配置、用戶名、

27、密碼、測試etc.),部署的主要任務(wù),四、完成初始用戶培訓(xùn) 數(shù)據(jù)庫和數(shù)據(jù)存儲的基礎(chǔ)概念 數(shù)據(jù)倉庫基本特征 每個用戶組使用的數(shù)據(jù)倉庫內(nèi)容 瀏覽數(shù)據(jù)倉庫內(nèi)容 數(shù)據(jù)訪問和檢索工具的使用 信息傳遞的Web技術(shù)應(yīng)用 預(yù)定義的查詢和報表集 可以進行哪些類型的分析 查詢模板及其使用方法 報表生成和傳遞計劃 數(shù)據(jù)裝載計劃和數(shù)據(jù)流通 用戶支持結(jié)構(gòu)，包括一線聯(lián)系,部署的主要任務(wù),建立最初用戶支持,部署的主要任務(wù),按階段部署,企業(yè)數(shù)據(jù)倉庫,企業(yè)范圍內(nèi)的需 求分析和計劃,第一個部門 數(shù)據(jù)集市,下一個部門 數(shù)據(jù)集市,首先部署整個企業(yè)級數(shù)據(jù)倉庫（E-R模型），接著逐個部署部門數(shù)據(jù)集市,自上而下方法,下一個部門 數(shù)據(jù)集市,

28、下一個部門 數(shù)據(jù)集市,下一個部門 數(shù)據(jù)集市,收集部門需求，計劃，部署獨立的數(shù)據(jù)集市，逐一進行,自下而上方法,第一個部門 數(shù)據(jù)集市,第一個主題 數(shù)據(jù)集市,企業(yè)范圍內(nèi)的需 求分析和計劃,下一個主題 數(shù)據(jù)集市,下一個主題 數(shù)據(jù)集市,逐個按照預(yù)先計劃的順序，部署一致的維表和事實表的主題集市（維度建模）,實用方法,2 數(shù)據(jù)倉庫部署,Contents 部署的主要任務(wù) 領(lǐng)航系統(tǒng) 安全 備份和恢復(fù),領(lǐng)航系統(tǒng),領(lǐng)航數(shù)據(jù)集市什么時候有用 對用戶成員來說，數(shù)據(jù)倉庫概念是全新的 必須給用戶演示，說服他們檢索數(shù)據(jù)信息是非常簡單的 用戶還需要從新工具和技術(shù)中積累經(jīng)驗 分析人員需要感覺到數(shù)據(jù)倉庫中的分析特征的能力 贊助商和

29、上級管理者在大量投入前必須看到數(shù)據(jù)倉庫帶來的好處 IT設(shè)計者和體系結(jié)構(gòu)設(shè)計者需要在維度建模技術(shù)和這個模型的數(shù)據(jù)庫工作上獲得經(jīng)驗 項目組需要確保ETL功能工作良好 項目組需要確認所有基礎(chǔ)組件。比如并行處理、復(fù)制、中間件連接、Web技術(shù)和OLAP元素是否能很好地配合工作,領(lǐng)航系統(tǒng),領(lǐng)航系統(tǒng)的類型,為項目組內(nèi) IT人員驗證 新技術(shù),技術(shù)證明,驗證所有基礎(chǔ) 結(jié)構(gòu)和體系 結(jié)構(gòu)組件,綜合測試,數(shù)據(jù)倉庫的 初始部署,為公司證明數(shù) 據(jù)倉庫概念以 獲得資金支持,概念證明,證明和鑒別最 終用戶工具集 的特征和使用,用戶工具認定,最早可交付使用 的基于用戶需求 的真實業(yè)務(wù)需要,廣泛業(yè)務(wù),可管理性和技 術(shù)簡單能和 部

30、署集成,可擴展的種子,領(lǐng)航系統(tǒng)的類型,領(lǐng)航系統(tǒng),領(lǐng)航系統(tǒng)的類型 概念證明領(lǐng)航系統(tǒng) 技術(shù)證明領(lǐng)航系統(tǒng) 綜合測試領(lǐng)航系統(tǒng) 用戶工具認定領(lǐng)航系統(tǒng) 廣泛業(yè)務(wù)領(lǐng)航系統(tǒng) 可擴展種子領(lǐng)航系統(tǒng) 選擇領(lǐng)航系統(tǒng),領(lǐng)航系統(tǒng),擴展和集成領(lǐng)航系統(tǒng),概念證明,技術(shù)證明,綜合測試,用戶工具認定,廣業(yè)務(wù),可擴展種子,領(lǐng)航系統(tǒng)類型,小范圍，有限的數(shù)據(jù)， 不適合集成,只用于證明IT新技術(shù),只用于為IT測試所有的基礎(chǔ)結(jié)構(gòu)和體系結(jié)構(gòu),只用于用戶測試和熟悉工具,較大范圍的早期版本，可能集成,可管理、簡單、是為集成而設(shè)計的,數(shù)據(jù)倉庫 初始部署,2 數(shù)據(jù)倉庫部署,Contents 部署的主要任務(wù) 領(lǐng)航系統(tǒng) 安全 備份和恢復(fù),安全,安全策略

31、 政策覆蓋的信息范圍 物理安全性 工作站安全性 網(wǎng)絡(luò)和連接安全性 數(shù)據(jù)庫訪問權(quán)限 管理用戶權(quán)限 密碼 安全工具,數(shù)據(jù)裝載的安全清除 用戶角色和權(quán)限 匯總級別的安全性 元數(shù)據(jù)安全性 OLAP安全性 Web安全性,安全,管理用戶權(quán)限,2 數(shù)據(jù)倉庫部署,Contents 部署的主要任務(wù) 領(lǐng)航系統(tǒng) 安全 備份和恢復(fù),備份和恢復(fù),為什么要備份數(shù)據(jù)恢復(fù) 備份策略 建立一個實際的日程表 恢復(fù),備份和恢復(fù),備份策略的一些技巧 決定你需要備份什么。為用戶數(shù)據(jù)庫、系統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)庫日志列一個表 數(shù)據(jù)倉庫的巨大容量是一個很大的問題。 尋求一個簡單的管理設(shè)置 能夠?qū)?dāng)前數(shù)據(jù)和歷史數(shù)據(jù)分離開來，對每個數(shù)據(jù)段有單獨的步驟

32、 除了全備份，可以考慮日志備份和差異備份 不要忽視備份系統(tǒng)數(shù)據(jù)庫 備份介質(zhì)的選擇很重要 商業(yè)RDBMS使用“容器”概念來保存單個文件 雖然RDBMS的備份功能為OLTP系統(tǒng)服務(wù)，但是數(shù)據(jù)倉庫備份需要更快的速度 從數(shù)據(jù)倉庫中計劃周期性地將非常陳舊的數(shù)據(jù)存檔,備份和恢復(fù),建立一個實際的日程表 OLTP系統(tǒng)備份一般在晚上執(zhí)行。但是在數(shù)據(jù)倉庫環(huán)境中，晚上的時間用于每日的增量裝載。備份和裝載得競爭系統(tǒng)時間 如果你的用戶群分布在不同的時區(qū)，要找一個時間槽可能更麻煩 任務(wù)關(guān)鍵的OLTP系統(tǒng)需要經(jīng)常備份 建立一個實際的日程分解為下面這些問題?；謴?fù)完成前用戶可以忍受多長的停機時間？在最壞的情況下用戶可以忍受多大

33、的數(shù)據(jù)損失？在丟失的數(shù)據(jù)恢復(fù)前，數(shù)據(jù)倉庫能夠高效地運行較長的時間嗎？,備份和恢復(fù),數(shù)據(jù)倉庫備份日程的方法包括如下元素： 將數(shù)據(jù)倉庫分為活動和靜態(tài)數(shù)據(jù) 對活動和靜態(tài)數(shù)據(jù)建立不同的日程 將差異備份和日程備份納入備份方案中 備份和每日增量裝載的同步 如果可用的話，將增量裝載文件作為恢復(fù)的一部分存儲,備份和恢復(fù),備份歷史數(shù)據(jù),備份歷史數(shù)據(jù),完全更新一些表,日志文件備份,增量加載,時間軸,系統(tǒng)崩潰,可能從最后一次 增量裝載 丟失了數(shù)據(jù),文件1,文件2,文件3,系統(tǒng)崩潰 使用這些備份文件,文件1,文件2,文件3,數(shù)據(jù)倉庫：恢復(fù),備份和恢復(fù),恢復(fù) 有一個清楚的恢復(fù)計劃。將不同的災(zāi)難情況列表，指出每種情況下如

34、何進行恢復(fù) 仔細地測試恢復(fù)過程。執(zhí)行日?；謴?fù)練習(xí) 考慮公司的條件，建立恢復(fù)步驟，估計恢復(fù)的期望停機時間。從用戶那里得到停機時間的一般意見。當(dāng)每一次災(zāi)難發(fā)生時，不要讓用戶感到驚訝。讓他們知道這是整個方案中的一部分，他們需要為可能發(fā)生災(zāi)難做準(zhǔn)備 每次中斷，確定恢復(fù)需要多久。正確、迅速地通知用戶 通常，你的備份策略決定怎樣執(zhí)行恢復(fù)操作。如果計劃包括從每日增量裝載文件中恢復(fù)的可能性，保存這些文件的備份，使之隨手可得 如果你必須去源系統(tǒng)完成恢復(fù)過程，保證源系統(tǒng)可用,小結(jié),數(shù)據(jù)倉庫部署的第一個版本在建造階段完成后開始 部署階段的主要活動與用戶認可、初始裝載、桌面準(zhǔn)備、初始培訓(xùn)和初始用戶支持相關(guān) 領(lǐng)航系統(tǒng)在

35、幾種情況下是需要的。領(lǐng)航系統(tǒng)的一般類型是：概念證明、技術(shù)證明、綜合測試、用戶工具鑒別、廣泛業(yè)務(wù)和可擴展種子 雖然數(shù)據(jù)倉庫的數(shù)據(jù)安全和OLTP系統(tǒng)類似，但是數(shù)據(jù)倉庫數(shù)據(jù)訪問的特點要求提供更加完善的訪問權(quán)限 為什么備份數(shù)據(jù)倉庫？雖然在數(shù)據(jù)倉庫中很少有直接的數(shù)據(jù)更新，但還是有幾個需要備份的理由。備份日程和恢復(fù)步驟由于數(shù)據(jù)倉庫的數(shù)據(jù)容量很大而且更加困難,3 升級和維護Growth and Maintenance,本章目標(biāo) 清楚掌握系統(tǒng)運行時維護和管理的需要 理解監(jiān)視數(shù)據(jù)倉庫的統(tǒng)計數(shù)據(jù)收集 認識統(tǒng)計數(shù)據(jù)怎樣用于管理增長和提高性能 仔細討論用戶培訓(xùn)和支持的功能 考慮其他經(jīng)營和管理問題,Contents 監(jiān)

36、視數(shù)據(jù)倉庫 用戶培訓(xùn)和支持 管理數(shù)據(jù)倉庫,3 升級和維護,Contents 監(jiān)視數(shù)據(jù)倉庫 用戶培訓(xùn)和支持 管理數(shù)據(jù)倉庫,監(jiān)視數(shù)據(jù)倉庫,最終用戶,數(shù)據(jù)倉庫管理員,評價增長計劃和性能調(diào)節(jié)統(tǒng)計數(shù)據(jù),數(shù)據(jù)倉庫,數(shù)據(jù)倉庫數(shù)據(jù),監(jiān)視統(tǒng)計數(shù)據(jù),收集采樣,統(tǒng)計數(shù)據(jù),定時對數(shù)據(jù)倉庫 活動采樣，以獲 得統(tǒng)計數(shù)據(jù),事件驅(qū)動統(tǒng)計,數(shù)據(jù)收集,記錄特定事 件發(fā)生時的 統(tǒng)計數(shù)據(jù),查詢、報表、分析,監(jiān)視數(shù)據(jù)倉庫,監(jiān)視用的統(tǒng)計數(shù)據(jù)的收集 物理磁盤存儲空間使用情況 DBMS在塊中尋找空間或者導(dǎo)致碎片的次數(shù) 內(nèi)存緩沖區(qū)活動 緩存使用 輸入輸入出性能 內(nèi)存管理 數(shù)據(jù)倉庫內(nèi)容，不同入口發(fā)生的次數(shù) 每個數(shù)據(jù)庫表的大小 事實表記錄的訪問,

37、監(jiān)視數(shù)據(jù)倉庫,統(tǒng)計數(shù)據(jù)收集（續(xù)） 與主題域相關(guān)的使用情況統(tǒng)計數(shù)據(jù) 每日按時間槽完成的查詢個數(shù) 每個數(shù)據(jù)倉庫用戶在線的時間 每日不同用戶的總數(shù) 每日時間槽內(nèi)最大用戶個數(shù) 每日增量裝載的持續(xù)時間 有效用戶計數(shù) 查詢響應(yīng)時間 每日生成報告的個數(shù) 數(shù)據(jù)庫中活動表的個數(shù),監(jiān)視數(shù)據(jù)倉庫,為升級而使用統(tǒng)計數(shù)據(jù) 為現(xiàn)有的表分配更多的磁盤空間 為附加的表留出更多的磁盤空間 修改文件塊參數(shù)，使碎片最小化 建立更多的匯總，用以處理大量對匯總信息的查詢 重組準(zhǔn)備區(qū)文件以處理更大的數(shù)據(jù)量 為加強緩沖管理增加更多的緩存 升級數(shù)據(jù)庫服務(wù)器 將報表生成使用其他中間件代替 24小時周期中消除高峰時間的使用 通過對表進行分區(qū)，進

38、行并行裝載和備份,監(jiān)視數(shù)據(jù)倉庫,為優(yōu)化使用統(tǒng)計數(shù)據(jù) 查詢性能 查詢建立 增量裝載 OLAP裝載頻率 OLAP系統(tǒng) 數(shù)據(jù)倉庫內(nèi)容瀏覽 報表格式化 報表生成,監(jiān)視數(shù)據(jù)倉庫,監(jiān)視統(tǒng)計數(shù)據(jù),元數(shù)據(jù),數(shù)據(jù)倉庫數(shù)據(jù),支持Web的數(shù)據(jù)倉庫,企業(yè)內(nèi)部網(wǎng),網(wǎng)頁統(tǒng)計數(shù) 數(shù)據(jù)倉庫主題 數(shù)據(jù)倉庫表 匯總數(shù)據(jù) 數(shù)據(jù)倉庫導(dǎo)航 數(shù)據(jù)倉庫統(tǒng)計數(shù)據(jù) 預(yù)定義查詢 預(yù)定義報表 最后一次完整裝載 最后一次增量裝載 安排好停機時間 支持接洽 用戶工具升級,內(nèi)部最終用戶,用戶統(tǒng)計數(shù)據(jù),3 升級和維護,Contents 監(jiān)視數(shù)據(jù)倉庫 用戶培訓(xùn)和支持 管理數(shù)據(jù)倉庫,用戶培訓(xùn)和支持,用戶培訓(xùn)內(nèi)容,數(shù)據(jù)內(nèi)容 數(shù)據(jù)倉庫中可 用的主題 數(shù)據(jù)倉庫的維

39、度 表和事實表 數(shù)據(jù)倉庫導(dǎo)航 數(shù)據(jù)粒度和 聚集表 源系統(tǒng)和數(shù) 據(jù)抽取 數(shù)據(jù)轉(zhuǎn)換和清 洗原則 商業(yè)術(shù)語和含義,應(yīng)用 預(yù)定義查詢 查詢模板 預(yù)格式化的報表 報表編輯器 選 項 用于下游應(yīng)用 的數(shù)據(jù) 預(yù)開發(fā)的應(yīng)用 程序 OLAP匯總和多維 分析 主管信息系統(tǒng),工具 最終用戶工具特征 和功能 有數(shù)據(jù)倉庫元數(shù)據(jù) 的工具界面 登錄和使用工具 軟件的步驟 使用工具導(dǎo)航 和瀏覽數(shù)據(jù) 倉庫內(nèi)容 使用工具建立 查詢獲得結(jié)果 使用工具生成報表,用戶培訓(xùn)和支持,準(zhǔn)備培訓(xùn)計劃 成功的培訓(xùn)計劃賴于用戶代表和IT技術(shù)人員的共同參與 讓IT技術(shù)人員和用戶一起準(zhǔn)備課程內(nèi)容 記住包括數(shù)據(jù)內(nèi)容、應(yīng)用和工具使用等課題 給出一個當(dāng)前所

40、有需要培訓(xùn)的用戶列表 確定多少不同的培訓(xùn)過程會對用戶有實際用處 介紹性課程通常上一天，每個用戶必須參加這個基礎(chǔ)課程 在深入性課程中有幾種途徑。每種途徑適合特定用戶組，著重于一到兩個主題區(qū)域 依賴于不同的工具集，專門介紹工具使用的課程也有一些變化。OLAP用戶必須有自己的課程 保持課程文檔簡單和直接而且包括足夠的圖表 動手過程可能更有效。在介紹性課程中可能中需要一個演示就夠了，另外兩種課程需要進行動手訓(xùn)練,用戶培訓(xùn)和支持,介紹性課程 數(shù)據(jù)倉庫介紹 介紹數(shù)據(jù)倉庫和 數(shù)據(jù)如何存儲 數(shù)據(jù)倉庫導(dǎo)航 維度和事實表 預(yù)定義查詢和 預(yù)格式化報表 最終用戶應(yīng) 用程序 親自動手瀏覽 數(shù)據(jù)倉庫內(nèi)容,深入課程 數(shù)據(jù)倉

41、庫知識更新 瀏覽所有主題 仔細學(xué)習(xí)選擇的主 題-事實表， 維表，數(shù)據(jù) 粒度和匯總 學(xué)習(xí)源系統(tǒng)和 數(shù)據(jù)抽取 學(xué)習(xí)數(shù)據(jù)轉(zhuǎn)換 親自動手會話,最終用戶工具使用 工具瀏覽 仔細學(xué)習(xí)工具功能 工具特征 著重描述 使用工具導(dǎo)航和瀏 覽數(shù)據(jù)倉庫內(nèi)容 查詢報表和分析工 具的親自動手使用 額外的工具特 征，例如，下 鉆，導(dǎo)出數(shù)據(jù),用戶培訓(xùn)和支持,執(zhí)行培訓(xùn)計劃 用戶支持,咨詢臺支持,用戶代表,用戶,熱線支持,技術(shù)支持,提供熱線支持不 能處理的問題,記錄支持請求，提 供幫助，如果需要 還要傳遞請求,提供對硬件、系統(tǒng)軟件和 工具的遠程或者在線支持,部門內(nèi)接觸 的第一點,多層支持結(jié)構(gòu),3 升級和維護,Contents 監(jiān)視數(shù)據(jù)倉庫 用戶培訓(xùn)和支持 管理數(shù)據(jù)倉庫,管理數(shù)據(jù)倉庫,管理關(guān)注： 維護管理：DBA必須保證所有功能以最佳狀態(tài)運行