第一章 數(shù)據(jù)倉(cāng)庫(kù)基本概念及通用框架_第1頁(yè)
第一章 數(shù)據(jù)倉(cāng)庫(kù)基本概念及通用框架_第2頁(yè)
第一章 數(shù)據(jù)倉(cāng)庫(kù)基本概念及通用框架_第3頁(yè)
第一章 數(shù)據(jù)倉(cāng)庫(kù)基本概念及通用框架_第4頁(yè)
第一章 數(shù)據(jù)倉(cāng)庫(kù)基本概念及通用框架_第5頁(yè)
已閱讀5頁(yè),還剩33頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

MIS的應(yīng)用→海量信息→產(chǎn)生了與傳統(tǒng)數(shù)據(jù)庫(kù)有很大差異的數(shù)據(jù)環(huán)境→

如何從這些海量數(shù)據(jù)中獲取專門的知識(shí)→……§1基本概念

§2數(shù)據(jù)倉(cāng)庫(kù)的通用框架參考書第一章數(shù)據(jù)倉(cāng)庫(kù)基本概念及通用框架§1基本概念1.數(shù)據(jù)倉(cāng)庫(kù)的定義數(shù)據(jù)倉(cāng)庫(kù)(DW,DataWarehouse)是“一個(gè)面向主題的、集成的、隨時(shí)間變化的、非易失性數(shù)據(jù)的集合,用于支持管理層的決策過程”。[WilliamH.Inmon,1993]

面向主題的:對(duì)應(yīng)某一個(gè)宏觀分析領(lǐng)域,如,銷售。CH1上述概念中涉及到的“主題”:在一個(gè)較高管理層次上,對(duì)信息系統(tǒng)中的數(shù)據(jù)按照某一具體的管理對(duì)象進(jìn)行綜合、歸類所形成的分析對(duì)象——基于信息管理的角度;是一些數(shù)據(jù)的集合,這些數(shù)據(jù)集合對(duì)分析對(duì)象進(jìn)行了比較完整的、一致的描述,這種描述不僅涉及到數(shù)據(jù)自身,還涉及到數(shù)據(jù)間的聯(lián)系——基于數(shù)據(jù)組織的角度。CH1因此,數(shù)據(jù)倉(cāng)庫(kù)的該特性要求:①抽取主題

——按決策分析過程進(jìn)行。②界定數(shù)據(jù)

——確定所抽取的主題包含哪些數(shù)據(jù)。③組織數(shù)據(jù)

——如何組織上述數(shù)據(jù)(往往使用多維數(shù)據(jù)庫(kù)或關(guān)系數(shù)據(jù)庫(kù)的方式進(jìn)行組織)。CH1例如:根據(jù)銷售管理要考慮的問題(如:哪些產(chǎn)品銷量大/利潤(rùn)高?哪些客戶采購(gòu)量多?競(jìng)爭(zhēng)對(duì)手的哪些產(chǎn)品對(duì)本企業(yè)構(gòu)成威脅?),可以抽取出“產(chǎn)品”、“客戶”為主題;

為了描述產(chǎn)品的銷售活動(dòng),銷售業(yè)務(wù)處理系統(tǒng)中一般包含以下數(shù)據(jù):產(chǎn)品訂單、產(chǎn)品銷售明細(xì)、產(chǎn)品庫(kù)存、客戶等——在進(jìn)行決策分析過程中(如,哪些客戶采購(gòu)量多?

),上述數(shù)據(jù)只有客戶數(shù)據(jù)是可用的,其它數(shù)據(jù)僅用于業(yè)務(wù)操作;然而,僅有“客戶”數(shù)據(jù)還不足以完成對(duì)客戶的分析,還要圍繞客戶進(jìn)一步組織所有相關(guān)數(shù)據(jù)——如,客戶產(chǎn)品采購(gòu)量、最后一次采購(gòu)時(shí)間、采購(gòu)競(jìng)爭(zhēng)對(duì)手產(chǎn)品量(落在外部系統(tǒng)中)、客戶信譽(yù)(落在財(cái)務(wù)系統(tǒng)中)等。

集成的對(duì)分散在各處的數(shù)據(jù)源進(jìn)行抽取、篩選、清理、綜合等加工工作,然后存放在數(shù)據(jù)倉(cāng)庫(kù)中,可見,集成是建立DW的關(guān)鍵步驟。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要源于各個(gè)業(yè)務(wù)處理系統(tǒng),由于其用途各不相同,因此需上述處理工作。清理——把各個(gè)數(shù)據(jù)源的單位、內(nèi)容、字長(zhǎng)等統(tǒng)一起來,消除字段名的同名異義、異名同義等現(xiàn)象。CH1隨時(shí)間變化的(時(shí)變性)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù),雖然不像業(yè)務(wù)處理系統(tǒng)那樣記載的是實(shí)時(shí)數(shù)據(jù),但也要隨著時(shí)間的推移補(bǔ)充與主題相關(guān)的、變化了的數(shù)據(jù)(快照),快照的時(shí)間間隔根據(jù)決策需求而定(年/月/天)。此外還有:刪除過了時(shí)的數(shù)據(jù);及時(shí)更新DW中的那些概括數(shù)據(jù)。為滿足時(shí)變性進(jìn)行的所有操作統(tǒng)稱為數(shù)據(jù)倉(cāng)庫(kù)的刷新。CH1非易失的

DW的非易失性指的是,數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后,便不進(jìn)行更新處理(但可以追加新數(shù)據(jù)),并且將保持一個(gè)相當(dāng)長(zhǎng)的時(shí)間。

數(shù)據(jù)倉(cāng)庫(kù)→查詢、分析

業(yè)務(wù)處理系統(tǒng)→隨時(shí)記錄發(fā)生的業(yè)務(wù)因此,DW中,可以可以通過索引、預(yù)計(jì)算等方式來提高查詢效率。CH1集合性事實(shí)上,“面向主題的”便要求DW以主題的某種數(shù)據(jù)集合的形式存儲(chǔ)數(shù)據(jù),其形式為以下三種之一:多維數(shù)據(jù)庫(kù)方式關(guān)系數(shù)據(jù)庫(kù)方式多維數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)組合方式顯然,DW中,“集合”是否全面決定了數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用范圍的大小。CH1支持決策建立數(shù)據(jù)倉(cāng)庫(kù)的目的就是支持決策,其用戶可以是高層/中層/基層管理者,他們可以利用所提供的分析工具,發(fā)現(xiàn)DW數(shù)據(jù)中隱含的商機(jī),使得管理決策更加科學(xué)化。CH12.DW與傳統(tǒng)DB的比較數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)。數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動(dòng)態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時(shí)添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、適合操作計(jì)算簡(jiǎn)單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個(gè)事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對(duì)響應(yīng)時(shí)間的要求以秒為單位計(jì)量以秒、分鐘、甚至小時(shí)為計(jì)量單位CH13.數(shù)據(jù)倉(cāng)庫(kù)的概念結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)的概念結(jié)構(gòu)包含:數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)、數(shù)據(jù)集市/知識(shí)挖掘庫(kù)以及各種管理工具和應(yīng)用工具。業(yè)務(wù)系統(tǒng)數(shù)據(jù)源外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)應(yīng)用工具管理工具數(shù)據(jù)集市/知識(shí)挖掘庫(kù)應(yīng)用工具數(shù)據(jù)集市/知識(shí)挖掘庫(kù)CH14.虛擬數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)虛擬數(shù)據(jù)倉(cāng)庫(kù)利用(描述了業(yè)務(wù)系統(tǒng)中數(shù)據(jù)位置和抽取數(shù)據(jù)算法的)元數(shù)據(jù)直接從業(yè)務(wù)系統(tǒng)中抽取查詢的數(shù)據(jù)進(jìn)行概括、聚合操作后,將最終結(jié)果提供給用戶。[思考:優(yōu)、缺點(diǎn)?]數(shù)據(jù)倉(cāng)庫(kù)查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)CH15.數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)集市,或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)是按照主題進(jìn)行構(gòu)思所形成的數(shù)據(jù)倉(cāng)庫(kù),它沒有一個(gè)獨(dú)立的數(shù)據(jù)倉(cāng)庫(kù)。系統(tǒng)的數(shù)據(jù)不存儲(chǔ)在同一數(shù)據(jù)倉(cāng)庫(kù)中,每個(gè)主題有自己的物理存儲(chǔ)區(qū)。[思考:優(yōu)、缺點(diǎn)?]數(shù)據(jù)倉(cāng)庫(kù)查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)主題1主題2CH16.單一數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)將所有的主題都集中到一個(gè)大型數(shù)據(jù)庫(kù)中的體系結(jié)構(gòu)。數(shù)據(jù)源中數(shù)據(jù)被按照同一標(biāo)準(zhǔn)抽取到獨(dú)立的數(shù)據(jù)倉(cāng)庫(kù)中,用戶在使用時(shí)再根據(jù)主題將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)發(fā)布到數(shù)據(jù)集市中。[思考:優(yōu)、缺點(diǎn)?]數(shù)據(jù)倉(cāng)庫(kù)查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市1數(shù)據(jù)集市2CH17.分布式數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)

各分公司具有相當(dāng)大的獨(dú)立性時(shí),企業(yè)總部設(shè)置一個(gè)全局?jǐn)?shù)據(jù)倉(cāng)庫(kù),分公司設(shè)置各自的局部數(shù)據(jù)倉(cāng)庫(kù)。局部數(shù)據(jù)倉(cāng)庫(kù)主要存儲(chǔ)各自的未經(jīng)轉(zhuǎn)換的細(xì)節(jié)數(shù)據(jù),全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)中主要存儲(chǔ)經(jīng)過轉(zhuǎn)換的綜合數(shù)據(jù)。[思考:優(yōu)缺點(diǎn)?]局部數(shù)據(jù)倉(cāng)庫(kù)局部數(shù)據(jù)倉(cāng)庫(kù)局部數(shù)據(jù)倉(cāng)庫(kù)局部數(shù)據(jù)倉(cāng)庫(kù)全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)站點(diǎn)B站點(diǎn)D站點(diǎn)A站點(diǎn)CCH1§2數(shù)據(jù)倉(cāng)庫(kù)的通用框架框架——把復(fù)雜的事物分為若干細(xì)小的易于理解的構(gòu)件的形式。數(shù)據(jù)倉(cāng)庫(kù)研究中,常稱為通用框架,或參考框架。最初,DW的通用框架被描述為:⑴數(shù)據(jù)集合(從運(yùn)行的DB中抽?。?;⑵軟件環(huán)境(供用戶存取數(shù)據(jù));⑶應(yīng)用程序及工具集合(用于復(fù)雜查詢)。CH1為了有助于理解,并給出DW實(shí)現(xiàn)過程中所需的更為詳細(xì)的信息,對(duì)上述框架進(jìn)行了進(jìn)一步細(xì)化。右圖給出了細(xì)化之后通用框架的頂層結(jié)構(gòu)。DW通用框架的頂層結(jié)構(gòu)層層塊數(shù)據(jù)管理數(shù)據(jù)源DW結(jié)構(gòu)數(shù)據(jù)站場(chǎng)結(jié)構(gòu)DW存取使用元數(shù)據(jù)管理傳輸基礎(chǔ)結(jié)構(gòu)工具、技術(shù)及角色(附加層)CH1若干說明:

框架由若干層和塊組成;

數(shù)據(jù)管理和元數(shù)據(jù)管理層包括對(duì)數(shù)據(jù)的抽取、加載、更新等操作,以不斷為DW和數(shù)據(jù)站場(chǎng)提供數(shù)據(jù);

傳輸層和基礎(chǔ)結(jié)構(gòu)層對(duì)DW及數(shù)據(jù)站場(chǎng)提供通用服務(wù);

附加層提供支持DW的方法(學(xué)),可按該層的要求構(gòu)建DW及相應(yīng)的工具。一般,數(shù)據(jù)源塊、傳輸層和基礎(chǔ)結(jié)構(gòu)層是企業(yè)已有的,其他塊、層均需新建。具體應(yīng)用時(shí),設(shè)計(jì)者可以從通用框架中選取有用的構(gòu)件,沒用的可以忽略。CH11.數(shù)據(jù)源塊

產(chǎn)品數(shù)據(jù)遺留數(shù)據(jù)內(nèi)部辦公系統(tǒng)外部系統(tǒng)數(shù)據(jù)源元數(shù)據(jù)產(chǎn)品數(shù)據(jù)也稱業(yè)務(wù)數(shù)據(jù),由生產(chǎn)系統(tǒng)產(chǎn)生,并保存在生產(chǎn)系統(tǒng)的數(shù)據(jù)庫(kù)中,且,該數(shù)據(jù)庫(kù)可以是任意類型的(如,關(guān)系、層次、網(wǎng)絡(luò)等類型)。

注意:產(chǎn)品數(shù)據(jù)(業(yè)務(wù)數(shù)據(jù))與數(shù)據(jù)倉(cāng)庫(kù)模型之間的關(guān)系。CH1遺留數(shù)據(jù)

——脫機(jī)或檔案數(shù)據(jù),也稱歷史數(shù)據(jù)。特點(diǎn):可能不支持當(dāng)前應(yīng)用程序;用專用的程序輸入到DW中;對(duì)DM很有用。內(nèi)部辦公系統(tǒng)

——數(shù)據(jù)來源之一,一般是非商業(yè)的,也不存放在當(dāng)前運(yùn)行的DB中,其形式有以下幾種:CH1

非結(jié)構(gòu)化數(shù)據(jù)(如,非電子的);結(jié)構(gòu)化數(shù)據(jù)(報(bào)表、文本文檔等);半結(jié)構(gòu)化數(shù)據(jù)(年度報(bào)表等)。外部系統(tǒng)

——有各種可能的形式,或各種想象得到的形式。數(shù)據(jù)源元數(shù)據(jù)元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù),如:數(shù)據(jù)的名稱、數(shù)據(jù)內(nèi)容的定義、數(shù)據(jù)創(chuàng)建的日期、數(shù)據(jù)的來源等。CH1隨著DW以及Internet的應(yīng)用與發(fā)展,數(shù)據(jù)源塊中又增加了“Web數(shù)據(jù)”塊(如左圖所示)。

Web數(shù)據(jù),通常是HTML方式的,因此,需要轉(zhuǎn)換才能加載進(jìn)數(shù)據(jù)倉(cāng)庫(kù)之中。業(yè)務(wù)數(shù)據(jù)歷史數(shù)據(jù)辦公數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)源元數(shù)據(jù)Web數(shù)據(jù)CH12.DW結(jié)構(gòu)塊由求精、重構(gòu)工程和數(shù)據(jù)倉(cāng)庫(kù)構(gòu)成。標(biāo)準(zhǔn)化過濾與匹配凈化標(biāo)明時(shí)間戳的數(shù)據(jù)源確認(rèn)數(shù)據(jù)質(zhì)量集成與分割概括與聚集預(yù)算與推導(dǎo)翻譯與格式化轉(zhuǎn)換與映像元數(shù)據(jù)創(chuàng)建元數(shù)據(jù)抽取與創(chuàng)建建模概括集聚調(diào)整與確認(rèn)建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表元數(shù)據(jù)瀏覽與導(dǎo)航重構(gòu)工程數(shù)據(jù)倉(cāng)庫(kù)求精CH1求精——有的資料中,把“求精”子塊稱為“數(shù)據(jù)準(zhǔn)備區(qū)”,且與“數(shù)據(jù)源”等并列列出。標(biāo)準(zhǔn)化過濾與匹配凈化標(biāo)明時(shí)間戳的數(shù)據(jù)源確認(rèn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)抽取與創(chuàng)建統(tǒng)一處理同名不同內(nèi)容、同內(nèi)容不同名、同名同內(nèi)容但結(jié)構(gòu)不同的數(shù)據(jù)。對(duì)進(jìn)入DW的數(shù)據(jù)進(jìn)行篩選——從數(shù)據(jù)源刪除用戶不需要的數(shù)據(jù),留下與用戶需求相匹配的數(shù)據(jù)。對(duì)準(zhǔn)備加載到DW的數(shù)據(jù)進(jìn)行正確性判斷——把那些內(nèi)容、格式或類型不對(duì)的數(shù)據(jù)進(jìn)行修正。例如,DW中“郵政編碼”是字符型的,則數(shù)據(jù)源中所有數(shù)值型的“郵政編碼”均需先行轉(zhuǎn)換。

DW中,經(jīng)常要進(jìn)行數(shù)據(jù)的概括等計(jì)算,以分析事物的發(fā)展趨勢(shì)。這些工作均要求相應(yīng)的數(shù)據(jù)具有明確的時(shí)間屬性,因此,數(shù)據(jù)加載到DW之前,要完成其時(shí)間戳的設(shè)置。

雖然“標(biāo)準(zhǔn)化”、“過程與匹配”、“凈化”等對(duì)數(shù)據(jù)的質(zhì)量有了一定的保證,但加載到DW前,還要進(jìn)行“確認(rèn)數(shù)據(jù)質(zhì)量”的操作——通常用手工或軟件自動(dòng)檢測(cè)方式完成。在數(shù)據(jù)求精過程中,同時(shí)還要根據(jù)數(shù)據(jù)源確定相應(yīng)數(shù)據(jù)的元數(shù)據(jù),包括名稱、定義、創(chuàng)建者、創(chuàng)建時(shí)間等。CH1重構(gòu)工程——為了使DW更好地為用戶服務(wù)所進(jìn)行的一系列操作。集成與分割概括與聚集預(yù)算與推導(dǎo)翻譯與格式化轉(zhuǎn)換與映像元數(shù)據(jù)創(chuàng)建把一個(gè)表的數(shù)據(jù)分割為多個(gè)數(shù)據(jù)塊(按日期/地理位置/時(shí)間);把多個(gè)數(shù)據(jù)源的若干數(shù)據(jù)集合為一塊。

概括與聚集就是按照某一(組)屬性進(jìn)行匯總——根據(jù)建立DW的需求,預(yù)先把某些常用的匯總求出并存儲(chǔ)在DW中,以提高DW的效率。對(duì)DW用戶的常規(guī)操作進(jìn)行的預(yù)設(shè)置,包括這些操作的結(jié)果的存儲(chǔ)以及相應(yīng)算法的存儲(chǔ)(做為元數(shù)據(jù)),其目的也是提高將來DW的使用效率。

對(duì)來自于不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行翻譯和格式化處理以便于日后的統(tǒng)一處理。例如,客戶的性別不同的數(shù)據(jù)源中可能有不同的表示值,加載到DW后,要統(tǒng)一起來。

大多數(shù)數(shù)據(jù)源是關(guān)系模型,DW一般采用星形模型或雪花模型。轉(zhuǎn)換與映射就是連接數(shù)據(jù)源與DW的,它不僅指明了兩者數(shù)據(jù)間的關(guān)系,還消除了其模型間的差異。參見下一小節(jié)。CH1數(shù)據(jù)倉(cāng)庫(kù)(創(chuàng)建)——數(shù)據(jù)倉(cāng)庫(kù)的核心功能塊。建模概括集聚調(diào)整與確認(rèn)建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表元數(shù)據(jù)瀏覽與導(dǎo)航設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型(一般為星形或雪花形模型),包括數(shù)據(jù)的分割、主題域和粒度的確認(rèn)等。根據(jù)用戶的需要,從初步的概括中建立高度的數(shù)據(jù)概括。概括的程度與用戶使用的時(shí)間等因素有關(guān)。根據(jù)用戶的典型查詢需求進(jìn)行聚集處理。如,可以對(duì)產(chǎn)品的地區(qū)分布、品牌的分布等進(jìn)行聚集處理。

對(duì)完成了概括與聚集的數(shù)據(jù)進(jìn)行確認(rèn),如果效果不好,則需進(jìn)行調(diào)整直至滿意為止。

為了提高DW的使用效率而預(yù)定義一些常用的結(jié)構(gòu)化查詢,這些查詢及其結(jié)果均作為元數(shù)據(jù)存儲(chǔ)起來備用。實(shí)際上每個(gè)塊都具有該功能(可稱之為元數(shù)據(jù)的管理)。具體包括元數(shù)據(jù)瀏覽與導(dǎo)航、元數(shù)據(jù)創(chuàng)建、創(chuàng)建詞匯表等。CH13.數(shù)據(jù)站場(chǎng)(集市?)結(jié)構(gòu)塊其構(gòu)成如下:

過濾與匹配集成與分割概括與聚集預(yù)算與推導(dǎo)標(biāo)明時(shí)間戳的數(shù)據(jù)源元數(shù)據(jù)抽取與創(chuàng)建建模概括集聚調(diào)整與確認(rèn)建立結(jié)構(gòu)化查詢創(chuàng)建詞匯表元數(shù)據(jù)瀏覽與導(dǎo)航求精與重構(gòu)工程數(shù)據(jù)站場(chǎng)創(chuàng)建CH1注:

有了DW的單位,該塊是可選的;

數(shù)據(jù)站場(chǎng)與數(shù)據(jù)倉(cāng)庫(kù)功能上相似。數(shù)據(jù)站場(chǎng)的主要功能:過濾、匹配從DW中抽取的數(shù)據(jù);將DW集成到新的主題域;創(chuàng)建新的概括或聚集;將DW中初步概括的數(shù)據(jù)進(jìn)行高度概括;導(dǎo)出新數(shù)據(jù)(對(duì)不同時(shí)間、來源者)。CH14.DW存取與使用塊

實(shí)現(xiàn)DW的最終功能——為用戶提供決策分析和知識(shí)挖掘的功能。DW直接存取數(shù)據(jù)集市存取重構(gòu)工程轉(zhuǎn)換為多維結(jié)構(gòu)創(chuàng)建局部存儲(chǔ)元數(shù)據(jù)抽取與創(chuàng)建報(bào)表工具分析工具業(yè)務(wù)建模工具DM工具新產(chǎn)品應(yīng)用工具元數(shù)據(jù)管理與報(bào)表OLAP存取與檢索分析與報(bào)表管理DW元數(shù)據(jù)CH1存取與檢索——為用戶提供訪問DW或數(shù)據(jù)集市的功能。DW直接存取數(shù)據(jù)集市存取重構(gòu)工程轉(zhuǎn)換為多維結(jié)構(gòu)創(chuàng)建局部存儲(chǔ)利用這些功能,用戶可以將檢索到的數(shù)據(jù)轉(zhuǎn)變?yōu)槎嗑S數(shù)據(jù)并存儲(chǔ)到多維數(shù)據(jù)庫(kù)中;可以把DW或數(shù)據(jù)集市的數(shù)據(jù)“卸載”下來以便進(jìn)行局部分析、數(shù)據(jù)挖掘等。CH1分析與報(bào)表——為用戶提供一組利用DW或數(shù)據(jù)集市進(jìn)行決策分析或知識(shí)挖掘的工具。報(bào)表工具分析工具業(yè)務(wù)建模工具DM工具新產(chǎn)品應(yīng)用工具OLAP包括:

GIS,DM工具,OLAP,可視化工具,EIS,4GL,統(tǒng)計(jì)工具,Internet瀏覽器,元數(shù)據(jù)瀏覽器,GUI程序,電子表格,報(bào)表生成器,數(shù)據(jù)訪問工具等。CH1元數(shù)據(jù)管理元數(shù)據(jù)抽取與創(chuàng)建元數(shù)據(jù)管理與報(bào)表1.幫助用戶了解DW及數(shù)據(jù)集市的名稱、描述說明、數(shù)值、價(jià)值來源等;2.了解數(shù)據(jù)的名稱、數(shù)值以及從抽取到存入DW或數(shù)據(jù)集市的過程等;3.了解數(shù)據(jù)的定位、數(shù)據(jù)的可靠性以及如何存取和使用數(shù)據(jù);4.幫助用戶掌握數(shù)據(jù)的正確內(nèi)容、信息的粒度、信息的概括程度、原始數(shù)據(jù)的來源和日期等;5.幫助驗(yàn)證數(shù)據(jù)源的質(zhì)量、判斷數(shù)據(jù)的可靠性等。CH15.數(shù)據(jù)管理層模塊該模塊的構(gòu)成如圖所示。數(shù)據(jù)抽取、查詢與需求管理加載、存儲(chǔ)、刷新、更新系統(tǒng)安全性與授權(quán)管理歸檔、恢復(fù)和凈化系統(tǒng)1.從數(shù)據(jù)源抽取數(shù)據(jù);2.需要時(shí),追蹤并充實(shí)數(shù)據(jù);3.數(shù)據(jù)查詢中的并行處理的管理等。1.完成數(shù)據(jù)的加載;2.捕捉數(shù)據(jù)的變化并用以充實(shí)數(shù)據(jù)倉(cāng)庫(kù);3.根據(jù)用戶以及DW管理需求更新DW等。1.禁止用戶進(jìn)行非法操作;2.賦予用戶以不同的操作權(quán)限等。1.定期地進(jìn)行歸檔、備份,以便恢復(fù)系統(tǒng);2.對(duì)從數(shù)據(jù)源抽取的數(shù)據(jù)進(jìn)行篩選、數(shù)據(jù)標(biāo)準(zhǔn)及內(nèi)容的統(tǒng)一、各種求精重構(gòu)凈化等管理。CH16.元數(shù)據(jù)管理層模塊該模塊的構(gòu)成如圖所示。數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市/知識(shí)挖掘庫(kù)和詞匯表管理利用詞匯表管理DW或數(shù)據(jù)集市中的邏輯數(shù)據(jù)模型和物理數(shù)據(jù)模型以及與業(yè)務(wù)和技術(shù)相關(guān)的數(shù)據(jù)說明。在對(duì)數(shù)據(jù)源進(jìn)行數(shù)據(jù)抽取、清理、加載等操作中,同時(shí)要進(jìn)行相關(guān)的元數(shù)據(jù)的抽取、創(chuàng)建、存儲(chǔ)和更新。

把預(yù)定義的查詢和報(bào)表處理方式甚至結(jié)果以及多級(jí)索引等存儲(chǔ)在元數(shù)據(jù)庫(kù)中,以提高DW的使用效率。元數(shù)據(jù)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論