數(shù)據(jù)倉(cāng)庫(kù)技術(shù)介紹

了解你的組織了解你的客戶了解你的供應(yīng)商嵇曉內(nèi)容提要?jiǎng)訖C(jī)與需求數(shù)據(jù)倉(cāng)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)在寶鋼的實(shí)踐結(jié)束語(yǔ)面臨的問(wèn)題人們?cè)谌粘Ｉ钪薪?jīng)常會(huì)遇到這樣的情況：超市的經(jīng)營(yíng)者希望將經(jīng)常被同時(shí)購(gòu)買的商品放在一起，以增加銷售；保險(xiǎn)公司想知道購(gòu)買保險(xiǎn)的客戶一般具有哪些特征；醫(yī)學(xué)研究人員希望從已有的成千上萬(wàn)份病歷中找出患某種疾病的病人的共同特征，從而為治愈這種疾病提供一些幫助；……企業(yè)面臨的問(wèn)題經(jīng)過(guò)多年的計(jì)算機(jī)應(yīng)用和市場(chǎng)積累，許多企業(yè)保存了大量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù),它是企業(yè)生產(chǎn)經(jīng)營(yíng)活動(dòng)的真實(shí)記錄由于缺乏集中存儲(chǔ)和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用,不能進(jìn)行有效的統(tǒng)計(jì)、分析及評(píng)估，無(wú)法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息數(shù)據(jù)爆炸問(wèn)題自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫(kù)技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)、數(shù)據(jù)庫(kù)和其它的信息庫(kù)中。我們會(huì)淹死在數(shù)據(jù)中,但卻為信息、知識(shí)所餓!面臨的挑戰(zhàn)如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的閃光點(diǎn)？如何使您的企業(yè)或組織在激烈的市場(chǎng)競(jìng)爭(zhēng)中保持對(duì)客戶的吸引力？如何預(yù)先發(fā)現(xiàn)和避免企業(yè)運(yùn)作過(guò)程中不易察覺(jué)的商業(yè)風(fēng)險(xiǎn)？寶鋼整體產(chǎn)銷信息管理系統(tǒng)L4L2過(guò)程控制計(jì)算機(jī)系統(tǒng)L3（分廠級(jí)）生產(chǎn)控制計(jì)算機(jī)系統(tǒng)寶鋼計(jì)算機(jī)系統(tǒng)的架構(gòu)L1基礎(chǔ)自動(dòng)化基礎(chǔ)自動(dòng)化寶鋼的現(xiàn)狀及需求寶鋼擁有許多傳統(tǒng)的OLTP（聯(lián)機(jī)事務(wù)處理）系統(tǒng)，擔(dān)負(fù)著許多重要的日常事物處理工作，在寶鋼的生產(chǎn)經(jīng)營(yíng)活動(dòng)中扮演著重要角色。經(jīng)過(guò)多年的計(jì)算機(jī)應(yīng)用，寶鋼積累了大量豐富翔實(shí)的原始生產(chǎn)實(shí)績(jī)數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù)，它反映了企業(yè)生產(chǎn)經(jīng)營(yíng)過(guò)程中規(guī)律性的信息和知識(shí)，由于缺乏集中存儲(chǔ)和管理，對(duì)如何充分有效地利用這些數(shù)據(jù)，卻一直沒(méi)有很好的解決方法，不能利用它們進(jìn)行有效的統(tǒng)計(jì)、分析及評(píng)估，無(wú)法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)真正有用的信息。寶鋼追求的目標(biāo)寶鋼作為中國(guó)的特大型鋼鐵企業(yè)，它的主要建設(shè)目標(biāo)是在激烈的國(guó)際國(guó)內(nèi)市場(chǎng)競(jìng)爭(zhēng)中立于不敗之地，并且要加強(qiáng)管理、優(yōu)化資源，追求效益最大化。這就要求使其生產(chǎn)和經(jīng)營(yíng)過(guò)程共同達(dá)到優(yōu)化，例如，能夠快速準(zhǔn)確地提供報(bào)價(jià)、確定交貨期、以及確保產(chǎn)品質(zhì)量等，并且制定有正確的企業(yè)發(fā)展戰(zhàn)略，以適應(yīng)市場(chǎng)需求的變化，能做出及時(shí)反應(yīng)。寶鋼股份的質(zhì)量方針“重用戶、重改進(jìn)、重效率、重價(jià)值，為社會(huì)提供世界一流的產(chǎn)品和服務(wù)?！?----寶鋼股份質(zhì)量方針隨著市場(chǎng)競(jìng)爭(zhēng)的加劇和用戶要求的提高，從大量數(shù)據(jù)中挖掘規(guī)律性知識(shí)，制定正確的生產(chǎn)策略和市場(chǎng)策略，顯得越來(lái)越重要。市場(chǎng)需需求是是技術(shù)術(shù)發(fā)展展的源源動(dòng)力力數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的的出現(xiàn)現(xiàn)和發(fā)發(fā)展是數(shù)據(jù)據(jù)庫(kù)和和OLTP技術(shù)發(fā)發(fā)展、、數(shù)據(jù)據(jù)庫(kù)應(yīng)應(yīng)用深深化的的產(chǎn)物物；目的是是把數(shù)數(shù)據(jù)庫(kù)庫(kù)中的的大量量數(shù)據(jù)據(jù)轉(zhuǎn)化化為有有用信信息，，為企企業(yè)更更好地地進(jìn)行行決策策服務(wù)務(wù)。內(nèi)容提要?jiǎng)訖C(jī)與需求求數(shù)據(jù)倉(cāng)庫(kù)技技術(shù)數(shù)據(jù)倉(cāng)庫(kù)在在寶鋼的實(shí)實(shí)踐結(jié)束語(yǔ)在早期，業(yè)業(yè)務(wù)人員考考慮如何實(shí)實(shí)現(xiàn)自動(dòng)化化…..計(jì)算機(jī)發(fā)展展史在數(shù)據(jù)庫(kù)應(yīng)應(yīng)用的早期期，計(jì)算機(jī)機(jī)系統(tǒng)所處處理的是從從無(wú)到有的問(wèn)題，是是傳統(tǒng)手工工業(yè)務(wù)自動(dòng)動(dòng)化的問(wèn)題題。例如銀銀行的儲(chǔ)蓄蓄系統(tǒng)、電信的計(jì)費(fèi)費(fèi)系統(tǒng)，它它們都屬于于典型的聯(lián)聯(lián)機(jī)事務(wù)處處理系統(tǒng)。。computer手工業(yè)務(wù)自自動(dòng)化computercomputer很快就建立立了許多應(yīng)應(yīng)用系統(tǒng)，，在當(dāng)時(shí)，一一個(gè)企業(yè)可可以簡(jiǎn)單地地通過(guò)擁有有聯(lián)機(jī)事務(wù)務(wù)處理的計(jì)計(jì)算機(jī)系統(tǒng)統(tǒng)而獲得強(qiáng)強(qiáng)大的市場(chǎng)場(chǎng)競(jìng)爭(zhēng)力。。聯(lián)機(jī)事務(wù)系系統(tǒng)的建立立聯(lián)機(jī)事務(wù)系系統(tǒng)的建立立（續(xù)）當(dāng)時(shí)單位容容量的聯(lián)機(jī)機(jī)存儲(chǔ)介質(zhì)質(zhì)比現(xiàn)在昂昂貴得多，，相對(duì)于市市場(chǎng)競(jìng)爭(zhēng)的的壓力，將將大量的歷歷史業(yè)務(wù)數(shù)數(shù)據(jù)長(zhǎng)時(shí)間間聯(lián)機(jī)保存存去用于分分析顯然是是過(guò)于奢侈侈了。因此此，聯(lián)機(jī)事事務(wù)處理系系統(tǒng)只涉及及當(dāng)前數(shù)據(jù)據(jù)，系統(tǒng)積積累下的歷歷史業(yè)務(wù)數(shù)數(shù)據(jù)往往被被轉(zhuǎn)儲(chǔ)到脫脫機(jī)的環(huán)境境中。在計(jì)算機(jī)系系統(tǒng)應(yīng)用的的早期，還還沒(méi)有積累累大量的歷歷史數(shù)據(jù)可可供統(tǒng)計(jì)與與分析。從從而，聯(lián)機(jī)機(jī)事務(wù)處理理成為整個(gè)個(gè)80年代代直到90年代初數(shù)數(shù)據(jù)庫(kù)應(yīng)用用的主流。。在數(shù)據(jù)倉(cāng)庫(kù)庫(kù)以前大都都是事物處處理系統(tǒng)(OLTP)的天下（1965-1990）這個(gè)現(xiàn)狀持持續(xù)了25年，它主要要實(shí)現(xiàn)-數(shù)據(jù)的收集集-數(shù)據(jù)的存儲(chǔ)儲(chǔ)-數(shù)據(jù)的在線線存取聯(lián)機(jī)事務(wù)系系統(tǒng)的功能能但是在OLTP系統(tǒng)中存在在著若干問(wèn)問(wèn)題-數(shù)據(jù)不不是綜合的的-沒(méi)有歷史數(shù)數(shù)據(jù)-沒(méi)有匯總數(shù)數(shù)據(jù)聯(lián)機(jī)事務(wù)系系統(tǒng)的問(wèn)題題computercomputercomputerQ1Q2Q3Q1Q2Q3Q4管理者想要要了解公司司的情況…數(shù)據(jù)集成問(wèn)問(wèn)題有多少品種種?computer缺乏數(shù)據(jù)集集成不是一一個(gè)唯一的問(wèn)題-歷史數(shù)據(jù)的的缺乏是另另一個(gè)應(yīng)用問(wèn)題-在過(guò)去的三年中，我的帳戶每月平均余額是多少?-我怎樣才能知道這些數(shù)字?-我的帳戶現(xiàn)在有多少錢?-你有2,704.87元?dú)v史數(shù)據(jù)問(wèn)問(wèn)題computer另一個(gè)問(wèn)題題是匯總….-發(fā)往A公司的貨物在哪里?-在出廠中心，將于下周一運(yùn)到-我們上個(gè)月、去年有多少貨物發(fā)往A公司?-有多少貨物準(zhǔn)時(shí)到達(dá)?晚到?發(fā)生貨損?-我要寫個(gè)匯總報(bào)告.匯總問(wèn)題computer-貫穿公司的的數(shù)據(jù)集成成?-公司的歷史史數(shù)據(jù)?-詳細(xì)數(shù)據(jù)及及匯總數(shù)據(jù)據(jù)?獲取信息的的重要因素素應(yīng)用在不斷斷地進(jìn)步，，當(dāng)聯(lián)機(jī)事事務(wù)處理系系統(tǒng)應(yīng)用到到一定階段段的時(shí)候，，企業(yè)家們們便發(fā)現(xiàn)單單靠擁有聯(lián)聯(lián)機(jī)事務(wù)處處理系統(tǒng)已已經(jīng)不足以以獲得市場(chǎng)場(chǎng)競(jìng)爭(zhēng)的優(yōu)優(yōu)勢(shì)；他們們需要對(duì)其其自身業(yè)務(wù)務(wù)的運(yùn)作以以及整個(gè)市市場(chǎng)相關(guān)行行業(yè)的態(tài)勢(shì)勢(shì)進(jìn)行分析析，從而做做出有利的的決策。決策的需要要決策需要對(duì)對(duì)大量的業(yè)業(yè)務(wù)數(shù)據(jù)包包括歷史業(yè)業(yè)務(wù)數(shù)據(jù)進(jìn)進(jìn)行分析才才能得到，，而這種基基于業(yè)務(wù)數(shù)數(shù)據(jù)的決策策分析，我我們把它稱稱之為聯(lián)機(jī)機(jī)分析處理理。如果說(shuō)說(shuō)傳統(tǒng)聯(lián)機(jī)機(jī)事務(wù)處理理強(qiáng)調(diào)的是是更新數(shù)據(jù)據(jù)庫(kù)——向向數(shù)據(jù)庫(kù)中中添加信息息，那么聯(lián)聯(lián)機(jī)分析處處理就是要要從數(shù)據(jù)庫(kù)庫(kù)中獲取信信息、利用用信息。聯(lián)機(jī)分析處處理“我們花了了20多年年的時(shí)間將將數(shù)據(jù)放入入數(shù)據(jù)庫(kù)，，如今是該該將它們拿拿出來(lái)的時(shí)時(shí)候了。””----著著名的數(shù)據(jù)據(jù)倉(cāng)庫(kù)專家家RalphKimball市場(chǎng)需求是是技術(shù)發(fā)展展的源動(dòng)力力早期應(yīng)用系系統(tǒng)PC電子表格歸檔文件OLTP系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)獲得信息如何獲得信信息第一，所有有聯(lián)機(jī)事務(wù)務(wù)處理強(qiáng)調(diào)調(diào)的是數(shù)據(jù)據(jù)更新處理理性能和系系統(tǒng)的可靠靠性，并不不關(guān)心信息息查詢的方方便與快捷捷；聯(lián)機(jī)分分析和事務(wù)務(wù)處理對(duì)系系統(tǒng)的要求求不同，同同一個(gè)數(shù)據(jù)據(jù)庫(kù)在理論論上難以做做到兩全；；獲得有用的的信息并非非想象的那那么容易(1)第二，業(yè)務(wù)務(wù)數(shù)據(jù)往往往被存放于于分散的異異構(gòu)環(huán)境中中，不易統(tǒng)統(tǒng)一查詢?cè)L訪問(wèn)，而且且還有大量量的歷史數(shù)數(shù)據(jù)處于脫脫機(jī)狀態(tài)，，形同虛設(shè)設(shè)；獲得有用的的信息并非非想象的那那么容易(2)第三，業(yè)務(wù)務(wù)數(shù)據(jù)的模模式是針對(duì)對(duì)事務(wù)處理理系統(tǒng)而設(shè)設(shè)計(jì)的，數(shù)數(shù)據(jù)的格式式和描述方方式并不適適合非計(jì)算算機(jī)專業(yè)人人員進(jìn)行業(yè)業(yè)務(wù)上的分分析和統(tǒng)計(jì)計(jì)。獲得有用的的信息并非非想象的那那么容易(3)針對(duì)這一問(wèn)問(wèn)題，人們們專門為業(yè)業(yè)務(wù)的統(tǒng)計(jì)計(jì)分析建立立一個(gè)數(shù)據(jù)據(jù)中心，它它的數(shù)據(jù)可可以從聯(lián)機(jī)機(jī)的事務(wù)處處理系統(tǒng)、、異構(gòu)的外外部數(shù)據(jù)源源、脫機(jī)的的歷史業(yè)務(wù)務(wù)數(shù)據(jù)中得得到；它是是一個(gè)聯(lián)機(jī)機(jī)的系統(tǒng)，，專門為分分析統(tǒng)計(jì)和和決策支持持應(yīng)用服務(wù)務(wù)，通過(guò)它它可滿足決決策支持和和聯(lián)機(jī)分析析應(yīng)用所要要求的一切切。這個(gè)數(shù)數(shù)據(jù)中心就就叫作數(shù)據(jù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的的通俗解釋釋數(shù)據(jù)倉(cāng)庫(kù)是是一個(gè)作為為決策支持持系統(tǒng)和聯(lián)聯(lián)機(jī)分析應(yīng)應(yīng)用數(shù)據(jù)源源的結(jié)構(gòu)化化數(shù)據(jù)環(huán)境境。數(shù)據(jù)倉(cāng)庫(kù)的的通俗定義義以辯證的眼眼光來(lái)看，，數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的興起實(shí)實(shí)際上是數(shù)數(shù)據(jù)管理的的一種回歸歸，是螺旋旋式的上升升。今天的的數(shù)據(jù)庫(kù)就就好比當(dāng)年年的層次數(shù)數(shù)據(jù)庫(kù)和網(wǎng)網(wǎng)型數(shù)據(jù)庫(kù)庫(kù)，它們面面向事務(wù)處處理；今天天的數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)就好比比是當(dāng)年的的關(guān)系數(shù)據(jù)據(jù)庫(kù)，它針針對(duì)聯(lián)機(jī)分分析。所不不同的是，，今天的數(shù)數(shù)據(jù)倉(cāng)庫(kù)不不必再為聯(lián)聯(lián)機(jī)事務(wù)處處理的特性性而奔忙，，由于技術(shù)術(shù)的專業(yè)化化，它可更更專心于聯(lián)聯(lián)機(jī)分析領(lǐng)領(lǐng)域的發(fā)展展和探索。數(shù)據(jù)庫(kù)與數(shù)數(shù)據(jù)倉(cāng)庫(kù)的的辯證關(guān)系系傳統(tǒng)的事務(wù)務(wù)處理環(huán)境境不適宜于于決策支持應(yīng)應(yīng)用事務(wù)處理和和分析處理理的性能特特性不同數(shù)據(jù)集成問(wèn)問(wèn)題數(shù)據(jù)動(dòng)態(tài)集集成問(wèn)題歷史數(shù)據(jù)問(wèn)問(wèn)題數(shù)據(jù)的綜合合問(wèn)題操作型環(huán)境境和分析型型環(huán)境的分分離從數(shù)據(jù)庫(kù)到到數(shù)據(jù)倉(cāng)庫(kù)庫(kù)操作型數(shù)據(jù)據(jù)&分分析型數(shù)據(jù)據(jù)的區(qū)別業(yè)務(wù)系統(tǒng)DSS（決策支持系系統(tǒng)）現(xiàn)在1990數(shù)據(jù)集市ODS近線存儲(chǔ)器探索倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)概概念的誕生生數(shù)據(jù)倉(cāng)庫(kù)的的定義數(shù)據(jù)倉(cāng)庫(kù)是是面向主題題的、綜合合的、不同同時(shí)間的、、穩(wěn)定的時(shí)時(shí)間集合，，主要用于于支持經(jīng)營(yíng)營(yíng)管理中的的決策制定定過(guò)程數(shù)據(jù)倉(cāng)庫(kù)之之父--BillInmon數(shù)據(jù)倉(cāng)庫(kù)的的四個(gè)基本本特征數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)是面面向主題的的數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)是集集成的數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)是不不可更新的的數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)是隨隨時(shí)間不斷斷變化的數(shù)據(jù)倉(cāng)庫(kù)的的體系結(jié)構(gòu)構(gòu)DataExtractionTransformationEngineLoaderMetadataManagerSchedulerSAPRDBMSLegacySASExternalInformationDatabaseQualityMetadata數(shù)據(jù)的抽取存儲(chǔ)和管理信息探索RiskCustomerProductMarketFutureWebEISQueryReportingDataMiningDSSVisualizeOLAP數(shù)據(jù)的抽取?。?）數(shù)據(jù)的抽取取是數(shù)據(jù)進(jìn)進(jìn)入倉(cāng)庫(kù)的的入口。由由于數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)是一個(gè)個(gè)獨(dú)立的數(shù)數(shù)據(jù)環(huán)境，，它需要通通過(guò)抽取過(guò)過(guò)程將數(shù)據(jù)據(jù)從聯(lián)機(jī)事事務(wù)處理系系統(tǒng)、外部部數(shù)據(jù)源、、脫機(jī)的數(shù)數(shù)據(jù)存儲(chǔ)介介質(zhì)中導(dǎo)入入到數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)。數(shù)據(jù)據(jù)抽取在技技術(shù)上主要要涉及互連連、復(fù)制、、增量、轉(zhuǎn)轉(zhuǎn)換、調(diào)度度和監(jiān)控等等方面。數(shù)據(jù)的抽取取（2）數(shù)據(jù)倉(cāng)庫(kù)中中的數(shù)據(jù)并并不要求與與聯(lián)機(jī)事務(wù)務(wù)處理系統(tǒng)統(tǒng)保持實(shí)時(shí)時(shí)同步，因因此數(shù)據(jù)抽抽取可以定定時(shí)進(jìn)行，，但多個(gè)抽抽取操作執(zhí)執(zhí)行的時(shí)間間、相互的的順序、成成敗對(duì)數(shù)據(jù)據(jù)倉(cāng)庫(kù)中信信息的有效效性則至關(guān)關(guān)重要。存儲(chǔ)和管理理數(shù)據(jù)倉(cāng)庫(kù)的的真正關(guān)鍵鍵是數(shù)據(jù)的的存儲(chǔ)和管管理。數(shù)據(jù)據(jù)倉(cāng)庫(kù)的組組織管理方方式?jīng)Q定了了它有別于于傳統(tǒng)數(shù)據(jù)據(jù)庫(kù)，同時(shí)時(shí)也決定了了其對(duì)外部部數(shù)據(jù)的表表現(xiàn)形式。。要決定采用用什么產(chǎn)品品和技術(shù)來(lái)來(lái)建立數(shù)據(jù)據(jù)倉(cāng)庫(kù)的核核心，則需需要從數(shù)據(jù)據(jù)倉(cāng)庫(kù)的技技術(shù)特點(diǎn)著著手分析。。信息探索信息探索實(shí)實(shí)際上相當(dāng)當(dāng)于數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的門面面，其性能能主要集中中在多維分分析、數(shù)理理統(tǒng)計(jì)和數(shù)數(shù)據(jù)挖掘方方面。多維分析又又是數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的重要要表現(xiàn)形式式，近幾年年來(lái)由于互互聯(lián)網(wǎng)的發(fā)發(fā)展，使得得多維分析析領(lǐng)域的工工具和產(chǎn)品品更加注重重提供基于于Web前端聯(lián)機(jī)分分析界面，，而不僅僅僅是在網(wǎng)上上發(fā)布數(shù)據(jù)據(jù)。數(shù)據(jù)集市ODS近線存儲(chǔ)器探索倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)的的組成ETL自動(dòng)處理數(shù)據(jù)集成和轉(zhuǎn)換換12341、通過(guò)不不干凈的遺遺留系統(tǒng)；；2、不合合適的集成成；3、數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的過(guò)期期；4、用戶戶需求的改改變。如何避免臟臟數(shù)據(jù)進(jìn)入入如果數(shù)據(jù)質(zhì)質(zhì)量不能被被信任，則則數(shù)據(jù)倉(cāng)庫(kù)庫(kù)將失去價(jià)價(jià)值，數(shù)據(jù)據(jù)管理是一一個(gè)循環(huán)往往復(fù)的過(guò)程程，包括四四個(gè)基本功功能：定義量度標(biāo)準(zhǔn)報(bào)告改善量度標(biāo)準(zhǔn)報(bào)告定義改善連續(xù)的改善循環(huán)數(shù)據(jù)質(zhì)量管管理ODS用于集成相相關(guān)應(yīng)用系系統(tǒng)并且為為決策支持持系統(tǒng)提供數(shù)數(shù)據(jù)基礎(chǔ)SAPOracleFinancialsPeopleSoftBaanhomegrown商業(yè)系統(tǒng)客戶開(kāi)發(fā)系統(tǒng)ODS“遺產(chǎn)”系統(tǒng)DSS探索數(shù)據(jù)倉(cāng)庫(kù)操作數(shù)據(jù)存存儲(chǔ)（ODS）近線存儲(chǔ)器活動(dòng)監(jiān)控器交叉介質(zhì)數(shù)據(jù)管理器擴(kuò)展數(shù)據(jù)到到近線存儲(chǔ)儲(chǔ)器，可以以極大地降降低數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)環(huán)境的成本本，并且可可以將存儲(chǔ)儲(chǔ)能力擴(kuò)展展到無(wú)限大大近線存儲(chǔ)器器借助探索倉(cāng)倉(cāng)庫(kù)--可以極大的的降低探索索的成本-極大地提高高探索速度度-探索的能力力呈指數(shù)級(jí)級(jí)增長(zhǎng)探索倉(cāng)庫(kù)非常特別的查詢tokenbasedtechnologyrelational探索倉(cāng)庫(kù)什么是企業(yè)業(yè)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)?企業(yè)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)是一個(gè)個(gè)環(huán)境,通通過(guò)有效效的信息來(lái)來(lái)滿足和促進(jìn)企業(yè)的的決策制定定過(guò)程。企業(yè)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的另一一種定義它是一種可可信的企業(yè)業(yè)數(shù)據(jù)庫(kù)平平臺(tái),這這些數(shù)據(jù)來(lái)來(lái)自于各種種各樣的數(shù)數(shù)據(jù)源,并并且在經(jīng)過(guò)過(guò)抽取、清清洗和轉(zhuǎn)換換后根據(jù)用用戶的查詢?cè)冞m時(shí)地提提供給用戶戶。-綜合數(shù)數(shù)據(jù)-分粒度的數(shù)數(shù)據(jù)-歷史數(shù)據(jù)-共享的數(shù)據(jù)據(jù)-決策的基礎(chǔ)礎(chǔ)-大的存儲(chǔ)量量企業(yè)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)-分粒度度的數(shù)據(jù)-公司的公共共數(shù)據(jù)-長(zhǎng)期歷史數(shù)據(jù)-決策的基礎(chǔ)礎(chǔ)-大的存儲(chǔ)量量-輕度索引-允許以多種種方式瀏覽覽數(shù)據(jù)財(cái)務(wù)銷售市場(chǎng)會(huì)計(jì)-匯總的數(shù)據(jù)-部門級(jí)的數(shù)據(jù)-有限的歷史數(shù)據(jù)-有限的存儲(chǔ)量-重度索引-有限的數(shù)據(jù)視圖數(shù)據(jù)集市硅數(shù)據(jù)集市與與數(shù)據(jù)倉(cāng)庫(kù)庫(kù)有根本性性的區(qū)別財(cái)務(wù)銷售市場(chǎng)會(huì)計(jì)數(shù)據(jù)集市與與數(shù)據(jù)倉(cāng)庫(kù)庫(kù)采用正確的的方法論Development&TestingHighLevel,StrategicSpecificBuild,FocussedProductionEvolving,

Integrated評(píng)估需求收集設(shè)計(jì)構(gòu)造部署回顧管理及維護(hù)評(píng)估:為數(shù)據(jù)倉(cāng)庫(kù)庫(kù)項(xiàng)目確定定企業(yè)的業(yè)業(yè)務(wù)缺陷；；需求收集：：?jiǎn)?dòng)項(xiàng)目，，搜集業(yè)務(wù)務(wù)需求并且且定義系統(tǒng)統(tǒng)檢驗(yàn)標(biāo)準(zhǔn)準(zhǔn)；設(shè)計(jì)：分析和設(shè)計(jì)計(jì)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)系統(tǒng)體系系結(jié)構(gòu)，確確認(rèn)檢驗(yàn)測(cè)測(cè)試標(biāo)準(zhǔn)；；構(gòu)造：開(kāi)發(fā)、檢驗(yàn)驗(yàn)測(cè)試、移移交數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)及應(yīng)用用系統(tǒng)；部署：投入到生產(chǎn)產(chǎn)環(huán)境中并并且在企業(yè)業(yè)范圍內(nèi)保保證知識(shí)轉(zhuǎn)轉(zhuǎn)移及用戶戶存取的便便利；回顧：回顧項(xiàng)目開(kāi)開(kāi)發(fā)過(guò)程，，評(píng)估部署署過(guò)程及對(duì)對(duì)業(yè)務(wù)的影影響。SAS快速速數(shù)據(jù)倉(cāng)庫(kù)庫(kù)方法快速數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)方法的的重點(diǎn)必須得到企企業(yè)高層領(lǐng)領(lǐng)導(dǎo)的支持持和幫助；；不依賴于技技術(shù)，而是是一個(gè)業(yè)務(wù)務(wù)過(guò)程；以業(yè)務(wù)為中中心，并且且由業(yè)務(wù)驅(qū)驅(qū)動(dòng)，業(yè)務(wù)務(wù)用戶全程程參與；按照約定好好的規(guī)則實(shí)實(shí)施；以迭代式方方法實(shí)現(xiàn)，，全局考慮慮，局部實(shí)實(shí)施(Thinkbig,Startsmall)；快速數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)方法的的重點(diǎn)（續(xù)續(xù)）采用快速應(yīng)應(yīng)用開(kāi)發(fā)方方法(RAD)；；允許柔性和和動(dòng)態(tài)收集集需求；首先尋求第第一個(gè)快速速成功的數(shù)數(shù)據(jù)集市；；借助優(yōu)良的的項(xiàng)目管理理方法幫助助；企業(yè)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)的前景景和目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)成成功的因素素(如果果可能算出出ROI)業(yè)務(wù)過(guò)程程和業(yè)務(wù)務(wù)驅(qū)動(dòng)IT的基礎(chǔ)架架構(gòu)(當(dāng)前和未未來(lái))用戶需求求分析（（數(shù)據(jù)需需求、信信息需求求、報(bào)表表和分析析需求、、探索需需求以及及信息供供給需求求）企業(yè)關(guān)鍵鍵的評(píng)估估項(xiàng)目數(shù)據(jù)倉(cāng)庫(kù)庫(kù)規(guī)模和和增長(zhǎng)性性宏觀的企企業(yè)數(shù)據(jù)據(jù)倉(cāng)庫(kù)的的物理和和邏輯模模型主題區(qū)域域和實(shí)施施優(yōu)先級(jí)級(jí)具體實(shí)施施方案任務(wù)和責(zé)責(zé)任首先實(shí)施施的主題題以及它它的項(xiàng)目目計(jì)劃企業(yè)關(guān)鍵鍵的評(píng)估估項(xiàng)目（（續(xù)）設(shè)計(jì)階段段:維維數(shù)據(jù)模模型維數(shù)據(jù)模型型（邏輯輯）提供更詳詳細(xì)的數(shù)數(shù)據(jù)視圖圖（邏輯輯）包括一個(gè)個(gè)實(shí)體列列表多維事實(shí)/測(cè)量值描述實(shí)體體之間的的關(guān)系提供每一一個(gè)實(shí)體體的屬性性列表包括維數(shù)據(jù)模型型的圖形形表示業(yè)務(wù)用戶戶更容易易理解能夠很好好地匹配配目標(biāo)模模型物理倉(cāng)庫(kù)庫(kù)數(shù)據(jù)模模型可以以利用范式模型型匯總表預(yù)先合并并的視圖圖和表星型模式式雪花模式式星型--雪花模模式多維數(shù)據(jù)據(jù)模型(MDDBs)非結(jié)構(gòu)化化的數(shù)據(jù)據(jù)/文檔上述各種種模型的的混合使使用設(shè)計(jì)階段段:物物理模型型范式模型MDDBs星型模式雪花模式星型--雪花模式匯總表視圖非結(jié)構(gòu)化數(shù)據(jù)

企業(yè)數(shù)據(jù)據(jù)倉(cāng)庫(kù)范式化的的E-R模型雪花及星星型--雪花模模式匯總表預(yù)先合并并的視圖圖部門數(shù)據(jù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集集市匯總表預(yù)先合并并的視圖圖和表多維數(shù)據(jù)據(jù)倉(cāng)庫(kù)（（MDDBs）星型模式式雪花及星星型--雪花模模式設(shè)計(jì)階段段:物物理模型型的適配配性不是設(shè)計(jì)用于直接用戶的查詢?cè)O(shè)計(jì)用于特定的業(yè)務(wù)用戶查詢?yōu)槭裁创蟠蠖鄶?shù)數(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)項(xiàng)目會(huì)會(huì)失??？？缺乏領(lǐng)導(dǎo)導(dǎo)支持（（沒(méi)有領(lǐng)領(lǐng)導(dǎo)理解解和支持持）缺乏業(yè)務(wù)務(wù)用戶自自始至終終的項(xiàng)目目參與業(yè)務(wù)單位位之間缺缺乏協(xié)調(diào)調(diào)和努力力初始范圍圍過(guò)于廣廣泛和詳詳細(xì)(投入過(guò)大大,難難于調(diào)整整等)數(shù)據(jù)質(zhì)量量較差(遺留的和和現(xiàn)時(shí)的的系統(tǒng))缺乏有效效合理的的實(shí)施力力量(例如：缺缺乏項(xiàng)目目管理手手段、任任務(wù)和責(zé)責(zé)任不明明確等等等）1、搭建建面向主主題的信信息架構(gòu)構(gòu)；2、綜合合統(tǒng)計(jì)報(bào)報(bào)表、信信息查詢?cè)儯?、常規(guī)規(guī)數(shù)據(jù)分分析（成成本、財(cái)財(cái)務(wù)、市市場(chǎng)、銷銷售、……），聯(lián)聯(lián)機(jī)分析析處理，，多維信信息查詢?cè)儯?、決策策支持系系統(tǒng)、專專家系統(tǒng)統(tǒng)、…;5、質(zhì)量量改善，，SPC;6、關(guān)系系管理（（客戶、、供應(yīng)商商、訪問(wèn)問(wèn)者、……)7、數(shù)據(jù)據(jù)挖掘、、知識(shí)發(fā)發(fā)現(xiàn)；8、…...數(shù)據(jù)倉(cāng)庫(kù)庫(kù)相關(guān)領(lǐng)領(lǐng)域的應(yīng)應(yīng)用1、及時(shí)時(shí)獲取生生產(chǎn)管理理綜合信信息，為為決策者者提供科科學(xué)分析析依據(jù)；；2、改善管理理能力，，可以得得到憑直直覺(jué)無(wú)法法得到的的結(jié)論；；3、對(duì)轉(zhuǎn)瞬即即逝的機(jī)機(jī)會(huì)快速速作出反反應(yīng)，提提高競(jìng)爭(zhēng)爭(zhēng)能力；；4、既能能夠管理理宏觀信信息也能能夠管理理微觀數(shù)數(shù)據(jù)，可可以追朔朔歷史；；數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的優(yōu)點(diǎn)點(diǎn)5、建立立企業(yè)內(nèi)內(nèi)部各部部門之間間的合作作關(guān)系。6、提供供了面向向主題的的信息架架構(gòu)，存存取數(shù)據(jù)據(jù)方便便，業(yè)務(wù)務(wù)用戶也也能方便便的取用用這些數(shù)數(shù)據(jù)。7、開(kāi)拓拓了進(jìn)一一步探索索和研究究的廣闊闊空間數(shù)據(jù)倉(cāng)庫(kù)庫(kù)支持進(jìn)進(jìn)一步的的探究，，以發(fā)現(xiàn)現(xiàn)數(shù)據(jù)所所形成的的趨勢(shì)、、構(gòu)成的的模式及及其間的的關(guān)系，，這可引引導(dǎo)用戶戶改進(jìn)現(xiàn)現(xiàn)行的業(yè)業(yè)務(wù)處理理過(guò)程或或作出正正確的決決策。8、改善善客戶關(guān)關(guān)系管理理，讓客客戶能獲獲得更多多的好處處。數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的優(yōu)點(diǎn)點(diǎn)（續(xù)））投資回報(bào)報(bào)率匯總總結(jié)果平均投資回報(bào)率收回投資的平均時(shí)間

企業(yè)Source:IDC,TheFoundationsofWisdom,1996321%321%2.73年制造業(yè)的的ROI平均值高高于其他他行業(yè)內(nèi)容提要要?jiǎng)訖C(jī)與需需求數(shù)據(jù)倉(cāng)庫(kù)庫(kù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)在寶鋼鋼的實(shí)踐踐結(jié)束語(yǔ)“從從10%的的人花100%的時(shí)間間使用工工具到100%的人花花10%的時(shí)間間使用工工具.”SoundViewFinancialGroupBusinessIntelligenceReport信息用戶戶所面臨臨的變化化信息生產(chǎn)產(chǎn)者信息消費(fèi)費(fèi)者高級(jí)用戶戶IT人員報(bào)表查閱閱者活躍的分分析人員員報(bào)表用戶戶企業(yè)信息息環(huán)業(yè)務(wù)用戶戶希望得到到的不僅僅是一個(gè)個(gè)含有正正確信息息的報(bào)表表，并且且需要能能進(jìn)一步步分析及及格式化化報(bào)表的的基本的的功能，，以滿足足其特定定的需要要。高級(jí)用戶戶希望能直直接訪問(wèn)問(wèn)數(shù)據(jù)，，進(jìn)行特特別查詢?cè)儭⒎治鑫黾皥?bào)表表。IT人員希望能為為企業(yè)中中的任何何人、在在任何地地方提供供對(duì)數(shù)據(jù)據(jù)的訪問(wèn)問(wèn)，或向向他們進(jìn)進(jìn)行發(fā)布布，同時(shí)時(shí)減少他他們自己己堆集如如山的報(bào)報(bào)表和管管理的麻麻煩。用戶所需需要的是是什么?寶鋼計(jì)算算機(jī)系統(tǒng)統(tǒng)鐵水系統(tǒng)統(tǒng)一、二期期工程鋼區(qū)寶鋼TCP/IP光纖主干干網(wǎng)絡(luò)（一、二二期工程程地域：：DECTDM）（三期工程程地域：：IBMATM）IBMRS60007013-J30x3臺(tái)512MBUNISYSU6000/65x2臺(tái)512MB檢化驗(yàn)DECAlpha2100-4/275512MB250轉(zhuǎn)轉(zhuǎn)爐煉鋼鋼DECAlpha2100-4/275x2臺(tái)384MB1420冷軋DECAlpha2100-4/275x2臺(tái)192MB1580熱軋DECVAX4600Ax4臺(tái)128MB電爐/圓圓坯連鑄鑄DECAlpha2100-4/200x2臺(tái)384MB2030冷軋DECVAX4600x2臺(tái)256MB2050熱軋DECAlpha4100x2臺(tái)1GB高速線材材DECAlpha4100-5/300x2臺(tái)512MB1550冷軋前前庫(kù)PCServerSCOUNIX300噸噸轉(zhuǎn)爐煉煉鋼IBMRS6000/J50x2臺(tái)1GB鋼管分公公司HP9000K370x2臺(tái)512MB寶鋼整體體產(chǎn)銷管理系統(tǒng)統(tǒng)IBM9672-R25主機(jī)

通信前置機(jī)IBMRS6000/SPIBMSP主機(jī)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)服務(wù)器器操作系統(tǒng)統(tǒng):OS/390數(shù)據(jù)庫(kù):IBMDB2角色:數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的重要數(shù)數(shù)據(jù)來(lái)源源IBM9672（公司產(chǎn)銷銷系統(tǒng)））操作系統(tǒng)統(tǒng):IBMAIX數(shù)據(jù)庫(kù):SASDataSet角色:數(shù)據(jù)倉(cāng)庫(kù)庫(kù)、數(shù)據(jù)分析析處理、、報(bào)表系系統(tǒng)發(fā)布布（DominoWebServer）的核心平臺(tái)IBMSP(數(shù)據(jù)倉(cāng)庫(kù)庫(kù)服務(wù)器器）企業(yè)級(jí)數(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)(按按主題)質(zhì)量(試點(diǎn)，完完成)生產(chǎn)與物物流市場(chǎng)與銷銷售成本與財(cái)財(cái)務(wù)設(shè)備能源部門級(jí)數(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)冷軋熱軋…...數(shù)據(jù)倉(cāng)庫(kù)庫(kù)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)應(yīng)用企業(yè)數(shù)據(jù)據(jù)倉(cāng)庫(kù)按主題(實(shí)施施過(guò)程中中)信息門戶戶(Intranet應(yīng)用）生產(chǎn)管理理信息技術(shù)質(zhì)量量信息企業(yè)統(tǒng)計(jì)計(jì)信息生產(chǎn)區(qū)域域信息(冷軋,熱軋軋,…)生產(chǎn)管制制信息...質(zhì)量數(shù)據(jù)據(jù)倉(cāng)庫(kù)數(shù)數(shù)據(jù)環(huán)境境來(lái)源于9672上的DB2下載后的的數(shù)據(jù)成成為ODD(OperationalDataDefinition)形成22個(gè)主主題數(shù)據(jù)表采用星狀的數(shù)數(shù)據(jù)模型支持不同種類類的應(yīng)用質(zhì)量數(shù)據(jù)倉(cāng)庫(kù)庫(kù)主題一覽Color電爐和初軋線材電鍍錫電鍍鋅普板熱鍍鋅彩涂電工鋼小方坯熱軋1,2煉鋼板坯1煉鋼鋼錠冷軋1,2煉鋼P(yáng)ONO質(zhì)量數(shù)據(jù)倉(cāng)庫(kù)庫(kù)檢化驗(yàn)主題題初軋線材電鍍錫電鍍和熱鍍鋅普板彩涂電爐熱軋1,2煉鋼數(shù)據(jù)抽取EGSnProduction事實(shí)表維表邏輯表OriginalOrderoriginalorderidOrderorderidbacklogapnpsrnumbermetallurgyindexcodeproductionlinecodeinternalgradesteelgradeTimetimekeyMaterialmaterialidProcessprocessidprocessnameprocesssubgroupprocessgroupplantidplantgroupprocessid(FK)materialid(FK)statuskey(FK)timekey(FK)orderid(FK)originalorderid(FK)materialtrackingnumberprocessbegintimeprocessendtimefnprlengthTempPickling1-1TempPickling2-1TempPicklingP3-1annlcenterspeedcoatingweighttopcrpplengthheadcrpplengthtailctngweightbottomentrycoilnum1entrycoilnum2entrycoilthickentrycoilweightentrycoilwidthexitcoilnum1exitcoilothdimexitcoilthickexitcoilweightexitcoilwidthhfstriptempavghfstriptempmaxhfstriptempminnpacksheetnextplantrhstriptempavgrhstriptempmaxrhstriptempminscfstriptempavgscfstriptempmaxscfstriptempminsfstriptempavgsfstriptempmaxsfstriptempminstrip20Atempstrip10Atempstrip1Ctempstrip2CtempActSheetNStatusstatuskeystatuscoderedundantwithheldwithheldreasondefectcodedefectiddefectnamedefectreasondefecttype電鍍錫生產(chǎn)實(shí)際邏輯模型產(chǎn)品質(zhì)量分析變量...Orderorder_id:CHAR(10)backlog:CHAR(17)apn:CHAR(4)psr_num:CHAR(11)mic_num:CHAR(6)line_num:CHAR(4)internal_grade:CHAR(8)steel_grade:CHAR(16)Processproc_id:CHAR(4)pname:CHAR(10)process_sub_group:CHAR(10)name:CHAR(10)plant_id:CHAR(10)plant_group:CHAR(10)EGSn_Productionproc_id:CHAR(4)material_id:CHAR(11)status_key:NUMBER(8)timekey:DATEorder_id:CHAR(10)original_order_id:VARCHAR2()material_tracking_id:CHAR(10)production_t_start:DATEproduction_t_end:DATEfnpr_sheet_length:NUMBER(8)Temp_Pickling_1_1:NUMBER(4)Temp_Pickling_2_1:NUMBER(4)Temp_Pickling_3_1:NUMBER(4)annl_center_speed:NUMBER(4)coating_weight_top:NUMBER(4)crpp_length_head:NUMBER(4)crpp_length_tail:NUMBER(4)ctng_weight_bottom:NUMBER(4)entry_coil_num_1:CHAR(10)entry_coil_num_2:CHAR(10)entry_coil_thick:NUMBER(4)entry_coil_weight:NUMBER(8)entry_coil_width:NUMBER(4)exit_coil_num_1:CHAR(10)exit_coil_otr_dim:NUMBER(4)exit_coil_thick:NUMBER(4)exit_coil_weight:NUMBER(8)exit_coil_width:NUMBER(4)hf_strip_temp_avg:NUMBER(3)hf_strip_temp_max:NUMBER(3)hf_strip_temp_min:NUMBER(3)n_pack_sheet:NUMBER(4)next_plant:CHAR(10)rh_strip_temp_avg:NUMBER(3)rh_strip_temp_max:NUMBER(3)rh_strip_temp_min:NUMBER(3)scf_strip_temp_avg:NUMBER(3)scf_strip_temp_max:NUMBER(3)scf_strip_temp_min:NUMBER(3)sf_strip_temp_avg:NUMBER(3)sf_strip_temp_max:NUMBER(3)sf_strip_temp_min:NUMBER(3)strip_20A_temp:NUMBER(3)strip_10A_temp:NUMBER(3)strip_1C_temp:NUMBER(3)strip_2C_temp:NUMBER(3)Act_Sheet_N:NUMBER(4)Statusstatus_key:NUMBER(8)status_code:CHAR(10)redun:CHAR(1)withheld:CHAR(1)wreason:CHAR(8)defect_code:CHAR(10)defect:CHAR(10)dname:CHAR(10)dreason:CHAR(10)dtype:CHAR(10)電鍍錫生產(chǎn)實(shí)際物理模型產(chǎn)品質(zhì)量分析變量EGSnSampleTestingmaterialid(FK)orderid(FK)processid(FK)productkey(FK)timekey(FK)mtrltrackingnumtesttimeavgtensilermaavgtensilermnhardnessaahardnessanhardnesscahardnesscnhardnessdahardnesswahardnesswnppibappibcppibdppibwppitappitcppitdppitwrabarabcrabdrabwrataratcratdratwrmaxbarmaxbcrmaxbdrmaxbwrmaxtarmaxtcrmaxtdrmaxtwtensileaatensileantensileaeatensileaentensileagatensileagntensiledeltaratensiledeltarntensiler0atensiler0ntensiler45atensiler45ntensiler90atensiler90ntensilereatensilerentensilerehatensilerehntensilerelatensilerelntensilermatensilermntensileyaatensileyantesttimesalloysnbcalloysnbdalloysnbwalloysntaalloysntcalloysntdalloysntwalloysnflagatcbaatcbcatcbdatcbwatctaatctcatctdatctwcapillarybacapillarybccapillarybdcapillarybwcapillarytacapillarytccapillarytdcapillarytwisvbaisvbcisvbdisvbwisvtaisvtcisvtdisvtwoilbaoilbcoilbdoilbwoiltaoiltcoiltdoiltwoxidefilmbaoxidefilmbcoxidefilmbdoxidefilmbwoxidefilmtaoxidefilmtcoxidefilmtdoxidefilmtwphgbaphgbcphgbdphgbwphgtaphgtcphgtdphgtwplvaplvcplvdplvwsamplepositinsncoatbasncoa