-.z.數(shù)據(jù)中心搭建流程數(shù)據(jù)中心搭建流程-.z.目錄TOC\o"1-2"\h\z\u一、前言3二、總體架構3自頂向下搭建3自底向上搭建3三、數(shù)據(jù)中心搭建具體流程〔架構角度〕31、數(shù)據(jù)源整合ETL32、ODS或DWH搭建33、多維分析模型建立34、數(shù)據(jù)展現(xiàn)平臺搭建35、Protal門戶的搭建3四、數(shù)據(jù)中心搭建具體流程〔工程角度〕31、前期調研階段32、需求階段33、設計階段34、開發(fā)階段35、系統(tǒng)測試階段36、用戶測試階段37、上線階段38、結項階段3五、分布搭建規(guī)劃31、一期任務和目標32、二期任務和目標33、三期任務和目標3六、工程管理行動對照表31、啟動過程組32、規(guī)劃過程組33、執(zhí)行過程組34、監(jiān)控過程組35、收尾過程組3一、前言數(shù)據(jù)中心的整體搭建主要涉及軟環(huán)境和硬件架構設計兩方面，軟環(huán)境包含數(shù)據(jù)源、ETL過程、ODS、DWH和前端展現(xiàn)等。硬件架構為使用的效勞器、交換機等硬件承載設備。為了有效的利用數(shù)據(jù)中心，需要在軟、硬兩方面都要關注，不能出現(xiàn)“短板現(xiàn)象〞，使其中之一成為整個系統(tǒng)的瓶頸。硬件局部相對較為簡單，確定設備數(shù)量、型號和性能指標，進展Infra設計，在系統(tǒng)開發(fā)完成之前到位，不可耽誤系統(tǒng)測試階段的進度。在此著重介紹軟環(huán)境局部。二、總體架構在整個數(shù)據(jù)中心工程過程中，將會涉及上圖中的各個環(huán)節(jié)，其中針對數(shù)據(jù)倉庫的設計會有兩種情況：自頂向下搭建這種搭建方法，是將用戶目前所涉及的所有業(yè)務系統(tǒng)都統(tǒng)一的進展數(shù)據(jù)抽取并按照一定規(guī)則存放在數(shù)據(jù)倉庫中，搭建好這個整體的數(shù)據(jù)倉庫之后所有的數(shù)據(jù)利用通過此數(shù)據(jù)倉庫完成。優(yōu)勢：數(shù)據(jù)倉庫一步成型，規(guī)劃思路明確，數(shù)據(jù)存放有條理，對日后業(yè)務的開展可進展快速響應。劣勢：整合所有數(shù)據(jù)源耗時長、人力、物力、財力投入大，對于完成整體數(shù)據(jù)倉庫之后有利用不上的可能，造成資產(chǎn)浪費。自底向上搭建這種搭建方法，是針對業(yè)務分析主題而去逐步整合用戶數(shù)據(jù)源的過程，當企業(yè)開展到*一階段需要對*項業(yè)務主題進展分析時，可以通過此種方法整合所涉及的數(shù)據(jù)源，已達成數(shù)據(jù)分析利用的目的。優(yōu)勢：有針對性的整合數(shù)據(jù)源，目標明確，能夠有效的防止資源浪費，縮小工程圍，大大提高工程成功率并能充分利用，縮短工程周期，效果立竿見影。劣勢：分布實施使得總體工程周期延長，當遇到突發(fā)業(yè)務變化時，局部整合的數(shù)據(jù)源有可能不能支持業(yè)務的需要，應變能力有所缺乏。三、數(shù)據(jù)中心搭建具體流程〔架構角度〕對于數(shù)據(jù)中心的搭建流程，從架構角度出發(fā)會涉及數(shù)據(jù)源整合ETL、ODS或DWH搭建、多維分析模型建立、數(shù)據(jù)展現(xiàn)平臺搭建、Protal門戶的搭建。不管是選擇哪種方式進展數(shù)據(jù)中心搭建，都需遵從以下步驟。1、數(shù)據(jù)源整合ETL對于現(xiàn)有業(yè)務數(shù)據(jù)源進展整合。有可能當前分析主題只涉及一個數(shù)據(jù)源，即使如此也許進展ETL過程。首先，搭建數(shù)據(jù)倉庫或數(shù)據(jù)集市不應直接使用原有業(yè)務數(shù)據(jù)庫，這樣既不高效也不平安，數(shù)據(jù)格式還不統(tǒng)一。其次，數(shù)據(jù)源的數(shù)據(jù)質量不能保證，其中有可能存在重復數(shù)據(jù)、臟數(shù)據(jù)等問題，在進展數(shù)據(jù)分析過程時，這些因素是必須要去掉的。所以，進展數(shù)據(jù)源的整合步驟時，不管是涉及一個還是多個數(shù)據(jù)源，操作原理是一樣的，此過程為必要過程。2、ODS或DWH搭建ODS〔OperationalDataStore〕操作型數(shù)據(jù)存儲，是一個面向主題的、集成的、可變的、當前的細節(jié)數(shù)據(jù)集合，用于支持企業(yè)對于即時性的、操作性的、集成的全體信息的需求。DWH〔Datawarehouse〕數(shù)據(jù)倉庫，是在企業(yè)管理和決策中面向主題的、集成的、與時間相關的、不可修改的數(shù)據(jù)集合。搭建此層級的目的很明確，為分析主題提供數(shù)據(jù)支持。有了DWH或ODS+DWH后，就可在此層級之上進展數(shù)據(jù)建模、展現(xiàn)等工作。3、多維分析模型建立作為商業(yè)智能領域的核心，多維建?？梢哉f是非常重要的一個環(huán)節(jié)。在這個環(huán)節(jié)中的維度設計、指標劃分、度量等多方面的考慮，直接影響數(shù)據(jù)利用的效率和可實現(xiàn)的功能結果。在建立多維模型前，需要與最終用戶進展需求分析，明確用戶想要的，并明確能實現(xiàn)的是哪些。將需求工作做好，以免日后工程功能不達標。4、數(shù)據(jù)展現(xiàn)平臺搭建在這個展現(xiàn)平臺上包含了決策支持效勞層、信息發(fā)布效勞層、數(shù)據(jù)展現(xiàn)效勞層和聯(lián)機分析效勞層等。對于商業(yè)智能的表現(xiàn)手段來說，可以是多種多樣的。通過儀表板、平衡記分卡、圖表、報表等多種手段進展展現(xiàn)；使用上鉆、下鉆、鉆透等方式來輔助使用者利用數(shù)據(jù)信息；通過預設好的數(shù)據(jù)模型，用戶可以自主的進展自定義報表的制定，完成這一切只需要簡單的拖、拉、拽操作，便于使用。5、Protal門戶的搭建作為整個數(shù)據(jù)利用的最后一層，擔負的責任最為重大，直接將界面呈現(xiàn)給最終用戶，一般情況下會使用B/S構造，通過瀏覽器進展展現(xiàn)，如其中涉及了一些特殊控件時，可能會通過瀏覽器調用一個本地應用來支持完成。當然，通過Protal對用戶進展平安驗證和權限控制也是另外一個很重要的原因，當不同的用戶登錄后，會驗證在不同的用戶組中，登錄之后展現(xiàn)的界面也是有所差異的，這樣就使數(shù)據(jù)利用系統(tǒng)有一個統(tǒng)一的展現(xiàn)界面，關心不同問題的用戶等夠有所劃分的看到不同展現(xiàn)。四、數(shù)據(jù)中心搭建具體流程〔工程角度〕對于數(shù)據(jù)中心的搭建流程，從工程角度出發(fā)會涉及前期調研階段、需求分析階段、設計階段、開發(fā)階段、系統(tǒng)測試階段、用戶測試階段、上線階段、結項階段。1、前期調研階段在此階段中，需要大致明確用戶需求，對用戶環(huán)境進展調研，如讓用戶填寫調查問卷等。如采用招標流程，需要仔細研究標書容，確定工作圍，并能保證功能滿足用戶需求。此段時間一般不超過2周工作日，細致的用戶調研會安排在需求分析階段。2、需求階段在簽訂工程合同之后，正式進入工程階段，需求分析階段主要是明確用戶的需求，將可實現(xiàn)與不可實現(xiàn)的列出，將需求分析落實在紙面上，并雙方確認達成共識，在確認之后發(fā)生的變化，統(tǒng)一劃分為需求變更處理。按照工程規(guī)定完成時間，此階段占用時間根據(jù)對用戶環(huán)境、系統(tǒng)和需求的了解程度而制定，如對上述都不了解，則應放寬需求階段時間，以確保工程最終能夠達成用戶需求，減少不必要的工程變更。3、設計階段在設階段會涉及模型設計、用戶界面設計、數(shù)據(jù)模型驗證和原型演示功能設計等。模型設計中會包括元數(shù)據(jù)與CUBE設計；用戶界面設計中包括Protal局部設計、報表等其他功能設計；Coding局部編寫；將設計總結為完整的設計報告，提交工程小組。此階段需要用戶進展配合，進展階段性成果物確認及設計方案確認。當出現(xiàn)與用戶不一致時，及時進展討論，以免有所偏差。4、開發(fā)階段開發(fā)階段將會按照前期的設計局部執(zhí)行，設計Protal開發(fā)〔主要為客戶化需求制定〕、前端展現(xiàn)局部開發(fā)、CUBE局部開發(fā)和ETL局部開發(fā)。由于工程屬于BI工程，所以編寫代碼局部較少，在Protal局部及前端展現(xiàn)局部會涉及到一些.net開發(fā)，其余屬于所見即所得式開發(fā)。在開發(fā)階段根本不需要用戶進展配合，每周進展工程周報進度提交即可。5、系統(tǒng)測試階段進入系統(tǒng)測試階段后，開發(fā)局部已經(jīng)根本完畢，由開發(fā)團隊進展系統(tǒng)測試。開發(fā)團隊中將安排專職負責系統(tǒng)測試人員，通過黑盒、白盒等模式進展測試，主要涉及功能實現(xiàn)、數(shù)據(jù)比對、性能測試、排查bug等工作，并提交完整的測試報告。此局部如無重大開發(fā)失誤，則耗時較短。6、用戶測試階段經(jīng)過系統(tǒng)測試階段后，最終用戶可進展實際測試，查看否符合工程預期，此時在理論上應不存在功能和設計上的缺陷，主要是實際數(shù)據(jù)加載后的性能測試。7、上線階段通過兩輪測試之后，系統(tǒng)正式進入上線階段，此時主要為收集實際用戶使用反應情況，記錄系統(tǒng)正式上線后的性能等。對最終用戶進展系統(tǒng)操作培訓，提交相關使用文檔。8、結項階段舉行工程慶祝會。提供完善的工程售后效勞?？偨Y工程得失，如有后期工程，開場進展準備后期工程。五、分布搭建規(guī)劃作為一個企業(yè)構筑數(shù)據(jù)中心是一項龐大而復雜的工程，想一蹴而就能夠很快的呈現(xiàn)出一個完美的數(shù)據(jù)中心系統(tǒng)是不現(xiàn)實的，我們在這里為了能夠化繁為簡、逐步深入，將數(shù)據(jù)中心工程分成了三期工程來實現(xiàn)，這樣做的好處是能夠快速的體驗的數(shù)據(jù)中心的價值，將工程時間劃分為段落，縮短單個工程時間和圍，便于工程的整體把控和開展。對于用戶能夠減少首次投入，減小工程風險，在工程的實施過程中不斷的完善自己的想法，整理出一套適合自身企業(yè)的度量標準。1、一期任務和目標一期的主要任務如下列圖：一期的主要任務如下列圖：規(guī)劃分解一期平臺搭建期數(shù)據(jù)集成關鍵業(yè)務系統(tǒng)導入供給、庫存、銷售統(tǒng)一視圖統(tǒng)一維度和指標體系根本指標建立制式報表常用報表專用業(yè)務分析報表綜合報表常用數(shù)據(jù)圖表一期目標在于能夠搭建出一個企業(yè)數(shù)據(jù)中心的根底平臺，將此平臺搭建好之后，做到關鍵數(shù)據(jù)源整合，對目前企業(yè)最重要的痛點進展改造，有了完善、可信、準確的數(shù)據(jù)之后就可將企業(yè)日常管理中最熟悉、最常用的管理方法、手段，通過我們的數(shù)據(jù)中心展示出來，讓用戶開場對數(shù)據(jù)中心概念有所直觀了解逐步去深入挖掘數(shù)據(jù)中心的價值。2、二期任務和目標二期的主要任務如下列圖：深入應用期其他系統(tǒng)導入外部系統(tǒng)數(shù)據(jù)其他公司經(jīng)營系統(tǒng)數(shù)據(jù)供給、物流、銷售、效勞、庫存、財務統(tǒng)一視圖優(yōu)化完善維度和指標體系建立局性KPI指標體系部門間信息互通信息訂閱分發(fā)常用業(yè)務報表專用業(yè)務分析報表綜合分析報告供給、物流、銷售、倉儲相關指標監(jiān)控儀表板二期目標在于深入利用數(shù)據(jù)中心的強大功能，將企業(yè)中設計的多個數(shù)據(jù)源進展導入，如果有外部數(shù)據(jù)也可一起導入。當數(shù)據(jù)的來源越多，數(shù)據(jù)中心所能提供能綜合分析能力越強，就像一臺可自我學習的機器一般，將企業(yè)的整體信息融匯在一處。通過一期工程的摸索和使用后，對關鍵指標的建立、數(shù)據(jù)的展現(xiàn)方式、綜合分析的能力等都會提出更高的要求，在二期工程中將會完善這些要求。3、三期任務和目標三期的主要任務如下列圖：普及提高期相關外部數(shù)據(jù)、外結合的綜合分析數(shù)據(jù)視圖部門化KPI指標KPI指標分解建立分析模型用戶自定義分析自行報表發(fā)布文檔交互數(shù)據(jù)驅動分發(fā)KPI驅動的報表分析報告分析報告狀態(tài)分析類報告預測、評估類報告考核類分析報告分析監(jiān)控績效考核指標監(jiān)控預警、提示工作流業(yè)務協(xié)同驅動的工作流監(jiān)控預警數(shù)據(jù)驅動的工作流三期作為工程劃分的最后一個階段，當然也許還會有后期工程，因為數(shù)據(jù)中心的搭建本身就是一個不斷完善的過程。而這里的第三期工程主要就是進展分析、利用、綜合的加強改造，通過前兩期的設計和使用，用戶已經(jīng)對數(shù)據(jù)中心和BI理念有了充足的認識，不管是數(shù)據(jù)整合層面還是指標建立或是展現(xiàn)方式等等，都有了更加深入的理解和自身的感悟。在三期工程中目標就是要將這個數(shù)據(jù)中心能夠更加適應企業(yè)的特點、更加全面的效勞企業(yè)，使其能夠成為企業(yè)管理中不可或缺的一局部。六、工程管理行動對照表1、啟動過程組啟動過程組核對表行動1從通過可行性研究的候選工程中選擇一個工程2選擇工程經(jīng)理3授權給工程經(jīng)理4收集歷史信息5把大工程劃分成幾個階段6確定高層次干系人，識別他們的影響，以及對風險的承受力7把干系人的需求和期望轉換成工程的要求8保證商業(yè)需求已經(jīng)記錄9記錄假設10記錄限制條件11保證最終的產(chǎn)品圍是可實施的12理解工程如何與組織的戰(zhàn)略目標相適應13決定工程目標和產(chǎn)品目標14使解決沖突目標的方法實施起來更加方便15熟悉與工程相關的公司文化和構造16找到現(xiàn)有的流程和標準17理解公司如何開展業(yè)務及適用于工程的公司已有的程序和政策18使用工程規(guī)劃過程組做高層次方案19完成關于工程進度和預算重要估算的順序20決定工程章程的形式，以及原因21和干系人及客戶協(xié)調工程的啟動事宜22和客戶一起決定可交付成果的標準及工程的圍23決定最初的工程組織24記錄的所有風險25決定所有需要的里程碑26決定圍如何控制27最終確定工程章程28得到工程章程的正式批準2、規(guī)劃過程組規(guī)劃過程組核對表行動1決定如何方案圍、時間、本錢、風險、質量、過程改良和采購，以及將這些方案放在各個知識領域管理方案的開場2完善來自工程啟動的要求，使它們更加具體3創(chuàng)立一個關于工程可交付成果的描述，這項工作要求完成工程圍說明書4在進一步的方案完成前利用工程圍說明書從干系人那里得到關于最終圍的批準5確定工程團隊6建立WBS7在WBS詞典里創(chuàng)立關于每個工作包的描述，使得被分派做這項任務的新手也能夠明白8如果必要的話把工作包劃分為活動9排列活動，確定先行和后續(xù)的活動10估計資源需求11和職能經(jīng)理會面獲得資源使用權12決定估計的準確程度13保證人員在估計的時間和本錢工作14確定如果不壓縮工期的話工程多久能夠完成15編制進度模型16編制預算17確定質量標準及考核質量的績效標準18確定隨后需要哪些程序以減少監(jiān)管的工作，改良質量和使用標準19明確確定所有工程成員的角色和責任，確保干系人知道這些人的職責，以及他們需要做哪些工作20確定需要從其他工程那里得到的信息，以及能給其他工程什么信息21和所有干系人一起工作并理解他們的溝通要求22完成風險識別、定性和定量分析，以及風險應對方案23對工程管理方案進展?jié)L動更新24確定采購對象25準備采購文件26注意其他工程可能積極或者消極影響本工程的地方，以及本工程對其他工程的影響27最后確定如何執(zhí)行和控制所有管理方案28方案考核工程績效的方法，使用的標準，什么時候用及如何使用29確定為了保證工程績效和工程方案一致需要的控制手段包括會議、報告及其他活動30確定改良過程的方案31制定最終的工程管理方案，通過進度網(wǎng)絡圖和工程能夠到達的目標的績效測量標準32從出資人、團隊和職能經(jīng)理那里得到正式的批準33和所有干系人、團隊成員、團隊成員的職能經(jīng)理、客戶一起舉行啟動大會，保證所有目標和利益的一致性3、執(zhí)行過程組執(zhí)行過程組核對表行動1確定并管理所有干系人的期望2保證對工作的理解一致3實施最初的工程管理方案或者經(jīng)過控制修改后的工程管理方案4完成工作包5收集并記錄經(jīng)歷教訓6建立并管理共同渠道7評價工程團隊作為一個整體的有效性8實施批準的變更、糾正行動、預防措施和缺陷補救9實施質量保證程序10產(chǎn)生工程報告11舉辦團隊建立活動12在團隊會議上遵循程序13為團隊成員爭取必要的培訓14發(fā)布信息15去除障礙16實現(xiàn)滿足需求的工作結果17與職能經(jīng)理會面確認資源的承諾18當工程需要資源時，保證職能經(jīng)理被通知到19讓資源與工程管理方案的安排協(xié)調一致20管理工程過程21引導、輔助、溝通、領導、協(xié)商、幫助、指導以推進工程方案的執(zhí)行22在工程執(zhí)行中運用技術知識23在完成工作包需要使用工作授權系統(tǒng)時授予權利24舉辦進度會議25收發(fā)信息26聚焦于事前預防而不是事后處理27確保所有的成員具備完成工作所需的技能、信息和設備28聚焦于管理批準的工程管理方案的期望，而不是檢查每個成員的工作29推薦變更及糾正措施并整合在變更管理中30遵循組織的政策、過程和程序31增加程序的有效性32推薦活動以增加組織績效完成的效率33確定工程活動是否遵從過程、政策和程序34確保對工程管理方案的一致認同35保持每個人都聚焦于工程章程、要求或者產(chǎn)品圍，商業(yè)情況和工程管理方案36當嚴重問題出現(xiàn)時重新評估工程的商業(yè)情況37解決問題38實施在規(guī)劃過程組制定的識別和獎勵系統(tǒng)39確定原來在規(guī)劃過程組列入的而在執(zhí)行過程組中沒有用到的工程成員40實施品準的改良過程41實施在規(guī)劃時制定的方案或者要求的工作圍42要求供給商對采購文件做出回應43重新審視投標報價并選擇供給商44花費并監(jiān)控工程資金4、監(jiān)控過程組監(jiān)控過程組核對表行動1依據(jù)管理方案測量工程績效2依據(jù)績效測量基準測量績效3確定差異并確定推薦的糾正行為或者變更是否正當4確定什么差異是重要的，并不斷訓練這種判斷力5推薦變更、缺陷補救、預防和糾正性行動6在整合變更控制中批準變更、缺陷補救、預防和糾正性措施7使用沖突解決技術使得解決沖突更加便利8創(chuàng)立預測9管理配置10控制圍、進度，本錢和質量符合基準11使用事件日志12不斷修正和調整控制限制13舉辦關于控制工程的會議14明確導致問題出現(xiàn)的根源15