封面投標(biāo)文件封面企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程方案（技術(shù)方案）投標(biāo)方案投標(biāo)人：****通訊地址：****聯(lián)系方式：****投標(biāo)日期：****報(bào)告說(shuō)明聲明：本文內(nèi)容信息來(lái)源于公開渠道，對(duì)文中內(nèi)容的準(zhǔn)確性、完整性、及時(shí)性或可靠性不作任何保證。本文內(nèi)容僅供參考與學(xué)習(xí)交流使用，不構(gòu)成相關(guān)領(lǐng)域的建議和依據(jù).請(qǐng)下載后自行調(diào)整修改使用。Xxx“xx局企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程”是xxx范平臺(tái)試點(diǎn)項(xiàng)目之一。Xxxx公司“智能配用電大數(shù)據(jù)研究與示范項(xiàng)目”從2014年開始，采用“網(wǎng)-省-地”三級(jí)業(yè)務(wù)應(yīng)用分層協(xié)同建設(shè)，由xxxx公司市場(chǎng)營(yíng)銷部統(tǒng)籌管理，相關(guān)業(yè)務(wù)部門負(fù)XXxx公司“智能配用電大數(shù)據(jù)及其應(yīng)用技術(shù)研究與示范項(xiàng)目”智能配用電大數(shù)據(jù)及其應(yīng)用技術(shù)研究與示范智能配用電大數(shù)據(jù)及其應(yīng)用技術(shù)研究與示范課題4大數(shù)據(jù)驅(qū)行關(guān)鍵技術(shù)升用電能效與客課題6基于大數(shù)據(jù)(多秤)(高謎)業(yè)務(wù)創(chuàng)斷體系構(gòu)建數(shù)據(jù)管理(價(jià)值)(真實(shí)》圖1-1智能配用電大數(shù)據(jù)及其應(yīng)用技術(shù)研究與示范課題二：海量多源異構(gòu)大數(shù)據(jù)的集成融合、存儲(chǔ)及可視化關(guān)鍵技術(shù)課題六：大數(shù)據(jù)支撐用電市場(chǎng)需求預(yù)測(cè)與宏觀經(jīng)濟(jì)趨勢(shì)分析研究協(xié)同電網(wǎng)配用電大數(shù)據(jù)平臺(tái)”,支撐“網(wǎng)-省-地”三級(jí)分層協(xié)同的大數(shù)據(jù)示范應(yīng)用落地，承載不同地區(qū)的特有業(yè)務(wù)2.“應(yīng)用示范工程兩部分”:建設(shè)“網(wǎng)-省-地”分層協(xié)同業(yè)務(wù)主要包括八項(xiàng)配用電業(yè)務(wù)應(yīng)用：可靠性評(píng)估與提升、電壓質(zhì)量管理、有序用電計(jì)劃優(yōu)化、客戶需求分析、客戶渠道分析、個(gè)性化客戶服務(wù)、用電市場(chǎng)分析、宏觀經(jīng)濟(jì)趨勢(shì)分析，如下圖所示：1可靠性捷考供電能力2電壓須量化的前*置速客戶關(guān)系*戶*分新*戶電行為9東的造什林6個(gè)性化客戶*性節(jié)梁堵過(guò)市場(chǎng)分析7用電市場(chǎng)抬析他t圖1-2全方位客戶服務(wù)體系網(wǎng)級(jí)平臺(tái)：主要開展用電行為分析與客戶分群的特色應(yīng)用，并對(duì)“供電能力、客戶關(guān)系、市場(chǎng)分析”的八項(xiàng)應(yīng)用進(jìn)行集中展示。省級(jí)平臺(tái)：廣東電網(wǎng)公司主要開展電壓質(zhì)量管理、用電市場(chǎng)分析、宏觀經(jīng)濟(jì)趨勢(shì)分析三項(xiàng)應(yīng)用，并對(duì)可靠性評(píng)估與提升、有序用電計(jì)劃優(yōu)化的應(yīng)用進(jìn)行展示。(1)廣州xxxx:主要開展電壓質(zhì)量管理、客戶需求分析、客戶渠道分析、個(gè)性化客戶服務(wù)四項(xiàng)應(yīng)用；(2)深圳xxxx:主要開展宏觀經(jīng)濟(jì)趨勢(shì)分析，有序用電計(jì)劃優(yōu)化(基于新型負(fù)荷的需求側(cè)管理部分)兩項(xiàng)應(yīng)用；(3)東莞xxxx:主要開展可靠性評(píng)估與提升、有序用電計(jì)劃優(yōu)化(新能源消納部分)、用電市場(chǎng)分析三項(xiàng)應(yīng)用。某公司(下稱“某公司”)承接課題二、三的研究、設(shè)計(jì)與開發(fā)工作(詳見附錄10.1中項(xiàng)目合同二、項(xiàng)目合同三);承接課題七-網(wǎng)級(jí)大數(shù)據(jù)平臺(tái)的建設(shè)工作(詳見附錄10.1中項(xiàng)目合同一)。某公司深度參與xxxx公司“智能配用電大數(shù)據(jù)及其應(yīng)用技術(shù)研究與示范項(xiàng)目”的規(guī)劃、設(shè)計(jì)、開發(fā)實(shí)施等工作，對(duì)本次項(xiàng)目的背景、目標(biāo)、1.2現(xiàn)狀分析中“6”是指六大企業(yè)管理信息系統(tǒng)，分別安全區(qū)安全嘔安全Ⅲ區(qū)基礎(chǔ)平臺(tái)等)系統(tǒng)系統(tǒng)準(zhǔn)實(shí)“東莞局企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程”是xxxx示范平臺(tái)項(xiàng)目，本平臺(tái)與xxxx公司網(wǎng)級(jí)平臺(tái)之間存在不可割裂的依1.2.1xxxx數(shù)據(jù)中心息化發(fā)展，積累了大量的業(yè)務(wù)數(shù)據(jù)。自2009年4月起，xxxx公司開展了企業(yè)級(jí)數(shù)據(jù)中心建設(shè)。xxxx數(shù)據(jù)中心已經(jīng)完成涵蓋經(jīng)營(yíng)管理和電網(wǎng)運(yùn)行在內(nèi)的數(shù)據(jù)積累，包括營(yíng)銷、財(cái)務(wù)、生產(chǎn)、人力資源、基建等業(yè)務(wù)域明細(xì)數(shù)據(jù)抽取和應(yīng)用功能建設(shè)，實(shí)現(xiàn)一體化的數(shù)據(jù)共享和應(yīng)用集成。2015年xxxx公司根據(jù)大數(shù)據(jù)應(yīng)用的各項(xiàng)能力建設(shè)需求，在原有數(shù)據(jù)中心基礎(chǔ)上，通過(guò)融入大數(shù)據(jù)組件和技術(shù)，全面建成融合傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)技術(shù)的目標(biāo)架構(gòu)，具備海量結(jié)構(gòu)化、非結(jié)構(gòu)化和實(shí)時(shí)數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算和展示能力，制定并頒布了一系列建設(shè)標(biāo)準(zhǔn)和管理規(guī)范，為公司經(jīng)營(yíng)管理提供了有力的支撐。觸控一體機(jī)觸控一體機(jī)安全與標(biāo)準(zhǔn)規(guī)范體系數(shù)據(jù)服務(wù)展示控制組件數(shù)據(jù)標(biāo)準(zhǔn)業(yè)務(wù)服務(wù)組件技術(shù)服務(wù)組件運(yùn)營(yíng)組織敷據(jù)計(jì)算離線批量計(jì)算內(nèi)存計(jì)算流式計(jì)算數(shù)據(jù)存數(shù)據(jù)倉(cāng)庫(kù)/集市集中式數(shù)據(jù)倉(cāng)庫(kù)/集市算層流程制度實(shí)時(shí)數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)經(jīng)營(yíng)管理數(shù)據(jù)電網(wǎng)生產(chǎn)運(yùn)行數(shù)據(jù)科研數(shù)據(jù)外部數(shù)據(jù)聯(lián)機(jī)分析據(jù)處理機(jī)器學(xué)習(xí)數(shù)據(jù)分析組件層分布式數(shù)據(jù)倉(cāng)庫(kù)/集市運(yùn)營(yíng)管理體系關(guān)系型數(shù)據(jù)運(yùn)營(yíng)模式數(shù)據(jù)挖掘移動(dòng)終端運(yùn)營(yíng)管控知識(shí)管理技術(shù)標(biāo)準(zhǔn)桌面電腦數(shù)據(jù)增值展示交互數(shù)據(jù)平臺(tái)儲(chǔ)及計(jì)元數(shù)據(jù)數(shù)據(jù)源大屏圖1-4xxxx數(shù)據(jù)中心總體架構(gòu)圖某公司團(tuán)隊(duì)自2010年承接xxxx數(shù)據(jù)中心項(xiàng)目建設(shè)相關(guān)工作至今，積累了深厚的電網(wǎng)業(yè)務(wù)知識(shí)和大數(shù)據(jù)技術(shù)儲(chǔ)備，擁有大量的自主知識(shí)產(chǎn)權(quán)產(chǎn)品。2015年，xxxx技術(shù)研究中心“智能配用電大數(shù)據(jù)及其應(yīng)用技術(shù)擴(kuò)展配用電網(wǎng)內(nèi)部和外部(氣象、經(jīng)濟(jì)、用戶等)基礎(chǔ)數(shù)據(jù)源和數(shù)據(jù)平臺(tái)建設(shè)了以ApacheHadoop為大數(shù)據(jù)生態(tài)基礎(chǔ)架發(fā)的各類機(jī)器學(xué)習(xí)算法，可以為xxxx公司各級(jí)單業(yè)務(wù)應(yīng)用和客戶畫像、電量經(jīng)濟(jì)分析、綜合能效分析、公共數(shù)據(jù)云服務(wù)6大功能模塊的開發(fā)，以及可以提供公共數(shù)據(jù)的數(shù)據(jù)接口服務(wù)。2015年始某公司承接xxxx技術(shù)研究中心配用電大數(shù)據(jù)平臺(tái)的建設(shè)工作，對(duì)配用電大數(shù)據(jù)平臺(tái)建設(shè)工作的背景、目標(biāo)、范圍、技術(shù)架構(gòu)、數(shù)據(jù)現(xiàn)狀、業(yè)務(wù)應(yīng)用等等方面具有深刻的理解。在配用電大數(shù)據(jù)平臺(tái)建設(shè)方面，某公司具備堅(jiān)實(shí)的業(yè)務(wù)經(jīng)驗(yàn)和技術(shù)實(shí)力。1.2.3xxxx配用電業(yè)務(wù)相關(guān)模型與算法在xxxx“智能配用電大數(shù)據(jù)及其應(yīng)用技術(shù)研究與示范項(xiàng)目”中，Xxxx技術(shù)研究中心完成了供電能力(多因素關(guān)聯(lián)分析的配電網(wǎng)可靠性評(píng)估與提升、配用電大數(shù)據(jù)的多時(shí)間尺度電壓管理、新型負(fù)荷管控)、客戶關(guān)系(大用戶負(fù)荷聚類分析、設(shè)備能耗分析、客戶交互痕跡分析、設(shè)備狀態(tài)異常監(jiān)控、客戶畫像)、用電市場(chǎng)(經(jīng)濟(jì)景氣指數(shù)分析、用電市場(chǎng)需求預(yù)測(cè))三個(gè)方向十個(gè)業(yè)務(wù)場(chǎng)景的理論研究、算法開發(fā)聯(lián)調(diào)、以及集成融合到配用電大數(shù)據(jù)平臺(tái)中。配用電數(shù)據(jù)模型建設(shè)方面，融合了一體化營(yíng)銷系統(tǒng)、計(jì)量自動(dòng)化系統(tǒng)、一體化資產(chǎn)管理系統(tǒng)、電網(wǎng)GIS空間信息服務(wù)平臺(tái)、南網(wǎng)電能量平臺(tái)、配網(wǎng)自動(dòng)化系統(tǒng)、調(diào)度自動(dòng)化系統(tǒng)、外部氣象數(shù)據(jù)、統(tǒng)計(jì)局經(jīng)濟(jì)數(shù)據(jù)、互聯(lián)網(wǎng)經(jīng)濟(jì)指標(biāo)數(shù)據(jù)、股市股指動(dòng)態(tài)數(shù)據(jù)等11個(gè)數(shù)據(jù)源、建成了電網(wǎng)域、客戶域、新能源域、市場(chǎng)經(jīng)濟(jì)域、系統(tǒng)支撐域、運(yùn)行數(shù)據(jù)域、計(jì)量域、氣象域等八大數(shù)據(jù)基礎(chǔ)域?yàn)榕溆秒姅?shù)據(jù)信息模型。XxXx技術(shù)研究中心的輸出成果包括了配用電業(yè)務(wù)相關(guān)的信息模型和算法模型，為東莞xxxx企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充1.2.4東莞xxxX配用電大數(shù)據(jù)應(yīng)用現(xiàn)狀東莞xxxx將服務(wù)作為企業(yè)的立身之本，堅(jiān)持大莞xxxx將創(chuàng)新作為企業(yè)和員工始終保持的第一借助數(shù)據(jù)化的運(yùn)營(yíng)分析和科學(xué)決策手段是達(dá)成上述目標(biāo)的不二之選，目前東莞xxxx將大數(shù)據(jù)技術(shù)逐步應(yīng)于日常工作中，例如：基巡檢計(jì)劃等。大數(shù)據(jù)技術(shù)給東莞xxxx在提高工作效率、提升客戶滿意度、降低運(yùn)營(yíng)成本、保障電網(wǎng)穩(wěn)定運(yùn)行等東莞xxxx在企業(yè)經(jīng)營(yíng)各個(gè)領(lǐng)域都有著日益增多的大數(shù)據(jù)應(yīng)用需求，目前，東莞xxxx在大數(shù)據(jù)應(yīng)用沒(méi)有統(tǒng)一的平臺(tái)，各類應(yīng)用散落搭建統(tǒng)一、先進(jìn)、高效的大數(shù)據(jù)分析平臺(tái)是全面推廣大數(shù)據(jù)應(yīng)用的基二、擴(kuò)大數(shù)據(jù)獲取范圍東莞xxxx在日常經(jīng)營(yíng)、運(yùn)營(yíng)過(guò)程積累了大量的管理和運(yùn)行數(shù)據(jù)，但由于大部分的相關(guān)系統(tǒng)都是部署在廣東電網(wǎng)公司，東莞xxxx沒(méi)有部署節(jié)點(diǎn)，僅有小部分?jǐn)?shù)據(jù)每月回流到東莞xxxx,這些數(shù)據(jù)遠(yuǎn)不能支撐全面的大數(shù)據(jù)應(yīng)用，因此，不但需要擴(kuò)大獲取企業(yè)內(nèi)部的經(jīng)營(yíng)、運(yùn)行數(shù)據(jù)范圍，提高數(shù)據(jù)更新頻率，還需要獲取企業(yè)外部的宏觀經(jīng)濟(jì)、氣象、互聯(lián)網(wǎng)自媒體等數(shù)據(jù)。三、構(gòu)建統(tǒng)一數(shù)據(jù)模型數(shù)據(jù)關(guān)聯(lián)性差，不利于大數(shù)據(jù)分析應(yīng)用，因此，需建立覆蓋結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的企業(yè)級(jí)全景數(shù)據(jù)模型，將生產(chǎn)數(shù)據(jù)、營(yíng)銷數(shù)據(jù)、計(jì)量數(shù)據(jù)、氣象數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、宏觀經(jīng)濟(jì)等數(shù)據(jù)集成、融合，梳理出數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，提供統(tǒng)一數(shù)據(jù)模型，有效解決數(shù)據(jù)管理問(wèn)題，為后續(xù)數(shù)據(jù)分析應(yīng)用提供強(qiáng)力支撐。綜合東莞xxxx大數(shù)據(jù)應(yīng)用需求、數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用等現(xiàn)狀，構(gòu)建配用電大數(shù)據(jù)平臺(tái)可為東莞xxxx的運(yùn)營(yíng)管理工作帶來(lái)顯著促進(jìn)和積極變化。1.3項(xiàng)目目標(biāo)為了滿足配用電數(shù)據(jù)爆炸性增長(zhǎng)和東莞xxxx業(yè)務(wù)管理和創(chuàng)新的需要，從配用電大數(shù)據(jù)體系構(gòu)建、數(shù)據(jù)管理、知識(shí)模型、業(yè)務(wù)創(chuàng)新和應(yīng)用示范等多層面著手，進(jìn)一步擴(kuò)展配用電網(wǎng)內(nèi)部和外部(氣象、經(jīng)濟(jì)、用戶等)基礎(chǔ)數(shù)據(jù)源和數(shù)據(jù)規(guī)模，利用大數(shù)據(jù)創(chuàng)新理論和技術(shù)構(gòu)建配用電大數(shù)據(jù)平臺(tái)，提升東莞xxxx在供電能力、供電質(zhì)量、客戶關(guān)系和配售市場(chǎng)的業(yè)務(wù)水平，推動(dòng)從傳統(tǒng)業(yè)務(wù)模式向大數(shù)據(jù)業(yè)務(wù)模式轉(zhuǎn)變，為構(gòu)建全方位客戶服務(wù)體系提供強(qiáng)有力支撐。通過(guò)建設(shè)東莞xxxx企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程，基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)在海量配用電數(shù)據(jù)中發(fā)現(xiàn)用戶用電規(guī)律和市場(chǎng)行為特征；通過(guò)配用電數(shù)據(jù)挖掘提升配電網(wǎng)的可觀可控、安全可靠及經(jīng)濟(jì)運(yùn)行水平；通過(guò)配用電大數(shù)據(jù)聚類關(guān)聯(lián)分析實(shí)現(xiàn)用電市場(chǎng)需求預(yù)測(cè)與宏觀經(jīng)濟(jì)趨勢(shì)分析；通過(guò)開發(fā)配網(wǎng)可靠性評(píng)估與提升、用電市場(chǎng)需求預(yù)測(cè)、宏觀經(jīng)濟(jì)趨勢(shì)分析等業(yè)務(wù)應(yīng)用，實(shí)現(xiàn)配用電數(shù)據(jù)深度挖掘與業(yè)務(wù)價(jià)值提升。實(shí)現(xiàn)用電大數(shù)據(jù)和配電大數(shù)據(jù)的有機(jī)整合，在充分挖掘用戶用電行為特征的基礎(chǔ)上，重點(diǎn)實(shí)現(xiàn)以下應(yīng)用功能：開發(fā)基于多因素關(guān)聯(lián)分析的配電網(wǎng)可靠性評(píng)估與提升；做好用電市場(chǎng)需求分析預(yù)測(cè)；通過(guò)用電數(shù)據(jù)與外部經(jīng)濟(jì)環(huán)境的相互影響關(guān)系，生成地區(qū)電力經(jīng)濟(jì)指數(shù)、行業(yè)經(jīng)濟(jì)景氣指數(shù)等。1.4項(xiàng)目?jī)?nèi)容本項(xiàng)目需要完成東莞xxxx企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程的開發(fā)實(shí)施工作，具體內(nèi)容包括：1)數(shù)據(jù)集成；2)算法模型管理；3)可靠性評(píng)估與停電計(jì)劃優(yōu)化應(yīng)用；4)宏觀經(jīng)濟(jì)景氣指數(shù)分析；5)用電市場(chǎng)需求預(yù)測(cè)；6)用電用戶畫像；7)系統(tǒng)管理；8)項(xiàng)目建設(shè)涉及的系統(tǒng)集成、實(shí)施工作。依據(jù)東莞xxxx企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程應(yīng)用分析和設(shè)計(jì)的成果，完成相關(guān)應(yīng)用的數(shù)據(jù)倉(cāng)庫(kù)開發(fā)、數(shù)據(jù)裝載及處理程序開發(fā)、業(yè)務(wù)功能開發(fā)與集成，具體包括：√大數(shù)據(jù)平臺(tái)建設(shè)：依據(jù)東莞xxxx企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程數(shù)據(jù)需求，利用某公司擁有自主知識(shí)產(chǎn)權(quán)產(chǎn)品：KIT電力行業(yè)大數(shù)據(jù)平臺(tái)，構(gòu)建地市級(jí)大數(shù)據(jù)平臺(tái)，為上層業(yè)務(wù)應(yīng)用和數(shù)據(jù)服務(wù)提供基礎(chǔ)平臺(tái)?！虜?shù)據(jù)采集及數(shù)據(jù)處理程序開發(fā)：依據(jù)東莞xxxx企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程的業(yè)務(wù)應(yīng)用數(shù)據(jù)需求，采集一配網(wǎng)自動(dòng)化、外部經(jīng)濟(jì)數(shù)據(jù)、供電可靠性、調(diào)度主站OMS,配網(wǎng)規(guī)劃輔助決策等業(yè)務(wù)系統(tǒng)，對(duì)源數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換并最終加載到數(shù)據(jù)平臺(tái)中，滿足應(yīng)用的需要。功能擴(kuò)充工程應(yīng)用功能設(shè)計(jì)，靈活運(yùn)用可視化技術(shù)平臺(tái)，完成東莞xxxx企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程的應(yīng)√開展開發(fā)成果的培訓(xùn)和技術(shù)支持：針對(duì)本項(xiàng)目涉及的所有技1.5應(yīng)用范圍本項(xiàng)目的應(yīng)用范圍為：某電網(wǎng)公司東莞xxxx及下屬各單位。1.6建設(shè)原則二、一體化1)統(tǒng)一的支撐平臺(tái)：本系統(tǒng)應(yīng)采用完全一致的支撐平臺(tái)，充2)圖形格式和界面風(fēng)格統(tǒng)一：系統(tǒng)應(yīng)采用相似的圖形格式和3)系統(tǒng)體系結(jié)構(gòu)能靈活配置，滿足信息分流、分層分區(qū)監(jiān)控等各種應(yīng)用需求。1)智能查詢：本系統(tǒng)應(yīng)采用可跨庫(kù)查詢的數(shù)據(jù)平臺(tái)，充分考慮應(yīng)用系統(tǒng)跨業(yè)務(wù)、跨表查詢、自由組合查詢、大量數(shù)據(jù)的實(shí)時(shí)查詢等需求，實(shí)現(xiàn)更加靈活智能的查詢。2)智能預(yù)警：本系統(tǒng)設(shè)計(jì)應(yīng)充分考慮配網(wǎng)薄弱環(huán)節(jié)、停電計(jì)劃、配網(wǎng)可靠性指標(biāo)、用電需求預(yù)測(cè)、電力經(jīng)濟(jì)景氣指數(shù)等潛在預(yù)警需求，采用大數(shù)據(jù)預(yù)測(cè)相關(guān)技術(shù)，結(jié)合豐富的可視化技術(shù)，智能化的配用電預(yù)警。3)智能預(yù)測(cè)：本系統(tǒng)設(shè)計(jì)應(yīng)充分考慮積累的配用電數(shù)據(jù)，采用大數(shù)據(jù)預(yù)測(cè)相關(guān)技術(shù)，為配網(wǎng)可靠性、電力經(jīng)濟(jì)景氣指數(shù)、用電需求預(yù)測(cè)提供智能化預(yù)測(cè)。1)系統(tǒng)應(yīng)具有高度的安全保障特性，能保證數(shù)據(jù)、信息的安全，并具備一定的保密措施，執(zhí)行重要功能的設(shè)備應(yīng)具有冗余備份，系統(tǒng)運(yùn)行要有雙機(jī)熱備份，防止意外丟失數(shù)據(jù)。2)系統(tǒng)應(yīng)構(gòu)筑堅(jiān)固有效的防火墻，最大限度地阻止從外部對(duì)系統(tǒng)的非法侵入，有效地防止以非正常的方式對(duì)系統(tǒng)軟、硬件設(shè)置及各種數(shù)據(jù)的更改等操作。3)系統(tǒng)應(yīng)具有完善的權(quán)限管理措施，應(yīng)能防止內(nèi)部人員對(duì)系統(tǒng)軟、硬件資源、數(shù)據(jù)的非法利用，嚴(yán)格控制各種計(jì)算機(jī)病毒的侵入與擴(kuò)散，當(dāng)入侵發(fā)生時(shí)系統(tǒng)能及時(shí)報(bào)告、檢查與處理，系統(tǒng)被入侵或五、可靠性1)系統(tǒng)的應(yīng)用服務(wù)必須為冗余配置，分布在各節(jié)點(diǎn)。對(duì)同一3)系統(tǒng)應(yīng)具備完善的節(jié)點(diǎn)故障和應(yīng)用故障判斷機(jī)制，并能正4)系統(tǒng)應(yīng)能長(zhǎng)期穩(wěn)定運(yùn)行，在值班設(shè)備無(wú)硬件故障和人工干5)可通過(guò)方便統(tǒng)一的人機(jī)界面，對(duì)系統(tǒng)應(yīng)用集群進(jìn)行配1)應(yīng)遵循國(guó)家相關(guān)標(biāo)準(zhǔn)，滿足開放性要求，計(jì)算機(jī)、網(wǎng)絡(luò)設(shè)2)應(yīng)具備在多種硬件和操作系統(tǒng)的混合平臺(tái)上正確運(yùn)行的能3)應(yīng)提供標(biāo)準(zhǔn)統(tǒng)一接口，支持用戶應(yīng)用軟件程序的開發(fā)，方七、集中性系統(tǒng)規(guī)劃、設(shè)計(jì)和建設(shè)要以管理集中、數(shù)據(jù)集中、處理集中為原則，統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一設(shè)備、統(tǒng)一開發(fā)與應(yīng)用。八、先進(jìn)性和成熟性選擇技術(shù)先進(jìn)、具有一定代表水平并且成熟的技術(shù)方法和產(chǎn)品來(lái)建設(shè)東莞xxxx數(shù)據(jù)平臺(tái)。九、前瞻性、可擴(kuò)展性系統(tǒng)規(guī)劃、設(shè)計(jì)應(yīng)具一定的前導(dǎo)和超前意識(shí)，確保系統(tǒng)在較長(zhǎng)時(shí)期內(nèi)先進(jìn)和穩(wěn)固，同時(shí)，還應(yīng)具有良好的擴(kuò)展性和升級(jí)能力，使系統(tǒng)能夠在面臨業(yè)務(wù)擴(kuò)展、數(shù)據(jù)量快速變化和架構(gòu)擴(kuò)展時(shí)平滑升級(jí)。十、效益性和實(shí)用性系統(tǒng)設(shè)計(jì)開發(fā)應(yīng)全面考慮系統(tǒng)的經(jīng)濟(jì)效益和社會(huì)效益、考慮性能價(jià)格比和投入產(chǎn)出比等諸多因素、考慮經(jīng)濟(jì)投入規(guī)模和實(shí)際使用價(jià)值，系統(tǒng)建設(shè)要力求達(dá)到經(jīng)濟(jì)收益好、社會(huì)效益高、資金投入少、實(shí)用價(jià)1.7遵循標(biāo)準(zhǔn)某公司在項(xiàng)目建設(shè)過(guò)程中，嚴(yán)格遵照要求，所提供的設(shè)計(jì)成果皆引用國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)、電力行業(yè)標(biāo)準(zhǔn)、工信部部頒制定的最新標(biāo)準(zhǔn)。如果這些標(biāo)準(zhǔn)的內(nèi)容有矛盾時(shí)，按照最高標(biāo)準(zhǔn)的條款執(zhí)行或按雙方協(xié)商同意的標(biāo)準(zhǔn)或條款執(zhí)行。遵循的相關(guān)標(biāo)準(zhǔn)和規(guī)劃，包括但不限1)DL/T1080.1-2008/IEC61968-1:2003《電力企業(yè)應(yīng)用集成接口標(biāo)準(zhǔn)》2)《電力監(jiān)控系統(tǒng)安全防護(hù)規(guī)定》(國(guó)家發(fā)展改革委2015年14號(hào))3)《電力監(jiān)控系統(tǒng)安全防護(hù)總體方案》(國(guó)能安全[2015]365)《xxxx電力監(jiān)控系統(tǒng)安全防護(hù)技術(shù)實(shí)施規(guī)范》6)《高級(jí)應(yīng)用程序接口(API)系列標(biāo)準(zhǔn)》8)《電力系統(tǒng)簡(jiǎn)單服務(wù)接口規(guī)范》9)《電力系統(tǒng)動(dòng)態(tài)消息描述規(guī)范》10)中國(guó)xxxx城市配電網(wǎng)技術(shù)導(dǎo)則，Q/CSG10012-200511)《中國(guó)xxxx公司110kV及以下配電網(wǎng)規(guī)劃指導(dǎo)原則》,中國(guó)XXxx有限責(zé)任公司12)《電網(wǎng)通用模型描述規(guī)范(CIM-E語(yǔ)言)》13)GB/T20917-2007《軟件工程軟件測(cè)量過(guò)程》14)GB/T20918-2007《信息技術(shù)軟件生存周期過(guò)程風(fēng)險(xiǎn)管理》15)GB/T8566-2007《信息技術(shù)軟件生存周期過(guò)程》16)GB/Z18493-2001《信息技術(shù)軟件生存周期過(guò)程指南》17)GB/Z20156-2006《軟件工程軟件生存周期過(guò)程用于項(xiàng)目管理的指南》18)GB/T15332-2008《計(jì)19)GB/T9385-2008《計(jì)算機(jī)軟件需求規(guī)格說(shuō)明規(guī)范》20)GB/T9386-2008《計(jì)算機(jī)軟件測(cè)試文件編制規(guī)范》21)GB8566-88《計(jì)算機(jī)軟件開發(fā)規(guī)范》22)GB8567-88《計(jì)算機(jī)軟件產(chǎn)品開發(fā)文件編制指南》23)GB/T12504-1990《計(jì)算機(jī)軟件質(zhì)量保證計(jì)劃規(guī)范》24)GB/T12505-1990《計(jì)算機(jī)軟件配置管理計(jì)劃規(guī)范》25)GB/T13502-92《信息處理一程序構(gòu)造及其表示法的約定》26)GB/T15532-95《計(jì)算機(jī)軟件單元測(cè)試》軟件包質(zhì)量要求和測(cè)試》28)GB/T16260-1996及IDTISO/IEC9126:1991《信息技術(shù)軟件產(chǎn)品評(píng)價(jià)質(zhì)量特性及其使用指南》29)GB/T8566-2001《軟件生命周期過(guò)程》30)GB/T18491-2001《功能規(guī)模測(cè)量》31)GB/T18492-2001《系統(tǒng)及軟件完整性級(jí)別》32)GB/T18493-2001《軟件生存周期過(guò)程指南》33)SJ20778-2000《軟件開發(fā)與文檔編制》除以上規(guī)范和標(biāo)準(zhǔn)以外，還須遵循以下xxxx頒布的標(biāo)準(zhǔn)和規(guī)范：1.《xxxx“十二五”信息化規(guī)劃》2.《xxxx基本數(shù)據(jù)集標(biāo)準(zhǔn)》數(shù)據(jù)模型規(guī)范》企業(yè)信息模型》信息分類與編碼規(guī)范》數(shù)據(jù)中心數(shù)據(jù)接口單元》數(shù)據(jù)中心數(shù)據(jù)交換規(guī)范》數(shù)據(jù)中心元數(shù)據(jù)管理規(guī)范》公司可視化技術(shù)規(guī)范》某公司承諾項(xiàng)目建設(shè)過(guò)程中使用的標(biāo)準(zhǔn)及規(guī)范均須征得局方同1.8項(xiàng)目進(jìn)度自合同生效之日起10個(gè)月內(nèi)完成該項(xiàng)目的建設(shè)工作。本項(xiàng)目在合同生效之日起7個(gè)月內(nèi)完成東莞xxxx企業(yè)級(jí)應(yīng)用系統(tǒng)配用電大數(shù)據(jù)功能擴(kuò)充工程的開發(fā)及實(shí)施，并通過(guò)功能系統(tǒng)上線試運(yùn)行3個(gè)月后完成試運(yùn)行并通過(guò)最終驗(yàn)收。1.9項(xiàng)目關(guān)鍵點(diǎn)數(shù)據(jù)獲取沒(méi)有數(shù)據(jù)就沒(méi)有大數(shù)據(jù)應(yīng)用，如何獲取更多的大數(shù)據(jù)是項(xiàng)目成功與否的關(guān)鍵所在，本項(xiàng)目建設(shè)的大數(shù)據(jù)應(yīng)用不僅需要企業(yè)內(nèi)部的經(jīng)營(yíng)、運(yùn)行數(shù)據(jù)，還需要企業(yè)外部的宏觀經(jīng)濟(jì)、氣象等數(shù)據(jù)，因此數(shù)據(jù)獲取是項(xiàng)目建設(shè)的難點(diǎn)與關(guān)鍵點(diǎn)。對(duì)于企業(yè)內(nèi)部的經(jīng)營(yíng)、運(yùn)行數(shù)據(jù)可通過(guò)廣東電網(wǎng)回流到東莞xxxx獲取，也可通過(guò)xxxx數(shù)據(jù)中心下發(fā)獲取，無(wú)論哪種方式獲取都需積極與上級(jí)單位溝通協(xié)調(diào)；對(duì)于外部的宏觀經(jīng)濟(jì)數(shù)據(jù)可通過(guò)向統(tǒng)計(jì)局等單位購(gòu)買或交換方式獲?。粴庀蠹盎ヂ?lián)網(wǎng)數(shù)據(jù)可通過(guò)爬蟲技術(shù)從氣象局、自媒體等互聯(lián)網(wǎng)網(wǎng)站抓取。分析模型落地XXxx“智能配用電大數(shù)據(jù)及其應(yīng)用技術(shù)研究與示范項(xiàng)目”已經(jīng)由XXXx科學(xué)研究院完成了供電能力(多因素關(guān)聯(lián)分析的配電網(wǎng)可靠性評(píng)估與提升、配用電大數(shù)據(jù)的多時(shí)間尺度電壓管理、新型負(fù)荷管控)、客戶關(guān)系(大用戶負(fù)荷聚類分析、設(shè)備能耗分析、客戶交互痕跡分析、設(shè)備狀態(tài)異常監(jiān)控、客戶畫像)、用電市場(chǎng)(經(jīng)濟(jì)景氣指數(shù)分析、用電市場(chǎng)需求預(yù)測(cè))三個(gè)方向十個(gè)業(yè)務(wù)分析模型的理論研究、算法，這些業(yè)務(wù)分析模型須通過(guò)本項(xiàng)目落地。為保證分析模型的效果，需要對(duì)上述分析模型成果進(jìn)行本地化適應(yīng)性改造，根據(jù)本地業(yè)務(wù)和需求特點(diǎn)，對(duì)分析模型進(jìn)行本地化調(diào)優(yōu)。系統(tǒng)持續(xù)發(fā)展為提升系統(tǒng)生命力，保證系統(tǒng)可持續(xù)發(fā)展性，本項(xiàng)目應(yīng)符合xxxx化為南網(wǎng)數(shù)據(jù)中心東莞xxxx數(shù)據(jù)集市的可行性。2.1概述2.1.1本項(xiàng)目在EA架構(gòu)中的定位根據(jù)xxxx公司EA架構(gòu)中的系統(tǒng)應(yīng)用架構(gòu)，配用電分析與管理支持AD04市場(chǎng)營(yíng)銷2.1.2本項(xiàng)目與網(wǎng)級(jí)平臺(tái)的關(guān)系都與xxxx數(shù)據(jù)中心產(chǎn)生數(shù)據(jù)交互和應(yīng)用結(jié)果Xxxx數(shù)據(jù)中心獲取配用電相關(guān)業(yè)務(wù)數(shù)據(jù)、調(diào)度自動(dòng)化數(shù)據(jù)、計(jì)量自從東莞xxxx和xxxx公司的隸屬關(guān)系、業(yè)務(wù)范圍、數(shù)據(jù)范圍上，本系統(tǒng)從邏輯、未來(lái)的發(fā)展方向可歸為xxxx目在支撐東莞xxxx的本地個(gè)性化應(yīng)用方面，將發(fā)揮其優(yōu)勢(shì)。網(wǎng)級(jí)業(yè)務(wù)應(yīng)用橫塊網(wǎng)級(jí)業(yè)務(wù)應(yīng)用橫塊省級(jí)業(yè)務(wù)應(yīng)用模塊配業(yè)務(wù)數(shù)據(jù)化系娩化系映網(wǎng)級(jí)平臺(tái)省地級(jí)平臺(tái)電務(wù)數(shù)據(jù)解白動(dòng)計(jì)量良動(dòng)系魄新聰源地市級(jí)業(yè)務(wù)應(yīng)用內(nèi)等對(duì)散猛是全90統(tǒng)圖2-2xxxX配用電大數(shù)據(jù)應(yīng)用整體架構(gòu)圖2.2總體技術(shù)方案2.2.1設(shè)計(jì)思路在系統(tǒng)設(shè)計(jì)上，結(jié)合某公司多年的經(jīng)驗(yàn)和技術(shù)積累，提出以下設(shè)在系統(tǒng)基礎(chǔ)架構(gòu)選型上，采用目前成熟的多層架構(gòu)模式。通過(guò)這種多層架構(gòu)，可以保證：1.實(shí)現(xiàn)應(yīng)用平臺(tái)與基礎(chǔ)平臺(tái)的分離，避免應(yīng)用與存儲(chǔ)之間的直接訪問(wèn)。2.實(shí)現(xiàn)應(yīng)用與數(shù)據(jù)展現(xiàn)之間的分離，實(shí)現(xiàn)個(gè)性化的數(shù)據(jù)展現(xiàn)。隨著企業(yè)業(yè)務(wù)的發(fā)展，系統(tǒng)建設(shè)的深入，會(huì)不斷的進(jìn)新增功能等，因此系統(tǒng)架構(gòu)中應(yīng)該采用組件化的方式，確保系統(tǒng)的高在基礎(chǔ)平臺(tái)建設(shè)上，采用組件化的ETL調(diào)度管理產(chǎn)品，通過(guò)模塊化的數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)裝載工具保證系統(tǒng)的高可配置性；采用成熟的B/S多層的系統(tǒng)架構(gòu)對(duì)功能進(jìn)行組件化，保證系統(tǒng)的模型標(biāo)準(zhǔn)化本系統(tǒng)需要對(duì)各專業(yè)的數(shù)據(jù)進(jìn)行集中的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理，為了避免大量的資源浪費(fèi)以及后續(xù)業(yè)務(wù)的可擴(kuò)展性，需要對(duì)整個(gè)系統(tǒng)的一體化管控過(guò)數(shù)據(jù)管控對(duì)系統(tǒng)數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、系統(tǒng)良好的用戶體驗(yàn)1.多終端的支持，用戶能夠通過(guò)個(gè)人電腦瀏覽器、手機(jī)、平板2.友好的界面展現(xiàn)，通過(guò)圖形化、動(dòng)態(tài)的數(shù)據(jù)展現(xiàn)，讓用戶能3.提升用戶使用體驗(yàn)，系統(tǒng)能夠支持用戶自定義報(bào)表，自定義在本項(xiàng)目中，某公司利用擁有自主知識(shí)產(chǎn)權(quán)的KIT電力行業(yè)大數(shù)據(jù)平臺(tái)產(chǎn)品KIT-BigDataPlatform(簡(jiǎn)稱KIT-BDP),并遵循xxxx數(shù)據(jù)中心融合架構(gòu)的規(guī)范和要求，構(gòu)建東莞xxxx配用電大數(shù)據(jù)平臺(tái) 本平臺(tái)屬于雙集群混搭架構(gòu)，按照分層、分級(jí)設(shè)計(jì)理念，由七數(shù)據(jù)陵處理統(tǒng)計(jì)解法庫(kù)挖算法模版評(píng)估英時(shí)形計(jì)算內(nèi)存計(jì)算三讀化考配網(wǎng)晚地決策南網(wǎng)氣象決篩管理數(shù)據(jù)源層包含了本系統(tǒng)需要獲取的各類型數(shù)據(jù)源，包括：一體GIS地理信息分析營(yíng)的管理KIT電力行業(yè)大數(shù)據(jù)平臺(tái)預(yù)查海數(shù)建模數(shù)醫(yī)戶警理數(shù)旗深集數(shù)據(jù)存謎照源團(tuán)座數(shù)據(jù)謹(jǐn)理金文檢云應(yīng)用姐致?lián)wM配網(wǎng)規(guī)劃輔助決策系統(tǒng)、南網(wǎng)氣象決策管理系統(tǒng)、外部經(jīng)濟(jì)數(shù)據(jù)，另外，根據(jù)項(xiàng)目后期需要也可能獲取更多的各類數(shù)據(jù)源，包括半結(jié)構(gòu)化數(shù)據(jù)以及互聯(lián)網(wǎng)上的非結(jié)構(gòu)化數(shù)據(jù)。本系統(tǒng)將與上述各系統(tǒng)集成，實(shí)現(xiàn)數(shù)據(jù)共享、業(yè)務(wù)貫通等不同的集成應(yīng)用目標(biāo)。二、數(shù)據(jù)采集層采集層通過(guò)各類數(shù)據(jù)采集方式，如：文件上傳、分布式消息隊(duì)日志文件匯聚等工具，將明細(xì)級(jí)數(shù)據(jù)加載到Hadoop集群，將數(shù)據(jù)分發(fā)到多個(gè)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行快速批量簡(jiǎn)單計(jì)算，將傳統(tǒng)類數(shù)據(jù)加載到關(guān)系型MPP分布式數(shù)據(jù)庫(kù)集群進(jìn)行復(fù)雜的關(guān)聯(lián)計(jì)算。提供數(shù)據(jù)采集公共服務(wù)，提供ETL工具供檔案同步接口服務(wù)調(diào)用；提供CSGProlib南網(wǎng)企標(biāo)協(xié)議庫(kù)以及IEE1888標(biāo)準(zhǔn)協(xié)議庫(kù)，供采集前置通信服務(wù)規(guī)約解析調(diào)用。三、數(shù)據(jù)存儲(chǔ)層大數(shù)據(jù)分析平臺(tái)對(duì)所有數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)，由于數(shù)據(jù)類型多樣，包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，根據(jù)不同的數(shù)據(jù)類型的特性，數(shù)據(jù)存儲(chǔ)采用分布式分為關(guān)系數(shù)據(jù)、列式數(shù)據(jù)庫(kù)、HDFS分布式文件系統(tǒng)等異構(gòu)存儲(chǔ)體系。本系統(tǒng)遵循xxxx數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)技術(shù)架構(gòu)，本系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)包括基于MPP的分布式關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)架構(gòu)和基于Hadoop框架的分布式數(shù)據(jù)存儲(chǔ)架構(gòu)。數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)劃分為ODS、DW(數(shù)據(jù)倉(cāng)庫(kù))、DM(數(shù)據(jù)集市)。分布式數(shù)據(jù)存儲(chǔ)可以存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)，并通過(guò)HIVE數(shù)據(jù)倉(cāng)庫(kù)將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，提供查詢功能。分布式數(shù)據(jù)存儲(chǔ)采用并行架構(gòu)設(shè)計(jì)，由多臺(tái)廉價(jià)的PC服務(wù)器組成集群，實(shí)現(xiàn)并發(fā)的數(shù)據(jù)流，從而進(jìn)一步提高數(shù)據(jù)吞吐量。另外，本層提供了豐富的技術(shù)框架如：標(biāo)準(zhǔn)SQL查詢、批量計(jì)算、流計(jì)算、內(nèi)存計(jì)算、圖形計(jì)算，具備完善的并行算法庫(kù)，提供統(tǒng)一的ETL作業(yè)調(diào)度和統(tǒng)一的資源調(diào)度功能。數(shù)據(jù)計(jì)算層基于流行的并行計(jì)算框架、流計(jì)算處理框架，提供批量計(jì)算、實(shí)時(shí)流計(jì)算、內(nèi)存計(jì)算、圖計(jì)算、語(yǔ)音識(shí)別、文本挖掘等多種高效的計(jì)算組件。五、數(shù)據(jù)分析層數(shù)據(jù)分析層主要提供數(shù)據(jù)建模的工具和算法，包括數(shù)據(jù)分析工具、可視化組件、開發(fā)套件、數(shù)據(jù)建模、業(yè)務(wù)語(yǔ)義。數(shù)據(jù)挖掘設(shè)計(jì)工具的核心環(huán)節(jié)支撐包括數(shù)據(jù)預(yù)處理、統(tǒng)計(jì)算法庫(kù)、挖掘算法庫(kù)、模型評(píng)估等，另外，在本層根據(jù)不同行業(yè)的客戶構(gòu)建了具有行業(yè)針對(duì)性的業(yè)務(wù)模型算法庫(kù)。六、數(shù)據(jù)服務(wù)層在系統(tǒng)功能架構(gòu)上進(jìn)行了適度的解耦，提升了基礎(chǔ)功能復(fù)用能力，并要求提供系統(tǒng)應(yīng)用的角色適配能力，實(shí)現(xiàn)基礎(chǔ)分析服務(wù)、多維分析服務(wù)、實(shí)時(shí)分析服務(wù)、數(shù)據(jù)挖掘服務(wù)、機(jī)器學(xué)習(xí)服務(wù)、收可視化行。安全管控中包含：用戶管理、角色管理、權(quán)限管理、日志管運(yùn)維監(jiān)控中包含：集群運(yùn)維、服務(wù)監(jiān)控、資源監(jiān)控、異常告其他功能包括：元數(shù)據(jù)管理、全文檢索、統(tǒng)一資源調(diào)度、統(tǒng)一協(xié)作服務(wù)在東莞xxxx配用電大數(shù)據(jù)平臺(tái)中，其中的數(shù)據(jù)采集層、數(shù)據(jù)存產(chǎn)品KIT-BigDataPlatform(簡(jiǎn)稱KIT-BDP),產(chǎn)品技術(shù)架構(gòu)圖如下： (詳見本文第2.3章KIT電力行業(yè)大數(shù)據(jù)平臺(tái))2.2.3數(shù)據(jù)采集√兩節(jié)點(diǎn)完成6小時(shí)內(nèi)不少于1.5T數(shù)據(jù)寫入操作；√支持高頻采集?！讨С置棵氩杉?0000條32KB記錄(或以上),后續(xù)可采取橫√采集性能：營(yíng)銷和生產(chǎn)數(shù)據(jù)采集要求0.6MB/S,峰值需達(dá)到√需要高并發(fā)，多線程采集；√能配置采集規(guī)則；√盡量開源，能根據(jù)業(yè)務(wù)做針對(duì)性的代碼層的優(yōu)化?！滩杉阅埽好棵?0000條，實(shí)時(shí)響應(yīng)秒級(jí)√快速擴(kuò)展，適應(yīng)實(shí)時(shí)數(shù)據(jù)快速膨脹√支持多種數(shù)據(jù)源√需要多并發(fā)，負(fù)載均衡√盡量開源，根據(jù)業(yè)務(wù)針對(duì)性優(yōu)化采集組件FTP是一種最重要、用途最廣泛的Interne的服務(wù)可以使從Internet的上千種計(jì)算機(jī)上拷貝文件FTP簡(jiǎn)介“FTP”這個(gè)詞是文件傳送協(xié)議的縮寫(FileTransferProtocol),FTP的主要作用就是讓用戶連接上一臺(tái)所希望瀏覽的遠(yuǎn)音文件等等。這樣的計(jì)算機(jī)稱為FTP站點(diǎn)或FTP服務(wù)器。通過(guò)FTP程序，用戶可以查看到FTP服務(wù)器上的文件。FTP是在Internet上FTP是一種服務(wù)，它可以在Internet上，使得文件可以從一臺(tái)Internet主機(jī)傳送到另一臺(tái)Internet主機(jī)上，通過(guò)這種方式，主要靠FTP把Internet中的主機(jī)相互聯(lián)系在一起。像大多數(shù)的Internet服務(wù)一樣，F(xiàn)TP使用客戶機(jī)/服務(wù)器系機(jī)上時(shí)，我們稱為“下傳”(downloading)文件；當(dāng)從自己的計(jì)算序允許你向遠(yuǎn)程主機(jī)發(fā)送或接收文件。當(dāng)使用fFTP工作原理FTP也是基于C/S模式而設(shè)計(jì)的。在進(jìn)行FTP操作的時(shí)候，即機(jī)中執(zhí)行FTP客戶應(yīng)用程序，在遠(yuǎn)程服務(wù)器中執(zhí)行FTP服務(wù)器應(yīng)用程序，這樣，就可以通過(guò)FTP客戶應(yīng)用程序和FTP進(jìn)行連接。連接成功務(wù)器上的FTP服務(wù)器程序。準(zhǔn)備就緒后，用戶首先向FTP服務(wù)匿名FTP簡(jiǎn)介FTP允許把文件從一個(gè)Internet計(jì)算機(jī)傳遞到另一個(gè)計(jì)算匿名FTP是這樣一種工具：作為用戶，本來(lái)不注冊(cè)就不能和的的用戶標(biāo)識(shí)anonymous(匿名),在Internet上，任何人在任何不能在沒(méi)有提供這種匿名FTP服務(wù)的Internet主機(jī)上使用匿名FTP。可以使用anonymous作為用戶一個(gè)文本文件(也叫做ASCII文件)由普通的字符、字母、令告訴ftp程序?qū)⒁跋聜鳌倍M(jìn)制文備份文件二進(jìn)制文件壓縮文件二進(jìn)制文件執(zhí)行文件二進(jìn)制文件postScript激光打印機(jī)文件圖形文件二進(jìn)制文件聲音文件二進(jìn)制文件表格2-1FTP基本命令表1、基本命令quit關(guān)閉和遠(yuǎn)程主機(jī)的聯(lián)系，終止ftp程序顯示所有ftp命令表help顯示所有ftp命令表helpcommand顯示一行指定的命令的概況!本地主機(jī)：停止ftp,開始shell!command本地主機(jī)：執(zhí)行指定的shell命令連接open[host]與指定計(jì)算機(jī)建立2、連接close關(guān)閉和遠(yuǎn)程主機(jī)的連接，但保留ftpcd[directory]遠(yuǎn)程主機(jī)：改變到指定的目錄cdup遠(yuǎn)程主機(jī)：改變到主目錄dir[directory[local-file]]遠(yuǎn)程主機(jī)：顯示長(zhǎng)的目錄清單ls[directory[local-file]]遠(yuǎn)程主機(jī)：顯示短目錄清單pwd遠(yuǎn)程主機(jī)：顯示當(dāng)前目錄名4、傳送文件5、設(shè)置選項(xiàng)ascii(缺省)把文件設(shè)置成ASCII文本文件binary把文件設(shè)置成二進(jìn)制文件hash是/不：每傳送一個(gè)數(shù)據(jù)塊顯示一個(gè)#號(hào)prompt是/不：傳送多個(gè)文件的提示客戶端FTP應(yīng)用程序的應(yīng)用1、基于字符界面的FTP程序的使用可以通過(guò)啟動(dòng)WIN9X下的ftp.exe,然后2、基于圖形界面的FTP應(yīng)用程序利用IE和NetscapeNavigator都可以訪問(wèn)FTP站點(diǎn)。但兩者是有區(qū)別的，IE只能從匿名FTP站點(diǎn)下載文件，但不能向其他FTP站點(diǎn)上載文件，而NetscapeNavigator既可以用來(lái)從匿名FTP站點(diǎn)下載文件，又可以向你擁有帳號(hào)的FTP站點(diǎn)上載在傳送個(gè)人網(wǎng)站到遠(yuǎn)程主機(jī)上時(shí)，可以借助于FTP工具。文件的壓縮和歸檔一次性下載這十個(gè)文件，先打包成files.tar,打包后的文件行壓縮，壓縮后該文件成為files.tar.z當(dāng)客戶端下載該文件后，利用工具先解壓縮，成為files.tar,再利用工具將打令：tar-cffiles.tar“所要打包的tar-xffiles.tar利用compress和uncompress進(jìn)行壓縮在windows平臺(tái)下，打包和壓縮是同時(shí)處理的。例如winZIP就是這樣1.在ETL處理區(qū)以批量(每日)或近實(shí)時(shí)(小于1小時(shí))的方式起到了安全隔離和FTP傳輸作用，系統(tǒng)獲取或提供數(shù)據(jù)只需要數(shù)據(jù)交換流程數(shù)據(jù)源系統(tǒng)結(jié)束通知數(shù)據(jù)源系統(tǒng)是是否通過(guò)校驗(yàn)?需重新上傳生成并下發(fā)數(shù)據(jù)統(tǒng)交換區(qū)換區(qū)獲取數(shù)據(jù)源系統(tǒng)生成數(shù)據(jù)文件和校驗(yàn)文件進(jìn)行數(shù)據(jù)校驗(yàn)本系統(tǒng)開始數(shù)據(jù)交換流程概述如下：1.數(shù)據(jù)交換開始。2.獲取數(shù)據(jù)。3.生成數(shù)據(jù)文件。4.進(jìn)行數(shù)據(jù)校驗(yàn)，生成校驗(yàn)文件。5.將數(shù)據(jù)交換文件存入其數(shù)據(jù)交換區(qū)。6.將數(shù)據(jù)文件壓縮后，連同相應(yīng)校驗(yàn)文件送達(dá)本系統(tǒng)交換區(qū)。7.本系統(tǒng)對(duì)接受到的數(shù)據(jù)文件解壓縮后，進(jìn)行數(shù)據(jù)校驗(yàn)。9.對(duì)于無(wú)法通過(guò)本系統(tǒng)校驗(yàn)的數(shù)據(jù)文件，本系統(tǒng)通知源系統(tǒng)相關(guān)負(fù)責(zé)人。10.源系統(tǒng)數(shù)據(jù)交換負(fù)責(zé)人對(duì)本系統(tǒng)下發(fā)的含有出錯(cuò)信息的校驗(yàn)報(bào)告進(jìn)行分析，按以下三種情況進(jìn)行處理：1)如果源數(shù)據(jù)出錯(cuò)，則要求源系統(tǒng)重新獲取數(shù)據(jù)，重復(fù)第2步之2)如果數(shù)據(jù)文件生成過(guò)程出錯(cuò)，則要求源系統(tǒng)重新生成相應(yīng)的數(shù)據(jù)文件，重復(fù)第3步之后流程；3)如果數(shù)據(jù)交換文件上傳過(guò)程出錯(cuò)，則要求源系統(tǒng)重新上傳相應(yīng)的數(shù)據(jù)交換文件(包括數(shù)據(jù)文件及校驗(yàn)文件),重復(fù)第6步之后流11.數(shù)據(jù)交換結(jié)束。文件規(guī)范

數(shù)據(jù)文件命名規(guī)范數(shù)據(jù)文件命名由文件名主體和擴(kuò)展名構(gòu)成，文件名主體使用大寫字母，擴(kuò)展名使用小寫字母，全名規(guī)則如下：<數(shù)據(jù)日期>_<數(shù)據(jù)來(lái)源>_<接口單元>_<頻度標(biāo)志>_<抽取順序號(hào)>_<抽取策略>_<重傳序列號(hào)>_<分割序號(hào)>.dat文件名主體定義規(guī)則如下表，各分段之間使用下劃線“_”進(jìn)行連說(shuō)數(shù)據(jù)重傳分割標(biāo)志序列112DA表格2-2I.數(shù)據(jù)日期數(shù)據(jù)日期是描述當(dāng)前抽取周期中，數(shù)據(jù)的發(fā)生日期(如：20101201,則表示抽取的是2010年12月1日的數(shù)據(jù)快照)。按日抽取的數(shù)據(jù)文件，其數(shù)據(jù)日期就是數(shù)據(jù)的發(fā)生日期；按周/旬/月/季/年抽取的數(shù)據(jù)文件，遵循按日抽取的數(shù)據(jù)日期命名方式，其數(shù)據(jù)日期為該周/旬/月/季/年的最后一天，存儲(chǔ)在相應(yīng)數(shù)據(jù)日期目錄下。如2010年3月的月數(shù)據(jù)文件，其數(shù)據(jù)日期為20100331;2010年的年數(shù)據(jù)文件，其數(shù)據(jù)日期為20101231。II.接口單元接口單元代碼采用阿拉伯?dāng)?shù)字字符編碼，碼長(zhǎng)6位，分為三層，第一層2位代表職能域代碼；第二層碼長(zhǎng)2位代表主題域代碼；第三層碼長(zhǎng)2位代表主題域下的實(shí)體代碼。代碼結(jié)構(gòu)圖如下：實(shí)體代碼主題域代碼職能域代碼1.接口單元代碼必須使用本規(guī)范附件《補(bǔ)充信息分類和編碼》的相III.頻度標(biāo)志旬/月/季/年)。單元在一天內(nèi)多次抽取的順序號(hào)，編號(hào)從001開始。如果不需要多次抽取策略取值范圍為P/A?！癙”代表增量抽取，“A”代表全量VI.重傳序號(hào)重傳序號(hào)必須是二位阿拉伯?dāng)?shù)字字符。重傳序號(hào)是用于描述同一個(gè)接口單元的同一數(shù)據(jù)日期內(nèi)，由于數(shù)據(jù)異常，需要重新通過(guò)重傳序號(hào)來(lái)描述當(dāng)前數(shù)據(jù)文件的重傳順序號(hào)。00:表示該數(shù)據(jù)文件正常數(shù)據(jù)上傳(非重傳)01:表示該數(shù)據(jù)文件第一次重傳02:表示該數(shù)據(jù)文件第二次重傳VII.分割序號(hào)一個(gè)接口單元被分割成多個(gè)文件，則根據(jù)分割序號(hào)排序。初始編號(hào)為“00”。數(shù)據(jù)文件格式數(shù)據(jù)文件是采用不定長(zhǎng)記錄的文本文件，每條記錄一行。數(shù)據(jù)文件字段用分隔符分隔，必須嚴(yán)格按照本規(guī)范附件《數(shù)據(jù)接口單元》相應(yīng)分冊(cè)中接口單元字段類型長(zhǎng)度和順序的定義產(chǎn)生。分隔符采用以下兩種：1.字段間分隔符：?jiǎn)呜Q線“|”;2.記錄間分隔符：換行符(0x0A)。源系統(tǒng)上傳數(shù)據(jù)文件時(shí)，必須保證數(shù)據(jù)內(nèi)容中不含有分隔符，否則需對(duì)數(shù)據(jù)內(nèi)容中的分隔符進(jìn)行替換。2.數(shù)據(jù)文件字符集源系統(tǒng)上傳的數(shù)據(jù)文件必須采用GBK字符4.數(shù)字格式4.1.在數(shù)據(jù)交換數(shù)據(jù)文件中，數(shù)字的表示必須規(guī)范，小數(shù)點(diǎn)的前后必需有數(shù)字，如：0.01或34.0,不能用“.01”或“34.”4.2.數(shù)字最高位的左邊第一位為符號(hào)位。對(duì)于負(fù)數(shù)，符號(hào)位為“-”,正數(shù)不用加符號(hào)位；字段的值為空格(一個(gè)或多個(gè)),生成數(shù)據(jù)文件時(shí)則生成一個(gè)空格；字段值首尾包含空格，前后空格均視為無(wú)意義，則去掉首尾7.日期類型YYYY為四位數(shù)字，必須是有效的年份；MM為兩位數(shù)字，必須是有效的月份(01-12);DD為兩位數(shù)字，必須是有效的日期(01-31)。對(duì)于不符合日期約束規(guī)則的日期值，處理方式同NULL。8.日期時(shí)間類型統(tǒng)一采用YYYYMMDDHHMMSS格式：MM為兩位數(shù)字，必須是有效的月份(01-12);DD為兩位數(shù)字，必須是有效的日期(01-31)。HH為兩位數(shù)字，必須是有效的小時(shí)(00-23),24小時(shí)制；MM為兩位數(shù)字，必須是有效的分鐘(00-59);SS為兩位數(shù)字，必須是有效的秒(00-59)。對(duì)于不符合時(shí)間約束規(guī)則的時(shí)間值，處理方式同NULL。數(shù)據(jù)文件規(guī)模壓縮前單個(gè)數(shù)據(jù)文件大小不超過(guò)2G。源系統(tǒng)在生成數(shù)據(jù)文件時(shí)，對(duì)于超過(guò)2GB的文件，必須對(duì)數(shù)據(jù)文件進(jìn)行分割。

校驗(yàn)文件規(guī)范校驗(yàn)文件命名規(guī)范校驗(yàn)文件命名由文件名主體和擴(kuò)展名構(gòu)成，文件名主體使用大寫字母，擴(kuò)展名使用小寫字母，全名規(guī)則如下：<數(shù)據(jù)日期>_<數(shù)據(jù)來(lái)源>_<接口單元>_<頻度標(biāo)志>_<抽取順序號(hào)>_<抽取策略>_<重傳序列號(hào)>.verf文件名主體定義規(guī)則如下，各分段之間使用下劃線“_”進(jìn)行連序號(hào)IV說(shuō)明數(shù)據(jù)日期數(shù)據(jù)來(lái)源接口單元標(biāo)志號(hào)抽取策略重傳序列號(hào)長(zhǎng)度8261312示例DA表格2-3校驗(yàn)文件文件名主體定義參照數(shù)據(jù)文件文件名主體定義，擴(kuò)展名采用“verf”。校驗(yàn)文件名不包含分割序號(hào)，對(duì)于未分割傳輸?shù)慕涌趩卧?，一個(gè)數(shù)據(jù)文件對(duì)應(yīng)一個(gè)校驗(yàn)文件；對(duì)于同一接口單元分割傳輸?shù)亩鄠€(gè)數(shù)據(jù)文件，對(duì)應(yīng)一個(gè)校驗(yàn)文件。文件內(nèi)容格式校驗(yàn)文件是由各源系統(tǒng)負(fù)責(zé)生成，用于記錄對(duì)數(shù)據(jù)文件進(jìn)行校驗(yàn)的信息。各源系統(tǒng)對(duì)數(shù)據(jù)文件的校驗(yàn)規(guī)則將在《數(shù)據(jù)質(zhì)量管理規(guī)范》中統(tǒng)一下頭記錄格式說(shuō)明1數(shù)據(jù)文件數(shù)量整型填寫傳輸?shù)奈募倲?shù)2行間分隔符一換行符表格2-4記錄格式校驗(yàn)文件采用定長(zhǎng)方式，對(duì)于不足位數(shù)的記錄內(nèi)容以空格右填充。包括以下內(nèi)容：說(shuō)明1數(shù)據(jù)文件名稱40位字符型2文件的大小(字節(jié)20位整型文件的物理存儲(chǔ)大小3文件中包含的記錄數(shù)20位整型4數(shù)據(jù)日期8位字符型日期格式：YYYYMMDD,如果抽取周期為月，則格式為：YYYMM,后兩位補(bǔ)兩個(gè)零“00”;5文件的生成時(shí)間14位字符型日期格式：6行間分隔符一換行符表格2-5

校驗(yàn)報(bào)告規(guī)范數(shù)據(jù)交換校驗(yàn)報(bào)告采用文本文件方式，文件格式采用GBK碼字符集。數(shù)據(jù)交換校驗(yàn)報(bào)告指由本系統(tǒng)負(fù)責(zé)對(duì)數(shù)據(jù)文件進(jìn)行校驗(yàn)后形成的校驗(yàn)結(jié)果文件，包括文件級(jí)校驗(yàn)報(bào)告和記錄級(jí)校驗(yàn)報(bào)告。各源系統(tǒng)的校驗(yàn)報(bào)告參照此格式產(chǎn)生。數(shù)據(jù)交換校驗(yàn)報(bào)告采用定長(zhǎng)方式，對(duì)于不足位數(shù)的信息內(nèi)容以空格右填充。校驗(yàn)報(bào)告命名規(guī)范校驗(yàn)報(bào)告命名由文件名主體和擴(kuò)展名構(gòu)成，文件名主體使用大寫字母，擴(kuò)展名使用小寫字母。文件級(jí)校驗(yàn)報(bào)告命名規(guī)則如下：<數(shù)據(jù)日期>_<數(shù)據(jù)來(lái)源>_<接口單元>_<頻度標(biāo)志>_<抽取順序號(hào)>_<抽取策略>_<重傳序列號(hào)>.frpt數(shù)據(jù)日期>_<數(shù)據(jù)來(lái)源>_<接口單元>_<頻度標(biāo)志>_<抽取順序號(hào)>_<文件名主體定義規(guī)則如下表，各分段之間使用下劃線“_”進(jìn)行說(shuō)明數(shù)據(jù)序號(hào)示例表格2-6一個(gè)數(shù)據(jù)校驗(yàn)文件(*.verf文件)對(duì)應(yīng)一個(gè)文件級(jí)校驗(yàn)報(bào)告說(shuō)明1數(shù)據(jù)文件名稱40位字符型2處理時(shí)間14位整型日期格式：YYYYMMDDHH24MISS3校驗(yàn)結(jié)果代碼2位字符型00:校驗(yàn)成功01:接口文件名與規(guī)則不符02:接口數(shù)據(jù)文件不存在03:接口數(shù)據(jù)文件無(wú)法打開04:記錄長(zhǎng)度錯(cuò)誤05:文件大小不符06:文件記錄數(shù)不符07:文件數(shù)據(jù)日期不符08:數(shù)據(jù)文件數(shù)據(jù)日期非法09:數(shù)據(jù)文件省代碼錯(cuò)誤10:數(shù)據(jù)文件接口單元編碼非法11:數(shù)據(jù)文件記錄非法結(jié)束符(非回車換行)12:數(shù)據(jù)文件大小超過(guò)2GBytes13:接口數(shù)據(jù)文件重復(fù)上傳14:數(shù)據(jù)文件數(shù)據(jù)日期與期待日期不符說(shuō)明件名跨月為空說(shuō)明89:校驗(yàn)文件接口單元禁止修正90:修正校驗(yàn)文件數(shù)據(jù)日期不能跨月91:修正校驗(yàn)文件數(shù)據(jù)日期超前92:校驗(yàn)文件數(shù)據(jù)日期與期待日期不符93:校驗(yàn)文件重復(fù)上傳94:校驗(yàn)文件接口單元編碼非法95:校驗(yàn)文件記錄非法結(jié)束符(非回車換行)96:校驗(yàn)文件省代碼錯(cuò)誤97:校驗(yàn)文件數(shù)據(jù)日期非法98:校驗(yàn)文件記錄長(zhǎng)度不符99:校驗(yàn)文件無(wú)法打開4校驗(yàn)結(jié)果128位字符型校驗(yàn)結(jié)果描述5行間分隔符一換行符表格2-73.補(bǔ)充校驗(yàn)結(jié)果代碼按順序增加，長(zhǎng)度為兩位，并確保校驗(yàn)結(jié)果代碼不重復(fù)。說(shuō)明1數(shù)據(jù)交換數(shù)據(jù)文件名稱40位字符型2文件行號(hào)10位整型3屬性序號(hào)4位整型4錯(cuò)誤代碼2位整型00:不檢查01:主鍵唯一性錯(cuò)誤02:主外鍵不一致03:編碼不存在04:數(shù)據(jù)類型格式錯(cuò)誤05:數(shù)據(jù)值域錯(cuò)誤06:業(yè)務(wù)規(guī)則錯(cuò)誤5錯(cuò)誤描述128位字符型6行間分隔符一換行符表格2-8補(bǔ)充校驗(yàn)結(jié)果代碼按順序增加，長(zhǎng)度為兩位，并確保校驗(yàn)結(jié)果代.2基于WebService的實(shí)時(shí)數(shù)據(jù)采集WebService數(shù)據(jù)共享簡(jiǎn)介WebService是分布式的服務(wù)組件。WebService本質(zhì)上就是要以標(biāo)準(zhǔn)化的形式實(shí)現(xiàn)企業(yè)內(nèi)外各個(gè)不同服務(wù)系統(tǒng)之間的互調(diào)或集成。其由兩部分組成：SOAP--WebService之間的基本通信協(xié)議；WSDL--WebService描述語(yǔ)言，它定義了WebService做什么,怎么在任何支持這些標(biāo)準(zhǔn)的環(huán)境(Windows,Lin3.由于使用了SOAP,數(shù)據(jù)是以ASCII文本的方式而非二進(jìn)制傳Webservice實(shí)現(xiàn)過(guò)程假如服務(wù)A要調(diào)用服務(wù)B上的服務(wù)，要實(shí)現(xiàn)這個(gè)目的需要下面3個(gè)元素服務(wù)B要以一種標(biāo)準(zhǔn)化的語(yǔ)言告訴服務(wù)A它能提供什么樣的服務(wù)，比如調(diào)用它的服務(wù)，它的服務(wù)在那里等，這就是WEBSERVICE消息格式告訴服務(wù)B,它想調(diào)用什么服務(wù)，并加入相應(yīng)的輸入?yún)?shù)，當(dāng)服務(wù)B完成服務(wù)后，會(huì)同樣以標(biāo)準(zhǔn)化的通信方式告訴B相應(yīng)的服務(wù)Wsdl概念SERVICE的提供著將自己的WEB服務(wù)的所有有關(guān)內(nèi)容，如所提供的服SOAP返回消息解析成自己能夠理解的內(nèi)容。當(dāng)前wsdl版本有wsdl1.1和wsdl1.2(即wsdl2.0版本)。WebService數(shù)據(jù)采集實(shí)現(xiàn)Web服務(wù)1Web服務(wù)22、數(shù)據(jù)解析3、數(shù)據(jù)入庫(kù)配用電大數(shù)據(jù)平臺(tái)Web服務(wù)1Web服務(wù)2服務(wù)1圖2-5WebService數(shù)據(jù)采集示意圖1.各系統(tǒng)在xxxxESB總線上注冊(cè)Web服務(wù)；2.本系統(tǒng)調(diào)用Web服務(wù)，實(shí)時(shí)獲取數(shù)據(jù)；3.本系統(tǒng)解析返回的數(shù)據(jù)，形成數(shù)據(jù)集；4.本系統(tǒng)將數(shù)據(jù)集插入ODS,觸發(fā)相應(yīng)的ETL作業(yè)進(jìn)行數(shù)據(jù)處理。.3Sqoop批量數(shù)據(jù)采集Sqoop主要是用來(lái)處理存量數(shù)據(jù)，是一個(gè)用來(lái)將Hadoop和關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)(例如：MySQL,Oracle等)中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。Sqoop中一大亮點(diǎn)就是可以通過(guò)hadoop的mapreduce把數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)中導(dǎo)入數(shù)據(jù)到HDFS。u令),這里先列出這13種命令。OutputlineformattinGenericHadoopcommand-linearguments。1)列出mysql數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)庫(kù)sqoopsqooplist-databases-connectjdbc:mysql://localhost:3306/2)連接mysql并列出test數(shù)據(jù)庫(kù)中的表sqoopsqooplist-tables-connectjdbc:mysql://localhost:3命令中的test為mysql數(shù)據(jù)庫(kù)中的test數(shù)據(jù)庫(kù)名稱usernamepassword分別為mysql數(shù)據(jù)庫(kù)的用戶密碼jdbcjdbc:mysql://localhost:3306/testtest為hive中新建的表名稱sqoopsqoopimport-connectjdbc:mysql://localhost:3306/zxtest-表sqoopexport-connectjdbc:mysql://localhost:3306/z/user/hive/warehouse/new_test_partition/dt=201/user/hive/warehouse/new_test_partition/dt=201jdbc:mysql://09:-password=123456-tableHAD00P_USER_INFO--password=123456-tableHAD00P_USER_INFO-7)從數(shù)據(jù)庫(kù)增量導(dǎo)入表數(shù)據(jù)到hdfs中jdbc:mysql://jdbc:mysql://09:3-target-dir/user/test-check-col-target-dir/user/test-check-colSqoop原理(以import為例)中。同時(shí)split-by根據(jù)不同的參數(shù)類型傳入的num-mappers來(lái)確定劃分幾個(gè)區(qū)域。max(split-by)和min(split-by)分別為1000和1,而num-mappers為2的話，則會(huì)分成兩個(gè)區(qū)域(1,500)和(501-100),同時(shí)也會(huì)分成2個(gè)sql給2個(gè)map去進(jìn)行導(dǎo)入操作，分別為selectXXXfromtablewheresplit-by>=501andsplit-by<=1000。最后每個(gè)map各自獲取大概流程打成jar包，然后提交給Hadoop2.設(shè)置好job,主要也就是設(shè)置好以上第六章中的各個(gè)參數(shù)3.這里就由Hadoop來(lái)執(zhí)行MapReduce來(lái)執(zhí)行Import命令了，1)首先要對(duì)數(shù)據(jù)進(jìn)行切分，也就是DataSplitDataDrivenDBInputFormatDataDrivenDBInputFormat.getSplits(JobContextjob)2)切分好范圍后，寫入范圍，以便讀取DataDrivenDBInputFormat.write(DataOutputDataDrivenDBInputFormat.write(DataOutput是是lowerBoundQueryandupperBoundQue3)讀取以上2)寫入的范圍DataDrivenDBInputFormat.readFields(DataInputinpuDataDrivenDBInputFormat.readFields(DataInputinpu4)然后創(chuàng)建RecordReader從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)DataDrivenDBInputFormat.createRecordReadeDataDrivenDBInputFormat.createRecordReade5)創(chuàng)建MapDBRecordReader.nextDBRecordReader.next7)運(yùn)行mapTextImportMapperTextImportMapper.map(LongWritablekey,SqoopRecordval,Nul1Writable.get()數(shù)據(jù)導(dǎo)出圖例(2)SubmitMap-Onlyjot_HadoopCluster圖2-8員角色進(jìn)行管理，操作員的角色進(jìn)行運(yùn)行。同樣，jdbc驅(qū)動(dòng)程序和前端的命令行接口、瀏覽器和后端的元數(shù)據(jù)存儲(chǔ)庫(kù)。此外Hive和序，并不需要再安裝0ozie。擴(kuò)展性器，將他們只負(fù)責(zé)數(shù)據(jù)的傳輸。reduce階段只需是實(shí)現(xiàn)公用模塊即flume作為cloudera開發(fā)的實(shí)時(shí)日志收集系統(tǒng)，受到了業(yè)界 準(zhǔn)等缺點(diǎn)暴露出來(lái)，尤其是在FlumeOG的最后一個(gè)發(fā)行版本√可靠性Flume提供了三種級(jí)別的可靠性保障，從強(qiáng)到弱依次分別為：成功后，再刪除；如果數(shù)據(jù)發(fā)送失敗，可以重新發(fā)送。),Storeonfailure(這也是scribe采用的策略，當(dāng)數(shù)據(jù)接收方crash時(shí)，將數(shù)據(jù)寫到本地，待恢復(fù)后，繼續(xù)發(fā)送),Besteffort(數(shù)據(jù)發(fā)送到接收√可擴(kuò)展性每一層均可以水平擴(kuò)展。其中，所有agent和collector由master統(tǒng)一管理，這使得系統(tǒng)容易監(jiān)控和維護(hù)，且master允許有多個(gè)(使用ZooKeeper進(jìn)行管理和負(fù)載均衡),這就避免了單點(diǎn)故障問(wèn)題?！炭晒芾硇跃S護(hù)。多master情況，F(xiàn)lume配置數(shù)據(jù)的一致性。用戶可以在master上查看各個(gè)數(shù)據(jù)源或者數(shù)據(jù)和shellscriptcommand兩種形式對(duì)數(shù)據(jù)流進(jìn)行管理。√功能可擴(kuò)展性用戶可以根據(jù)需要添加自己的agent,collector或者storage。此外，F(xiàn)lume自帶了很多組件，包括各種agent(file,syslog等),√可恢復(fù)性：還是靠Channel。推薦使用FileChannel,事件持久化在本地文√Agent使用JVM運(yùn)行Flume。每臺(tái)機(jī)器運(yùn)行一個(gè)agent,但是可以在一個(gè)agent中包含多個(gè)sources和sinks?！藽lient生產(chǎn)數(shù)據(jù)，運(yùn)行在一個(gè)獨(dú)立的線程。√Source從Client收集數(shù)據(jù)，傳遞給Channel?！藽hannel連接sources和sinks,這個(gè)有點(diǎn)像一個(gè)隊(duì)列。圖2-9Flume提供了大量?jī)?nèi)置的Source、Channel和Sink類型。不同也可以持久化到本地硬盤上。Sink可以把日Source圖2-10kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，通過(guò)磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化，這種結(jié)構(gòu)對(duì)于即使數(shù)以TB的消息存儲(chǔ)也能夠保持長(zhǎng)時(shí)間的穩(wěn)定性能；高吞吐量：即使是非常普通的硬件kafka也可以支持每秒數(shù)十萬(wàn)的消息；支持通過(guò)kafka服務(wù)器和消費(fèi)機(jī)集群來(lái)分區(qū)消息。kafka可以處理動(dòng)作流數(shù)據(jù)，這種動(dòng)作(網(wǎng)頁(yè)瀏覽，搜索和其他用戶的行動(dòng))是在現(xiàn)代網(wǎng)絡(luò)上的許多社會(huì)功能的一個(gè)Kafka它提供了類似于JMS的特性，但是在設(shè)計(jì)實(shí)現(xiàn)上完全不同，此外它并不是JMS規(guī)范的實(shí)現(xiàn)。kafka對(duì)消息保存時(shí)根據(jù)Topic進(jìn)行歸類，發(fā)送消息者成為Producer,消息接受者成為Consumer,此無(wú)論是kafka集群，還是producer和consumer都依賴于zookeeper來(lái)保證系統(tǒng)可用性集群保存一些meta信息。圖2-11一個(gè)Topic可以認(rèn)為是一類消息，每個(gè)topic將被分成多個(gè)partition(區(qū)),每個(gè)partition在存儲(chǔ)層面是appendlog文件。任何發(fā)布到此partition的消息都會(huì)被直接追加到log文件的尾部，每條消息在文件中的位置稱為offset(偏移量),offset為一個(gè)long沒(méi)有提供其他額外的索引機(jī)制來(lái)存儲(chǔ)offset,因?yàn)樵趉afka中幾乎021921224442200099333666777555888111圖2-12kafka和JMS(JavaMessageService)實(shí)現(xiàn)(activeMQ)不同的broker中的配置要求，保留一定的時(shí)間之后刪除；比如log文件保后對(duì)文件內(nèi)容改動(dòng)的磁盤IO開支。對(duì)于consumer而言，它需要保存消費(fèi)消息的offset,對(duì)于offset的保存和使用，有consumer來(lái)控制；當(dāng)consumer正常消費(fèi)事實(shí)上consumer可以使用任意順序消kafka集群幾乎不需要維護(hù)任何consumer和producer狀態(tài)信息，這些信息有zookeeper保存，因此producer和consumepartitions的設(shè)計(jì)目的有多個(gè).最尺寸達(dá)到單機(jī)磁盤的上限，每個(gè)partiton都會(huì)被當(dāng)前server(kafka實(shí)例)保存；可以將一個(gè)topic切分多任意多個(gè)partitions,來(lái)消息保存/消費(fèi)的效率。此外越多的partitions意味著可以容納更多的一個(gè)Topic的多個(gè)partitions,被分布在kafka集群中的多個(gè)server上，每個(gè)server(kafka操作，此外kafka還可以配置partitions需要備份基于replicated方案，那么就意味著需要對(duì)多個(gè)備份進(jìn)行調(diào)度；每個(gè)partition都有一個(gè)server為"leader";leader為新的leader);follower只是單調(diào)的和leader跟進(jìn)，同步消息即Producer將消息發(fā)布到指定的Topic中，同時(shí)Producer也能本質(zhì)上kafka只支持Topic,每個(gè)consumer屬于一個(gè)consumergroup;反過(guò)來(lái)說(shuō)，每個(gè)group中可以有多個(gè)consumer.發(fā)送到Topic如果所有的consumer都具有相同的group,這種情況和queue模式很像；消息將會(huì)在consumers之間負(fù)載均衡。如果所有的consumer都具有不同的group,那這就是"發(fā)布-訂閱",消息將會(huì)廣播給所有的消費(fèi)者。以認(rèn)為一個(gè)group是一個(gè)"訂閱"者，一個(gè)Topic中的每個(gè)partions,以消費(fèi)多個(gè)partitions中中的消息被某個(gè)consumer消費(fèi)時(shí)，消息是順序的.事實(shí)上，從Topic能有多于partitions個(gè)數(shù)的consumer同時(shí)消費(fèi)，否則將意味著某些1)發(fā)送到partitions中的消息將會(huì)按照它接收的順序追2)對(duì)于消費(fèi)者而言，它們消費(fèi)消息的順序和日志中消息順序一致.3)如果Topic的"replicationfactor"為N,那么允許N-1個(gè)kafka實(shí)例失效.使用場(chǎng)景partitons/replication和容錯(cuò)，可以使kafka具有良好的擴(kuò)展性和性能優(yōu)勢(shì)，不過(guò)到目前為止，我們應(yīng)該很清楚認(rèn)識(shí)到，kafka并沒(méi)有提供JMS中的"事務(wù)性""消息傳輸擔(dān)保(消息確認(rèn)機(jī)制)""消息分組"等企業(yè)級(jí)特性；kafka只能使用作為"常規(guī)"的消息系統(tǒng)，在一定程度上，尚未確保消息的發(fā)送與接收絕對(duì)可靠(比如，消息重發(fā)，消息發(fā)送kafka可以作為"網(wǎng)站活性跟蹤"的最佳工具；可以將網(wǎng)頁(yè)/用戶操作等信息發(fā)送到kafka中.并實(shí)時(shí)監(jiān)控，或者離線統(tǒng)計(jì)分析等。kafka的特性決定它非常適合作為"日志收集中心";application可以將操作日志"批量""異步"的發(fā)送到kafka集群中，這對(duì)producer端而言，幾乎感覺(jué)不到性能的開支。此時(shí)consumer端可以使hadoop等其他系統(tǒng)化的存儲(chǔ)和分析系統(tǒng)。技術(shù)總結(jié)通過(guò)比較以上幾種數(shù)據(jù)采集技術(shù)，對(duì)其適用范圍進(jìn)行總結(jié)如下：應(yīng)用場(chǎng)景批量處理存量數(shù)據(jù)系統(tǒng)日志收集海量數(shù)據(jù)匯聚大數(shù)據(jù)流采集數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)類型非實(shí)時(shí)實(shí)時(shí)優(yōu)點(diǎn)高效可控的利用資源，任務(wù)并行度數(shù)據(jù)類型映射與轉(zhuǎn)化，可自動(dòng)進(jìn)行，用戶支持多種主定制各類數(shù)據(jù)發(fā)送方和數(shù)據(jù)接收方高吞吐量；消息持久化到磁盤，因此可用于批量消費(fèi)，例如ETL,以及實(shí)時(shí)應(yīng)用程序流數(shù)據(jù)庫(kù)表格2-9通過(guò)比較以上幾種數(shù)據(jù)采集技術(shù)，對(duì)其適用范圍進(jìn)行總結(jié)如下：綜上所述，Sqoop技術(shù)主要應(yīng)用于大批量數(shù)據(jù)從業(yè)務(wù)系統(tǒng)至本系統(tǒng)的快速導(dǎo)入；Flume和Scribe技術(shù)配合使用，實(shí)現(xiàn)從各節(jié)點(diǎn)上實(shí)時(shí)采集數(shù)據(jù)；而Kafka作為一種數(shù)據(jù)接入技術(shù)，通過(guò)緩沖消息中間件方式，來(lái)解決數(shù)據(jù)采集速度和處理速度的不一致問(wèn)題。2.2.4數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)是本項(xiàng)目的數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)邏輯上包括三大記錄級(jí)數(shù)據(jù)質(zhì)量檢查性、外鍵、編碼、業(yè)務(wù)規(guī)則檢查，從而保證進(jìn)入本系統(tǒng)的數(shù)據(jù)質(zhì)量。ODS作為本系統(tǒng)的入口，存儲(chǔ)了最新的源系統(tǒng)數(shù)據(jù)，是數(shù)據(jù)倉(cāng)在數(shù)據(jù)倉(cāng)庫(kù)建立之前，大量的報(bào)表、分析是由業(yè)務(wù)系統(tǒng)直接支DW(數(shù)據(jù)倉(cāng)庫(kù))是整個(gè)本系統(tǒng)的核心部分，它負(fù)責(zé)存儲(chǔ)和管理在分析主題的基礎(chǔ)上生成數(shù)據(jù)匯總，以便更好的滿足數(shù)據(jù)需支持即席查詢等靈活性較高的BI應(yīng)用。DM(數(shù)據(jù)集市)是面向需求組織的，它對(duì)于某些主題的業(yè)務(wù)分層級(jí)數(shù)據(jù)集市區(qū)●共性應(yīng)用：基于基礎(chǔ)層建立，為各級(jí)單位的共性分析應(yīng)用提供匯總數(shù)據(jù)●個(gè)性應(yīng)用：基于基礎(chǔ)層建立，為各級(jí)單位的個(gè)性分析應(yīng)用提供匯總數(shù)據(jù)星形或雪花形多維數(shù)據(jù)模型數(shù)據(jù)倉(cāng)庫(kù)區(qū)●基于數(shù)據(jù)資源整合規(guī)范進(jìn)行數(shù)據(jù)清洗及標(biāo)準(zhǔn)化●存儲(chǔ)標(biāo)準(zhǔn)化的數(shù)據(jù)●存儲(chǔ)部分詳細(xì)數(shù)據(jù)和輕度匯總級(jí)數(shù)據(jù)●對(duì)過(guò)期基本不用的數(shù)據(jù)進(jìn)行歸檔處理標(biāo)準(zhǔn)化的企業(yè)級(jí)數(shù)據(jù)模型●通過(guò)省級(jí)單位數(shù)據(jù)接口模塊上傳的原始數(shù)據(jù)臨時(shí)存儲(chǔ)在緩存區(qū)，等待處理●進(jìn)行基礎(chǔ)數(shù)據(jù)質(zhì)量檢查●不保存?zhèn)浞菖c上傳接口文件一致表格2-10區(qū)和基于Hadoop技術(shù)的分布式數(shù)據(jù)存儲(chǔ)區(qū)。MPP關(guān)系型數(shù)據(jù)庫(kù)MPP關(guān)系型數(shù)據(jù)庫(kù)是以高級(jí)結(jié)構(gòu)化查詢語(yǔ)言(SQL)為基礎(chǔ)的大型關(guān)系數(shù)據(jù)庫(kù)，通俗地講它是用方便邏輯管理的語(yǔ)言操縱大量有規(guī)律數(shù)據(jù)的集合。是目前最流行的客戶/服務(wù)器(CLIENT/SERVER)體系結(jié)構(gòu)的數(shù)據(jù)庫(kù)之一。1.引入了共享SQL和多線索服務(wù)器體系結(jié)構(gòu)。這減少了資源占用，并增強(qiáng)了計(jì)算能力，使之在低檔軟硬件平臺(tái)上用較少的資源就可以支持更多的用戶，而在高檔平臺(tái)上可以支持成百上千個(gè)用戶。2.提供了基于角色(ROLE)分工的安全保密管理。在數(shù)據(jù)庫(kù)管理功能、完整性檢查、安全性、一致性方面都有良好的表現(xiàn)。3.支持大量多媒體數(shù)據(jù)，如二進(jìn)制圖形、聲音、動(dòng)畫以及多維數(shù)據(jù)結(jié)構(gòu)等。中的數(shù)據(jù)進(jìn)行操縱。加上它有許多優(yōu)秀的前臺(tái)開發(fā)工具如5.提供了新的分布式數(shù)據(jù)庫(kù)能力?？赏ㄟ^(guò)網(wǎng)絡(luò)較方便地讀寫遠(yuǎn)端數(shù)據(jù)庫(kù)里的數(shù)據(jù)，并有對(duì)稱復(fù)制的技術(shù)。存儲(chǔ)結(jié)構(gòu)如下：的數(shù)據(jù)、索引、程序等相關(guān)信息。我們準(zhǔn)備上馬一個(gè)較大的HDFS(HadoopDistributedFileSyst率等特征為海量數(shù)據(jù)提供了不怕故障的存儲(chǔ)，為超大數(shù)據(jù)集(Large分布式文件存儲(chǔ)是大數(shù)據(jù)的基礎(chǔ)分布式文件存儲(chǔ)是大數(shù)據(jù)的基礎(chǔ)·運(yùn)行于廉價(jià)商用機(jī)器集群控制指不適用數(shù)據(jù)塊大態(tài)信息文件數(shù)據(jù)塊客戶端數(shù)據(jù)塊系統(tǒng)的一個(gè)實(shí)例。提供了一個(gè)高層的文件系統(tǒng)抽象類org.apache.hadoop.fs.FileSyst表格2-11支持有客戶端校驗(yàn)和本地文fsRawLocalFileSystem中實(shí)現(xiàn)。hdfs.DistributionFil支持通過(guò)HTTP方式以只讀的方式訪問(wèn)HDFS,distcp經(jīng)支持通過(guò)HTTPS方式以只讀的方式訪問(wèn)HDFS。歸檔文件主要用來(lái)咸少Cloudstore(其前身是Kosmos文件系統(tǒng))文件系統(tǒng)是類似于由FTP服務(wù)器支持的文件系S3(本地)塊)以塊格式存儲(chǔ)解決了S3的Hadoop提供了許多文件系統(tǒng)的接口，用戶可以使用URI方案選理一個(gè)HDFS塊中的數(shù)據(jù)(默認(rèn)為64Mb),一個(gè)塊相當(dāng)于一個(gè)基本存儲(chǔ)一個(gè)文件可以大于每個(gè)磁盤HDFS(HadoopDistributedFileSystem)默認(rèn)的最基本的存儲(chǔ)節(jié)點(diǎn)";另一類是DataNode,又叫"數(shù)據(jù)節(jié)點(diǎn)"。這兩類節(jié)點(diǎn)分別承擔(dān)1)元數(shù)據(jù)節(jié)點(diǎn)用來(lái)管理文件系統(tǒng)的命名空間其將所有的文件和文件夾的元數(shù)據(jù)保存在一個(gè)文件系統(tǒng)樹中。這些信息也會(huì)在硬盤上保存成以下文件：命名空間鏡像(namespaceimage)及修改日志(editlog),其還保存了一個(gè)文件包括哪些數(shù)據(jù)塊，2)數(shù)據(jù)節(jié)點(diǎn)是文件系統(tǒng)中真正存儲(chǔ)數(shù)據(jù)的地方客戶端(client)或者元數(shù)據(jù)信息(namenode)可以向數(shù)據(jù)節(jié)點(diǎn)請(qǐng)塊信息。datanode從hdfs中讀取數(shù)據(jù)圖2-145圖2-153)從元數(shù)據(jù)節(jié)點(diǎn)(secondarynamenode)從元數(shù)據(jù)節(jié)點(diǎn)并不是元數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)候的備用節(jié)點(diǎn)，它寫到本地臨時(shí)文件中。假設(shè)該文件的副本系數(shù)設(shè)置為3,當(dāng)本地臨時(shí)文件累積到一個(gè)數(shù)據(jù)塊的大小時(shí)，客戶端會(huì)從Namenode獲取一個(gè)Datanode列表用于存放副本。然后客戶端開始向第一個(gè)Datan輸數(shù)據(jù)，第一個(gè)Datanode一小部分一小部分(4KB)地接收數(shù)據(jù)，將節(jié)點(diǎn)。第二個(gè)Datanode也是這樣，一小部分一小部分地接收數(shù)據(jù)，接收數(shù)據(jù)并存儲(chǔ)在本地。因此，Datanode能流水線式地從前一個(gè)節(jié)一個(gè)Datanode復(fù)制到下一個(gè)。HDFS是一個(gè)主/從(Master/Slave)式的結(jié)構(gòu)(hdfs體系結(jié)構(gòu))Metadata(Name,replicas,..):/home/foo/data,3,…Hdfs的架構(gòu)圖2-16從最終用戶的角度來(lái)看，它就像傳統(tǒng)的文件系統(tǒng)一樣，可以通過(guò)目錄路徑對(duì)文件執(zhí)行CRUD(增刪查改)操作。但由于分布式存儲(chǔ)文件系統(tǒng)的元數(shù)據(jù)，DataNode存儲(chǔ)實(shí)際的數(shù)據(jù)?？蛻舳送ㄟ^(guò)同NameNode以獲取文件的元數(shù)據(jù)，而真正的I/0操作是直接和DataNode進(jìn)行交互的。例如：客戶端要訪問(wèn)一個(gè)文件，首先，客戶端從NameNode中獲得組成該文件數(shù)據(jù)塊位置列表，即知道數(shù)據(jù)塊被存儲(chǔ)在DataNode上；不參與文件的傳輸。圖2-17NameNode的作用是管理文件目錄結(jié)構(gòu)，是管理數(shù)據(jù)節(jié)點(diǎn)的。NameNode維護(hù)兩套數(shù)據(jù)：一套是文件目錄與數(shù)據(jù)塊之間的關(guān)系，另一套是數(shù)據(jù)塊與節(jié)點(diǎn)間的關(guān)系。前一套是靜態(tài)的，是存放在磁盤上的，通過(guò)fsimage和edits文件來(lái)維護(hù)；后一套數(shù)據(jù)時(shí)動(dòng)態(tài)的，不持久化一點(diǎn)，就是Block(數(shù)據(jù)塊)。假設(shè)文件大小是100GB,從字節(jié)位置0的Block。每個(gè)Block就是64MB(也可以自定義設(shè)置Block大小)。典型部署群中的其他機(jī)器各運(yùn)行一個(gè)DataNode。(Ofcourse,也可以在運(yùn)行NameNode的機(jī)器上同時(shí)運(yùn)行DataNode,或者一個(gè)機(jī)器上運(yùn)行多個(gè).2.2NoSNoSQL泛指非關(guān)系型的數(shù)據(jù)庫(kù)，以鍵值對(duì)存儲(chǔ)，它的結(jié)構(gòu)不固常高的讀寫性能，而且無(wú)需事先為要存儲(chǔ)的數(shù)據(jù)建立字段，隨時(shí)可類型特點(diǎn)代表產(chǎn)品列存儲(chǔ)顧名思義，是按列存儲(chǔ)數(shù)據(jù)的。最大的特點(diǎn)是方便存儲(chǔ)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，對(duì)針對(duì)某一列或者某幾列的查詢有非常大的IO優(yōu)勢(shì)。文檔存儲(chǔ)文檔存儲(chǔ)一般用類似json的格式存儲(chǔ)，存儲(chǔ)的內(nèi)容是文檔型的。這樣也就有有機(jī)會(huì)對(duì)某些字段建立索引，實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)的某存儲(chǔ)可以通過(guò)key快速查詢到其value。一般來(lái)說(shuō)，存儲(chǔ)不管value的格式，全部收入(Redis包含了其他功圖存儲(chǔ)圖形關(guān)系的最佳存儲(chǔ)。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)來(lái)解決的話性能低下，而且設(shè)計(jì)對(duì)象存儲(chǔ)通過(guò)類似面向?qū)ο笳Z(yǔ)言的語(yǔ)法操作數(shù)據(jù)庫(kù)，通過(guò)對(duì)象的方式存取數(shù)據(jù)。xml數(shù)據(jù)庫(kù)高效的存儲(chǔ)XML數(shù)據(jù)，并支持XML的