云計算中心建設(shè)方案 2017年5月 云計算中心建設(shè)方案 目錄TOC\o"1-2"\h\z\u第1章、建設(shè)方案 31.1方案架構(gòu)圖 31.2HADOOP數(shù)據(jù)存儲集群方案 4第2章、方案總配置及預(yù)算 18第3章、LenovoX3650M5服務(wù)器簡介……………17-2-第1章、建設(shè)方案1.1方案架構(gòu)圖圖1：方案邏輯拓撲圖1.2Hadoop數(shù)據(jù)存儲集群方案方案建議配置Hadoop是基于新的實現(xiàn)方法，來存儲和處理復(fù)雜數(shù)據(jù)，并伴隨著數(shù)據(jù)遷移的減少。相對于依賴SAN來滿足大容量存儲和可靠性，Hadoop在軟件層次處理大數(shù)據(jù)和可靠性。Hadoop在一簇平衡的節(jié)點間分派數(shù)據(jù)并使用同步復(fù)制來保證數(shù)據(jù)可用性和容錯性。因為數(shù)據(jù)被分發(fā)到有計算能力的節(jié)點，數(shù)據(jù)的處理可以被直接發(fā)送到存儲有數(shù)據(jù)的節(jié)點。由于Hadoop集群中的每一臺節(jié)點都存儲并處理數(shù)據(jù)，這些節(jié)點都需要配置來滿足數(shù)據(jù)存儲和運算的要求。在幾乎所有情形下，MapReduce要么會在從硬盤或者網(wǎng)絡(luò)讀取數(shù)據(jù)時遇到瓶頸（稱為IO受限的應(yīng)用），要么在處理數(shù)據(jù)時遇到瓶頸（CPU受限）。排序是一個IO受限的例子，它需要很少的CPU處理（僅僅是簡單的比較操作），但是需要大量的從硬盤讀寫數(shù)據(jù)。模式分類是一個CPU受限的例子，它對數(shù)據(jù)進行復(fù)雜的處理，用來判定本體。下面是更多IO受限的工作負載的例子：索引分組數(shù)據(jù)導(dǎo)入導(dǎo)出數(shù)據(jù)移動和轉(zhuǎn)換下面是更多CPU受限的工作負載的例子：聚類/分類復(fù)雜文本挖掘自然語言處理特征提取根據(jù)大致了解，初步采用負載均衡方式的配置Hadoop集群硬件，建議Hadoop分布式數(shù)據(jù)存儲集群配置如下：類型型號配置數(shù)量Hadoop存儲集群systemX3650M52xE5-2630v4,2.2GHZ,10核，8x16GBDDR4,8x2.5"盤位，8x600G10KSAS,M52101GBcache支持Raid0,1,5，2*550W白金，DVD-RW，四口千兆網(wǎng)卡，2個雙口萬兆網(wǎng)卡含模塊，3年服務(wù)8systemX3650M52xE5-2630v4,2.2GHZ,10核，8x16GBDDR4,12x3.5"盤位，2x2.5"盤位，12x4TSATA,2個240GSATAG3HS2.5"SSD，M52101GBcache支持Raid0,1,5，2*550W白金，DVD-RW，四口千兆網(wǎng)卡，2個雙口萬兆網(wǎng)卡含模塊，3年服務(wù)12Hadoop數(shù)據(jù)存儲集群軟件聯(lián)想LEAP數(shù)據(jù)分析平臺聯(lián)想LEAP數(shù)據(jù)集群平臺軟件套件，包含Hadoop2.x，HDFS，MapReduce/YARN，HBase,Zookeeper，Hive，Impala，HUE，Oozie，Spark，Inceptor計算引擎，SolrSentry，Sqoop，F(xiàn)lume，Kafka，kudu等組件，支持SQL2003引擎，JDBC/ODBC連接，基于角色的數(shù)據(jù)權(quán)限控制組件，原廠支持服務(wù)。4方案介紹通過搭建企業(yè)級大數(shù)據(jù)分析與存儲平臺，實現(xiàn)跨專業(yè)、跨層級、跨主體、全過程的數(shù)據(jù)呈現(xiàn)、敏捷開發(fā)與能力嵌入，充分發(fā)揮大數(shù)據(jù)的核心資產(chǎn)能力與價值能力。平臺層面：主要提供數(shù)據(jù)存儲和數(shù)據(jù)處理能力，提供統(tǒng)一的集成平臺環(huán)境，將硬件和平臺軟件做有效的集成。搭建Hadoop和SPARK等計算框架，實現(xiàn)海量數(shù)據(jù)的分布式處理；通過新技術(shù)，降低系統(tǒng)總體擁有成本。功能層面：主要提供數(shù)據(jù)整合、數(shù)據(jù)清洗&轉(zhuǎn)換&加載、數(shù)據(jù)共享、數(shù)據(jù)分析與查詢、數(shù)據(jù)挖掘、數(shù)據(jù)管理能力；提供新的IT功能架構(gòu)，提供多租戶的ETL、統(tǒng)一的數(shù)據(jù)計算與存儲、數(shù)據(jù)共享、多租戶的應(yīng)用開發(fā)、數(shù)據(jù)平臺管控。聯(lián)想大數(shù)據(jù)平臺產(chǎn)品包括：數(shù)據(jù)采集（Euclid）、數(shù)據(jù)計算與存儲（Descartes）、數(shù)據(jù)能力開放（Gauss）、大數(shù)據(jù)分析應(yīng)用套件（Nash）、數(shù)據(jù)資產(chǎn)管理（Euler）、系統(tǒng)運維管控（Shannon）等多個產(chǎn)品。采集（Euclid）功能具備批量、實時、結(jié)構(gòu)化、非結(jié)構(gòu)化等多樣化的采集功能。可提供圖形化的操作配置，統(tǒng)一的調(diào)度和監(jiān)控，結(jié)合其良好的分布式并行處理架構(gòu)，具備動態(tài)的橫向擴展能力。批量數(shù)據(jù)采集作為大數(shù)據(jù)體系的核心功能組件，既可以基于SMP單機處理,也可以基于低成本的X86分布式平臺展開系統(tǒng)設(shè)計，支持庫外預(yù)處理，基于HADOOP組件實現(xiàn)批量數(shù)據(jù)的并行數(shù)據(jù)處理。其核心功能緊緊圍繞構(gòu)建大數(shù)據(jù)系統(tǒng)在數(shù)據(jù)處理層面上涉及到的數(shù)據(jù)采集、清洗、轉(zhuǎn)換、加載及交換的核心數(shù)據(jù)加工流程展開。數(shù)據(jù)抽取功能具備從不同數(shù)據(jù)源（RDBMS、Hadoop、MPP等）進行指定規(guī)則的數(shù)據(jù)提取作業(yè)，抽取后的數(shù)據(jù)存儲支持落地與不落地兩大類進行，抽取后的數(shù)據(jù)可以為數(shù)據(jù)轉(zhuǎn)換環(huán)節(jié)進行處理提供輸入，也可以直接進行處理或者加載支持主流數(shù)據(jù)庫接口。數(shù)據(jù)采集采用多樣性的接口方式，除了支持傳統(tǒng)的JDBC/ODBC接口、FTP文件接口，還支持目前主流的流數(shù)據(jù)采集的Socket接口及Webservice接口，同時擴展支持了Hadoop生態(tài)圈的Flume日志系統(tǒng)采集接口等，提供完善的圖形化可拖拽的操作管理界面提供良好的用戶體驗降低產(chǎn)品使用難度，可以根據(jù)實際業(yè)務(wù)需求選擇相應(yīng)的配置也可以統(tǒng)一使用。數(shù)據(jù)轉(zhuǎn)換包括數(shù)據(jù)過濾、類型轉(zhuǎn)換、文件拆分與合并、維度轉(zhuǎn)換等功能。數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要是進行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換和一些轉(zhuǎn)換規(guī)則的計算。其中不一致轉(zhuǎn)換過程是數(shù)據(jù)整合的過程，側(cè)重于將來源于不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)進行統(tǒng)一處理；數(shù)據(jù)粒度轉(zhuǎn)換需要按照數(shù)據(jù)倉庫粒度對數(shù)據(jù)進行統(tǒng)一歸整；轉(zhuǎn)換規(guī)則計算按照設(shè)計的計算歸則對數(shù)據(jù)進行重新計算。聯(lián)想大數(shù)據(jù)平臺計算與存儲（Descartes）基于Hadoop、Spark等社區(qū)成熟的開源組件為基礎(chǔ)，結(jié)合行業(yè)應(yīng)用的需求，進行了深度的優(yōu)化和改造，顯著提升平臺運行的穩(wěn)定性和可靠性。平臺在提供海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理和線性擴展能力外，還具備四方面的特性：統(tǒng)一的資源管理、海量數(shù)據(jù)集中存儲、高效數(shù)據(jù)處理、平臺高可用。聯(lián)想大數(shù)據(jù)平臺可以通過YARN對所有的計算資源進行統(tǒng)一管理，可以按業(yè)務(wù)或者部門需要動態(tài)創(chuàng)建多個MapReduce或者Spark分析集群同時運行。通過YARN的資源隔離和配額管理，可以避免使用同一個計算集群時出現(xiàn)的資源爭搶現(xiàn)象，保證每項業(yè)務(wù)都能順利完成。同時集群的創(chuàng)建和銷毀是動態(tài)的，對批量統(tǒng)計業(yè)務(wù)，可以在每個運行完成后動態(tài)銷毀，從而節(jié)省計算資源，避免建立獨立的物理集群造成浪費。YARN支持對計算資源（CPU核心）和內(nèi)存資源的管理能力，避免占用內(nèi)存資源多的Spark或Map/Reduce集群之間爭搶內(nèi)存資源。在申請資源配額后，如果當前用戶的資源緊張或受限，還可以動態(tài)調(diào)配其他用戶的閑置資源加入，當其他用戶使用時再歸還。海量數(shù)據(jù)集中存儲Hadoop核心部件聯(lián)想通過基于改造后的分布式文件系統(tǒng)HDFS作為存儲海量數(shù)據(jù)的分布式存儲軟件架構(gòu)。HDFS被設(shè)計成適合運行在通用硬件(commodityhardware)上的分布式文件系統(tǒng)。HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS放寬了一部分POSIX約束，來實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。

HDFS采用master/slave架構(gòu)。一個HDFS集群是由一個Namenode和一定數(shù)目的Datanode組成。Namenode是一個中心服務(wù)器，負責管理文件系統(tǒng)的名字空間(namespace)以及客戶端對文件的訪問。集群中的Datanode一般是一個節(jié)點一個，負責管理它所在節(jié)點上的存儲。HDFS暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲數(shù)據(jù)。從內(nèi)部看，一個文件其實被分成一個或多個數(shù)據(jù)塊，這些塊存儲在一組Datanode上。Namenode執(zhí)行文件系統(tǒng)的名字空間操作，比如打開、關(guān)閉、重命名文件或目錄。它也負責確定數(shù)據(jù)塊到具體Datanode節(jié)點的映射。Datanode負責處理文件系統(tǒng)客戶端的讀寫請求。在Namenode的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。分布式存儲集群高可用技術(shù)介紹分布式存儲高可用分布式存儲HDFS的HA策略采用NamenodeHA方案保證HDFS的高可靠性，始終有一個Namenode做熱備，防止單點故障問題。采用QJM的方式實現(xiàn)HA，文件系統(tǒng)元數(shù)據(jù)存儲在由JournalNode組成的高可靠集群上。同時當數(shù)據(jù)量太大導(dǎo)致單個Namenode達到處理瓶頸時，提供HDFSFederation功能，不同的NameService(由Namenode組成)處理掛載在HDFS上不同目錄下的文件。NameNode的HA示意圖統(tǒng)一資源管理高可用統(tǒng)一資源管理YARN的HA主要指解決ResourceManager單點問題，ResourceManager負責整個系統(tǒng)的資源管理和調(diào)度，內(nèi)部維護了各個應(yīng)用程序的ApplictionMaster信息，NodeManager信息，資源使用信息等。這些信息絕大多數(shù)可以動態(tài)重構(gòu)，因此解決YARN單點故障要比HDFS單點容易很多。與HDFS類似，YARN的單點故障仍采用主備切換的方式完成，不同的是，備節(jié)點不會同步主節(jié)點的信息，而是在切換之后，才從共享存儲系統(tǒng)讀取所需信息。之所以這樣，是因為YARNResourceManager內(nèi)部保存的信息非常少，大部分可以重構(gòu)，且這些信息是動態(tài)變化的，很快會變舊。系統(tǒng)運維監(jiān)控系統(tǒng)運維管控（Shannon）通過自帶的圖形化管控界面，為整個集群底層設(shè)備及各類大數(shù)據(jù)平臺服務(wù)組件提供集中統(tǒng)一的運營維護，在提升運維工作效率的同時，還降低了運維人員的工作復(fù)雜度。憑借集群管理、監(jiān)控告警、安全管理、日志管理、用戶及權(quán)限管理等各類核心功能模塊，提供對大數(shù)據(jù)平臺自動化的、全生命周期的運維管理。集群管理服務(wù)自動部署聯(lián)想結(jié)合在長期的項目實踐經(jīng)驗與技術(shù)積累，形成了自底層硬件到上層處理流程的全面監(jiān)控運維體系以及自動化的部署能力，幫助運維人員快速定位問題解決問題，使系統(tǒng)持續(xù)健康穩(wěn)定的運行。從而保證大規(guī)模分布式集群的部署于運維。支持一鍵部署HDFS、HBase、Hive、Yarn、Spark、Zookeeper等組件的能力，同時server端接口服務(wù)具備添加第三方應(yīng)用程序一鍵部署的能力，具備可擴展性。一鍵部署:自動化部署工具為運維人員提供快速上線、快速部署、維護的支撐。支持2000+以上集群設(shè)備、平臺、服務(wù)的部署、配置、升級管理能力。集群主機統(tǒng)一管理，為運維人員提供一個集中的操作維護平臺，實現(xiàn)服務(wù)更新、啟停集中維護操作功能。分布式集群節(jié)點管理，支持集群中在線添加、移除或者遷移計算節(jié)點、存儲節(jié)點。能夠在節(jié)點上自動部署Agent代理，實現(xiàn)后續(xù)節(jié)點的監(jiān)控、服務(wù)管理能力。分布式集群服務(wù)管理，支持在集群節(jié)點上安裝、移除服務(wù)，包括DFS分布式文件服務(wù)、mapreduce分布式計算服務(wù)等。全面支持HDFS、HBase、Hive、Yarn、Spark、Zookeeper等集群組件的安裝。支持添加第三方應(yīng)用程序進行自動部署的能力，具備可擴展性。服務(wù)配置對數(shù)據(jù)平臺級參數(shù)進行配置管理，可以方便、靈活地適應(yīng)業(yè)務(wù)功能的擴展和系統(tǒng)環(huán)境的變化。支持對Hadoop、Spark、內(nèi)存數(shù)據(jù)庫的配置功能集成能力，實現(xiàn)對產(chǎn)品的可視化配置。支持可視化的業(yè)務(wù)配置能力，提供對所有數(shù)據(jù)源的接口配置和管理，包括對接入對端機器的主機信息、服務(wù)并發(fā)連接、數(shù)據(jù)源信息等：?對端的主機信息：支持接口IP地址、端口號、訪問用戶名、訪問密碼的配置和管理?對服務(wù)并發(fā)連接配置：支持對并發(fā)任務(wù)的（并發(fā)連接）的配置和管理?支持對接口數(shù)據(jù)源類型?支持對內(nèi)部、外部接口機的管理(增、刪、改、查等操)?支持對配置信息的維護和管理功能，包括對修改信息的審核同時系統(tǒng)需要提供相關(guān)權(quán)限管理功能，應(yīng)對進行操作的管理員進行權(quán)限認證，只有被賦予了相應(yīng)的權(quán)限才可以執(zhí)行相關(guān)操作。Web頁面的管理功能具備對相關(guān)的接口參數(shù)內(nèi)容進行有效性校驗的功能，包括輸入長度、內(nèi)同格式、特殊字符、必填項檢查等，同時對無效的輸入進行提示，并在參數(shù)內(nèi)容提交入系統(tǒng)時做完整性檢查。監(jiān)控告警提供了整個集群范圍內(nèi)的節(jié)點和服務(wù)的實時運行狀態(tài)的可定制化監(jiān)控視圖和告警。集群監(jiān)控系統(tǒng)運維管控是整個集群及相關(guān)服務(wù)組件的端到端運維管理工具，提供集群的自動化全生命周期運維管理能力。通過將這些每天管理員做的工作自動化，你只需設(shè)定好要監(jiān)聽的端口即可，它會默默地工作，幫忙定時地去檢測服務(wù)端口的狀態(tài)，一旦發(fā)現(xiàn)問題，會及時發(fā)出報警。報警可以是電子郵件也可以是手機，從而使得管理員第一時間就能收到系統(tǒng)的狀況。管理員可以很容易地得到每天、每周和每月的Service運行狀況，為系統(tǒng)提供系統(tǒng)靜態(tài)數(shù)據(jù)以及重要的性能度量數(shù)據(jù)。監(jiān)控指標集群cpu、磁盤I/O效率、網(wǎng)絡(luò)吞吐量、內(nèi)存使用量、任務(wù)作業(yè)進程狀態(tài)、集群磁盤占用等。通過界面展示的各項運行指標，應(yīng)提供圖標、圖形等多種可視化展示方式，并能夠?qū)哼\行狀態(tài)歷史數(shù)據(jù)進行保存，監(jiān)控界面，應(yīng)支持通過時間、指標、節(jié)點等不同緯度對歷史運行指標進行查詢。任務(wù)監(jiān)控在主頁面的監(jiān)控列表中，直觀的統(tǒng)計所有Job的運行狀況，以及對應(yīng)各種狀態(tài)的統(tǒng)計。并且對任務(wù)的運行情況可以進行手工調(diào)整：?手工運行對于未運行和運行失敗的抽取和裝載Job流程，通過手工運行操作來重新運行，正在運行的Job流程不可執(zhí)行手工運行操作。?暫停和恢復(fù)對于正在運行的Job流程，需要執(zhí)行暫停操作的時候，可以通過手工觸發(fā)暫停操作，讓正在運行的Job暫停運行，通過恢復(fù)操作實現(xiàn)對暫停的Job流程重新運行。?停止和運行對于正在運行的Job流程，需要執(zhí)行停止操作的時候，可以通過手工觸發(fā)停止操作，讓正在運行的Job立刻停止運行，Server會立刻將該Job流程進程kill掉，未運行的node不再會運行。通過運行操作實現(xiàn)對停止的Job流程再次運行。日志監(jiān)控日志是對對業(yè)務(wù)功能實現(xiàn)過程和結(jié)果進行跟蹤和記錄，包括全部應(yīng)用功能關(guān)鍵行為信息。日志可以分為業(yè)務(wù)操作日志和系統(tǒng)日志。1.業(yè)務(wù)操作日志監(jiān)控操作日志是用戶在對數(shù)據(jù)質(zhì)量管理系統(tǒng)實施操作時自動生成的記錄，可以提供異常更改、錯誤定位時的判斷依據(jù)。對于操作日志的管理要達到如下的要求：?可查詢、統(tǒng)計、打印所有或單個操作日志內(nèi)容。在操作中必須嚴格確認操作員的權(quán)限，確保操作不能越級、越權(quán)獲取資料；?在查詢、統(tǒng)計時，操作日志的各功能要素都可作為查詢條件、分類條件、排序條件或統(tǒng)計要素，提供靈活方便的查詢方式和途徑。2.系統(tǒng)日志監(jiān)控系統(tǒng)日志是指數(shù)據(jù)質(zhì)量管理系統(tǒng)對用戶登錄、系統(tǒng)訪問以及系統(tǒng)異常情況的記錄。系統(tǒng)日志分為系統(tǒng)訪問日志與系統(tǒng)異常日志。系統(tǒng)異常日志記錄系統(tǒng)錯誤等異常信息，寫入到應(yīng)用服務(wù)器的日志文件，便于系統(tǒng)維護。無論是操作日志還是系統(tǒng)日志都將進行存儲備份，作為系統(tǒng)重要的數(shù)據(jù)保存起來，為系統(tǒng)的審計和監(jiān)控提供數(shù)據(jù)支持。用戶管理支持基于RBAC（基于角色的訪問控制Role-BasedAccessControl）。在RBAC中，權(quán)限與角色相關(guān)聯(lián)，用戶通過成為適當角色的成員而得到這些角色的權(quán)限。這就極大地簡化了權(quán)限的管理。在一個組織中，角色是為了完成各種工作而創(chuàng)造，用戶則依據(jù)它的責任和資格來被指派相應(yīng)的角色，用戶可以很容易地從一個角色被指派到另一個角色。角色可根據(jù)新的需求和系統(tǒng)的合并而賦予新的權(quán)限，而權(quán)限也可根據(jù)需要而從某角色中回收。角色與角色的關(guān)系可以建立起來以囊括更廣泛的客觀情況。提供用戶管理模塊實現(xiàn)對產(chǎn)品使用用戶維護、權(quán)限等管理功能，并通過可視化界面實現(xiàn)。支持用戶基本信息擴展能力，包括姓名、賬號、密碼、部門、性別、手機號、電話、郵箱、通信地址、郵政編碼、所在地區(qū)、備注等。支持通過管理員實現(xiàn)對用戶的新增、刪除操作，系統(tǒng)提供一個缺省的管理員。通過用戶密碼設(shè)置、密碼找回功能，實現(xiàn)用戶密碼管理，對密碼進行SHA或MD5等加密。系統(tǒng)除了允許系統(tǒng)管理員有權(quán)修改用戶密碼以外，用戶也可以更改自己的中文名稱、密碼、聯(lián)系電話、email等信息。提供系統(tǒng)管理員查詢用戶的功能，查詢條件包括名稱、部門、角色名、創(chuàng)建人等。支持對單個用戶、批量用戶進行賦權(quán)。支持通過復(fù)制用戶權(quán)限，實現(xiàn)對新增用戶權(quán)限的快速管理。用戶輸入密碼超過一定次數(shù)后，產(chǎn)品通過鎖定功能實現(xiàn)對用戶訪問的限制，提升產(chǎn)品的安全性。用戶管理通過用戶管理界面管理員可以方便的創(chuàng)建和維護本地用戶，也可以與現(xiàn)有系統(tǒng)用戶關(guān)聯(lián)。角色管理通過角色管理界面管理員可以創(chuàng)建、刪除角色，并