XX

201X年X月某公司大數(shù)據(jù)云平臺（cloud-T）建設技術規(guī)劃XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本目錄頁第一篇

X公司產(chǎn)品現(xiàn)狀第二篇云平臺總體架構第三篇大數(shù)據(jù)基礎構建第四篇關鍵技術分析XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—3

—

第一篇產(chǎn)品現(xiàn)狀人防園區(qū)消防供水橋梁添加標題燃氣產(chǎn)品現(xiàn)狀業(yè)務聚焦人防、消防，提供行業(yè)解決方案產(chǎn)品線劃分明確，產(chǎn)品初具規(guī)模以橋梁、燃氣、供水為基礎，構建城市生命線工程研究院產(chǎn)、學、研結合，衍生二次產(chǎn)品XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—4

—

第一篇產(chǎn)品現(xiàn)狀存在問題行業(yè)解決方案，依然是系統(tǒng)集成，難以體現(xiàn)核心競爭力產(chǎn)品自成孤島，難成體系平臺分散、缺少復用，建設周期長、開發(fā)難度大基礎設施和業(yè)務層耦合度過高，單個產(chǎn)品建設成本較大人防建設消防建設橋梁建設供水建設燃氣建設園區(qū)建設其他建設企業(yè)級大數(shù)據(jù)應用、云平臺建設缺失XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—5

—

第一篇產(chǎn)品現(xiàn)狀建設目標消防供水人防？園區(qū)燃氣橋梁大數(shù)據(jù)云平臺業(yè)務剝離、資源共享、分合自如大數(shù)據(jù)支撐、挖掘，衍生新產(chǎn)品XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—6

—

第一篇產(chǎn)品現(xiàn)狀建設目標應用服務層應用軟件/服務數(shù)據(jù)挖掘軟件/服務其他功能軟件/服務。。。云平臺IaaSPaaSSaaSAOC/

DevOps基礎設施層網(wǎng)絡環(huán)境傳感器物理機/虛擬機。。。平臺支撐層數(shù)據(jù)倉庫/存儲數(shù)據(jù)服務/計算接口服務/標準。。。面向切面構建忽略基礎設施剝離一般業(yè)務關注核心痛點。。。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本第一篇產(chǎn)品現(xiàn)狀建設目標企業(yè)級大數(shù)據(jù)云平臺建設終極目標XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—8

—

第二篇云平臺總體架構平臺總述IaaS：提供基本的計算、網(wǎng)絡和存儲資源。PaaS：中間層，提供對行業(yè)業(yè)務應用的支持。SaaS：向用戶交付最終業(yè)務應用和數(shù)據(jù)分析。PaaS環(huán)境層：為業(yè)務應用提供支撐的軟件組件、包括各種中間件和數(shù)據(jù)庫等。以Hadoop為代表的大數(shù)據(jù)處理。PaaS業(yè)務層：包含了應用的后臺程序，數(shù)據(jù)處理算法以及業(yè)務數(shù)據(jù)等實現(xiàn)業(yè)務能力的元素。PaaS服務層：將業(yè)務層的業(yè)務、算法和數(shù)據(jù)以接口的形式提供給上層的前端應用直接訪問。平臺核心：統(tǒng)一資源+大數(shù)據(jù)+開放服務XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—9

—

第二篇云平臺總體架構云管理整合傳統(tǒng)IaaS的管理能力與傳統(tǒng)PaaS的能力資源接入、服務管理、應用系統(tǒng)環(huán)境支撐和統(tǒng)一監(jiān)控體系四位一體XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—10

—

第二篇云平臺總體架構云管理特點面向一般數(shù)據(jù)中心典型的應用場景，提供對混合IT資源的統(tǒng)一接入，以構筑云模式下基礎資源調(diào)度的最佳實踐。以PaaS能力為核心，將應用系統(tǒng)的典型軟件組件以服務形態(tài)提供，為業(yè)務系統(tǒng)提供統(tǒng)一環(huán)境支持，并進行統(tǒng)一管理和監(jiān)控。將大數(shù)據(jù)平臺作為典型服務組件整合到云平臺中進行統(tǒng)一管理，以適應未來應用對大數(shù)據(jù)能力的普遍使用。為用戶提供面向DevOps的統(tǒng)一云服務業(yè)務流程，以統(tǒng)一平臺提供傳統(tǒng)的IaaS和PaaS能力，并貫穿開發(fā)、測試和生產(chǎn)的全過程。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—11

—

第二篇云平臺總體架構服務資源構建XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—12

—

第二篇云平臺總體架構服務資源構建混合IT基礎環(huán)境：數(shù)據(jù)中心的最佳實踐通常需要由物理機和不同價位和能力的虛擬化技術共同構成。一個最佳性價比的方案可以是使用物理機支持核心數(shù)據(jù)庫和大規(guī)模計算、使用高效穩(wěn)定但成本高的虛擬化系統(tǒng)如VMWare等支持核心業(yè)務、使用普通虛擬化系統(tǒng)如HyperV等支持普通業(yè)務系統(tǒng)、最后使用低成本虛擬化系統(tǒng)如KVM等支持開發(fā)測試等環(huán)境。多資源區(qū)統(tǒng)一管理：同一類虛擬化資源或者物理資源可以構成一個或若干個基本資源區(qū)。每個資源區(qū)一般包含一定數(shù)量的物理機。資源區(qū)的劃分方式取決于業(yè)務的區(qū)隔。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—13

—

第二篇云平臺總體架構服務資源構建服務域：承載支撐應用系統(tǒng)的軟件組件以服務形式進行交付的區(qū)域。在這個區(qū)域中，每一套軟件組件有一個自己獨立的服務域。一個服務域中，軟件組件典型的部署模式包含以下三種：a)按需模式：在一個服務域初始化時不創(chuàng)建具體的服務實例，當有用戶請求時再根據(jù)用戶需求創(chuàng)建該軟件組件的實例。b)預置模式：在服務域創(chuàng)建時構建相應軟件組件的多個實例。當用戶請求該軟件的實例時，系統(tǒng)直接從已經(jīng)創(chuàng)建的實例中進行分配。同時，該模式可以按照一定的策略保證空閑實例的數(shù)量。c)多實例模式：對一些特定類型的服務組件，一次部署以后可以產(chǎn)生多個服務實例。在這種情況下，該服務域在創(chuàng)建時可直接部署該組件，然后通過特定的服務接口在用戶申請實例時，由這個部署的組件不斷的創(chuàng)建服務實例。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—14

—

第三篇大數(shù)據(jù)基礎構建大數(shù)據(jù)基礎管理架構采用分層整合，靈活配置，橫向擴展，縱向貫穿的大平臺服務能力，其計算框架、存儲框架都以容器的方式可輕松靈活的在線進行裝卸，以平滑擴充大數(shù)據(jù)平臺的集成能力。以Hadoop平臺為基礎，可在此基礎上集成適應Hadoop體系的二級計算框架、通用的數(shù)據(jù)處理算法庫和數(shù)據(jù)集市倉庫。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—15

—

第三篇大數(shù)據(jù)基礎構建大數(shù)據(jù)基礎管理架構大數(shù)據(jù)基礎平臺組成：1.分布式存儲框架：主要負責針對海量數(shù)據(jù)的存儲，以分布式存儲技術，支持快速、海量、多種類型的數(shù)據(jù)存取。主要支持從數(shù)據(jù)源抽取數(shù)據(jù)大數(shù)據(jù)基礎平臺存儲，集成多種存儲方式，有針對結構化數(shù)據(jù)、非結構化數(shù)據(jù)和半結構化數(shù)據(jù)的存儲。2.計算框架：主要提供批處理計算、內(nèi)存計算、流式計算框架，由數(shù)據(jù)處理管理驅(qū)動來分配和調(diào)度計算框架，加載數(shù)據(jù)處理算法，完成數(shù)據(jù)處理。3.二級計算框架：主要提供Hive、Mahout等計算能力，這些計算能力最終還會使用計算框架來完成計算。4.數(shù)據(jù)集市倉庫：主要對計算框架完成后的結果進行存儲，支持Hbase、Mysql等存儲，同時將數(shù)據(jù)以接口的形式開放出去。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—16

—

第三篇大數(shù)據(jù)基礎構建大數(shù)據(jù)基礎管理架構大數(shù)據(jù)基礎平臺組成：5.全文索引庫：采用大數(shù)據(jù)基礎平臺構建支持全文檢索的全文庫，主要用于支撐海量結構化數(shù)據(jù)的搜索查詢應用。6.數(shù)據(jù)處理算法庫：集成通用的數(shù)據(jù)分析算法、能夠插入用戶自定義的數(shù)據(jù)模型算法，配合以資源管理系統(tǒng)為主的計算存儲框架，進行數(shù)據(jù)處理。目前包括插入全文檢索索引模型等。7.資源管理：以容器的方式，來為計算框架和存儲框架分配資源，并支持資源調(diào)度，彈性伸縮。8.數(shù)據(jù)服務總線：將基礎平臺的能力和數(shù)據(jù)服務接口，以API的方式開放出去，形成一個共享的、多租戶的、供大量應用使用的服務總線?？砂ǎ翰樵冾惤涌冢治鲱惤涌?，專題應用類接口，決策類接口等。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—17

—

第三篇大數(shù)據(jù)基礎構建大數(shù)據(jù)基礎管理架構大數(shù)據(jù)基礎平臺組成：9.服務總線管理：主要是對數(shù)據(jù)服務總線進行管理和使用，功能包括：服務治理，接口訪問控制、服務質(zhì)量、協(xié)議轉換等功能。10.數(shù)據(jù)處理管理：主要是以作業(yè)管理的方式，對計算框架、存儲框架的資源進行調(diào)度、分配，以承載數(shù)據(jù)處理算法包，完成數(shù)據(jù)處理。11.資源目錄管理：主要針對大數(shù)據(jù)基礎平臺數(shù)據(jù)的元數(shù)據(jù)進行有效分類，根據(jù)目前橋梁生命線系統(tǒng)的數(shù)據(jù)特征分為以下幾大類目錄，包括：傳感器、橋梁、供水管道、燃氣管道、機構、用戶等，便于數(shù)據(jù)的管理和查詢。12.數(shù)據(jù)源管理：數(shù)據(jù)源管理實現(xiàn)對數(shù)據(jù)來源的管理，大數(shù)據(jù)基礎平臺具備對結構化、半結構化和非結構化數(shù)據(jù)的抽取能力，并可通過本地系統(tǒng)上傳、對接第三方API、爬取互聯(lián)網(wǎng)數(shù)據(jù)等，為數(shù)據(jù)處理、分析、融合準備數(shù)據(jù)。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—18

—

第四篇關鍵技術分析異構資源接入異構資源接入技術：異構資源接入技術的主要方法是以資源區(qū)的形式對虛擬資源和物理資源按類別進行分區(qū)管理，其關鍵技術包括資源區(qū)構建、異構虛擬化資源管理、物理機管理、資源調(diào)節(jié)以及存儲資源管理等五個方面。這種方式的最大優(yōu)點是形成對混合IT的統(tǒng)一支撐能力，以構建最佳性價比的數(shù)據(jù)中心。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—19

—

第四篇、關鍵技術分析異構資源接入資源區(qū)構建：XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—20

—

第四篇、關鍵技術分析異構資源接入異構虛擬資源統(tǒng)一管理：XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—21

—

第四篇、關鍵技術分析物理機管理物理機管理：物理機管理能力主要體現(xiàn)在解決將用戶通過服務對物理機進行啟動、停止、電源管理和系統(tǒng)安裝部署等典型動作。其架構如圖。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—22

—

第四篇、關鍵技術分析物理機管理鏡像部署接口：鏡像部署接口主要用于將操作系統(tǒng)鏡像自動化部署到創(chuàng)建的新主機上，使之交付的物理機是一個帶操作系統(tǒng)的物理機。主機控制接口：主機控制接口主要用于為新建（交付）的主機設置網(wǎng)卡IP地址、掛載盤等控制功能。電源管理接口：電源管理接口主要用于對新建的物理機進行啟動、停止、重啟等操作。IPMI接口：IPMI接口主要用于獲取物理機的CPU、風扇、電源等信息XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—23

—

第四篇、關鍵技術分析存儲資源管理Hyper-V存儲資源管理：Hyper-V的存儲部署采用iSCSI或FCSAN存儲陣列的后端存儲+CSV集群共享卷的方案，即在iSCSI協(xié)議或FC協(xié)議的存儲陣列上劃分出用于Hyper-V集群共享存儲的邏輯單元（LUN），將該LUN轉換為CSV集群共享卷并格式化為NTFS網(wǎng)絡文件系統(tǒng)，用于存儲集群中Hyper-V主機本地虛擬機的磁盤鏡像（vhd/vhdx）、虛擬機模板、驅(qū)動ISO、操作系統(tǒng)ISO等文件。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—24

—

第四篇、關鍵技術分析存儲資源管理VMware存儲資源管理：VMware的存儲部署采用iSCSI或FCSAN存儲陣列的后端存儲+DataStore數(shù)據(jù)存儲的方案，即在iSCSI協(xié)議或FC協(xié)議的存儲陣列上劃分出用于作為VMware集群共享存儲的邏輯單元（LUN），將該LUN映射至集群中的所有ESXi主機形成“共享卷”并格式化為VMFS網(wǎng)絡文件系統(tǒng)，這樣集群中每臺ESXi主機本地就形成了映射至后端存儲中同一邏輯單元（LUN）的數(shù)據(jù)存儲—“DataStore”，用于存儲集群中ESXi主機本地虛擬機的磁盤鏡像（vmdk）、虛擬機模板、驅(qū)動ISO、操作系統(tǒng)ISO等文件。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—25

—

第四篇、關鍵技術分析存儲資源管理KVM存儲資源管理：KVM的存儲部署支持直接使用iSCSI或FCSAN存儲陣列和共享分布式存儲，如GlusterFS和Ceph等，作為后端存儲。這些存儲接入到KVM虛擬化管理軟件的存儲管理模塊后，由存儲管理模塊對其劃分邏輯單元（LUN）作為虛擬機使用的存儲空間，形成統(tǒng)一的存儲資源池。存儲資源池可用于存儲KVM宿主機的虛擬機磁盤鏡像、虛擬機模板、驅(qū)動ISO、操作系統(tǒng)ISO等文件。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—26

—

第四篇、關鍵技術分析Hadoop部署Hadoop平臺部署：大數(shù)據(jù)服務最基本的方式是通過將Hadoop部署在一個資源區(qū)上。下圖描述了Hadoop平臺部署的典型方式如下。XX大數(shù)據(jù)云平臺建設技術規(guī)劃(XX)-副本—27

—

第四篇、關鍵技術分析Hadoop部署Hadoop平臺部署：1、應用服務資源區(qū)中可以建立兩個不同二級邏輯資源區(qū)，大數(shù)據(jù)虛擬資源區(qū)和大數(shù)據(jù)物理資源區(qū)。前者提供虛擬機來部署Hadoop平臺，可以主要用于