XXX大數(shù)據(jù)庫中心數(shù)據(jù)庫投資商和企業(yè)數(shù)據(jù)采集處理項目-技術(shù)方案xxx大數(shù)據(jù)庫中心數(shù)據(jù)庫投資商和企業(yè)數(shù)據(jù)采集處理項目項目編號：I5300000000617001206技術(shù)方案xxx有限公司二○一七年六月

目錄1引言 3項目背景 3項目目標(biāo) 3建設(shè)原則 3參考規(guī)范 4名詞解釋 52云數(shù)據(jù)采集中心 7需求概述 7總體設(shè)計 7 103大數(shù)據(jù)計算平臺 34需求概述 34總體設(shè)計 34數(shù)據(jù)模型設(shè)計 354數(shù)據(jù)運營 384.1數(shù)據(jù)挖掘分析 384.2數(shù)據(jù)分析處理的主要工作 384.3數(shù)據(jù)分析團隊組織和管理 395安全設(shè)計 426風(fēng)險分析 467部署方案 478實施計劃 489技術(shù)規(guī)格偏離表 4910售后服務(wù)承諾 5211關(guān)于運行維護的承諾 5512保密措施及承諾 5613培訓(xùn)計劃 58

1引言項目背景XXX大數(shù)據(jù)中心建設(shè)出發(fā)點考慮從投資者角度涵蓋招商全流程，盡可能為投資者解決項目實施過程中的困難和問題，便于招商部門準(zhǔn)確掌握全省招商數(shù)據(jù)，達(dá)到全省招商項目數(shù)據(jù)共享，形成全省招商工作“一盤棋、一張網(wǎng)、一體化”格局。大數(shù)據(jù)中心將充分發(fā)揮大數(shù)據(jù)優(yōu)勢，加強對企業(yè)投資項目、投資軌跡分析，評估出其到XX投資的可行性，為招商過程留下痕跡、找到規(guī)律、明辨方向、提供“糧食”、提高效率，實現(xiàn)數(shù)據(jù)尋商、數(shù)據(jù)引商、數(shù)據(jù)助商，實現(xiàn)數(shù)據(jù)資源實時共享、集中管理、隨時查詢，實現(xiàn)項目可統(tǒng)計、可監(jiān)管、可協(xié)調(diào)、可管理、可配對、可跟蹤、可考核。本次數(shù)據(jù)運營服務(wù)主要是為大數(shù)據(jù)平臺制定數(shù)據(jù)運營規(guī)范及管理辦法，同時為“企業(yè)數(shù)據(jù)庫”提供數(shù)據(jù)采集、存儲與分析服務(wù)，并根據(jù)運營規(guī)范要求持續(xù)開展數(shù)據(jù)運營服務(wù)。項目目標(biāo) 制定招商大數(shù)據(jù)運營規(guī)范及管理辦法。 制定招商大數(shù)據(jù)相關(guān)元數(shù)據(jù)標(biāo)準(zhǔn)，完成相關(guān)數(shù)據(jù)的采集、整理與存儲。 根據(jù)業(yè)務(wù)需求，研發(fā)招商大數(shù)據(jù)招商業(yè)務(wù)分析模型，并投入應(yīng)用。 根據(jù)運營規(guī)范及管理辦法的要求持續(xù)開展數(shù)據(jù)運營工作。建設(shè)原則基于本項目的建設(shè)要求，本項目將遵循以下建設(shè)原則： 前瞻性 經(jīng)濟性和用軟件應(yīng)提供完備的整合方案。 先進(jìn)性和成熟性務(wù)需求。 高性能和安全性攻擊或崩潰時能快速恢復(fù)，確保重要數(shù)據(jù)的機密性和完整性。參考規(guī)范 GB/T信息安全技術(shù)—信息系統(tǒng)安全管理要求 GB/T信息安全技術(shù)—信息安全風(fēng)險評估規(guī)范 GB/T信息安全技術(shù)—信息系統(tǒng)安全等級保護基本要求 GB/T信息安全技術(shù)—信息系統(tǒng)安全等級保護定級指南 GA/T計算機信息系統(tǒng)安全等級保護管理要求 GB/T計算機軟件產(chǎn)品開發(fā)文件編制指 GB/T軟件工程術(shù)語 GB/T信息技術(shù)軟件工程術(shù)語 GB/T軟件工程產(chǎn)品質(zhì)量第1 GB/T軟件工程產(chǎn)品質(zhì)量第2 GB/T軟件工程產(chǎn)品質(zhì)量第3 GB/T軟件工程產(chǎn)品質(zhì)量第4 GB/T計算機軟件可靠性和可維護性管理 GB/T信息技術(shù)軟件包質(zhì)量要求和測試名詞解釋DF簡單存儲分布式文件系（metrageDstrutedFeystem）Database）DCS：數(shù)據(jù)計算服務(wù)（DataMPS：消息處理服務(wù)（MessageDataDMQ：分布式消息隊列（DistributedQueue）HTTP：超文本傳輸協(xié)定（HyperTextTransferMessage

2云數(shù)據(jù)采集中心需求概述根據(jù)1至2年內(nèi)的數(shù)據(jù)存儲和計算規(guī)模，需要滿足：數(shù)據(jù)采集范圍包括但不限于世界500強、全國500強、行業(yè)20強企業(yè)相關(guān)數(shù)據(jù)?？倲?shù)據(jù)容量至少達(dá)到30T。總體設(shè)計整個云數(shù)據(jù)采集中心分為三部分：硬件資源層、軟件平臺層、軟件應(yīng)用層。硬件資源層主要指實體硬件設(shè)備包括用來存儲數(shù)據(jù)的光纖陣列柜和存儲服務(wù)器用來作統(tǒng)計分析以及搜索用的計算服務(wù)器用來部署分布式消（DMQ）/WEB/APP軟件的及消息服務(wù)器，用來部署用PostgreSQL關(guān)系數(shù)據(jù)庫軟件的應(yīng)用數(shù)據(jù)庫服務(wù)器用來部署作業(yè)調(diào)度服務(wù)進(jìn)（J的作業(yè)調(diào)度服務(wù)器。作為數(shù)據(jù)通信用的全千兆三層交換機等等其中光纖陣列柜主要用來存儲統(tǒng)計分析后的粗顆粒度數(shù)據(jù)存儲服務(wù)器用來部署分布式文件系統(tǒng)和分布式數(shù)據(jù)庫同存儲非結(jié)構(gòu)化和結(jié)構(gòu)（臺標(biāo)圖片電商圖片等等和結(jié)構(gòu)化數(shù)（行為數(shù)據(jù)，索引數(shù)據(jù)g數(shù)據(jù)清理后的細(xì)顆粒度數(shù)據(jù)等等計算服務(wù)器主要用來完成數(shù)務(wù)器和計算服務(wù)器合二為一所以該服務(wù)器同時具有計算和存儲數(shù)據(jù)的功能前云數(shù)據(jù)采集中心需要面對多種寬帶用戶（電信、移動、聯(lián)通，所以，數(shù)據(jù)中心的對外的網(wǎng)絡(luò)需要直連上電信移動聯(lián)通三家公司的網(wǎng)絡(luò)保證以上三家公司間的通信性能高速和可靠。軟件平臺層是云數(shù)據(jù)采集中心的核心支撐層，也是我們這次方案設(shè)計和實施的主體部分，在核心技術(shù)章節(jié)會對“分布式文件系統(tǒng)（S2DFS）”、“分布式數(shù)據(jù)庫（D2B）”、“分布式消息服務(wù)（DMQ）”“作業(yè)調(diào)度服務(wù)進(jìn)程（JSS）、數(shù)據(jù)計算服務(wù)進(jìn)程（DCS）”主要部分加以詳細(xì)的描述。軟件平臺層的所有服務(wù)器都統(tǒng)一部署的64位操作系統(tǒng)CentOS6.5（也可以選擇RHEL6.5x64）；其核心軟件或者進(jìn)程有：分布式文件系統(tǒng)（S2DFS）、分布式數(shù)據(jù)庫（D2B）、作業(yè)調(diào)度服務(wù)進(jìn)程（JSS）、數(shù)據(jù)計算服務(wù)進(jìn)程（DCS）、作業(yè)生成服務(wù)進(jìn)程（JGS）、消息處理服務(wù)進(jìn)程（MPS）、流數(shù)據(jù)處理進(jìn)程（SDS）等等。WEB及應(yīng)用服務(wù)器軟件Apache&Tomcat，消息隊列軟件分布式消息（DMQ）。還要實現(xiàn)整個云數(shù)據(jù)采集中心的資源管理及監(jiān)控管理系統(tǒng)。軟件應(yīng)用層是云數(shù)據(jù)采集中心的功能實現(xiàn)及UI表達(dá)層，功能實現(xiàn)需要基于軟件平臺層的支撐后期設(shè)計和實施的主體該層的主要功能應(yīng)用有數(shù)據(jù)采集。HTTP本圖片數(shù)據(jù)以及用戶行為數(shù)據(jù)存儲在云數(shù)據(jù)采集中心里以供后期分析計算用。云數(shù)據(jù)采集中心整體架構(gòu)圖云數(shù)據(jù)采集中心網(wǎng)絡(luò)結(jié)構(gòu)圖2.3.1分布式文件存儲技術(shù)傳統(tǒng)存儲技術(shù)面臨的問題： 構(gòu)建成本高：大容量及高網(wǎng)絡(luò)帶寬的高端存儲系統(tǒng)架構(gòu)昂貴。 文件系統(tǒng)功能和性能差強人意：難以實現(xiàn)全局命名空間的文件共享、文件系統(tǒng)難以擴展，容易形成瓶頸。 擴展性困難：技術(shù)存在瓶頸（cae-up架構(gòu)決定的、擴展成本無法控制。 應(yīng)用目標(biāo)差異：主要面臨運營商、金融行業(yè)的OLTP應(yīng)用、很少針對海量的流數(shù)據(jù)，或者非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行設(shè)計和優(yōu)化。 異構(gòu)設(shè)備繁雜：不同時期、不同公司、不同操作系統(tǒng)的異構(gòu)設(shè)備紛繁復(fù)雜，無法整合，資源利用率極低。分布式文件系統(tǒng)主要為解決以上問題而出現(xiàn)的一種新型大規(guī)模數(shù)據(jù)存儲技術(shù)架構(gòu)主要為非結(jié)構(gòu)化數(shù)（視頻/文件/文檔圖像/音頻等非結(jié)構(gòu)化數(shù)據(jù)提供海量的存儲平臺，以集群的方式提供線性橫向擴展能力。分布式文件系統(tǒng)是一種構(gòu)建于通用x6部件之上的高可用高可靠高可擴展的新型分布式文件系統(tǒng)應(yīng)用分布式文件系統(tǒng)用戶可以采用廉價可靠的通用硬盤以及以太網(wǎng)絡(luò)來構(gòu)建媲美企業(yè)級存儲產(chǎn)品的存儲系統(tǒng)。分布式文件系統(tǒng)應(yīng)對的數(shù)據(jù)特性和訪問特性： 數(shù)據(jù)量巨大，數(shù)百TB或PB級，增長迅速； 類型多樣化，包括圖像、文本、語音、視頻等文件數(shù)據(jù)； 按時間有序生成，數(shù)據(jù)均帶有時間標(biāo)志；前端數(shù)據(jù)寫入速度很高，每秒鐘寫入數(shù)據(jù)可達(dá)幾萬甚至幾十萬條記錄或者上GB量數(shù)據(jù)；更新操作極少：追加方式寫入，一旦寫入，幾乎沒有數(shù)據(jù)修改，查詢涉及大量的磁盤讀操作，查詢處理產(chǎn)生大量的臨時結(jié)果，不同類型的數(shù)據(jù)存在聯(lián)合分析查詢；分布式文件系統(tǒng)的基本原理是采用集群方式來整合物理上獨立的多個存儲資源以軟件方式提供單一的名字空間采用多副本的方式保證數(shù)據(jù)的高可用性，任意單一節(jié)點失效均不會導(dǎo)致數(shù)據(jù)丟失和數(shù)據(jù)服務(wù)的正常運行同時分布式文件系統(tǒng)通過良好設(shè)計的系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)分布策略可保證系統(tǒng)性能的高可擴展性，并支持存儲容量/性能的在線擴展。相比較于D（直連存儲、N（存儲區(qū)域網(wǎng)絡(luò)）和N（網(wǎng)絡(luò)存儲，應(yīng)用分布式文件系統(tǒng)構(gòu)建的網(wǎng)絡(luò)存儲系統(tǒng)更像是一個N提供類似于傳統(tǒng)NS的文件級訪問接口（N和DS都是塊設(shè)備級別的訪問接口。分布式文件系統(tǒng)與傳統(tǒng)設(shè)備的比較：比較項高端分布式文件系統(tǒng)性能一般雙端口，性能受機頭影響，難以擴展，出口帶寬是瓶頸一般雙端口，性能受機頭影響難以擴展，較好性能隨節(jié)點數(shù)的增加成線性增長擴展能力性能及容量無法擴展，或者有限擴展能較好擴展，但成本高昂性能及容量按需擴展，動態(tài)均衡可用性方式保護，雙機保護停機Debi時D方式保護雙機保護，停機基于靈活的多副本機制，自動檢測自動故障恢復(fù)，無需停機數(shù)據(jù)管理企業(yè)級功能需要單獨購買企業(yè)級功能需要單獨購買（還需要單獨的文件系統(tǒng)100多萬一套）內(nèi)嵌多種企業(yè)級應(yīng)用：快照、鏡像、回收站成本專有的硬件平臺，軟件擁有成本高，擴展成本高專有的硬件平臺，軟件擁有成本高，擴展成本高開發(fā)通用的硬件平臺，一體化的軟件，成本低，擴展成本低可維護性專門的技術(shù)支持服務(wù)，需要培訓(xùn)結(jié)構(gòu)異常復(fù)雜，需要大量培訓(xùn)，廠商服務(wù)昂貴內(nèi)嵌多種自動化的故障檢測和恢復(fù)功能國內(nèi)開發(fā)，技術(shù)支持快速用戶使用分布式文件系統(tǒng)如同使用本地文件系統(tǒng)。所不同的是，傳統(tǒng)NAS通常以單一節(jié)點的方式實現(xiàn)容量和性能的擴展能力有限易于成為性能瓶頸和單一故障點而分布式文件系統(tǒng)則有多個節(jié)點集合地提供服務(wù)由于其結(jié)構(gòu)特征，分布式文件系統(tǒng)的性能和容量均可在線線性擴展并且系統(tǒng)內(nèi)不存在單一故障點。對比參看下面兩幅示意圖：傳統(tǒng)存儲架構(gòu)圖分布式文件系統(tǒng)架構(gòu)圖分布式文件系統(tǒng)的設(shè)計應(yīng)用特別適合海量非結(jié)構(gòu)化數(shù)據(jù)存儲大量客戶端并發(fā)的密集型應(yīng)用。目前，分布式文件系統(tǒng)已經(jīng)被應(yīng)用于政府、醫(yī)療影像、勘查數(shù)據(jù)計算、視頻服務(wù)以及動畫制作等領(lǐng)域。這些領(lǐng)域的數(shù)據(jù)訪問特征均為：的實際生產(chǎn)環(huán)境使用，分布式文件系統(tǒng)已被證明是該類型應(yīng)用的有效解決方案。布式文件系統(tǒng)的服務(wù)器端程序運行于Luxx4系統(tǒng)之上支持多種Lux位發(fā)行版，包括Redhat、CentOS等。分布式文件系統(tǒng)客戶端則支持Linux和和NFS接口，可以兼容大多數(shù)應(yīng)用。分布式文件系統(tǒng)的核心技術(shù)及特征：擴展性和高性能：分布式文件系統(tǒng)利用雙重特性來提供幾TB至數(shù)PB的高擴展存儲解決方案cae-Out架構(gòu)允許通過簡單地增加資源來提高存儲容量和性能，磁盤、計算和資源都可以獨立增加，支持和等高速網(wǎng)絡(luò)互聯(lián)。分布式文件系統(tǒng)彈性哈Hash）解除了分布式文件系統(tǒng)對元數(shù)據(jù)服務(wù)器的需求，消除了單點故障和性能瓶頸，真正實現(xiàn)了并行化數(shù)據(jù)訪問。高可用性：分布式文件系統(tǒng)可以對文件進(jìn)行自動復(fù)制，如鏡像或多次復(fù)制，從而確保數(shù)據(jù)總是可以訪問，甚至是在硬件故障的情況下也能正常訪問。自我修復(fù)功能能夠把數(shù)據(jù)恢復(fù)到正確的狀態(tài)，而且修復(fù)是以增量的方式在后臺執(zhí)行，幾乎不會產(chǎn)生性能負(fù)載。分布式文件系統(tǒng)沒有設(shè)計自己的私有數(shù)據(jù)文件格式，而是采用操作系統(tǒng)中主流標(biāo)準(zhǔn)的磁盤文件系統(tǒng)（如數(shù)據(jù)可以使用各種標(biāo)準(zhǔn)工具進(jìn)行復(fù)制和訪問。全局統(tǒng)一命名空間：全局統(tǒng)一命名空間將磁盤和內(nèi)存資源聚集成一個單一的虛擬存儲池，對上層用戶和應(yīng)用屏蔽了底層的物理硬件。存儲資源可以根據(jù)需要在虛擬存儲池中進(jìn)行彈性擴展，比如擴容或收縮。當(dāng)存儲虛擬機映像時，存儲的虛擬映像文件沒有數(shù)量限制，成千虛擬機均通過單一掛載點進(jìn)行數(shù)據(jù)共享。虛擬機可在命名環(huán)境中經(jīng)常發(fā)生的訪問熱點和性能瓶頸問題。彈性哈希算法：分布式文件系統(tǒng)采用彈性哈希算法在存儲池中定位數(shù)據(jù)，而不是采用集中式或分布式元數(shù)據(jù)服務(wù)器索引。在其他的存儲系統(tǒng)中，元數(shù)據(jù)服務(wù)器通常會導(dǎo)致性能瓶頸和單點故障問題。分布式文件系統(tǒng)中，所有在存儲配置中的存儲系統(tǒng)都可以智能地定位任意數(shù)據(jù)分片，不需要查看索引或者向其他服務(wù)器查詢。這種設(shè)計機制完全并行化了數(shù)據(jù)訪問，實現(xiàn)了真正的線性性能擴展。 彈性卷管理：數(shù)據(jù)儲存在邏輯卷中，邏輯卷可以從虛擬化的物理存，不會導(dǎo)致應(yīng)用中斷。邏輯卷可以在所有配置服務(wù)器中增長和縮減，可以在不同服務(wù)器遷移進(jìn)行容量均衡，或者增加和移除系統(tǒng)，這些操作都可在線進(jìn)行。文件系統(tǒng)配置更改也可以實時在線進(jìn)行并應(yīng)用，從而可以適應(yīng)工作負(fù)載條件變化或在線性能調(diào)優(yōu)。完全軟件實現(xiàn)（ftwareOy：分布式文件系統(tǒng)認(rèn)為存儲是軟件問題，不能夠把用戶局限于使用特定的供應(yīng)商或硬件配置來解決。分布式文件系統(tǒng)采用開放式設(shè)計，廣泛支持工業(yè)標(biāo)準(zhǔn)的存儲、網(wǎng)絡(luò)和計算機設(shè)備，而非與定制化的專用硬件設(shè)備捆綁。對于商業(yè)客戶，分布式文件系統(tǒng)可以以虛擬裝置的形式交付，也可以與虛擬機容器打包，或者是公有云中部署的映像。開源社區(qū)中，分布式文件系統(tǒng)被大量部署在基于廉價閑置硬件的各種操作系統(tǒng)上，構(gòu)成集中統(tǒng)一的虛擬存儲資源池。簡而言之，分布式文件系統(tǒng)是開放的全軟件實現(xiàn)，完全獨立于硬件和操作系統(tǒng)。布式文件系統(tǒng)不僅提供了一個分布式文件系統(tǒng)，而且還提供了許多RAID和自我修復(fù)等。分布式文件系統(tǒng)汲取了微內(nèi)核架構(gòu)的經(jīng)驗教訓(xùn)，借鑒了GNU/Hurd操作系統(tǒng)的設(shè)計思想，在用戶空間實現(xiàn)了完整的存儲操作系統(tǒng)棧。用戶空間實（Userace與傳統(tǒng)的文件系統(tǒng)不同分布式文件系統(tǒng)在用戶空間實現(xiàn)，這使得其安裝和升級特別簡便。模塊化堆棧式架（Mduartacaberchtecture分布式文件系統(tǒng)采用模塊化、堆棧式的架構(gòu)，可通過靈活的配置支持高度定制化的應(yīng)用環(huán)境，比如大文件存儲、海量小文件存儲、分布式文件系統(tǒng)、多傳輸協(xié)議應(yīng)用等。每個功能以模塊形式實現(xiàn)，然后以積木方式進(jìn)行簡單的組合，即可實現(xiàn)復(fù)雜的功能。比如，Replicate模塊可實現(xiàn)模塊可實現(xiàn)和原始數(shù)據(jù)格式存（DatatrednNateFrmats分布式文件系統(tǒng)多種數(shù)據(jù)自動修復(fù)機制。因此，系統(tǒng)極具彈性，即使離線情形下文件也可以通過其他標(biāo)準(zhǔn)工具進(jìn)行訪問。如果用戶需要從分布式文件系統(tǒng)中遷移數(shù)據(jù)，不需要作任何修改仍然可以完全使用這些數(shù)據(jù)。無元數(shù)據(jù)服務(wù)設(shè)計（NoMetadatawthteEastcashgrtm：對存儲系統(tǒng)而言，最大的挑戰(zhàn)之一就是記錄數(shù)據(jù)邏輯與物理位置的映像關(guān)系，即數(shù)據(jù)元數(shù)據(jù)，可能還包括諸如屬性和訪問權(quán)限等信息。傳統(tǒng)分布式存儲系統(tǒng)使用集中式或分布式元數(shù)據(jù)服務(wù)來維護元數(shù)據(jù)，集中式元數(shù)據(jù)服務(wù)會導(dǎo)致單點故障和性能瓶頸問題，而分布式元數(shù)據(jù)服務(wù)存在性能負(fù)載和元數(shù)據(jù)同步一致性問題。特別是對于海量小文件的應(yīng)用，元數(shù)據(jù)問題是個非常大的挑戰(zhàn)。分布式文件系統(tǒng)獨特地采用無元數(shù)據(jù)服務(wù)的設(shè)計，取而代之使用算法來定位，服務(wù)器都可以智能地對文件數(shù)據(jù)分片進(jìn)行定位，僅僅根據(jù)文件名和路徑并運用算法即可，而不需要查詢索引或者其他服務(wù)器。這使得數(shù)據(jù)訪問完全并行化，從而實現(xiàn)真正的線性性能擴展。無元數(shù)據(jù)服務(wù)器極大提高了分布式文件系統(tǒng)的性能、可靠性和穩(wěn)定性。 基于標(biāo)準(zhǔn)協(xié)議分布式文件系統(tǒng)存儲服務(wù)支持NF,F,TTP,FTP以及分布式文件系統(tǒng)原生協(xié)議，完全與標(biāo)準(zhǔn)兼容。分布式文件系統(tǒng)技術(shù)及性能指標(biāo)： 支持設(shè)備數(shù)量：最大百萬臺以上 支持存儲容量：最大以上 客戶端的數(shù)量：最大支持上億并發(fā)網(wǎng)絡(luò)支持以太網(wǎng)GsGs/NFNBNDGsGs 文件副本數(shù)量：任意(缺省1份)協(xié)議：標(biāo)準(zhǔn) 支持文件數(shù)量：最大上億個文件 與HDFS的比較對比項架構(gòu)類型帶元數(shù)據(jù)庫中心架構(gòu)全分布式去中心架構(gòu)存在方式分布式文件系統(tǒng)軟件，基于x86平臺使用方式標(biāo)準(zhǔn)協(xié)議（應(yīng)用代碼與平臺無關(guān)性便于移植和維護）系統(tǒng)可用性低高數(shù)據(jù)可用性復(fù)制類數(shù)據(jù)定位方式Hash同步方式異步同步負(fù)載均衡自動自動支持網(wǎng)絡(luò)千兆以太網(wǎng)網(wǎng)約約讀（1*20GB）（萬兆）約125s約25s寫（1*20GB）（萬兆）約200s約20s差距不大2.3.2分布式并行計算技術(shù)概述并行計算技術(shù)真正將傳統(tǒng)運算轉(zhuǎn)化為并行運算從而更加充分的利用廣泛部署的普通計算資源實現(xiàn)大規(guī)模的運算和應(yīng)用的目的在此基礎(chǔ)上為第三方開發(fā)者提供通用平臺，為客戶提供并行服務(wù)。這里主要為門戶網(wǎng)站提供作業(yè)調(diào)度平臺，實現(xiàn)日志分析，性能優(yōu)化，全文檢索，視頻處理，用為分析等等的支撐平臺。用戶通過統(tǒng)一計算平臺把任務(wù)分派給系統(tǒng)內(nèi)的多個節(jié)點調(diào)度節(jié)點資源執(zhí)行任務(wù)發(fā)揮多核并行處理優(yōu)勢提升運算效率充分運用網(wǎng)絡(luò)內(nèi)的計算資源達(dá)到解決大規(guī)模計算問題的目的。分布式并行計算架構(gòu)圖分布式并行計算架構(gòu)圖作業(yè)調(diào)度及計算過程分布式并行計算技術(shù)特點 池化資源管理利用池化技術(shù)，任何一臺聯(lián)在互聯(lián)網(wǎng)上的普通PC機從硬件到軟件，可通過池化技術(shù)加入服務(wù)器池中，等待任務(wù)分配,系統(tǒng)能充分利用現(xiàn)有服務(wù)器資源，將所有運算子任務(wù)分配給節(jié)點服務(wù)器，有效避免計算資源閑置現(xiàn)象的發(fā)生。 無中心系統(tǒng)架構(gòu)在平臺管理下的單節(jié)點能力一致，使節(jié)點在部署上和使用上具備無差別性，任一節(jié)點功能可由其他節(jié)點替代或強化，可以最大程度確保平臺資源使用的靈活性以及在災(zāi)備環(huán)境下的可靠性系統(tǒng)架構(gòu)。 通道式工作機制平臺為用戶提供一個并行任務(wù)處理通道，處理過程對用戶來說完全透明，由平臺自動進(jìn)行負(fù)載均衡、資源匹配、任務(wù)傳輸?shù)龋褂脩魧Ｗ⒂谧陨砣蝿?wù)管理，將執(zhí)行過程交由平臺完成。2.3.3D2B是一個具有高性能的高性能，可擴展，無模式，面向文檔(dcumet-reted)的數(shù)據(jù)庫其內(nèi)存儲的是一種JON-e結(jié)構(gòu)化數(shù)據(jù)的分布式數(shù)據(jù)庫軟件尤其具有高擴展性和高可靠性支持大表水平折分以及分區(qū)鏡像。提供內(nèi)存緩存數(shù)據(jù)，所以數(shù)據(jù)存取速度非?？?，主要是由于它處理寫入的方式：它們存儲在內(nèi)存中，然后通過后臺線程寫入磁盤。的bjson比較復(fù)雜的數(shù)據(jù)類型DB另外的最大的特點是他支持的查詢語言非常強大其語法有點類似于面向?qū)ο蟮牟樵冋Z言幾乎可以實現(xiàn)類似關(guān)系數(shù)據(jù)庫單表查詢的用，存儲數(shù)據(jù)非常方便。主要功能特性： 面向集合存儲，易存儲對象類型的數(shù)據(jù)“面向集合（oecto-Oreted意思是數(shù)據(jù)被分組存儲在數(shù)據(jù)集中被稱為一個集（ecti)每個集合在數(shù)據(jù)庫中都有一個唯一（RDBM里的（tae不同的是它不需要定義任何模（scema)。 模式自由模式自（scema-free)意味著對于存儲在DB數(shù)據(jù)庫中的文件我們的文件存儲在同一個數(shù)據(jù)庫里。 自動分片以支持云級別的伸縮性：自動分片功能支持水平的數(shù)據(jù)庫集群，可動態(tài)添加額外的機器。 支持動態(tài)查詢 支持完全索引，包含內(nèi)部對象。 自動處理碎片，以支持云計算層次的擴展性。 可通過網(wǎng)絡(luò)訪問可用于OSX、Linux?和的官方二進(jìn)制版本。可用于C、C#、C++、Haskell、Java?、JavaScript、Perl、PHP、Python、Ruby和Scala的官方驅(qū)動程序，以及廣泛可用于其他語言的社區(qū)支持的驅(qū)動程序。Ad-hocJavaScript查詢讓您能夠使用基于任何文檔屬性的任何條件來查找數(shù)據(jù)。這些查詢對應(yīng)于SQL查詢的功能，使SQL開發(fā)人員能夠很直觀地編寫D2B查詢。 支持查詢中的正則表達(dá)式。 D2B查詢結(jié)果存儲在提供過濾、聚合和排序等一系列功能的游標(biāo)中，包括limit()、skip()、sort()、count()、distinct()和group()等等高級特性。高級聚合的map/reduce實現(xiàn)。 類似于RDBMS的屬性索引支持，可以直接在文檔的選定屬性上創(chuàng)建索引。 使用提示、解釋計劃和分析的查詢優(yōu)化特性。 類似于的主/從復(fù)制，支持復(fù)制和故障恢復(fù)。 基于集合的對象存儲，在需要規(guī)范化數(shù)據(jù)時允許參考查詢。 通過自動分片功能水平擴展。 高性能無爭用并發(fā)機制的即時更新。D2B服務(wù)端可運行在或OSX平臺，支持位應(yīng)用。推薦運行在位平臺，因為在位模式運行時支持的最大文件尺寸為2GB。分布式數(shù)據(jù)庫（D2B）集群示例圖D2B與關(guān)系型數(shù)據(jù)庫的邏輯結(jié)構(gòu)對比:D2B關(guān)系型數(shù)據(jù)庫數(shù)據(jù)庫(database)數(shù)據(jù)庫(database)文檔(document)D2B的性能指標(biāo)：10億約600GB以上（與每條記錄大小有關(guān)系，這里的數(shù)據(jù)：1Kb/條）寫（1億,無索引）約15000-20000寫（1億,有索引）約10000寫（1億：Replica+Sharding模式）約6000-8000讀（1億）約讀（1億）8000-10000統(tǒng)計一個值（10億）<3s（復(fù)雜查詢）最大節(jié)點數(shù)量>1024（理論上）Xeon2路16核心,256GB內(nèi)存，15k12的架構(gòu)模式：Replica+Sharding。2.3.4負(fù)載均衡1)開源負(fù)載均衡軟件比較Server）可以實提供虛擬服務(wù)器軟件S基于內(nèi)容請求分發(fā)的內(nèi)核yer-交換機We服務(wù)軟件及反向代理軟件于HTTP（第七層）應(yīng)用代理服務(wù)器在國內(nèi)大型的互聯(lián)網(wǎng)公司都有使用。HAProxy是一款提供高可用性的七層應(yīng)用的代理軟件在國內(nèi)大型的互聯(lián)網(wǎng)公司都有使用。抗負(fù)載能力強是工作在網(wǎng)絡(luò)4層之上僅作分發(fā)之用沒有流量的產(chǎn)生這個特點也決定了它在負(fù)載均衡軟件里的性能最強的；也是一個優(yōu)點因為沒有可太多配置的東西，所以并不需要太多接觸，大大減少了人為出錯的幾率；能不會收到大流量的影響；能做動靜分離；工作在網(wǎng)絡(luò)的層之上可以針如針對域名目錄結(jié)構(gòu)它的正則N對網(wǎng)絡(luò)的依賴非常小理能；單；可以承擔(dān)高的負(fù)載壓力且穩(wěn)定，一般能支撐超過幾萬次的并發(fā)量；N可以通過端口檢測到服務(wù)器內(nèi)部的故障，不支持url來檢測；存器；能夠補充N的一些缺點比如作；功能；是一款負(fù)載均衡軟件單純從效率出色，在并發(fā)處理上也是優(yōu)于較簡單；可以承擔(dān)高的負(fù)載壓力且穩(wěn)定，一般能支撐超過幾萬次的并發(fā)量；建議用載均衡使用。究竟選擇Nginx還是HAProxy要看團隊對這兩種軟件的熟悉程度，越熟悉，就能容易掌控，減少風(fēng)險，我們團隊對Nginx非常熟悉，所以，這里我們推薦用Nginx作為軟件的反向代理工具。2.3.5數(shù)據(jù)采集概述數(shù)據(jù)采集功能主要完成海量數(shù)采集上傳。數(shù)據(jù)采集的來源有：、企業(yè)網(wǎng)站、百度、谷歌等。根據(jù)特定的數(shù)據(jù)源，不同應(yīng)用，不同類型的數(shù)據(jù)進(jìn)行收集，并提供統(tǒng)一的數(shù)據(jù)采集方式，方便后臺數(shù)據(jù)集成、數(shù)據(jù)存儲。數(shù)據(jù)采集結(jié)構(gòu)圖：數(shù)據(jù)采集主要是由采集服務(wù)器，通過HTTP協(xié)議和技術(shù)把數(shù)據(jù)上傳并緩存在EB及消息服務(wù)器上EB及消息服務(wù)器可以緩存一周的數(shù)據(jù)上傳式并最終入庫存儲臺標(biāo)等非結(jié)構(gòu)化數(shù)據(jù)存儲在分布式文件系（DF中，或者行為等結(jié)構(gòu)化數(shù)據(jù)存儲在分布式數(shù)據(jù)庫（MongonDB）中。參見如下數(shù)據(jù)采集/存儲流程圖：DMQ是一個分布式的消息服務(wù)平臺，提供的功能包括：配置維護、名字服務(wù)分布式同步組服務(wù)等能提供一種高性能可靠的可擴展的分布式的、可配置關(guān)鍵特性，DMQ的核心技術(shù)特點：大容量堆內(nèi)存和高可用性：假設(shè)你有臺服務(wù)器,并且每個節(jié)點有2GB某臺服務(wù)器崩潰了,網(wǎng)格只需要簡單地創(chuàng)建一份丟失數(shù)據(jù)的新副本，并將它們放到另一臺服務(wù)器上應(yīng)用也無需再借助于一個巨大的獨立數(shù)據(jù)庫來獲取數(shù)據(jù)以追求最大性能的-這是80%以上的企業(yè)應(yīng)用中的瓶頸所在! 擴展性：由于數(shù)據(jù)是均勻分布的，所以除了考慮到網(wǎng)絡(luò)上的組通訊，根本就沒有必要來限制網(wǎng)格的大小網(wǎng)絡(luò)上的組通訊只要能夠發(fā)現(xiàn)一個新的節(jié)點即可.所有的數(shù)據(jù)獲取方式都是通過點對點通信，即節(jié)點之間直接進(jìn)行通信非常容易控制。DMQ的增加或者減少不需要關(guān)閉整個服務(wù)。簡單的添加刪除集群中的機器不會引發(fā)任何服務(wù)中斷。 數(shù)據(jù)分布DMQ使用一致性哈希算法來決定集群中鍵值的存儲位置。一致性哈希算法成本低速度快并且最重要的是不需要額外的元數(shù)據(jù)或者網(wǎng)絡(luò)通信就能確定鍵值的位置。數(shù)據(jù)分布的目的是為了在集群環(huán)境下保持足夠的狀態(tài)副本以使其具備可持續(xù)性和容錯性但是又不會有過多的副本而阻礙DMQ的可擴展性。 原子性一個Udate操作不是成功就是失敗不會有第三種狀態(tài)出現(xiàn)。順序性：在一個DMQ服務(wù)器上的消息a在消息b之前發(fā)布，那么在所有的DMQ服務(wù)器上的消息a都會在消息b之前被發(fā)布，DMQ會保持一致順序。 實時性對于每個etDMQ集群中的所有服務(wù)器都會保持實時更新制度，使得所有的服務(wù)視圖都會是最新的。 無論連接到集群中的哪一個DMQ集群節(jié)點服務(wù)，都是得到同樣的鏡像視圖。 可靠性：數(shù)據(jù)在內(nèi)存中緩存了2成數(shù)據(jù)的丟失。分布式消息管理架構(gòu)圖：MPSMPS2MPS4MPS6MPS8MPS10統(tǒng)一的數(shù)據(jù)視圖心跳/同步Server1【備】（數(shù)據(jù)）Server2【主】（數(shù)據(jù)）Server3【備】（數(shù)據(jù)）Server4【備】（數(shù)據(jù)）數(shù)據(jù)網(wǎng)（電信、移動、聯(lián)通）智能終端智能終端智能終端智能終端智能終端智能終端智能終端智能終端DMQ有以下幾種關(guān)鍵較色，每類較色的職責(zé)如下表格描述？角色名稱職責(zé)就是DMQ集群的老大，它不接受Client的請求，是管理其他DMQ服務(wù)的，只負(fù)責(zé)進(jìn)行投票的發(fā)起和決議，最終更新狀態(tài).追隨者(Follower)發(fā)起的投票，向下是面向客戶端的交互，用于接收客戶端的請求和反饋客戶端的結(jié)果。參與領(lǐng)導(dǎo)者（Leader）發(fā)起的投票。觀察者(Observer)觀察者可以接收客戶端連接，將寫請求轉(zhuǎn)發(fā)給領(lǐng)導(dǎo)者（Leader）節(jié)點。但是Observer不參加投票過程，只是同步領(lǐng)導(dǎo)者（Leader）的狀態(tài)。Observer為系統(tǒng)擴展提供了一種方法。DMQ的核心是原子廣播這個機制保證了各個erer之間的同步有兩種模式，它們分別是恢復(fù)模式和廣播模式?；謴?fù)模式：一般是在服務(wù)剛啟動或者在領(lǐng)導(dǎo)者（Leader）崩潰后，開始進(jìn)入恢復(fù)模式此時先就會開始選舉領(lǐng)導(dǎo)（Leader當(dāng)領(lǐng)導(dǎo)（Leader被選舉出后，恢復(fù)模式就結(jié)束了。進(jìn)行了狀態(tài)同步以后，他就可以開始廣播消息了，即進(jìn)入廣播狀態(tài)。分布式消息數(shù)據(jù)架構(gòu)圖：上圖的M（Messagesaager消息數(shù)據(jù)管理者通過嵌入式sql內(nèi)核完成上百萬并發(fā)量的緩存數(shù)據(jù)來提供異步發(fā)布和訂閱。應(yīng)用程序通過JDBC/REST/Memcached等符合業(yè)界標(biāo)準(zhǔn)接口完成集群中的消息緩存數(shù)據(jù)的操作，集群成員之間也通過該接口完成成員之間的數(shù)據(jù)同步，狀探測步。典型分布式消息平臺比較：由于常見的RabbitMQ、ActiveMQ和ZeroMQ消息中間件不具備分布式功能，所以不在比較之列。數(shù)據(jù)采集中心面對的是高并發(fā)海量數(shù)據(jù)上傳，所以分布式消息平臺必須在‘?dāng)?shù)據(jù)接收數(shù)據(jù)緩存數(shù)據(jù)發(fā)布’整個過程保證數(shù)據(jù)的高性能吞吐、高可靠性、高擴展性、可維護性等屬性。

3大數(shù)據(jù)計算平臺需求概述根據(jù)應(yīng)用，這個項目數(shù)據(jù)量30T，企業(yè)數(shù)據(jù)量非常大，需要大量并發(fā)，網(wǎng)絡(luò)爬蟲爬取的企業(yè)數(shù)據(jù)信息存儲在數(shù)據(jù)中心此數(shù)據(jù)量跟企業(yè)記錄相關(guān)。同時需要對清洗后的記錄和計算好的推薦結(jié)果進(jìn)行存儲但是這些數(shù)據(jù)不放在數(shù)據(jù)中心此項目之后會做成實時計算需要用到流式計算的相關(guān)計算和調(diào)度。計算量很大，可以多部署DCS進(jìn)程，提高計算并發(fā)度，作業(yè)調(diào)度也要采用分部署調(diào)度架構(gòu)。總體設(shè)計云數(shù)據(jù)采集中心與大數(shù)據(jù)計算平臺的關(guān)系是云數(shù)據(jù)采集中心提供存儲和計算資源通過PI的方式訪問資源大數(shù)據(jù)計算平臺主要實現(xiàn)核心算法包括圖像匹配算法，挖掘算法，智能推薦算法，知識學(xué)習(xí)算法等等，也能夠通過API的方式建立統(tǒng)計應(yīng)用智能推薦應(yīng)用等等大數(shù)據(jù)計算平臺的需要的數(shù)據(jù)包括網(wǎng)上實時爬取得二次計算分析而獲取的等等都通過通用接口存儲在云數(shù)據(jù)采集中心的分布式存儲平臺（分布式文件系統(tǒng)（DF、分布式數(shù)據(jù)庫（DB計算時候，通過接口發(fā)起作業(yè)，由云數(shù)據(jù)采集中心的作業(yè)調(diào)度服務(wù)進(jìn)（J負(fù)責(zé)調(diào)度由數(shù)據(jù)計算服務(wù)進(jìn)（D）負(fù)責(zé)計算處理并把結(jié)果反饋給大數(shù)據(jù)計算平臺的各個應(yīng)用根據(jù)2小節(jié)對DFS分布式文件系統(tǒng)的詳細(xì)介紹本章節(jié)就不重復(fù)敘述，由于要增加新的存儲設(shè)備，對于新設(shè)備上安裝分布式文件系統(tǒng)是否繼續(xù)選用還是HDFS，我們需要回答以下幾個問題：第一，預(yù)算增加及擴展問題要部署DF還得單獨購買兩臺高性能設(shè)備作為DFS的元數(shù)據(jù)庫服務(wù)（注兩臺設(shè)備構(gòu)成主備配置不能比我們現(xiàn)在選擇的設(shè)備配置差，不然就會成為瓶頸，如果差了，數(shù)據(jù)節(jié)點就擴展不了幾臺第二，學(xué)習(xí)成本及進(jìn)度問題：要使用HDFS，必須熟悉它的帶來的整個DFS集群部署維護等工作這個與可利用的團隊資源相提供標(biāo)準(zhǔn)的協(xié)議接口，應(yīng)用程序代碼不需作任么統(tǒng)一接口的底層必須要寫兩種代碼第一是對面DF第二是面對HDFS。新增加了開發(fā)、維護、測試的時間。第三，空間浪費及孤島問題：S2DFS與HDFS是兩套不同體系的文件系統(tǒng)，他們之間設(shè)備及存儲空間是不能共用的后面增加的6臺，設(shè)備存儲與前面部署的0臺設(shè)備通過對原始數(shù)據(jù)處理壓縮后，存儲空間還有多余。二者構(gòu)成了孤島，同時造成空間浪費。第四，應(yīng)用場景問題DFS對存儲網(wǎng)頁等文件比較友好畢竟它的基因就。數(shù)據(jù)模型設(shè)計數(shù)據(jù)模型主要主企業(yè)數(shù)據(jù)模型與投資商數(shù)據(jù)模型兩個部分。3.3.1企業(yè)數(shù)據(jù)模型字段名備注name公司名稱econ_kind企業(yè)類型regist_capi注冊資本scope經(jīng)營范圍term_start營業(yè)開始日期term_end營業(yè)結(jié)束日期belong_org所屬工商局oper_name法人start_date成立日期status在業(yè)employees.job_title主要人員職位employees.sex主要人員性別主要人員姓名分支機構(gòu)名稱changerecords.change_item變更項目changerecords.change_date變更日期changerecords.before_content變更前內(nèi)容changerecords.after_content變更后內(nèi)容partners.stock_name股東姓名partners.stock_type股東類型partners.identify_type證照/證件類型partners.identify_no證照/證件號碼partners.should_capi_items.shoud_capi認(rèn)繳出資額partners.should_capi_items.invest_type出資方式partners.should_capi_items.should_capi_date出資時間partners.real_capi_items.real_capi實繳出資額partners.real_capi_items.invest_type出資方式partners.real_capi_items.real_capi_date實繳時間3.3.2投資商數(shù)據(jù)模型字段名備注name投資商名稱econ_kind企業(yè)類型regist_capi注冊資本scope經(jīng)營范圍term_start營業(yè)開始日期term_end營業(yè)結(jié)束日期belong_org所屬工商局oper_name法人start_date成立日期status在業(yè)employees.job_title主要人員職位employees.sex主要人員性別主要人員姓名分支機構(gòu)名稱changerecords.change_item變更項目changerecords.change_date變更日期changerecords.before_content變更前內(nèi)容changerecords.after_content變更后內(nèi)容partners.stock_name股東姓名partners.stock_type股東類型partners.identify_type證照/證件類型partners.identify_no證照/證件號碼partners.should_capi_items.shoud_capi認(rèn)繳出資額partners.should_capi_items.invest_type出資方式partners.should_capi_items.should_capi_date出資時間partners.real_capi_items.real_capi實繳出資額partners.real_capi_items.invest_type出資方式partners.real_capi_items.real_capi_date實繳時間Investment_industry投資行業(yè)investment投資金額

4數(shù)據(jù)運營4.1數(shù)據(jù)挖掘分析行業(yè)數(shù)據(jù)挖掘分析普遍采用CRISP-DM方法論。CRISP-DM將一個數(shù)據(jù)挖掘項目的生命周期定義為六個階段：業(yè)務(wù)理解（也稱為商業(yè)理解）、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建立模型、模型評估、模型發(fā)布。1.業(yè)務(wù)理解：從業(yè)務(wù)的角度理解項目目標(biāo)和需求，然后將這種需求轉(zhuǎn)換成一種數(shù)據(jù)挖掘的問題定義，并設(shè)計出達(dá)到目標(biāo)的一個初步計劃。2.數(shù)據(jù)理解：收集初始數(shù)據(jù)，識別數(shù)據(jù)的質(zhì)量問題，找到對數(shù)據(jù)的基本觀察、或假設(shè)隱含的信息來監(jiān)測出感興趣的數(shù)據(jù)子集。3.數(shù)據(jù)準(zhǔn)備：對可用的原始數(shù)據(jù)進(jìn)行一系列的組織以及清洗,使之達(dá)到建模需求。4.建立模型：選擇各種建模技術(shù)，并將其參數(shù)校正到優(yōu)化值。常常要退回到數(shù)據(jù)準(zhǔn)備階段。5.模型評估：對建立的模型進(jìn)行評估，重點具體考慮得出的結(jié)果是否符合第一步的商業(yè)目的。6.模型發(fā)布：將發(fā)現(xiàn)的結(jié)果進(jìn)行總結(jié)與應(yīng)用。4.2數(shù)據(jù)分析處理的主要工作首先，是數(shù)據(jù)倉庫或數(shù)據(jù)集市的建立，對數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)分析處理以企業(yè)經(jīng)營管理需求為基礎(chǔ)，根據(jù)不同分析主題，從企業(yè)許多來自不同的運作系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù)，以保證數(shù)據(jù)的正確性，然后經(jīng)過抽取、轉(zhuǎn)換和裝載，即ETL過程，合并到一個企業(yè)級的數(shù)據(jù)倉庫里，得到企業(yè)數(shù)據(jù)的一個全局視圖。其次，是聯(lián)機分析處理和數(shù)據(jù)挖掘，進(jìn)而將數(shù)據(jù)轉(zhuǎn)化為信息和知識。聯(lián)機分析處理是在數(shù)據(jù)倉庫的基礎(chǔ)上，對商業(yè)問題進(jìn)行建模和數(shù)據(jù)進(jìn)行多維分析。而數(shù)據(jù)挖掘通過分析每個數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)。即使用諸如神經(jīng)網(wǎng)絡(luò)、規(guī)則歸納等技術(shù)，用來發(fā)現(xiàn)數(shù)據(jù)間的聯(lián)系，做出基于數(shù)據(jù)的推斷。通過聯(lián)機分析處理和數(shù)據(jù)挖掘，決策人員和高層管理能從多維角度準(zhǔn)確掌控企業(yè)的經(jīng)營狀況和了解不同數(shù)據(jù)之間的相關(guān)關(guān)系，以便制定正確的決策。最后，是知識結(jié)論的可視化展示，實現(xiàn)知識向智慧轉(zhuǎn)變。通過借助信息化系統(tǒng)，以簡單、豐富和直觀的形式，將查詢報表、統(tǒng)計分析、多維聯(lián)機分析和數(shù)據(jù)發(fā)掘的結(jié)論展現(xiàn)企業(yè)管理者和決策者的面前。而隨著管理者對知識的不斷積累和更新，會進(jìn)一步將知識轉(zhuǎn)化為企業(yè)管理者的智慧。最終成果為：根據(jù)招商大數(shù)據(jù)平臺數(shù)據(jù)運營規(guī)范相關(guān)要求至少進(jìn)行三個月的數(shù)據(jù)運營服務(wù)，并提供數(shù)據(jù)運營報告。驗證數(shù)據(jù)運營規(guī)范的流程、優(yōu)化數(shù)據(jù)模板，并形成特定的數(shù)據(jù)運營操作指南。4.3數(shù)據(jù)分析團隊組織和管理 數(shù)據(jù)分析團隊負(fù)責(zé)開展數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)管理和數(shù)據(jù)綜合分析等工作。分析專家做的是預(yù)測建模、數(shù)據(jù)挖掘以及其他一些高級分析工作，而不是像定制報表和電子表格這樣程序化的工作。他們解決問題的環(huán)境，使用的方法，甚至需要參加的各類培訓(xùn)都有很大的不同。因此在數(shù)據(jù)分析團隊建設(shè)和組織管理上有其非常特殊的要求。1、數(shù)據(jù)分析團隊建設(shè)（一）合理組建數(shù)據(jù)分析團隊。整合客服中心人才資源，組建數(shù)據(jù)分析團隊，負(fù)責(zé)開展數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)管理和數(shù)據(jù)綜合分析等工作。（二）強調(diào)共同價值體現(xiàn)。數(shù)據(jù)分析團隊成員在目標(biāo)、達(dá)到這些目標(biāo)的路徑和所需的合作上要努力達(dá)成一致，這樣可以增強團隊的認(rèn)同感。強調(diào)數(shù)據(jù)分析團隊的整體利益，確定共同的目標(biāo)，鼓勵分析團隊共享信息和思想，互相幫助實現(xiàn)共同目標(biāo)。（三）引入過程分析會議。過程分析會議是數(shù)據(jù)分析團隊內(nèi)部充分討論的平臺，通過過程分析會議，增強彼此的溝通，要求每個數(shù)據(jù)分析人員都提出實現(xiàn)共同目標(biāo)的方法、思路。（四）鼓勵和促進(jìn)團隊內(nèi)部相互交流。提供數(shù)據(jù)分析團隊的定期交流機會，鼓勵每個數(shù)據(jù)分析人員在完成某個大數(shù)據(jù)挖掘分析課題后，進(jìn)行充分的交流與總結(jié)，增強數(shù)據(jù)分析團隊能力與水平，提煉數(shù)據(jù)分析經(jīng)驗。（五）公開數(shù)據(jù)挖掘分析成果形成激勵。及時將數(shù)據(jù)分析分析團隊的應(yīng)用情況向辦內(nèi)發(fā)布，使數(shù)據(jù)分析分析團隊成員增強使感。2、團隊組織建設(shè)（一）為分析團隊樹立榜樣。要讓數(shù)據(jù)分析團隊發(fā)揮作用，首先是要在團隊中突出一個或多個優(yōu)秀的團隊成員，成為數(shù)據(jù)分析團隊成員的表率，將優(yōu)良的工作作風(fēng)帶入團隊中，影響團隊中的每一位成員。（二）傳授經(jīng)驗培養(yǎng)團隊精英。要在數(shù)據(jù)分析團隊中做好培訓(xùn)、培養(yǎng)工作，把數(shù)據(jù)分析思路的形成方法傳授給團隊成員，團隊組織要培養(yǎng)團隊精英，發(fā)揮團隊精英的作用，成為團隊的主力。（三）靈活授權(quán)。隨著數(shù)據(jù)分析團隊的逐漸形成與發(fā)展，團隊組織要通過合理授權(quán)讓團隊成員分擔(dān)責(zé)任，使團隊成員更多的參與團隊工作中，允許團隊成員靈活的開展工作，給予團隊成員信任，讓他們更積極的為開展挖掘數(shù)據(jù)價值服務(wù)，也給予團隊成員學(xué)習(xí)與成長空間，實現(xiàn)團隊成員自我價值的體現(xiàn)。（四）發(fā)揮團隊凝聚力。數(shù)據(jù)分析團隊的凝聚力是團隊精神的體現(xiàn)，高凝聚力會帶來高績效。團隊組織要讓團隊成員形成共同目標(biāo)，并且增強團隊的融合度，形成高昂的團隊士氣，提高團隊績效。（五）形成有效的團隊指揮。數(shù)據(jù)分析團隊的成員在工作不可避免的會出現(xiàn)各種無法應(yīng)付的問題，團隊組織的管理者，最重要的職責(zé)就是做好指揮工作，要和團隊成員形成良好的溝通，及時了解團隊成員面臨的問題，團隊管理者通過個人的工作經(jīng)驗、閱歷，以及與相關(guān)部門或上級的溝通給出良好的解決方案，處理好團隊工作問題。

5安全設(shè)計云數(shù)據(jù)采集中心的安全分為兩大部分一個是應(yīng)用數(shù)據(jù)的安全一個是平臺運行的安全。如果租用成熟的DC機房那么機房本身的安全就可以不管防火安防，門禁等統(tǒng)統(tǒng)可以忽略，外接的路由器和防火墻也可以不采購。平臺安全平臺本身的運行安全我們采用分布式集群技術(shù)完成每個業(yè)務(wù)處理群都是以集群方式存在，保證冗余度，每個集群中服務(wù)進(jìn)程都是主/主、主/備方式運行，承載設(shè)備都保證在2臺以上。按照此設(shè)計思路，方案劃分了存儲/計算服務(wù)器集群（共8臺設(shè)備、EB/消息服務(wù)器集群（共4臺設(shè)備、應(yīng)用數(shù)據(jù)服務(wù)器集群（共兩臺設(shè)備負(fù)載均衡服務(wù)器集（共2臺設(shè)備專門的數(shù)據(jù)備份服務(wù)器設(shè)備。數(shù)據(jù)安全應(yīng)用數(shù)據(jù)的安全采用實時或者定時備份方式完成備份設(shè)備可以在一定時期內(nèi)把數(shù)據(jù)備份到專門的數(shù)據(jù)備份服務(wù)器上試實際情況而定也可以采用己構(gòu)建平臺，把數(shù)據(jù)同步到綿陽或者其他地方的數(shù)據(jù)中心中同樣以分布式文件系統(tǒng)先期方案我們建議把數(shù)據(jù)備份到數(shù)據(jù)備份服務(wù)器上，存儲在分布式文件系統(tǒng)（S2DFS）由于數(shù)據(jù)量大，容量大，不建議再做備份，因為分布式文件系統(tǒng)（S2DFS）可以建立RAID1架構(gòu)模式。我們會把分布式數(shù)據(jù)庫（D2B）除了架構(gòu)構(gòu)建為Master-Slave、ReplicaSets模式外，另外通過BackUp/Restore工具完成數(shù)據(jù)備份及恢復(fù)，第一次完成冷備份，后面我們就可以通過增量備份方式完成。參考下面的備份及恢復(fù)架構(gòu)：備份策略一個好的備份恢復(fù)系統(tǒng)除了配備有好的軟硬件之外更需要有良好的備份策略進(jìn)行保證對于備份系統(tǒng)必須根據(jù)各種應(yīng)用和業(yè)務(wù)的處理類型來分別制定具體的備份策略。對于備份系統(tǒng)備份策略的規(guī)劃，建議按照以下流程進(jìn)行：備份任務(wù)指定專用的介質(zhì)集；劃定可以進(jìn)行數(shù)據(jù)備份的時段。份方式時要在業(yè)務(wù)系統(tǒng)性能需求許可的情況下最大程度的降低數(shù)據(jù)恢復(fù)時的復(fù)雜程度。建議：對于數(shù)據(jù)量較大的系統(tǒng)為降低數(shù)據(jù)備份對業(yè)務(wù)系統(tǒng)運行的影響減少對備份介質(zhì)的需求，可采用全備份＋增量備份的方式進(jìn)行，建議每周進(jìn)行一次全備，一周內(nèi)其他時間每天進(jìn)行一次增量備份；對于數(shù)據(jù)量較小的備份任務(wù)或較為關(guān)鍵的業(yè)務(wù)則建議每天進(jìn)行一次全備份，以降低恢復(fù)時的復(fù)雜程度；在每次業(yè)務(wù)數(shù)據(jù)做大調(diào)整后應(yīng)立即做一次全備份；對于相關(guān)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)為保證數(shù)據(jù)一致性盡量安排在同一天進(jìn)行備份；首先保證關(guān)鍵業(yè)務(wù)的數(shù)據(jù)備份；盡量使備份數(shù)量在一周內(nèi)的每天平均分布，可以采用大小數(shù)據(jù)量相搭配，或關(guān)鍵業(yè)務(wù)與非關(guān)鍵業(yè)務(wù)相搭配等方式進(jìn)行；置應(yīng)以保證每一次全備份完成以前，都有可用介質(zhì)供數(shù)據(jù)恢復(fù)使用為準(zhǔn)。下表給出了一個備份策略定制的示例：星期一星期二星期三星期四星期五星期六星期日備份任務(wù)組一FIIIIII備份任務(wù)組二IFIIIII備份任務(wù)組三IIFIIII備份任務(wù)組四IIIFIII備份任務(wù)組五IIIIFII備份任務(wù)組六IIIIIFI備份任務(wù)組七IIIIIIF……體策略根據(jù)用戶的要求來定。

6風(fēng)險分析序號風(fēng)險內(nèi)容嚴(yán)重程度應(yīng)對辦法1.能否在公司規(guī)定的較短時間內(nèi)完成公司這次要求建設(shè)的內(nèi)容aaS平臺建設(shè)包括軟件硬件平臺的構(gòu)建？高采用成熟的經(jīng)過驗證的方案，包括在生產(chǎn)環(huán)境中已經(jīng)驗證的核心軟件平臺。2.負(fù)責(zé)該項目的設(shè)計和實施的團隊是否能夠很快的掌握涉及到的核心技術(shù)（分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、作業(yè)調(diào)度及并行計算等等）？高與熟悉這些核心技術(shù)的團隊合作，保證在公司規(guī)定的期限內(nèi)完成該項目。

7部署方案1. 軟件配置表序號名稱配置描述部署硬件服務(wù)器數(shù)量用途分布式文件系統(tǒng)存儲及計算服務(wù)器用來存儲非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)，文檔等富媒體文件JSS作業(yè)調(diào)度服務(wù)進(jìn)程存儲及計算服務(wù)器2作（任務(wù)的調(diào)度程序是計算任務(wù)的發(fā)起者和調(diào)度者數(shù)據(jù)計算服務(wù)進(jìn)程存儲及計算服務(wù)器作業(yè)（任務(wù)）的具體負(fù)責(zé)計算的程序，接受JSS的分配任務(wù)，處理任務(wù)，比如：圖片特征批評，視頻的分析等等JGS作業(yè)自動生成進(jìn)程存儲及計算服務(wù)器2作（任務(wù)的自動生成主要用來生成固定規(guī)則的任務(wù)比如臺標(biāo)數(shù)據(jù)清理任務(wù)自動清理服務(wù)進(jìn)程存儲及計算服務(wù)器2自動定時清除沒有利用價值的歷史數(shù)據(jù)垃圾數(shù)據(jù)消息處理服務(wù)進(jìn)程WEB及消息服務(wù)器6獲取分布式消息隊列中的數(shù)據(jù)并對獲取的數(shù)據(jù)進(jìn)行既定規(guī)則的業(yè)務(wù)處理最后把數(shù)據(jù)存儲在或者中SDS實時流數(shù)據(jù)處理服務(wù)進(jìn)程WEB及消息服務(wù)器6能夠?qū)崟r持續(xù)的完成流式數(shù)據(jù)的計算處理具有實時性，低延遲特點與批計算相對應(yīng)分布式數(shù)據(jù)庫（開源）分布式數(shù)據(jù)庫服務(wù)器分布式noSQL數(shù)據(jù)庫完成海量結(jié)構(gòu)化數(shù)據(jù)的存儲，具有容量大分布式易擴展性能好的特點8實施計劃序號工作內(nèi)容完成時間1.實施啟動2017－7－25前2.部署并聯(lián)調(diào)硬件（安裝操作系統(tǒng)）及局域網(wǎng)網(wǎng)絡(luò)，包括外接三線光纖網(wǎng)絡(luò)2017－8－10前3.部署并聯(lián)調(diào)9.3x64forLinuxApache&Tomcat7.02017－9－15前4.部署并聯(lián)調(diào)分布式文件系統(tǒng)（S2DFS）、部署分布2017－9－30前5.企業(yè)數(shù)據(jù)采集服務(wù)、投資商數(shù)據(jù)采集服務(wù)、采集任務(wù)管理、云數(shù)據(jù)存儲、云中心監(jiān)控功能開發(fā)2017-10-31前6.企業(yè)數(shù)據(jù)采購、投資商數(shù)據(jù)采購2017-10-31前7.試運行完成，項目驗收2017-12-31前

9技術(shù)規(guī)格偏離表名稱序號磋商文件技術(shù)規(guī)范、要求響應(yīng)文件中對應(yīng)條款內(nèi)容偏離技術(shù)支持資料索引xx大數(shù)據(jù)中心數(shù)據(jù)運營規(guī)范制定4.1結(jié)合xxx的業(yè)務(wù)需要，根據(jù)招商大數(shù)據(jù)平臺建設(shè)內(nèi)容及招商業(yè)務(wù)的應(yīng)用目標(biāo)，參照業(yè)界大數(shù)據(jù)平臺數(shù)據(jù)運營成功案例，制定招商大數(shù)據(jù)平臺數(shù)據(jù)運營規(guī)范及相關(guān)管理規(guī)定，并詳細(xì)提供規(guī)范所涉及業(yè)務(wù)表單、報告模板等資料。4.數(shù)據(jù)運營無偏離相關(guān)元數(shù)據(jù)標(biāo)準(zhǔn)制定及數(shù)據(jù)的采集、整理與存儲4.2根據(jù)招商局大數(shù)據(jù)平臺數(shù)據(jù)分析的需要，制定相關(guān)數(shù)據(jù)的元數(shù)據(jù)標(biāo)準(zhǔn)，并完成與當(dāng)前大數(shù)據(jù)平臺的對接。根據(jù)所定義的元數(shù)據(jù)標(biāo)準(zhǔn)，完成數(shù)據(jù)源的定義與數(shù)據(jù)的采集，并整理形成標(biāo)準(zhǔn)數(shù)據(jù)。同時，結(jié)合招商大數(shù)據(jù)平臺的數(shù)據(jù)分析特點，提出數(shù)據(jù)存儲方案并實施。供應(yīng)商需要對所采集數(shù)據(jù)的數(shù)據(jù)源進(jìn)行可信度驗證。數(shù)據(jù)采集范圍包括但不限于世界500強、全國500強、行業(yè)20強企業(yè)相關(guān)數(shù)據(jù)。要求總數(shù)據(jù)容量至少達(dá)到30個T。其數(shù)據(jù)采集與存儲必須滿足海量數(shù)據(jù)處理的要求，其架構(gòu)需要能夠根據(jù)數(shù)據(jù)規(guī)模的增大而快速擴展。并根據(jù)數(shù)據(jù)采集、整理與存儲管理的特點，提取形成數(shù)據(jù)運營要點。2.云數(shù)據(jù)采集中心3.大數(shù)據(jù)計算平臺無偏離招商業(yè)務(wù)數(shù)據(jù)分析模型4.3根據(jù)招商業(yè)務(wù)的需要，設(shè)計招商數(shù)據(jù)分析模型，并完成系統(tǒng)實現(xiàn)。該模型需要在招商大數(shù)據(jù)平臺的數(shù)據(jù)集上進(jìn)行測試與驗證。3.3.1企業(yè)數(shù)據(jù)模型3.3.2投資商數(shù)據(jù)模型無偏離數(shù)據(jù)運營4.4根據(jù)招商大數(shù)據(jù)平臺數(shù)據(jù)運營規(guī)范相關(guān)要求至少進(jìn)行三個月的數(shù)據(jù)運營服務(wù)，并提供數(shù)據(jù)運營報告。驗證數(shù)據(jù)運營規(guī)范的流程、優(yōu)化數(shù)據(jù)模板，并形成特定的數(shù)據(jù)運營操作指南。4.2數(shù)據(jù)分析處理的主要工作無偏離項目運維要求4.5提供系統(tǒng)運維整體方案，包括運維服務(wù)支持計劃、針對不同問題的運維管理過程及運維支持人員信息。10售后服務(wù)承諾11關(guān)于運行維護的承諾無偏離

10售后服務(wù)承諾（1）本項目應(yīng)用系統(tǒng)從項目總體驗收合格之日（從雙方代表終驗簽字之日起計算）起，我公司提供所開發(fā)系統(tǒng)免費維護12個月。（2）在質(zhì)量保證期內(nèi)，我方提供技術(shù)服務(wù)、升級服務(wù)并負(fù)責(zé)對運行中出現(xiàn)軟件故障進(jìn)行處理，根據(jù)實際故障情況我方派員負(fù)責(zé)查找故障原因并將系統(tǒng)恢復(fù)到正常運行狀態(tài)。在質(zhì)量保證期內(nèi)，我方向業(yè)主方提供7*24小時的服務(wù)響應(yīng)，保證業(yè)主方可以隨時找到相應(yīng)的技術(shù)人員，我方在接到用戶電話、傳真通知后，30分鐘內(nèi)響應(yīng)，一般問題一天內(nèi)解決，重大問題三天內(nèi)解決。特殊情況無法修復(fù)的，質(zhì)保期內(nèi)我方無條件更換新軟件；或采取使系統(tǒng)可正常運轉(zhuǎn)的措施。（3）我方將長期提供優(yōu)良的技術(shù)支持，保修期間的維護服務(wù)不收取任何額外費用，保證期后，我方承諾仍根據(jù)合同要求向業(yè)主方提供技術(shù)服務(wù)，并以合理價格提供軟件功能改系統(tǒng)維護與支持的具體內(nèi)容如下：電話支持我公司提供對應(yīng)用系統(tǒng)的運行、維護提供24小時的實時技術(shù)支持。我公司提供熱線電話或Email、傳真等方式隨時回答用戶各種技術(shù)問題并在24小時內(nèi)提出解決方案。故障響應(yīng)7X24小時的實時故障響應(yīng)。我公司在出現(xiàn)系統(tǒng)軟件及應(yīng)用軟件等系統(tǒng)故障的2小時內(nèi)給予響應(yīng)，12小時內(nèi)恢復(fù)運行。遠(yuǎn)程技術(shù)支持當(dāng)系統(tǒng)出現(xiàn)故障，經(jīng)用戶許可后，我公司遠(yuǎn)程登錄用戶系統(tǒng)，進(jìn)行故障分析、問題定位并提供解決方案。對系統(tǒng)進(jìn)行的任何配置、數(shù)據(jù)改動及其它可能對系統(tǒng)和業(yè)務(wù)造成不良影響的操作，確保經(jīng)用戶確認(rèn)后進(jìn)行。定期跟蹤項目驗收完畢后，我公司將定期電話、現(xiàn)場跟蹤系統(tǒng)使用情況，聽取意見和建議，及時分析系統(tǒng)存在的問題，并隨時給予解決。必要時，我公司將派遣技術(shù)人員去現(xiàn)場解決存在的問題。系統(tǒng)軟件升級我公司將及時向用戶通報系統(tǒng)軟件升級情況，若用戶需要對系統(tǒng)軟件升級，我公司會提供升級版本和相應(yīng)的支持服務(wù)。現(xiàn)場服務(wù)當(dāng)系統(tǒng)運行環(huán)境出現(xiàn)嚴(yán)重故障，或因更換服務(wù)器等原因需要重新搭建系統(tǒng)時，我公司將及時提供切實可行的建議，通過遠(yuǎn)程支持不能及時解決問題時，派技術(shù)支持人員趕赴現(xiàn)場，協(xié)助用戶完成故障排除、升級或遷移操作，對系統(tǒng)進(jìn)行完整性檢查并跟蹤運行。

11關(guān)于運行維護的承諾我公司承諾如若我公司為成交供應(yīng)商，在項目驗收合格交付采購人使用后，1、為采購人免費提供運行維護的期限為：12個月；2、免費維護期過后每年對運行維護的收費比例為系統(tǒng)建設(shè)經(jīng)費的15%；3、免費維護期過后，繼續(xù)向項目單位提供產(chǎn)品維護、技術(shù)支持、產(chǎn)品升級等服務(wù)，服務(wù)價格雙方根據(jù)具體情況進(jìn)行協(xié)商。

12保密措施及承諾一、相關(guān)信息和資料的定義本承諾書所稱的“相關(guān)信息和技術(shù)資料”是指XXX大數(shù)據(jù)庫中心數(shù)據(jù)庫投資商和企業(yè)數(shù)據(jù)采集處理項目目的招投標(biāo)向我公司提供的招標(biāo)文件內(nèi)容以及有關(guān)本項目實施過程中涉及的全部未向社會公開的信息，無論是書面的、口頭的、圖形的、電子的或其它任何形式的信息。二、保密義務(wù)我公司同意嚴(yán)格保密本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料。我公司保證采取所有必要的方法對本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料進(jìn)行保密，嚴(yán)禁非授權(quán)透露、使用、復(fù)制本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料。未經(jīng)貴司書面同意，我公司不得因任何理由以任何方式透露本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料。三、使用方式和不使用的義務(wù)本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料只能被我公司用于進(jìn)行本次參與招投標(biāo)及中標(biāo)后的項目實施，我公司不能將本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料用于其它任何目的。除我公司參與招投標(biāo)的人員和直接參與本次項目實施的員工外，我公司不能將本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料透露給其它任何人；未經(jīng)貴司書面同意，我公司不得將本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料向新聞媒體予以公開披露或者發(fā)表聲明。我公司應(yīng)當(dāng)告知參與本次招投標(biāo)的員工或我公司聘請的相關(guān)人員遵守本保密協(xié)議書的約定，并應(yīng)采取必要措施，確保其參與本次招投標(biāo)和項目實施的員工和外聘人員履行保密義務(wù)。若參與本項工作之員工或外聘人員違反本保密協(xié)議的約定，泄露了貴司所提供的相關(guān)信息和技術(shù)資料，依據(jù)本承諾書約定，我公司應(yīng)與泄密員工或外聘人員承擔(dān)連帶責(zé)任。四、相關(guān)信息和資料的交回當(dāng)貴司以書面形式要求我公司交回本次項目招投標(biāo)所提供的相關(guān)信息和技術(shù)資料時，我公司應(yīng)立即交回所有書面的或其他有形的相關(guān)信息和資料以及所有描述和概括該相關(guān)信息和資料的文件。我公司在交回以上有關(guān)資料前未經(jīng)貴司的允許不得采取抄寫、復(fù)印、拷貝等任何方式留存相關(guān)信息和資料沒有貴司的書面許可，我公司不得丟棄和處理任何書面的或其他有形的相關(guān)信息和資料。五、保密期限自本承諾書生效之日起，雙方的合作交流都要符合本承諾書的約定，除非貴司通過書面通知明確說明，本承諾書所涉及的某項信息和資料可以不用保密，我公司必須按照本承諾書所承擔(dān)的保密義務(wù)在所接受的信息和資料被社會公知前對所收到的相關(guān)信息和資料進(jìn)行保密，保密期限不受本承諾書有效期限的限制。

13培訓(xùn)計劃人員培訓(xùn)作為工程實施的一個重要環(huán)節(jié)，對整個項目的實施至關(guān)重要，通過系統(tǒng)的培訓(xùn)，使得工作人員得到日常工作需要的專業(yè)技術(shù)知識和經(jīng)驗，從而保障整個系統(tǒng)的順利運行。項目建設(shè)最終系統(tǒng)將交付用戶使用，項目培訓(xùn)是項目實施中的重要環(huán)節(jié)，通過項目培訓(xùn)對業(yè)主人員進(jìn)行全面的技術(shù)培訓(xùn)，使業(yè)主單位人員達(dá)到能獨立進(jìn)行管理、故障處理、日常測試維護等工作，以便于我方提供的軟、硬件能夠正常、安全的運行。培訓(xùn)的總體目標(biāo)：1、管理員培訓(xùn)。培訓(xùn)對象：系統(tǒng)管理員。培訓(xùn)目的：可以獨立完成本單位行政執(zhí)法的日常維護，解決一般問題。培訓(xùn)內(nèi)容：系統(tǒng)體系結(jié)構(gòu)、系統(tǒng)配置、系統(tǒng)管理、系統(tǒng)使用。培訓(xùn)方式：集中培訓(xùn)和個別培訓(xùn)。培訓(xùn)批次：不少于1次的集中培訓(xùn)，個別培訓(xùn)隨時安排。2、使用人員培訓(xùn)培訓(xùn)對象：系統(tǒng)一般使用人員。培訓(xùn)目的：熟練掌握所涉及部分的操作。培訓(xùn)內(nèi)容：系統(tǒng)使用。培訓(xùn)方式：集中培訓(xùn)和個別培訓(xùn)（主要針對領(lǐng)導(dǎo)）。培訓(xùn)批次：不少于2次的集中培訓(xùn)（本單位）。個別培訓(xùn)隨時安排。1.2培訓(xùn)對象由于本項目是一項綜合型的項目，系統(tǒng)使用范圍廣，用戶層次多，不同用戶層次使用的系統(tǒng)角色不相同，使用的內(nèi)容和側(cè)重點各不相同，因此我們在本項目中將針對不同的用戶層次提供針對性的用戶培訓(xùn)，保障培訓(xùn)效果，使各層次的用戶都能熟練掌握系統(tǒng)的相關(guān)知識。普通用戶層：普通用戶層是應(yīng)用系統(tǒng)的直接使用者，涉及到系統(tǒng)的各方面功能，是對系統(tǒng)功能理解最深、業(yè)務(wù)最熟悉的用戶群，然而普通用戶層由于覆蓋的面廣，各部門主要使用的功能模塊不盡相同，因此針對于普通用戶將按照不同的部門的側(cè)重點進(jìn)行分期培訓(xùn)，組織類似業(yè)務(wù)部門或單獨部門進(jìn)行培訓(xùn)，以便于各部門對各自業(yè)務(wù)系統(tǒng)使用的把握，以達(dá)到各用戶能熟練掌握系統(tǒng)的使用方法。系統(tǒng)管理員和應(yīng)用級管理員：系統(tǒng)管理員和應(yīng)用級管理員是業(yè)主單位對系統(tǒng)進(jìn)行管理維護的員，這一用戶掌握一定的信息技術(shù)，并且針對應(yīng)用系統(tǒng)管理員和平臺維護員分別進(jìn)行針對性的培訓(xùn)，主要側(cè)重于系統(tǒng)的建設(shè)原理和規(guī)劃，總體架構(gòu)，常見問題的解決，系統(tǒng)安裝配置等內(nèi)容。系統(tǒng)的維護和管理工作需要對應(yīng)用系統(tǒng)較熟悉，并且能處理運行過程中遇到的各類問題，因此對于軟件維護人員和管理員將采用共同參與項目維護和實施的方式，從長期實踐中逐漸掌握系統(tǒng)維護知識，提升其技術(shù)技能和對系統(tǒng)的認(rèn)識。技術(shù)人員培訓(xùn)：技術(shù)人員主要是指業(yè)主單位具備一定的應(yīng)用系統(tǒng)開發(fā)能力，主要用于系統(tǒng)上線后對系統(tǒng)的需求變動進(jìn)行二次開發(fā)和修改，以及系統(tǒng)擴展能力的技術(shù)人員，針對這一用戶群，將著重于應(yīng)用系統(tǒng)的開發(fā)原理、開發(fā)工具、系統(tǒng)架構(gòu)等進(jìn)行培訓(xùn)，使其掌握系統(tǒng)二次開發(fā)技術(shù)，為今后系統(tǒng)升級改造、功能擴展儲備技術(shù)力。武漢光谷創(chuàng)意文化科技園有限公司P（2014）104號地塊二期消防工程一、工程概況龍巖市中心城區(qū)道路總長66844m，道路車、人流量大，道路兩旁建筑商場密集。為滿足市政布置要求約120米處設(shè)置一個消防栓，總設(shè)計565個，需新建及改造320個消防栓，消火栓安裝在街道的十字路口區(qū)．在保證醒目又不影響行人、行車的位置上，同時考慮維護和日常排水泄水方便，宜設(shè)置在人行道街沿上，雨水排泄口旁，人行道樹側(cè)距路邊的距離宜1m處；距建筑外墻的距離不宜小于5m，同時，為便于使用，規(guī)定了消火栓距被保護建筑物不宜超過40m。安排雙龍路段先行施工，雙龍路位于龍騰路與曹溪路之間，全長1305m。二、工程特點1、管線沿線地形、地貌多變，可能需破路邊綠化，地下管線復(fù)雜不詳?，F(xiàn)場施工時必須與周圍群眾做好溝通，必須采取有力的措施，大力做好施工協(xié)調(diào)工作，精心組織施工，確保工期目標(biāo)的實現(xiàn)。2、施工工作面較大，施工時須合理安排。3、工程施工為露天作業(yè)，受天氣影響很大，會遇到許多意想不到的困難，如遇下雨天氣，需做好防雨措施等。三、施工總體安排根據(jù)業(yè)主總體工期安排以及現(xiàn)場實際情況進(jìn)行合理安排工期，計劃開工日期為2014年4月10日，完工日期為2014年6月9日，總工期60天。施工隊伍配置：每天16組，每組2人，其中工程師1名，現(xiàn)場管理人員2名，水電工6名，砼工6名，普工20名，安全員1名，共36人。主要材料機械配備

施工主要機械設(shè)備：采用閩山牌消防栓及管道，配備足夠的安裝、調(diào)試機具（各類材料的規(guī)格、性能、各類參數(shù)應(yīng)能滿足設(shè)計及施工規(guī)范的要求，并應(yīng)選用優(yōu)質(zhì)產(chǎn)品）；電焊機；電鉆；土建施工用具；挖機；自卸汽車等。四、完成進(jìn)度工期的措施1、采用流水計劃，詳細(xì)制定月、旬計劃，逐旬落實計劃完成情況，昨早計劃、早安排、早落實。做到只能超前，不能落后。2、認(rèn)真制定施工方法合理調(diào)配人員，提高機組急劇的利用率。3、嚴(yán)抓現(xiàn)場管理工作程序，樹立質(zhì)量意識；正確理解質(zhì)量和進(jìn)度的關(guān)系。4、提高現(xiàn)場施工人員的安全、環(huán)保意識，做到“三個保持、三個完善、三個落實”。5、在施工中針對質(zhì)量、計劃、進(jìn)度、安全等問題做到：常開會、常分析、常安排、常布局、常落實，促進(jìn)施工進(jìn)度。6、加強內(nèi)部管理，嚴(yán)格遵循自檢、報檢、抽檢程序，做到內(nèi)業(yè)資料數(shù)據(jù)的真實性。五、編制依據(jù)龍巖水務(wù)提供的圖紙及設(shè)計說明?！督o水排水管道工程施工及驗收規(guī)范》（GB50268—2008）《工程測量規(guī)范》（GB50026—93）《管道工程設(shè)計與施工手冊》；《建筑給排水及采暖工程施工驗收規(guī)范》（GB50242-2002）國家及福建省有關(guān)標(biāo)準(zhǔn)、規(guī)范、圖集。公司項目管理文件。公司ISO9001:2000質(zhì)量體系文件。六、施工組織方案1、施工前準(zhǔn)備：開工前，由管道專業(yè)工程師組織施工技術(shù)人員做好圖紙會審；組織技術(shù)人員對管道沿線的地形地貌現(xiàn)場勘察并做好技術(shù)資料的交接和書面交接記錄。施工現(xiàn)場做好清理準(zhǔn)備，清除現(xiàn)場障礙物，做好防護工作。2、施工安排根據(jù)工程特點和施工條件，本路段施工采取平行流水作業(yè)施工。3、施工主體方案測量放樣→挖管道溝槽（根據(jù)實際情況選擇是否用排水、降水措施）→基底夯實及墊層施工→管道安裝（管道防腐處理）→安裝閥門、消防栓→砌筑閥門井→給水管道系統(tǒng)自檢→系統(tǒng)試壓、滲水試壓→回填土及夯實土方→管道清洗及消毒→交工驗收。（一）、測量放線1、對業(yè)主提供的測量交底樁進(jìn)行復(fù)核，并按照施工需要加密導(dǎo)線點的控制網(wǎng)。為確?？刂凭W(wǎng)的可造性，將根據(jù)現(xiàn)場條件把控制點都選定在施工作業(yè)范圍外的永久物體上，做到各控制點通視性良好，符合施工需要，控制點選定后經(jīng)過實測和導(dǎo)線閉合把整個工程范圍內(nèi)的控制點坐標(biāo)定下來。2、臨時水準(zhǔn)點和管道軸線控制樁的設(shè)置應(yīng)便于觀測且必須牢固，沿管道兩側(cè)布置。設(shè)置控制點時充分考慮施工對場地的需要，把控制點布置在不影響施工的地方，并用混凝土護樁，縱橫軸線測設(shè)完畢后經(jīng)現(xiàn)場監(jiān)理復(fù)核認(rèn)可后方可使用。開槽鋪設(shè)臨時水準(zhǔn)點，每200米不應(yīng)少于1個。3、臨時水準(zhǔn)點、管道軸線控制樁、高程樁應(yīng)經(jīng)過復(fù)核方能使用，且經(jīng)常校核。4、已建管道，構(gòu)筑物等與本工程銜接的平面位置和高程，開工前應(yīng)校核。（二）、溝槽的開挖、支護和排水1、開挖土方開挖前，應(yīng)首先查明地下水位、土質(zhì)及地下現(xiàn)有管道、構(gòu)筑物等情況，然后根據(jù)實際情況制訂土方開挖、調(diào)運方案及是否需要采取溝槽降水、支撐等安全措施等。本工程開挖深度不大，根據(jù)土質(zhì)、地下水位、地下及地上構(gòu)筑物以及施工環(huán)境等情況進(jìn)行溝槽施工。溝槽的開挖采用直槽的形式，運輸土方機械利用10m3的自卸汽車。溝槽開挖前先進(jìn)行測量放樣，放出管道中心線，按中心線用白粉劃出。開挖應(yīng)分段進(jìn)行。當(dāng)挖至距槽底20㎝時，測量放樣，采用人工挖土，修整槽底，經(jīng)驗槽合格后，立即進(jìn)行基礎(chǔ)施工。當(dāng)溝槽底有軟土或腐殖土?xí)r應(yīng)全部挖除，拋石排淤，并回填。超挖部分在填實整平后其壓實度不得小于90%。溝槽開挖時應(yīng)注意：⑴、基坑（槽）兩側(cè)臨時堆土或施加其他荷載時，不得影響臨近建筑物、各種管線和其他設(shè)施的使用和安全，另外也應(yīng)考慮對基坑（槽）土壁安全的影響。人工挖土?xí)r要求堆土高度不超過1.5m，距槽口邊緣距離不得小于1米。并及時將挖出的土方外運出去。⑵、開挖時應(yīng)注意不得掩埋消火栓、管道閘閥、雨水口、測量標(biāo)志以及各種地下管道的井蓋等，且不得防礙其正常使用。⑶、在有行人、車輛通過的地方開挖，應(yīng)設(shè)護欄及警示燈等安全標(biāo)志。⑷、當(dāng)下步工序與本工序不連續(xù)施工時，槽底應(yīng)預(yù)留保護土層不挖，待下部工序開工時再挖。⑸、采用坡度板控制槽底高程和坡度時，坡度板應(yīng)選用有一定剛度且不易變形的材料制作，其應(yīng)設(shè)置牢固，平面上呈直線的管道，坡度板間距為15米一塊。呈曲線管道的坡度板間距應(yīng)加密，井室位置、折點及變坡點位置應(yīng)增設(shè)。⑹、槽底高程的允許偏差應(yīng)控制在±20mm范圍內(nèi)。2、支撐溝槽是否需要設(shè)置支撐應(yīng)根據(jù)溝槽的土質(zhì)，地下水位，開槽斷面及荷載條件等實際因素進(jìn)行考慮。結(jié)合本工程管徑不大、開挖溝槽比較窄的實際情況，部分需要支護段的溝槽支撐形式擬采用斷續(xù)式水平擋土板橫支撐的形式。3、排水施工前應(yīng)根據(jù)現(xiàn)場的實際情況（或者試坑的涌水量數(shù)據(jù)）制訂合理的排水措施。結(jié)合本工程的實際情況（附近有濕地及水塘等），如需人工降低地下水位，優(yōu)先考慮采用輕型井點降水的施工方法。安置位置應(yīng)靠在水塘一側(cè)，井點安裝距溝槽上口邊緣0.5～1m，井點排水溝距井點4m左右，用管子將井點與排水溝連接。降水的工藝流程為：開挖排水溝→設(shè)總管→孔、下井管、灌砂、封口→裝連接軟管→安裝抽水設(shè)備、接通電源→試抽→抽水排水時應(yīng)注意：砂濾層應(yīng)選用干凈粗砂，填縫均勻，砂填至濾管頂上1～1.5m，上用粘土封口以防漏氣降低降水效果。井點系統(tǒng)安裝完畢后需進(jìn)行試抽以檢查有無漏氣現(xiàn)象。開始抽水后嚴(yán)禁時抽時停，正常的抽水應(yīng)是細(xì)水長流、出水澄清。進(jìn)點抽水2～3天后挖驗土坑開始挖溝槽，抽水至溝槽回填運載水位以上時結(jié)束。集水總管底面及水泵基座的高程應(yīng)盡量降低。（三）基礎(chǔ)墊層的施工1、管道基礎(chǔ)均采用砂墊層，基礎(chǔ)厚度：一般土質(zhì)：100mm；較差土質(zhì)：200mm。當(dāng)?shù)鼗休d力小于設(shè)計要求時，須對地基先進(jìn)行補強處理再鋪設(shè)砂礫基層。2、基礎(chǔ)砂墊層施工。清除基底的雜物和浮土，排干溝底的積水，進(jìn)行基礎(chǔ)鋪筑，即在基底鋪一層砂。3、管道基礎(chǔ)有地下水時鋪墊20cm厚、顆粒尺寸5-40cm的碎石墊層，上鋪厚50cm中、細(xì)砂墊層；無地水時溝槽底鋪設(shè)15cm厚碎石,上鋪5cm中、細(xì)砂墊層。4、管道基礎(chǔ)支承角應(yīng)依基礎(chǔ)地質(zhì)條件、地下水位、管徑及埋深等條件由設(shè)計計算確定。5、管道基礎(chǔ)應(yīng)按設(shè)計要求鋪設(shè)，厚度不得小于設(shè)計規(guī)定?；A(chǔ)各部位的壓實度應(yīng)符合有關(guān)規(guī)定。6、管道基礎(chǔ)在接口部位的凹槽，宜在鋪設(shè)管道時隨鋪隨挖。凹槽長度按管徑大小采用，宜為0.4～0.6m,凹槽深度宜為0.05~0.1m,凹槽寬度宜為管外徑的1.1倍在接口完成后，凹槽隨即用砂回填密實（四）、管道安裝管道的安裝1、排管前要先對槽底高程復(fù)核，復(fù)核無誤后鋪設(shè)砂礫，保證砂礫厚度，并在井位架設(shè)龍門桿以控制中線，龍門桿架設(shè)要牢固，不得有松動。2、管節(jié)安裝前應(yīng)對管材按產(chǎn)品標(biāo)準(zhǔn)逐支檢查，不符合標(biāo)準(zhǔn)不得使用。3、管道安裝采用人工安裝。槽深不大時可由人工抬管入槽，槽深大于3m時，可用非金屬繩索溜管入槽，依次平衡地放在砂礫基礎(chǔ)理論管位上。嚴(yán)禁用金屬繩索勾住兩面端管口或?qū)⒐懿淖圆圻叿瓭L拋入槽中。4、承插口管安裝，管道承口應(yīng)放在檢查井的進(jìn)水方向，插口方向應(yīng)放在檢查井的出水方向，由低點向高點依次安裝。5、調(diào)整管材長短時可用手鋸切割，斷面應(yīng)垂直平整，不應(yīng)有損壞。6、管節(jié)安裝完畢經(jīng)檢驗中心線、高程合格后，立即支設(shè)鋼模板。模板支好后清除模板中的塵渣、異物，核實模板尺寸。7、管材采用人工安裝，安裝時根據(jù)控制樁嚴(yán)格控制管道中心和高程，以避免管內(nèi)底高程超差.橡膠圈的環(huán)內(nèi)徑，宜為插口端外徑的0.85～0.9，橡膠圈斷面直徑壓縮率一般采用40%。清理干凈承口內(nèi)橡膠圈溝槽，插口端工作面及橡膠圈，不得有土或其它雜物。將橡膠圈正確安裝在承口橡膠圈內(nèi)，不得裝反或扭曲，為了安裝方便可先用水浸濕膠圈，但不得在橡膠圈上涂潤滑劑安裝。橡膠圈連接管材在施工中被切斷時（斷口平整且垂直管軸線