南航SVC大數(shù)據(jù)支撐案例提綱

進一步的工作

系統(tǒng)架構(gòu)

技術(shù)選型考慮

案例說明

數(shù)據(jù)分散，形成數(shù)據(jù)孤島；無法統(tǒng)一共享。13456278高端系統(tǒng)旅客資料大客戶旅客資料呼叫旅客資料客艙旅客資料電子客票旅客資料離港旅客資料銷售旅客資料客戶統(tǒng)一視圖系統(tǒng)（SVC）CustomerLoyalty投訴SeatingInventoryCheck-inFlightDataIrregularOperationsSchedulesGeneralInformationWeight&BalanceTicketingReservations3rdParty呼叫中心B2C離港行李查詢中轉(zhuǎn)客艙DWET高端大客戶?？蚐VC通過SVC系統(tǒng)統(tǒng)一客戶數(shù)據(jù)

集中訪問效率不高，系統(tǒng)穩(wěn)定性不足，投資大。SVC初期探索SVC架構(gòu)優(yōu)化思考及技術(shù)選型RMDB主要技術(shù)難題

擴展困難并發(fā)讀寫慢成本高（小型機+存儲）無法支撐海量數(shù)據(jù)NoSQL的優(yōu)點NoSQL的不足大數(shù)據(jù)量高性能、高可用彈性擴展能力靈活的數(shù)據(jù)模型低成本

不完全支持SQL不支持事務(wù)不支持多表關(guān)聯(lián)不支持聚合查詢無法保證數(shù)據(jù)一致性優(yōu)點遷移成本底方案成熟穩(wěn)定能很好的支撐事務(wù)能保證數(shù)據(jù)的完整性能提供較高的TPS滿足業(yè)務(wù)性能要求開發(fā)成本低，技術(shù)風險低有較好的擴展性我們的選擇

并發(fā)訪問量高，速度快，穩(wěn)定高效，系統(tǒng)投資小。系統(tǒng)部署架構(gòu)數(shù)據(jù)庫小型機C檔光纖交換機光纖交換機B檔磁盤陣列磁盤陣列B檔數(shù)據(jù)庫軟件SVC主備兩套CBD主備兩套

小型機方案匯總600萬數(shù)據(jù)庫PCserver數(shù)據(jù)庫軟件SVC主備兩套，CBD主備兩套匯總35萬分布式方案并發(fā)訪問量高，速度快，穩(wěn)定高效，系統(tǒng)投資小。投資比較結(jié)果比較選擇hadoop+hive做分析平臺高效率：通過分發(fā)數(shù)據(jù)，hadoop可以在數(shù)據(jù)所在的節(jié)點上并行地處理,處理非常的快速。高擴容能力：服務(wù)器群總計可達數(shù)千個節(jié)點，能可靠地存儲和處理PB級數(shù)據(jù)。成本低：使用普通機器組成的服務(wù)器群來分發(fā)以及處理數(shù)據(jù)?？煽啃裕篽adoop能自動地維護數(shù)據(jù)的多份復制，并且在任務(wù)失敗后能自動地重新部署計算任務(wù)?？缙脚_：JAVA實現(xiàn)支持各種平臺并支持多種語言的MapReduce.A表(30億)+B(2億)表A表做聚合統(tǒng)計查詢，時間5分12秒；A表做數(shù)據(jù)清洗，時間12分07秒A表與B表join后做聚合統(tǒng)計查詢，時間14分36秒測試結(jié)果數(shù)據(jù)分析平臺架構(gòu)業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)處理集群任務(wù)調(diào)度平臺管理器元數(shù)據(jù)管理安全管理任務(wù)管理集群管理平臺管理平臺監(jiān)控HiveDevoloper文件管理處理結(jié)果導出ETL工具高速數(shù)據(jù)存取通用數(shù)據(jù)訪問數(shù)據(jù)統(tǒng)一管理可配置化無需編程業(yè)務(wù)處理與hadoop分離交易數(shù)據(jù)文件/郵件數(shù)據(jù)客戶數(shù)據(jù)設(shè)備/運行數(shù)據(jù)大數(shù)據(jù)處理平臺DatanodeDatanodeDatanodeDatanodeNamenodeHDFSETL數(shù)據(jù)A1A2A1A2A1A2MapReduce任務(wù)管理導入導入數(shù)據(jù)清洗Hadoop可以存貯PB級別的數(shù)據(jù)，并且每個文件在不同的機器上有2份或3份備份，這樣即使一臺機子故障，將不會影響系統(tǒng)的可用性。大數(shù)據(jù)處理平臺大數(shù)據(jù)存儲問題的解決MySqlHadoop集群ETL工具平臺數(shù)據(jù)轉(zhuǎn)換服務(wù)3、轉(zhuǎn)換任務(wù)調(diào)用4、數(shù)據(jù)轉(zhuǎn)換1、數(shù)據(jù)導入BI分析BI系統(tǒng)報表查詢數(shù)據(jù)源SVCCBDFFP2、數(shù)據(jù)導入Hivemapred5.1、報表生成5.2、特殊報表生成6、報表導出BI分析效率的解決構(gòu)建開源數(shù)據(jù)服務(wù)平臺分布式數(shù)據(jù)庫中間件數(shù)據(jù)庫節(jié)點數(shù)據(jù)庫節(jié)點數(shù)據(jù)庫節(jié)點數(shù)據(jù)庫節(jié)點可擴容至1024個節(jié)點界面化配置按需擴容靈活緩存機制：注解式、配置式、編程式、AOP攔截在應(yīng)用和底層數(shù)據(jù)源之間，構(gòu)建一層代理，統(tǒng)一數(shù)據(jù)層；垂直切分：數(shù)據(jù)按業(yè)務(wù)劃分存儲在不同的數(shù)據(jù)庫，表間關(guān)聯(lián)密切的表劃分在一起，例如同一模塊的表。水平切分：將同一個表中的不同數(shù)據(jù)拆分到不同的數(shù)據(jù)庫中；統(tǒng)一數(shù)據(jù)訪問API：隱藏后端復雜數(shù)據(jù)分布細節(jié)，數(shù)據(jù)庫操作看起來就像是在同一數(shù)據(jù)庫中；建設(shè)目標通過分布式集群實現(xiàn)分庫分表，解決大數(shù)據(jù)支撐問題；利用Galera，在客戶端與MySQL服務(wù)器之間抽象出一層“統(tǒng)一數(shù)據(jù)中間層”，統(tǒng)一數(shù)據(jù)中間層包含HA功能，以簡化MySQL的高可用環(huán)境的構(gòu)建；實現(xiàn)集群自動管控功能，包括節(jié)點增減、監(jiān)控等；實現(xiàn)數(shù)據(jù)服務(wù)云統(tǒng)一數(shù)據(jù)服務(wù)平臺中間層數(shù)據(jù)服務(wù)平臺架構(gòu)容易引起:重復研究法律問題

包版本沖突系統(tǒng)不穩(wěn)定技術(shù)無法積累對人員要求高研發(fā)成本高后續(xù)維護成本高分享：開源技術(shù)統(tǒng)一管理的必要性平臺層視圖層框架層中間件層js：query、dwr、swato、GWT、prototype……UI控件：Dhtml、jqueryUI、ExtJs、easyui……JSP：velocity、tag、JFS……MVC：struts1、struts2、spring、webwork……ORM：hibernate、ibatis、persist……組件：日志類、工作流類、XML解釋類、安全類、緩存池類、接口服務(wù)類、數(shù)據(jù)傳輸類……容器：tomcat、jboss、jetty、apach、nginx……消息：activeMq、mule、openESB….集群管理：zookeeper、heartbeat、lvs、ganglia、

Nagios……DB：mysql、

PostgreSQL……NoSQL:hadoop、mongoDB、hive、pig……工具：Kettle、sqoop、datax、cobar、Myfox…..……開源技術(shù)推廣和應(yīng)用開源社區(qū)積極推廣，提升項目交付能力，降低IT成本…逐步完善和擴展，形成技術(shù)積累基于開源社區(qū)實現(xiàn)四大統(tǒng)一對選定的技術(shù)逐步優(yōu)化和擴展功能開源技術(shù)統(tǒng)一選型公用包統(tǒng)一管理開發(fā)框架統(tǒng)一封裝通用組件統(tǒng)一研發(fā)分享：開源技術(shù)管理策略分享：開源技術(shù)管理方法公用開源包用maven進行統(tǒng)一管理，形成企業(yè)開源庫占領(lǐng)開源技術(shù)前沿節(jié)約成本、滿足業(yè)務(wù)需求開源技術(shù)統(tǒng)一選型開發(fā)框架統(tǒng)一封裝通用組件統(tǒng)一研發(fā)產(chǎn)品評估技能評估法律評估ROI評估研發(fā)團隊企業(yè)開源軟件庫優(yōu)化完善MVC框架持久化框架UI框架開發(fā)規(guī)范開發(fā)工具推廣實施實現(xiàn)工具化、模塊化、規(guī)范化逐步積累實現(xiàn)重用降低成本提高質(zhì)量分享：開源技術(shù)的推進策略開源實驗室技術(shù)選型、架構(gòu)設(shè)計、技術(shù)研究、產(chǎn)品研發(fā).開源技術(shù)研發(fā)工作：將技術(shù)推廣到每個項目組，每個程序員，讓大家都用起來。技術(shù)推廣：提升交付能力：通過積累開源技術(shù)能力，達到降低成本，提高效率的目的。分析技術(shù)需求、設(shè)定技術(shù)目標、制定技術(shù)規(guī)范。規(guī)劃與設(shè)計：去IOE化降低成本解決性能和大數(shù)據(jù)問題簡化開源技術(shù)降低難度技術(shù)規(guī)劃與推廣分享：組織機構(gòu)設(shè)計技術(shù)小組（虛擬團隊）開源實驗室研發(fā)團隊公司領(lǐng)導項目經(jīng)理團隊需求提出技術(shù)發(fā)展規(guī)劃規(guī)范制訂技術(shù)評審開源項目驗收開源產(chǎn)品研究、測試、封裝、開發(fā)……架構(gòu)師團隊實施推廣團隊架構(gòu)師技術(shù)評估技術(shù)選型技術(shù)目標制訂架構(gòu)設(shè)計開源管理技術(shù)文檔編寫技術(shù)培訓技術(shù)網(wǎng)站維護項目技術(shù)支持技術(shù)戰(zhàn)略調(diào)配資源南航推進軟件開源化成果1建立以五大數(shù)據(jù)核心為基礎(chǔ)的開源化SOA平臺

通過開源化，已經(jīng)完成旅客信息、旅客行為、運行控制信息三大核心數(shù)據(jù)庫及面向SOA核心服務(wù)平臺。2移動化、整合業(yè)務(wù)應(yīng)用端

在企業(yè)核心服務(wù)平臺基礎(chǔ)上，利用開源技術(shù)，重新整合呼叫中心、地面服務(wù)等應(yīng)用，面向崗位需求實施移動化策略。3建立統(tǒng)一WEB技術(shù)架構(gòu)

使用開源技術(shù)，開發(fā)可伸縮性的統(tǒng)一平臺架構(gòu)，統(tǒng)一移動應(yīng)用架構(gòu)，統(tǒng)一WE