1、主流IT技術與架構評估報告1匯報摘要IT技術預研體系的建立是十分必要和迫切的IT技術預研工作，輸出兩部分成果，預研管理辦法和IT產品預研庫現(xiàn)階段技術預研計劃及后續(xù)預研方向目錄第一部分預 研 目 標第二部分預 研 背 景 與 思 路第三部分前 期 工 作 回 顧第四部分后 續(xù) 工 作 計 劃預研的定位和意義健全健全XXXX的技術管理體系，形成從預研到運維保障的閉環(huán)式管理，形成自我完善、自我提升的機制。提高通過建立技術儲備庫，提高后續(xù)各項工作效率，以及技術保障服務的價值。儲備從各種途徑（包括廠商、開發(fā)商、權威機構、技術培訓、主題研討、各種媒體等）收集、整理和甄別各種自身需求的技術，形成相對固定的技

2、術儲備庫。降低降低后續(xù)各類技術研究、推廣應用的風險和成本，減少重復工作。預研管理流程選型管理流程版本管理流程使用反饋管理流程IT技術產品庫評估指標評分方法標準化技術平臺管理體系 IT技術預研是整個技術管理體系中的首要環(huán)節(jié)，也是使用各種IT新技術的前提條件，但目前缺乏明確的管理流程。技術預研體系的建立，對引領后續(xù)技術研究和應用方向，具有十分重要的現(xiàn)實意義。定位意義預研目標在現(xiàn)有XXXXIT技術管理體系架構的基礎上，通過技術預研環(huán)節(jié)的設立，建立起完善的技術平臺管理體系。預研跟蹤研究測試建設推廣運維保障XXXXIT技術預研預研管理辦法IT產品預研庫包括設立一個虛擬的專業(yè)組織和制定一套完善的、可執(zhí)行的

3、技術預研管理辦法。建立一個相對穩(wěn)定、可維護的技術儲備知識池，包括服務和產品目錄。整個預研工作主要包含兩部分內容：目錄第一部分預 研 目 標第二部分預 研 背 景 及 思 路第三部分前 期 工 作 回 顧第四部分下 一 步 工 作 計 劃預研背景（1/2）1.X86化資源池化 云化以去“IOE”為代表，在現(xiàn)有資源虛擬化、資源池化的基礎上，進一步探索、實踐各種云計算框架技術，實現(xiàn)IT資源的云化。從本質上改變IT界傳統(tǒng)的產品服務模式，成為嶄新的互聯(lián)網服務模式。2.大數據“大數據”是指其大小超出了典型數據庫軟件的采集、儲存、管理和分析等能力的數據集：滿足4V(Variety,Velocity,Volu

4、me,Value，即種類多、流量大、容量大、價值高)指標，通過高速捕捉、發(fā)現(xiàn)和/或分析，是從大容量數據中獲取價值的一種新的技術架構。 3.總部第三代業(yè)務支撐系統(tǒng)整體原則“進行高性能云化架構,大數據實時驅動,開放式能力集成轉型。以提高內外部客戶滿意度、降低成本、提升運營效率為目標，實現(xiàn)系統(tǒng)交互個性化、服務平臺化，滿足互聯(lián)網時代更好、更快、更靈活、更安全的業(yè)務服務要求” ，總體要求“中心化、平臺化、服務化”，特征要求“開放、敏捷、實時、智能、統(tǒng)一”。云化大數據總部第三代業(yè)務支撐系統(tǒng)預研背景結合互聯(lián)網企業(yè)先進理念和運營商實際情況制定的XXXX公司云平臺藍圖預研背景（2/2）運營門戶資源管理服務目錄流

5、程管理監(jiān)控告警部署自動化容量管理運維自動化安全管理自助服務云運維和運營PaaS業(yè)務支撐系統(tǒng)客戶服務系統(tǒng)經營分析系統(tǒng)管理信息系統(tǒng)業(yè)務系統(tǒng)IaaS物理資源（服務器、磁盤陣列、交換機、路由器）分布式協(xié)調服務（DCS）分布式調度服務（DDS）應用容器（AC）實體服務總線（ESB）虛擬服務總線（VSB）分布式消息隊列（DMQ）分布式緩存（DMC）流程引擎（BPE）技術平臺服務（TPaaS)彈性計算平臺服務（EPaaS)計算虛擬化（VCS）容器虛擬化（CVS）計算服務（CIaaS)網絡虛擬化（NV）網絡功能虛擬化（NFV）網絡服務（NIaaS)分布式塊存儲（DBS）分布式文件存儲（DFS）分布式對象存儲（

6、DOS）存儲服務（SIaaS)批處理（BP）強一致性數據分析（CDA）強一致性數據挖掘（CDM）流計算（SP）分布式內存數據庫（DMD）數據交換（DE）大數據平臺服務（BDPaaS)交互式數據處理（IDP）關系型數據庫（RD）強一致性分布式內存數據庫（CDMD）數據平臺服務（DPaaS)弱一致性非關系型數據庫（WCN）統(tǒng)一數據訪問層（UDAL）負載均衡（LB）預研思路貫徹總部要求解決存在問題跟蹤技術發(fā)展借鑒標桿經驗圍繞XXXX的業(yè)務發(fā)展戰(zhàn)略聚焦技術能力的逐步輸出開放實現(xiàn)服務產品化，產品目錄化預研思路貫徹總部要求第三代業(yè)務支撐系統(tǒng)充分利用云計算和大數據技術，統(tǒng)一進行技術架構轉型，標準化的實現(xiàn)大數

7、據實時驅動，高彈性云化架構，能力集成與開放，以滿足業(yè)務支撐系統(tǒng)開放、敏捷、智能化的要求。成為客戶運營的核心和鏈接數字化服務的紐帶，支撐三條曲線、使能數字化服務。云化架構大數據第三代業(yè)務支撐系統(tǒng)能力開放統(tǒng)一管控架構敏捷實時互動智能運營流程引擎、規(guī)則引擎以Java為主的開發(fā)運行環(huán)境開源DBMS/中間件/開發(fā)運行環(huán)境平臺架構大數據計算框架，如Hadoop流計算框架，如Spark，Storm總線集成：采用多級總線結構過服務總線聯(lián)邦非結構化數據新增客戶接觸信息等非結構化數據存儲；歷史訂單等數據。詳單云存儲，實現(xiàn)分布式部署數據架構數據分布部署分布式部署：完成產品、資源；嘗試三戶、訂單等核心數據內存計算技術

8、CRM引入分布式內存緩存和內存庫技術計費內存庫分布式部署計算資源池CRM系統(tǒng)實現(xiàn)全X86化，Billing系統(tǒng)實現(xiàn)全X86化，全部新增應用要求全X86化云化的基礎設施架構存儲資源池存儲資源池（盤陣、低成本存儲），SSD存儲技術引入升級網絡能力高速網絡技術引入，如Infiniband強化網絡安全技術預研思路解決存在問題預研環(huán)節(jié)缺失預研環(huán)節(jié)缺失，預研人員和流程的不健全，無法形成技術預研的長效機制技術儲備不足技術儲備不足，被動式響應業(yè)務方面需求，不能很好地對技術產品進行綜合評估、有效管控新技術缺乏主動探索缺乏主動探索各種新技術的機制，存在一定程度的技術壁壘，不能及時高效地支撐業(yè)務的飛速發(fā)展技術預研機

9、制不全預研思路跟蹤技術發(fā)展云計算OpenStack：NOVA、Swift、CindDocker、KVMMesos、Zookeeper軟件定義軟件定義（SDX）：軟件定義網絡（SDN），軟件定義存儲（SDS），軟件定義數據中心（SDDC），軟件定義基礎架構（SDI）。大數據Hadoop：HDFS、Hbase、Pig、Hive、YARNSpark：SparkSQL、Streaming；StormMPP開源技術 Jboss、Kafka、Nginx、MySQL、PostgreSQL、CouchDB、Docker、Cloud Foundry、Ansible、cacti預研思路借鑒標桿經驗阿里技術生態(tài)IA

10、AS服務-ECS、VPC、OSS大致對應網絡、I、E、虛擬機等基礎設施PAAS服務：ACE、MQS、RDS、DRDS、SLB、ODPS、ADS、OTS、OCS大致對應中間件、數據管理軟件等平臺軟件目錄第一部分預 研 目 標第二部分預 研 背 景 與 思 路第三部分前 期 工 作 回 顧第四部分后 續(xù) 工 作 計 劃IT產品預研庫預研管理辦法預研方向開 源 技 術云計算大數據以Openstack、Docker為代表的開源云計算框架，重新架構、調整各個層次的要素，包括應用、中間件、資源、安全等等，力爭實現(xiàn)輕負載、敏捷部署、快速交付、彈性擴展。以Hadoop、Spark為代表的大數據框架，相較于傳統(tǒng)

11、的關系型數據庫，能夠支持更海量的數據處理，快速查詢、實時處理，以及更好地兼容SQL語句。以Apche、linux為代表的開源技術，已經成為國內外大型互聯(lián)網企業(yè)的首選技術，目前在世界排名前一萬的網站中有74.6%的網站由運行開源軟件的網絡服務商提供支持。這種“軟件開源化”的趨勢不僅降低了企業(yè)運營和開發(fā)的成本，而且也將推動其它行業(yè)對開源技術的應用。預研范圍整個技術能力平臺是本次IT技術預研的范圍：通過新一代云計算技術的預研和應用，實現(xiàn)技術架構標準化、開放化、抽象化、服務化，打造以PaaS能力為核心的企業(yè)級云平臺，滿足互聯(lián)網時代業(yè)務對技術架構高并發(fā)、高可靠、快速響應、海量存儲等的要求，降低整體TCO

12、。是云平臺核心構件（相當于數據中心操作系統(tǒng)），是實現(xiàn)資源深度彈性伸縮、提高資源利用率、降低TCO的關鍵，包括分布式調度、分布式協(xié)調和負載均衡服務。提供運行與開發(fā)的環(huán)境，幫助用戶靈活、高效地開發(fā)和集成復雜的應用系統(tǒng)，包括應用容器、消息總線、分布式消息隊列等服務。提供關系型的數據存取、路由訪問能力（跨平臺、異構數據庫間的路由訪問能力由統(tǒng)一數據訪問層提供），包括關系型數據庫、統(tǒng)一數據訪問等服務。提供基于大數據的數據聚合、數據質量管理、數據挖掘、數據清洗、數據分析等能力，包括流計算、批處理、交互式數據處理等服務。EPAASTPAASDPAASBDPAASIAAS由計算服務、網絡服務以及存儲服務構成的基

13、礎設施服務，是實現(xiàn)資源集中、共享、標準化的前提條件，具備虛機級彈性伸縮能力。應用1業(yè)務能力EPAASTPAASIAAS應用2能力集成DPAASBDPAAS技術能力平臺業(yè)務能力中心輕量級敏捷應用基于能力開放的系統(tǒng)建設預研產品搜集原則技術發(fā)展趨勢社區(qū)活躍度行業(yè)最佳實踐權威機構報告產品搜集原則市場占有率開源社區(qū)的活躍程度，可以識別該技術產品的成熟度和前景，如Github Star數量技術論壇等生態(tài)支持體系是否豐富，如國內CSDN、Itpub等權威的咨詢機構，如Gartner、埃森哲預測報告、評估報告第三方組織評分，如db-engines排名行業(yè)外的先進經驗，現(xiàn)階段主要參照BAT集團公司、兄弟省公司等

14、行業(yè)內的經驗交流學術研究機構的研究成果，如Google、Amazon等發(fā)表的技術論文，代表了一定的技術發(fā)展趨勢預研內容-IAAS層發(fā)展趨勢IAAS發(fā)展趨勢1234軟件定義資源池化、云化敏捷部署 高彈性深度融合，全局化計算、存儲、網絡這三種基本的IT資源將相互之間深度融合，邊計算邊存儲、邊存儲邊計算，邊傳輸邊計算等等，極大地提高了資源利用效率。同時，整個資源的分配也是從全局視角來看待，而不是局限于某一臺或一組設備。靈活調度，智能配置。尤其是隨著業(yè)務規(guī)模的快速膨脹，業(yè)務種類的日趨復雜，有些業(yè)務愈加單一、輕負載，對資源的快速反應、敏捷部署提出了更高的要求。資源池化技術能夠帶來靈活、彈性的資源部署、交

15、付，提高資源利用率，還能夠更有效的提高故障修復能力，提升整個資源平臺的運營、維護效率。而云化是對池化的資源進行更加靈活、可靠的調整、優(yōu)化。由于未來的業(yè)務需求變化會更快、開發(fā)迭代周期會更短、上線會更加頻繁，所以資源層的架構一定要響應這種系統(tǒng)配置要求，它的系統(tǒng)資源消耗一定要輕，它的部署、交付一定要隨需而動，快速、敏捷，它的運維一定要智能、高效。預研內容-IAAS層產品目錄（1/4）服務域服務類產品目錄技術特點計算服務CIAAS計算虛擬化VCSVMWARE全球桌面到數據中心虛擬化解決方案的領導廠商，在虛擬化和云計算基礎架構領域處于全球領先地位，所提供的經客戶驗證的解決方案可通過降低復雜性以及更靈活、

16、敏捷地交付服務來提高IT效率，提供的方法可在保留現(xiàn)有投資并提高安全性和控制力的同時，加快向云計算的過度。主要產品有：VMware Workstation、VMware Player、VMware Fusion、VMware Server、VMware ESXi服務器、VMware vSphere、VMwarevStorage、VMware ESX、VMware服務器、VirtualCenter、VMotion和P2V等。XEN一個基于X86架構、發(fā)展最快、性能最穩(wěn)定、占用資源最少的開源虛擬化技術，可以在不停止的情況下在多個物理主機之間實時遷移。KVM使用Linux內核的虛擬機技術。具有高性能、

17、高擴展與高安全性特點，在異構環(huán)境也能很好的進行管理，在虛擬化桌面方面，可以提供可靠的可擴展的鏡像服務器。Hyper-V高效率的VMbus架構，安全可靠、執(zhí)行效率高，能充分利用硬件資源，使虛擬機系統(tǒng)性能更接近真實系統(tǒng)性能，完美支持Linux系統(tǒng)。容器虛擬化CVDocker輕量級虛擬化，啟動快，資源占用小，安全隔離，運行環(huán)境標準化境，可以構建標準化運行環(huán)境、自動化測試環(huán)境和持續(xù)集成環(huán)境，以及一切可以橫向擴展的應用。RocketCoreOS推出的一款容器引擎，和 Docker 類似幫助開發(fā)者打包應用和依賴包到可移植容器中，簡化搭環(huán)境等部署工作。和 Docker 不同的地方在于，Rocket 沒有 D

18、ocker 那些為企業(yè)用戶提供的“友好功能”，更像是一個純粹的業(yè)界標準，旨在將容器真正的變成一款命令行工具。預研內容-IAAS層產品目錄（2/4）服務類產品目錄技術特點存儲服務SIAAS分布式塊存儲DBSCeph一方面實現(xiàn)了高度的可靠性、可擴展性和自動化，另一方面保證了客戶端訪問的相對低延遲和高聚合帶寬，統(tǒng)一提供對象存儲、塊存儲和文件系統(tǒng)存儲三種功能。ScaleIO一套服務器端的虛擬SAN，以純軟件的方式將存儲和計算資源聚合到一起，形成單層的企業(yè)級存儲產品。ScaleIO存儲彈性靈活，可以提供可線性擴展的性能。其橫向擴展服務器SAN體系結構可以從幾個服務器擴展至數千服務器。作為一個統(tǒng)一的虛擬S

19、AN，允許存儲驅動器連接到物理和虛擬應用服務器節(jié)點，進行匯集、管理和匯總。ScaleIO的彈性融合存儲的平行架構讓性能實現(xiàn)線性擴展，從而消除I/O瓶頸對應用性能的影響。另外，純軟件的形式也無需強制使用任何存儲陣列。VSAN1.運行在標準x86服務器上。2.分布式集群，把VM數據文件打散放在多個主機上，每個服務器的本地存儲網絡池化。3.使用SSD作為讀寫緩存加速層，混合型策略，由SSD提供性能，普通機械硬盤提供容量，適用的市場范圍更廣。4.VSAN中沒有LUN也不需要做RAID 5或者RAID 0+1，使用VMDK為單位的對象存儲，所有虛擬化性能、容量、調優(yōu)設置和存儲策略改變都是在VMDK范圍中

20、完成的。5.VSAN嵌入vSphere內核中，I/O數據路徑短且性能高，管理員可以通過簡單的點擊操作與許可密鑰配置啟用VSAN功能，可以在vCenter界面管理VSAN。FSS使用Share Nothing架構，重新定義存儲管理架構，使用成熟的RDMA技術作為基礎，實現(xiàn)極速I/O響應，更高的速度，更低的延遲，高資源利用率，且沒有單點故障。FusionStorage一個分布式存儲軟件，在通用x86服務器上部署該軟件把所有服務器的本地硬盤組織成一個虛擬存儲資源池，提供塊存儲功能。主要特點包括：領先的分布式架構，高性能和高可靠性，并行快速故障重建，易擴展和超大容量，計算存儲深度融合。SmartSto

21、r能夠配置高達數TB存儲空間的NAS設備，內建磁盤陣列，支持RAID技術，0、1、5、10，為確保數據存儲安全性，支持HTTPS、網絡整合、Microsoft ADS及Unix NIS，另外也提供了完整的使用者、使用群組與存儲空間配額管理功能，設備管理方面通過內建的網絡圖形界面實現(xiàn)輕松管理的功能。預研內容-IAAS層產品目錄（3/4）服務類產品目錄技術特點應用場景存儲服務SIAAS分布式文件存儲DFSHDFS高容錯性，簡單一致性，XXXX計算，平臺兼容性好。GFS一個管理大型分布式數據密集型計算的可擴展的分布式文件系統(tǒng)，它使用廉價的商用硬件搭建系統(tǒng)并向大量用戶提供容錯的高性能的服務。在文件末尾

22、附加數據，數據流和控制流分開。GPFS跨系統(tǒng)平臺的文件共享系統(tǒng)，主要功能包括：1.將不同的存儲服務器不同LUN組合成一個存儲池，形成GPFS獨有的文件系統(tǒng)GPFS；2.GPFS允許集群中計算結點以本地I/O的方式，同時訪問放置在多個I/O節(jié)點磁盤陣列中的相同數據。不但實現(xiàn)了跨平臺的文件共享，還大幅度提高了I/O節(jié)點與磁盤陣列數據之間的訪問帶寬, 大幅度提高了集群系統(tǒng)的性能。FastDFS一款類Google FS的為互聯(lián)網應用量身定做的開源分布式文件系統(tǒng)，它用純C語言實現(xiàn)，充分考慮了冗余備份、負載均衡、線性擴容等機制，并注重高可用、高性能等指標。支持Linux、FreeBSD、AIX等UNIX系

23、統(tǒng)。它只能通過專有API對文件進行存取訪問，不支持POSIX接口方式，不能mount使用。和現(xiàn)有的類Google FS分布式文件系統(tǒng)相比，F(xiàn)astDFS的架構和設計理念有其獨到之處，主要體現(xiàn)在輕量級、分組方式和對等結構三個方面。非常適合用來存儲用戶圖片、視頻、文檔等文件。分布式對象存儲DOSswift極高的數據持久性，完全對稱的系統(tǒng)架構，無限的可擴展性，無單點故障，簡單、可依賴。用于永久類型的靜態(tài)數據的長期存儲，如網盤類服務，這些數據可以檢索、調整，必要時進行更新。最適合存儲的數據類型的例子是虛擬機鏡像、圖片存儲、郵件存儲和存檔備份，日志文件，數據倉庫備份。SheepdogKVM虛擬化分布式文

24、件系統(tǒng)的解決方案，零配置、Thin-Provision、高可靠、智能節(jié)點管理、容量線性擴展、虛擬機感知、支持計算與存儲混合架構。預研內容-IAAS層產品目錄（4/4）服務類產品目錄技術特點應用場景網絡服務NIAAS網絡虛擬化NVOpenFlow定義了統(tǒng)一的網絡控制封裝協(xié)議，用于與Controller建立連接、通訊以及相關消息類型等；通訊范圍包含物理端口、邏輯端口及OpenFlow定義端口，基于數據流表Match Fields、Priority、Instructions、Counters，通過發(fā)送Controller消息來對數據包進行控制。NV中的一種開放協(xié)議VxLAN在原有數據包外層封裝Vxl

25、an頭、外層IP/UDP/MAC，通過隧道及轉發(fā)流表實現(xiàn)三層環(huán)境中實現(xiàn)二層互通；提供跨中心二層互通、策略控制、虛機遷移、網絡域隔離、分布式網關等功能。目前較為成熟的跨二層通信技術 網絡功能虛擬化NFVfirewall、IDPS等將網絡功能從傳統(tǒng)相對獨立平臺遷移到Cots，通過層域概念，在框架上從縱向定義了NFVI、VNF、OSS/BSS，橫向劃分業(yè)務網絡域、管理編排域，實現(xiàn)硬件/應用解耦，大幅提升網絡彈性，提高資源利用率。預研內容-PAAS層發(fā)展趨勢PAAS發(fā)展趨勢1234業(yè)務化代表了中間件對復雜業(yè)務支持方面的發(fā)展趨勢，即從自底向上技術驅動轉變?yōu)楦嘧皂斚蛳碌膽脤訕I(yè)務驅動，凝練更多的應用和業(yè)

26、務模式，支持復雜業(yè)務的開放式多方協(xié)同和按需集成能力。服務化：面向服務，基于集成標準化：易演進、易開發(fā)、易管理容器化：輕量級 易交付業(yè)務化：變寬變厚服務化代表了中間件在提升IT基礎設施的業(yè)務敏捷性方面的發(fā)展趨勢，即支持對基于互聯(lián)網的數據存儲、軟件和服務資源進行標準化的抽象和能力提供，橋接不同業(yè)務平臺之間的技術異構性，并提供業(yè)務按需靈活組織的能力，讓IT與業(yè)務密切匹配，提升組織的業(yè)務敏捷性。關注的是業(yè)務驅動的IT基礎設施的綜合應用，注重業(yè)務流程的靈活性。標準化代表了種類繁多、功能相對單一的中間件產品趨向集成和整合，形成統(tǒng)一計算平臺的發(fā)展趨勢。包括統(tǒng)一的微內核，統(tǒng)一的系統(tǒng)管理框架，統(tǒng)一的編程模型和統(tǒng)

27、一的互操作協(xié)議。它代表了中間件從單一功能性產品到互聯(lián)網統(tǒng)一平臺的重要發(fā)展趨勢。輕量級著眼于計算資源運行時交付的效率，注重資源提供的方便性和合理性，提高服務部署環(huán)境的使用率，降低服務交付的總成本，繼而通過關聯(lián)效應，降低服務建設的總成本。它提供更高的效率、巨大的可擴展性和更快、更容易的軟件開發(fā)，有助于更快地顯示部署基礎設施的投資回報率。預研內容-PAAS層產品目錄（1/8）服務類產品目錄技術特點技術平臺服務TPAAS應用容器ACWEBLOGIC支持各種協(xié)議、標準，具備無限的可擴展性，簡化開發(fā)進程，部署更加靈活，關鍵任務更加可靠性，體系架構更靈活、安全。WEBSPHERE最廣泛的編程模型和標準支持，

28、快速、靈活、簡單的應用平臺支持，優(yōu)化整合的解決方案，擴展的部署環(huán)境。TOMCAT支持最新的Servlet和JSP規(guī)范，性能穩(wěn)定，輕量級應用服務器，安裝便捷，啟動快速，支持集群。實體服務總線ESBOSB成熟可靠的技術基礎，100%基于Java；企業(yè)級集群功能，高可靠性，高性能保證；開放的可插拔的安全平臺；可獨立運行，無需綁定特定數據庫，無需借助消息隊列即可完成基于WebService的集成；基于配置實現(xiàn)集成過程，維護簡單。分布式消息隊列DMQRabbitMQ基于AMQP（高級消息隊列協(xié)議），用于在分布式系統(tǒng)中存儲轉發(fā)消息和組件之間的解耦，消息的發(fā)送者無需知道消息使用者的存在。具備很好的易用性、擴

29、展性和高可用性。ActiveMQ支持Stomp 1.0和Stomp 1.1協(xié)議，主題和隊列，隊列瀏覽器，主題持久訂閱，鏡像隊列，可靠的消息傳遞，消息過期和交換，消息選擇器，JAAS驗證，基于ACL的授權，支持SSL/TLS，證書驗證，REST Management API。WebSphere MQ獨特的安全機制、簡便快速的編程風格、卓越不凡的穩(wěn)定性、可擴展性和跨平臺性，以及強大的事務處理能力和消息通訊能力。Oracle JMS一組消息公用概念和實用工具，最大化消息應用程序的可移植性，最大化降低應用程序與應用系統(tǒng)之間的耦合度。Apache Apollo支持Stomp 1.0和Stomp 1.1協(xié)

30、議，主題和隊列，隊列瀏覽器，主題持久訂閱，鏡像隊列，可靠的消息傳遞，消息過期和交換，消息選擇器，JAAS驗證，基于ACL的授權，支持SSL/TLS，證書驗證，REST Management API。預研內容-PAAS層產品目錄（2/8）服務類產品目錄技術特點應用場景技術平臺服務TPAAS分布式緩存DMCMemcached隨時接受客戶端的連接操作，對象保存在一個巨大的Hash表中，使用NewHash算法來管理Hash表，獲得進一步的性能提升。缺點是數據是保存在內存當中的，一旦服務進程重啟，數據會全部丟失。另外，Memcached本身沒有任何權限管理和認證功能，要以root權限運行安全性不足。目前

31、被許多網站使用以提升網站的訪問速度，尤其對于一些大型的、需要頻繁訪問數據庫的網站訪問速度提升效果十分顯著。Redis一個非?？焖俸蛷姶蟮?Key-Value 存儲（持久化）系統(tǒng)，相對于一般的 NoSQL 存儲系統(tǒng)，它最大的特點是支持豐富的數據結構，特別是其 zset（sorted set）數據結構，堪稱表達能力最強的結構之一，可以直接地表達業(yè)務邏輯。Dynamo分布式的key-value系統(tǒng)，采用一致性Hash解決節(jié)點增加和水平擴展的問題，能讓數據在環(huán)中“存儲”均勻，采用向量時鐘處理一致性問題，偏向于存儲非結構化數據，天生具備負載均衡的優(yōu)勢。CONHERENCE高擴展性，支持數據分區(qū)處理。1.

32、Caching。2.Analytics。3.Transactions。4.Events。虛擬服務總線VSBDubbo一個分布式服務框架，致力于提供高性能和透明化的RPC遠程服務調用方案，以及SOA服務治理方案，包含遠程通訊、集群容錯、自動發(fā)現(xiàn)。流程引擎BPEWorkflow靈活的流程定義/自動化、通知發(fā)送、系統(tǒng)間集成。流程式審批、流程式數據傳遞、事件式系統(tǒng)集成。IBM WPS覆蓋一個應用完整的生命周期：流程建模、IT實現(xiàn)、部署、BAM，形成一個閉環(huán)操作和流程不斷優(yōu)化的過程，比較適合大型企業(yè)。StarFlow一個輕量級的工作流引擎，提供了靈活的工作任務分派策略、業(yè)務流程版本管理策略、豐富的流程模

33、式、靈活的組織模型和子流程等特性。Oozie一個工作流引擎服務器,用于運行Hadoop Map/Reduce和Pig 任務工作流，同時還是一個Java Web程序,運行在Java Servlet容器中。擁有多個Action，所有的Action以有向無環(huán)圖的模式部署運行。提供各種類型的Action用于支持不同的需要。預研內容-PAAS層產品目錄（3/8）服務類產品目錄技術特點應用場景數據平臺服務DPAAS關系型數據庫RDORACLEIOE架構，結構化數據，支持標準SQL，技術成熟穩(wěn)定，水平擴展困難。對于穩(wěn)定性要求高的核心交易系統(tǒng)，復雜關聯(lián)分析的決策支持系統(tǒng)。MYSQL支持多線程、多處理器，支持多

34、種列類型，高度優(yōu)化的類庫，沒有內存漏洞，全面支持SQL，可以在同一查詢中混來自不同數據庫的表，支持ANSI SQL的LEFT 0UTER JOIN和ODBC，所有列都有缺省值，可以工作在不同的開發(fā)平臺上。1.Web網站系統(tǒng)。2.日志記錄系統(tǒng)。3.嵌入式系統(tǒng)。PostGreSQL支持SQL，有豐富的數據類型，面向對象，支持大數據庫，而且性能穩(wěn)定，方便集成web，提供一些接口方便 PHP、Perl等語言操作數據庫，事務處理，可以滿足一些商業(yè)領域的數據需要，運行速度明顯低于MySQL。強一致性分布式內存數據庫CDMDGemFire需要容錯服務的系統(tǒng)，提供實時數據庫復制的功能，高性能、高可用性、高一致

35、性、高伸縮性、負載均衡。VoltDB是一個優(yōu)化吞吐率的高性能內存數據庫集群，采用ShareNothing架構，支持ACID，通過并行單線程來保證事務一致性和高性能。預研內容-PAAS層產品目錄（4/8）服務類產品目錄技術特點數據平臺服務DPAAS弱一致性非關系型數據庫WCNMongoDB一個介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的。支持的數據結構非常松散，是類似json的bjson格式，因此可以存儲比較復雜的數據類型。Mongo最大的特點是支持的查詢語言非常強大，其語法有點類似于面向對象的查詢語言，幾乎可以實現(xiàn)類似關系數據庫單表查詢的絕大部分功能，

36、而且還支持對數據建立索引。CouchDB一種半結構化面向文檔的分布式，高容錯的數據庫系統(tǒng)，其提供RESTFul HTTP/JSON接口。其擁有MVCC特性，用戶可以通過自定義Map/Reduce函數生成對應的View。在CouchDB中，數據是以JSON字符的方式存儲在文件中。主要特性包括：RESTFul API，基于文檔存儲，數據之間沒有關系范式要求，每個數據庫對應單個文件（以JSON保存）,MVCC模式，讀寫均不鎖定數據庫，用戶自定義View，內建備份機制，支持附件，使用Erlang開發(fā)。Neo4j基于關系的圖形數據庫，協(xié)議：HTTP/REST（或嵌入在Java中），可獨立使用或嵌入到Ja

37、va應用程序，圖形的節(jié)點和邊都可以帶有元數據，很好的自帶web管理功能，使用多種算法支持路徑搜索，使用鍵值和關系進行索引，為讀操作進行優(yōu)化， 支持事務（用Java api），使用 Gremlin圖形遍歷語言，支持 Groovy腳本，支持在線備份，高級監(jiān)控及高可靠性支持使用 AGPL/商業(yè)許可。統(tǒng)一數據訪問層UDALMaxscale用于透明的提供數據庫的負載均衡和高可用性，同時提供高度可伸縮和靈活的架構，支持不同的協(xié)議和路由決策。使用C語言開發(fā)，利用Linux下的異步I/O功能，使用epoll作為事件驅動框架。DRDS一種水平拆分、可平滑擴縮容、讀寫分離的在線分布式數據庫服務，主要提供讀寫分離和

38、數據庫切分功能，簡單易用、穩(wěn)定可靠和可擴展。OneProxy垂直分庫、水平分表，讀、寫高可用、隨機，讀寫分離，SQL檢查、統(tǒng)計，任務隊列監(jiān)控，連接池管理，Proxy集群。預研內容-PAAS層產品目錄（5/8）服務域服務類產品目錄技術特點應用場景大數據平臺服務BDPAAS批處理BPSPARK-SQL為Spark用戶提供高性能的SQL on Hadoop解決方案之外，為Spark提供通用、高效、多元一體的結構化數據處理能力。Hive針對海量數據的高性能查詢和分析系統(tǒng)，類SQL的查詢語言，高擴展性和容錯性，與 Hadoop 其他產品完全兼容。流計算SPSTREAM快速響應事件和不斷變化的業(yè)務條件與需

39、求，支持以比現(xiàn)有系統(tǒng)快幾個數量級的速度對數據執(zhí)行持續(xù)分析，快速適應不斷變化的數據形式和類型，管理新的流模式的高可用性、異構性和分布，為共享的信息提供安全性和信息機密性。能夠對諸如氣象信息、通訊信息、金融交易數據的管理中動態(tài)捕捉信息、進行實時分析，能夠對靜態(tài)數據的處理提供有效補充STORM分布式架構，實時計算，在線分析，編程靈活，不保證事務完整性。海量數據的實時處理，海量明細數據的清洗預處理。流數據處理，分布式RPC。實時搜索，高頻交易和社交網絡上。SparkStream具有高吞吐量和容錯能力強兩個顯著特點，支持的數據輸入源很多，數據輸入后可以用Spark的高度抽象原語進行運算，結果能保存在很多

40、地方，另外也能和MLlib（機器學習）以及Graphx完美融合。預研內容-PAAS層產品目錄（6/8）服務域服務類產品目錄技術特點應用場景大數據平臺服務BDPAAS交互式數據處理IDPCassandra一個高可靠的大規(guī)模分布式存儲系統(tǒng)，高度可伸縮的、一致的、分布式的結構化key-value存儲方案，集Google BigTable的數據模型與Amazon Dynamo的完全分布式的架構于一身，是一種面向列的數據庫。主要特點包括：列表數據結構，模式靈活，真正的可擴展性，多數據中心識別，范圍查詢，分布式寫操作。HBASE運行在Hadoop上的NoSQL數據庫，是一個分布式的和可擴展的大數據倉庫。除

41、去Hadoop的優(yōu)勢，HBase本身就是十分強大的數據庫，它能夠融合key/value存儲模式帶來實時查詢的能力，以及通過MapReduce進行離線處理或者批處理的能力。適用于簡單數據寫入（如“消息類”應用）和海量、結構簡單數據的查詢（如“詳單類”應用）。作為MapReduce的后臺數據源，以支撐離線分析型應用。強一致性數據分析CDAGBASE 分布式架構，結構化數據，支持標準SQL，Share-nothing，節(jié)點間互聯(lián)網絡要求高，跨節(jié)點關聯(lián)操作效率較低。結構化數據的深度分析、復雜查詢以及多變的自助分析類應用。TeraData專為海量數據倉庫等OLAP應用設計，多節(jié)點的單一數據庫系統(tǒng)，跨多代

42、設備線性擴展，自動數據分配機制，可實現(xiàn)多維并行，內嵌分析決策功能，采用SPOOL技術，易于管理。Netezza專門為數據倉庫設計的一體機。它是軟件與硬件不可分離的緊密結合體，無縫的整合數據庫管理系統(tǒng)、服務器和存儲設備，不需要復雜配置和調優(yōu)就可以取得非常優(yōu)異性能，安裝與部署的簡單性，管理和維護的簡單性，沒有索引，不需要性能調優(yōu)，不需要存儲管理，無需配置操作系統(tǒng)內核參數以及維護建議的操作系統(tǒng)補丁級別，簡單的數據分區(qū)策略。預研內容-PAAS層產品目錄（7/8）服務域服務類產品目錄技術特點大數據平臺服務BDPAAS強一致性數據挖掘CDMASTER在單一平臺上快速、無縫地實現(xiàn)對海量多結構化數據的獲取、準

43、備、分析和可視化操作，幫助客戶降低大數據分析的難度，方便快捷地創(chuàng)建大數據分析應用。GreenPlum關系型數據庫集群，shared nothing架構。查詢速度快，數據裝載速度快，批量DML處理快。而且性能可以隨著硬件的添加，呈線性增加，擁有非常良好的可擴展性。因此，它主要適用于面向分析的應用，比如構建企業(yè)級ODS/EDW，或者數據集市等等。Vertica基于列的存儲結構，提高了連續(xù)的record處理的性能?！皢为殹备潞突旌洗鎯Y構，提高了查詢、插入的性能。采用了壓縮技術，減少存儲開銷和IO帶寬開銷。完全無共享架構，降低對共享資源的系統(tǒng)競爭。自動化數據庫結構設計工具，多節(jié)點集群系統(tǒng)，所有的數

44、據都會保存在不止一個節(jié)點上，可防止單點故障造成的損失。高性能，支持ACID，輕量級事務和并發(fā)控制更加適合load和query操作。靈活部署。監(jiān)視和管理工具和API。數據交換DEKafka支持分布式，可以透明的擴展，增加新的服務器進集群，高性能，支持batch 操作，具備容錯功能。分布式內存數據庫DMDMemSQL最快的關系型數據庫，與MySQL數據庫之間的兼容性做的非常好。SolidDB一個具備完整功能的關系型數據庫，集基于內存和磁盤的多線程數據庫引擎于一身，提高事務處理速度并在同一數據庫內最有效地利用系統(tǒng)資源，完全支持SQL規(guī)范以及ODBC/JDBC。預研內容-PAAS層產品目錄（8/8）服

45、務域服務類產品目錄技術特點應用場景彈性計算平臺服務EPAAS分布式協(xié)調服務DCSZookeeper一個開源的分布式服務框架，它是Apache Hadoop項目的一個子項目，主要用來解決分布式應用場景中存在的一些問題，它支持Standalone模式和分布式模式，在分布式模式下，能夠為分布式應用提供高性能和可靠地協(xié)調服務，可以大大簡化分布式協(xié)調服務的實現(xiàn)，讀寫速度非?？?，并且讀的速度要比寫更快，另外，在進行讀操作的時候，ZooKeeper依然能夠為舊數據提供服務，為開發(fā)分布式應用極大地降低成本。同時具有順序一致性、原子性、單系統(tǒng)鏡像、可靠性和實時性等特點。1.統(tǒng)一命名服務。2.分布式鎖服務。3.配

46、置管理。4.為分布式系統(tǒng)提供故障修復的功能。etcd一個高可用的鍵值存儲系統(tǒng)，主要用于共享配置和服務發(fā)現(xiàn)，由CoreOS開發(fā)并維護的，使用Go語言編寫，并通過Raft一致性算法處理日志復制以保證強一致性。主要特性包括：簡單: curl可訪問的用戶的API（HTTP+JSON）；安全: 可選的SSL客戶端證書認證；快速: 單實例每秒 1000 次寫操作；可靠: 使用Raft保證一致性。分布式調度服務DDSMesos優(yōu)點：可以同時支持短類型任務以及長類型服務，資源分配粒度粗，比較適合我們產品多種計算框架并存的現(xiàn)狀。缺點：Mesos中的DRF調度算法過分的追求公平，沒有考慮到實際的應用需求。meso

47、s是二層資源管理框架，更多的資源分配的權利提供了framework。Hadoop應用和傳統(tǒng)數據庫并存的系統(tǒng)。Kubernets為容器化的應用提供資源調度、部署運行、服務發(fā)現(xiàn)、擴容縮容等整一套功能，它構建Ddocker技術之上，為容器化的應用提供資源調度、部署運行、服務發(fā)現(xiàn)、擴容縮容等整一套功能，本質上可看作是基于容器技術的mini-PaaS平臺。YARN優(yōu)點：YARN作為hadoop 2.0，hadoop各個組件都快速的接入YARN框架，未來發(fā)展很快，默認支持調度算法更豐富。缺點：ResourceManager負責所有應用的任務調度，各個應用作為YARN的一個client library。傳統(tǒng)

48、數據庫應用，接入之后效率不高，比較困難。純粹的Hadoop應用負載均衡LBARRAY可以實現(xiàn)服務器、鏈路、全局負載均衡，Webwall防火墻，SSL加速，TCP連接復用，HTTP內容緩存，Cluster集群，虛擬服務，防DOS攻擊，具有多種可選服務器應用健康檢查功能，基于ACL方式的訪問控制，網管功能。HAProxy提供高可用性、負載均衡以及基于TCP和HTTP應用的代理，支持虛擬主機。特別適用于那些負載特大的web站點。LVS高性能、高可用，很好的可伸縮性，很好的可靠性，很好的可管理性。revierbed加速應用，帶寬優(yōu)化，基礎架構整合，備份災難恢復，安全可靠，XXXX辦公。預研內容-云管理

49、與運維平臺（1/3）服務類產品目錄技術特點云管理NOVA實例生命周期管理，管理計算資源，網絡和認證管理，REST風格的API，異步的一致性通信，Hypervisor透明。Glance提供虛擬機鏡像的發(fā)現(xiàn)、注冊、取得服務；提供restful API可以查詢虛擬機鏡像的metadata，并且可以獲得鏡像；虛擬機鏡像可以被存儲到多種存儲上。具有便于快速增加、高可用性、高容錯性和開放兼容等特點。Cinder用來給虛擬機掛擴展硬盤，具有安全可靠、高并發(fā)大吞吐量、低時延、規(guī)格豐富、簡單易用的特點，適用于文件系統(tǒng)、數據庫或者其他需要原始塊設備的系統(tǒng)軟件或應用。OpenShift可以創(chuàng)建、部署、管理云端應用，

50、具體提供了磁盤空間、CPU 計算資源、內存資源、網絡連接以及應用服務器。根據不同應用類型，OpenShift 會提供不同的文件系統(tǒng)布局來創(chuàng)建不同的運行環(huán)境。此外，OpenShift 也提供了一定程度的 DNS。還為不同應用提供了臨時文件存取，超過 10 天沒有被訪問的文件將被自動刪除。OpenShift 中包含兩個基本的功能單元：Broker，提供了接口，是所有應用管理活動的入口。它主要負責管理用戶登錄、DNS、應用狀態(tài)以及應用服務編排（服務分發(fā)）。用戶和 Broker 交互主要是通過 Web 管理控制臺、CLI 工具、JBoss 工具或者是 REST API。Cartridges，提供了應用

51、框架，為應用運行提供了實際所需的功能。比如一些 cartridges 提供編程語言支持，另一些則提供數據庫支持。CloudFoundry開源PaaS平臺，它的內核采用Ruby開發(fā)，設計上使用以NATS消息系統(tǒng)為核心的松耦合組件架構。設計前提是假設失敗、為MTTR優(yōu)化，而不是MTBF、快速失效，自我修復、橫向擴展的組件、分布式狀態(tài)，沒有單點故障、極度簡單。模式是事件(消息)驅動、異步、非堵塞、獨立、消息傳遞、最終一致性。設計方式是組件的松耦合、更少的類，更多的實例、消息是基礎、尋址和組件發(fā)現(xiàn)、命令和控制、數據通過HTTP或File/Blob傳遞。內核組件的特點是動態(tài)發(fā)現(xiàn)、無依賴性和啟動順序、通過

52、HTTP/JSON監(jiān)控、位置獨立性。核心組件包括：Router、DEA（Droplet Execution Agency）、Cloud Controller、Health Manager、Services、NATS（Message bus）等。Apache VCL 一個自助服務系統(tǒng)，為最終用戶提供專用計算環(huán)境的遠程訪問環(huán)境?？梢蕴峁┆毩C器的代理訪問，讓用戶通過 Web 界面來有限時間的使用這些計算資源，通過調度 API 可用于自動化管理服務器集群和 HPC 集群。預研內容-云管理與運維平臺（2/3）服務類產品目錄技術特點云運維FabricPython庫和命令行工具，旨在為應用部署和系統(tǒng)管理任

53、務的SSH的流水線式操作，使之更加高效和方便。Fabric提供了一套基本的執(zhí)行本地和遠程shell命令、上傳和下載文件的操作，包括一些輔助函數。Fabric通過把大量頻繁使用的SSH操作寫入到一個腳本中，來遠程執(zhí)行一些應用部署或者系統(tǒng)維護的任務。AnsibleAnsible提供一種最簡單的方式用于發(fā)布、管理和編排計算機系統(tǒng)的工具，它是一個模型驅動的配置管理器，支持多節(jié)點發(fā)布、遠程任務執(zhí)行。默認使用 SSH 進行遠程連接。無需在被管理節(jié)點上安裝附加軟件，可使用各種編程語言進行擴展。puppetpuppet是一種Linux、Unix平臺的集中配置管理系統(tǒng)，使用ruby語言，可管理配置文件、用戶、c