任務(wù)6-4-4云數(shù)據(jù)庫

目錄云數(shù)據(jù)庫云數(shù)據(jù)庫產(chǎn)品框架結(jié)構(gòu)31.云數(shù)據(jù)庫云計(jì)算是分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化、負(fù)載均衡等計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。云計(jì)算是由一系列可以動(dòng)態(tài)升級(jí)和被虛擬化的資源組成的，用戶無需掌握云計(jì)算的技術(shù)，只要通過網(wǎng)絡(luò)就可以訪問這些資源。4云計(jì)算是云數(shù)據(jù)庫興起的基礎(chǔ)云計(jì)算主要包括3種類型，即IaaS（InfrastructureasaService）、PaaS（PlatformasaService）和SaaS（SoftwareasaService）。以SaaS為例，它極大地改變了用戶使用軟件的方式，用戶不再需要購買軟件安裝到本地計(jì)算機(jī)上，只要通過網(wǎng)絡(luò)就可以使用各種軟件。5云計(jì)算是云數(shù)據(jù)庫興起的基礎(chǔ)與傳統(tǒng)的軟件使用方式相比，云計(jì)算這種模式具有明顯的優(yōu)勢。項(xiàng)目傳統(tǒng)方式云計(jì)算方式獲得軟件的方式自己投資建設(shè)機(jī)房，搭建硬件平臺(tái)，購買軟件在本地安裝直接購買云計(jì)算廠商的軟件服務(wù)使用方式本地安裝，本地使用軟件運(yùn)行在云計(jì)算廠商服務(wù)器上，用戶在任何有網(wǎng)絡(luò)接入地方都可以通過網(wǎng)絡(luò)使用軟件服務(wù)付費(fèi)方式需要一次性支付較大的初期投入成本，包括建設(shè)機(jī)房、配置軟件、購買各種軟件（操作系統(tǒng)，殺毒、業(yè)務(wù)軟件）零成本投入就可以立即獲得所需的IT資源，只需要為所使用的資源付費(fèi)，多用多付，少用少付，極其廉價(jià)。維護(hù)成本需要自己花錢聘請專業(yè)技術(shù)人員維護(hù)零成本，所有維護(hù)工作由云計(jì)算廠商負(fù)責(zé)獲得IT資源的速度需要耗費(fèi)較長時(shí)間建設(shè)機(jī)房、購買和安裝調(diào)試設(shè)備系統(tǒng)隨時(shí)可用，購買服務(wù)后立即可用共享方式自己建設(shè)，自給自足云計(jì)算廠商建設(shè)好云計(jì)算服務(wù)平臺(tái)后，同時(shí)為眾多用戶提供服務(wù)維修速度出現(xiàn)病毒、系統(tǒng)崩潰等問題時(shí)，需要自己聘請IT人員維護(hù)，很多普通企業(yè)的IT人員技術(shù)能力有限，碰到一些問題甚至需要尋找外援，通常不能立即解決出現(xiàn)任何系統(tǒng)問題時(shí)，云計(jì)算廠商都會(huì)憑借其專業(yè)化團(tuán)隊(duì)給出及時(shí)響應(yīng)，確保云服務(wù)的正常使用資源利用率利用率較低，投入大量資金建設(shè)的IT系統(tǒng)，往往只提供企業(yè)自己使用，當(dāng)企業(yè)不需要那么多IT資源時(shí)，就會(huì)產(chǎn)生資源浪費(fèi)利用率較高，每天都可以為大量用戶提供服務(wù)；當(dāng)存在閑置資源時(shí)，云計(jì)算管理系統(tǒng)會(huì)自動(dòng)關(guān)閉和退出多余資源；當(dāng)需要增加資源時(shí)，又會(huì)自動(dòng)啟動(dòng)和加入相關(guān)資源。資源可拓展性企業(yè)自己建設(shè)的IT基礎(chǔ)設(shè)施的服務(wù)能力通常有上限的，當(dāng)企業(yè)業(yè)務(wù)量突然增加時(shí)，現(xiàn)有的IT基礎(chǔ)設(shè)施無法立即滿足需求，就需要花費(fèi)時(shí)間和金錢購買和安裝新設(shè)備；當(dāng)業(yè)務(wù)高峰過去時(shí)，多余的設(shè)備就會(huì)閑置，造成資源浪費(fèi)。云計(jì)算廠商可以為企業(yè)提供近乎無限的IT資源（存儲(chǔ)和計(jì)算等資源），用戶想用多少都可以立即獲得，當(dāng)用戶不使用時(shí)，只需要退訂多余資源，不存在任何資源閑置問題。6云數(shù)據(jù)庫的概念云數(shù)據(jù)庫是部署和虛擬化在云計(jì)算環(huán)境中的數(shù)據(jù)庫。云數(shù)據(jù)庫是在云計(jì)算的大背景下發(fā)展起來的一種新興的共享基礎(chǔ)架構(gòu)的方法，它極大地增強(qiáng)了數(shù)據(jù)庫的存儲(chǔ)能力，消除了人員、硬件、軟件的重復(fù)配置，讓軟、硬件升級(jí)變得更加容易，同時(shí)也虛擬化了許多后端功能。云數(shù)據(jù)庫具有高可擴(kuò)展性、高可用性、采用多租形式和支持資源有效分發(fā)等特點(diǎn)。7云數(shù)據(jù)庫的概念在云數(shù)據(jù)庫中，所有數(shù)據(jù)庫功能都是在云端提供的，客戶端可以通過網(wǎng)絡(luò)遠(yuǎn)程使用云數(shù)據(jù)庫提供的服務(wù)。8云數(shù)據(jù)庫的特性云數(shù)據(jù)庫動(dòng)態(tài)可擴(kuò)展易用性低成本高可用性免維護(hù)高性能安全9云數(shù)據(jù)庫的特性以騰訊云數(shù)據(jù)庫為例，開發(fā)者可快速在騰訊云中申請?jiān)品?wù)器實(shí)例資源，通過IP/PORT直接訪問MySQL實(shí)例，完全無需再安裝MySQL實(shí)例，可以一鍵遷移原有SQL應(yīng)用到騰訊云平臺(tái)，大大節(jié)省了人力成本；同時(shí)，該云數(shù)據(jù)庫完全兼容MySQL協(xié)議，可通過基于MySQL協(xié)議的客戶端或API便捷地訪問實(shí)例。此外，還采用了大型分布式存儲(chǔ)服務(wù)集群，支撐海量數(shù)據(jù)訪問，7×24h的專業(yè)存儲(chǔ)服務(wù)，可以提供高達(dá)99.99％服務(wù)可用性的MySQL集群服務(wù)，并且數(shù)據(jù)可靠性超過99.999％。10云數(shù)據(jù)庫的特性以騰訊云數(shù)據(jù)庫為例，開發(fā)者可快速在騰訊云中申請?jiān)品?wù)器實(shí)例資源，通過IP/PORT直接訪問MySQL實(shí)例，完全無需再安裝MySQL實(shí)例，可以一鍵遷移原有SQL應(yīng)用到騰訊云平臺(tái)，大大節(jié)省了人力成本；同時(shí)，該云數(shù)據(jù)庫完全兼容MySQL協(xié)議，可通過基于MySQL協(xié)議的客戶端或API便捷地訪問實(shí)例。此外，還采用了大型分布式存儲(chǔ)服務(wù)集群，支撐海量數(shù)據(jù)訪問，7×24h的專業(yè)存儲(chǔ)服務(wù)，可以提供高達(dá)99.99％服務(wù)可用性的MySQL集群服務(wù)，并且數(shù)據(jù)可靠性超過99.999％。11云數(shù)據(jù)庫的特性項(xiàng)目自建數(shù)據(jù)庫騰訊云數(shù)據(jù)庫數(shù)據(jù)安全性開發(fā)者自行解決，成本高昂15種類型備份數(shù)據(jù)，保證數(shù)據(jù)安全服務(wù)可用性99.99%高可靠數(shù)據(jù)備份零花費(fèi)，系統(tǒng)自動(dòng)多時(shí)間點(diǎn)數(shù)據(jù)備份維護(hù)成本零成本，專業(yè)團(tuán)隊(duì)7*24h幫助維護(hù)實(shí)例擴(kuò)容一鍵式直接擴(kuò)容，安全可靠資源利用率按需申請，資源利用率高達(dá)99.9%技術(shù)支持專業(yè)團(tuán)隊(duì)一對一指導(dǎo)、QQ遠(yuǎn)程協(xié)助開發(fā)者12云數(shù)據(jù)庫是個(gè)性化數(shù)據(jù)存儲(chǔ)需求的選擇

在大數(shù)據(jù)時(shí)代，每個(gè)企業(yè)幾乎每天都在不斷產(chǎn)生大量的數(shù)據(jù)。企業(yè)類型不同，對于存儲(chǔ)的需求也千差萬別，而云數(shù)據(jù)庫可以很好地滿足不同企業(yè)的個(gè)性化存儲(chǔ)需求。首先，云數(shù)據(jù)庫可以滿足大企業(yè)的海量數(shù)據(jù)存儲(chǔ)需求。其次，云數(shù)據(jù)庫可以滿足中小企業(yè)的低成本數(shù)據(jù)存儲(chǔ)需求。另外，云數(shù)據(jù)庫可以滿足企業(yè)動(dòng)態(tài)變化的數(shù)據(jù)存儲(chǔ)需求。

當(dāng)然，并不是說云數(shù)據(jù)庫可以滿足不同類型的個(gè)性化存儲(chǔ)需求，就意味著企業(yè)一定要把數(shù)據(jù)存放到云數(shù)據(jù)庫中。到底選擇自建數(shù)據(jù)庫還是選擇云數(shù)據(jù)庫，取決于企業(yè)自身的具體需求。13云數(shù)據(jù)庫與其他數(shù)據(jù)庫的關(guān)系從數(shù)據(jù)模型的角度來說，云數(shù)據(jù)庫并非一種全新的數(shù)據(jù)庫技術(shù)，而只是以服務(wù)的方式提供數(shù)據(jù)庫功能。云數(shù)據(jù)庫與這些“自建數(shù)據(jù)庫”最本質(zhì)的區(qū)別在于，云數(shù)據(jù)庫是部署在云端的數(shù)據(jù)庫，采用SaaS服務(wù)模式，用戶可以通過網(wǎng)絡(luò)租賃使用數(shù)據(jù)庫服務(wù)，只要有網(wǎng)絡(luò)的地方都可以使用，不需要前期投入和后期維護(hù)，使用價(jià)格也比較低廉，云數(shù)據(jù)庫對用戶而言是完全透明的，用戶根本不知道自己的數(shù)據(jù)被保存在哪里。142.云數(shù)據(jù)庫廠商概述云數(shù)據(jù)庫供應(yīng)商主要分為三類。

①傳統(tǒng)的數(shù)據(jù)庫廠商，如Teradata、Oracle、IBMDB2和MicrosoftSQLServer等。

②涉足數(shù)據(jù)庫市場的云供應(yīng)商，如Amazon、Google、Yahoo!、阿里、百度、騰訊等。

③新興廠商，如Vertica、LongJump和EnterpriseDB等。15云數(shù)據(jù)庫廠商概述市場上常見的云數(shù)據(jù)庫產(chǎn)品見表：企業(yè)產(chǎn)品AmazonDynamo、SimpleDB、RDSGoogleGoogleCloudSQLMicrosoftMicrosoftSQLAzureOracleOracleCloudYahoo！PNUTSVerticaAnalyticDatabasev3.0fortheCloudEnerpriseDBPostgresPlusintheCloud阿里阿里云RDS百度百度云數(shù)據(jù)庫騰訊騰訊云數(shù)據(jù)庫16Amazon云數(shù)據(jù)庫產(chǎn)品Amazon是云數(shù)據(jù)庫市場的先行者。Amazon除了提供著名的S3存儲(chǔ)服務(wù)和EC2計(jì)算服務(wù)以外，還提供基于云的數(shù)據(jù)庫服務(wù)SimpleDB和Dynamo。SimpleDB是Amazon公司開發(fā)的一個(gè)可供查詢的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，AWS（AmazonWebService）上的第一個(gè)NoSQL數(shù)據(jù)庫服務(wù)，集合了Amazon的大量AWS基礎(chǔ)設(shè)施。Dynamo吸收了SimpleDB以及其他NoSQL數(shù)據(jù)庫設(shè)計(jì)思想的精華，旨在為要求更高的應(yīng)用設(shè)計(jì)，這些應(yīng)用要求可擴(kuò)展的數(shù)據(jù)存儲(chǔ)以及更高級(jí)的數(shù)據(jù)管理功能。AmazonRDS（AmazonRelationalDatabaseService）是Amazon開發(fā)的一種Web服務(wù)，它可以讓用戶在云環(huán)境中建立、操作關(guān)系型數(shù)據(jù)庫（可以支持MySQL和Oracle等數(shù)據(jù)庫）。17Google的云數(shù)據(jù)庫產(chǎn)品GoogleCloudSQL是谷歌公司推出的基于MySQL的云數(shù)據(jù)庫，使用CloudSQL的好處顯而易見，所有的事務(wù)都在云中，并由谷歌管理，用戶不需要配置或者排查錯(cuò)誤，僅僅依靠它來開展工作即可。由于數(shù)據(jù)在谷歌多個(gè)數(shù)據(jù)中心中復(fù)制，因此它永遠(yuǎn)是可用的。18微軟的云數(shù)據(jù)庫產(chǎn)品2008年3月，微軟通過SQLDataService（SDS）提供SQLServer的關(guān)系數(shù)據(jù)庫功能，這使得微軟成為云數(shù)據(jù)庫市場上的第一個(gè)大型數(shù)據(jù)庫廠商。此后，微軟對SDS功能進(jìn)行了擴(kuò)充，并且重新命名為SQLAzure。

①屬于關(guān)系型數(shù)據(jù)庫。支持使用TSQL（TransactStructuredQueryLanguage）來管理、創(chuàng)建和操作云數(shù)據(jù)庫。

②支持存儲(chǔ)過程。它的數(shù)據(jù)類型、存儲(chǔ)過程和傳統(tǒng)的SQLServer具有很大的相似性，因此應(yīng)用可以在本地進(jìn)行開發(fā)，然后部署到云平臺(tái)上。

③支持大量數(shù)據(jù)類型。包含了幾乎所有典型的SQLServer2008的數(shù)據(jù)類型。

④支持云中的事務(wù)。支持局部事務(wù)，但是不支持分布式事務(wù)。19微軟的云數(shù)據(jù)庫產(chǎn)品SQLAzure的體系架構(gòu)中包含了一個(gè)虛擬機(jī)簇，可以根據(jù)工作負(fù)載的變化，動(dòng)態(tài)增加或減少虛擬機(jī)的數(shù)量。20其他云數(shù)據(jù)庫產(chǎn)品Yahoo!PNUTS是一個(gè)為網(wǎng)頁應(yīng)用開發(fā)、大規(guī)模并行、地理分布式的數(shù)據(jù)庫系統(tǒng)，它是Yahoo!云計(jì)算平臺(tái)重要的一部分。VerticaSystems在2008年發(fā)布了云數(shù)據(jù)庫。10Gen公司的Mongo、AppJet公司的AppJet數(shù)據(jù)庫也都提供了相應(yīng)的云數(shù)據(jù)庫版本。IBM投資的EnerpriseDB也提供了一個(gè)運(yùn)行在AmazonEC2上的云數(shù)據(jù)庫。LongJump是一個(gè)與Salesforce競爭的新公司，它推出了基于開源數(shù)據(jù)庫PostgreSQL的云數(shù)據(jù)庫產(chǎn)品。IntuitQuickBase也提供了自己的云數(shù)據(jù)庫系列。213.云數(shù)據(jù)庫框架UMP系統(tǒng)是低成本和高性能的MySQL云數(shù)據(jù)庫方案，關(guān)鍵模塊采用Erlang語言實(shí)現(xiàn)。開發(fā)者通過網(wǎng)絡(luò)從平臺(tái)上申請MySQL實(shí)例資源，由平臺(tái)提供的單一入口來訪問數(shù)據(jù)。UMP系統(tǒng)把各種服務(wù)器資源劃分為資源池，并以資源池為單位把資源分配給MySQL實(shí)例。22UMP系統(tǒng)概述總的來說，UMP系統(tǒng)架構(gòu)設(shè)計(jì)遵循了以下原則。①保持單一的系統(tǒng)對外入口，并且為系統(tǒng)內(nèi)部維護(hù)單一的資源池。②消除單點(diǎn)故障，保證服務(wù)的高可用性。③保證系統(tǒng)具有良好的可伸縮性，能夠動(dòng)態(tài)地增加、刪減計(jì)算與存儲(chǔ)節(jié)點(diǎn)。④保證分配給用戶的資源也是彈性可伸縮的，資源之間相互隔離，確保應(yīng)用和數(shù)據(jù)的安全。23UMP系統(tǒng)架構(gòu)UMP系統(tǒng)中的角色包括Controller服務(wù)器、Proxy服務(wù)器、Agent服務(wù)器、Web控制臺(tái)、日志分析服務(wù)器、信息統(tǒng)計(jì)服務(wù)器、愚公系統(tǒng)；依賴的開源組件包括Mnesia、LVS、RabbitMQ和Zookeeper。24UMP系統(tǒng)架構(gòu)（1）MnesiaMnesia是一個(gè)分布式數(shù)據(jù)庫管理系統(tǒng)，適合于電信及其他需要持續(xù)運(yùn)行和具備軟實(shí)時(shí)特性的Erlang應(yīng)用，是構(gòu)建電信應(yīng)用的控制系統(tǒng)平臺(tái)——開放式電信平臺(tái)的一部分。Erlang是一個(gè)結(jié)構(gòu)化、動(dòng)態(tài)類型編程語言，內(nèi)建并行計(jì)算支持，非常適合于構(gòu)建分布式、軟實(shí)時(shí)并行計(jì)算系統(tǒng)。25UMP系統(tǒng)架構(gòu)（2）RabbitMQRabbitMQ是一個(gè)用Erlang開發(fā)的工業(yè)級(jí)的消息隊(duì)列產(chǎn)品（功能類似于IBM公司的消息隊(duì)列產(chǎn)品IBMWEBSPHEREMQ），作為消息傳輸中間件來使用，可以實(shí)現(xiàn)可靠的消息傳送。UMP集群中各個(gè)節(jié)點(diǎn)之間的通信，不需要建立專門的連接，都是通過讀寫隊(duì)列消息來實(shí)現(xiàn)的。26UMP系統(tǒng)架構(gòu)（3）ZookeeperZookeeper是高效和可靠的協(xié)同工作系統(tǒng)，提供分布式鎖之類的基本服務(wù)（如統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項(xiàng)的管理等），用于構(gòu)建分布式應(yīng)用，減輕分布式應(yīng)用程序所承擔(dān)的協(xié)調(diào)任務(wù)（關(guān)于Zookeeper的工作原理可以參考相關(guān)書籍或網(wǎng)絡(luò)資料）。27UMP系統(tǒng)架構(gòu)（4）LVSLVS（LinuxVirtualServer）即Linux虛擬服務(wù)器，是一個(gè)虛擬的服務(wù)器集群系統(tǒng)。LVS集群采用IP負(fù)載均衡技術(shù)和基于內(nèi)容請求分發(fā)技術(shù)。調(diào)度器是LVS集群系統(tǒng)的唯一入口點(diǎn)，調(diào)度器具有很好的吞吐率，將請求均衡地轉(zhuǎn)移到不同的服務(wù)器上執(zhí)行，且調(diào)度器自動(dòng)屏蔽掉服務(wù)器的故障，從而將一組服務(wù)器構(gòu)成一個(gè)高性能的、高可用的虛擬服務(wù)器。整個(gè)服務(wù)器集群的結(jié)構(gòu)對客戶是透明的，而且無需修改客戶端和服務(wù)器端的程序。282.UMP系統(tǒng)架構(gòu)（5）Controller服務(wù)器Controller服務(wù)器向UMP集群提供各種管理服務(wù)，實(shí)現(xiàn)集群成員管理、元數(shù)據(jù)存儲(chǔ)、MySQL實(shí)例管理、故障恢復(fù)、備份、遷移、擴(kuò)容等功能。Controller服務(wù)器上運(yùn)行了一組Mnesia分布式數(shù)據(jù)庫服務(wù)，其中存儲(chǔ)了各種系統(tǒng)元數(shù)據(jù)，主要包括集群成員、用戶的配置和狀態(tài)信息，以及用戶名到后端MySQL實(shí)例地址的映射關(guān)系（或稱為“路由表”）等。29UMP系統(tǒng)架構(gòu)（6）Web控制臺(tái)Web控制臺(tái)向用戶提供系統(tǒng)管理界面。（7）Proxy服務(wù)器Proxy服務(wù)器向用戶提供訪問MySQL數(shù)據(jù)庫的服務(wù)，它完全實(shí)現(xiàn)了MySQL協(xié)議，用戶可以使用已有的MySQL客戶端連接到Proxy服務(wù)器，Proxy服務(wù)器通過用戶名獲取到用戶的認(rèn)證信息、資源配額的限制［如QPS、IOPS（I/OPerSecond）、最大連接數(shù)等］，以及后臺(tái)MySQL實(shí)例的地址，然后用戶的SQL查詢請求會(huì)被轉(zhuǎn)發(fā)到相應(yīng)的MySQL實(shí)例上。30UMP系統(tǒng)架構(gòu)（8）Agent服務(wù)器Agent服務(wù)器部署在運(yùn)行MySQL進(jìn)程的機(jī)器上，用來管理每