1、YunTable-云時(shí)代的數(shù)據(jù)庫(kù)、吳朱華PeopleY、目錄、云計(jì)算時(shí)代的數(shù)據(jù)庫(kù)YunTable的介紹和設(shè)計(jì)NoSQL產(chǎn)品之間的比較使用YunTable場(chǎng)景YunTable今后的修訂、自我介紹、吳朱華CSDN IBM中國(guó)研究院參與過(guò)許多云計(jì)算產(chǎn)品的開發(fā)，包括著名的IBM WebSphere CloudBurst。 目前，我們致力于開發(fā)YunTable和YunEngine兩種新一代云計(jì)算產(chǎn)品，并準(zhǔn)備推出一本名為云計(jì)算分析的書。云計(jì)算時(shí)代的數(shù)據(jù)庫(kù)、云計(jì)算時(shí)代的需求、低延遲的讀寫速度：通過(guò)應(yīng)用快速響應(yīng)，可以大幅提高用戶滿意度支持大量數(shù)據(jù)和通信：這些大型應(yīng)用程序需要利用PB級(jí)數(shù)據(jù)和100萬(wàn)級(jí)流量的大型

2、群集管理：系統(tǒng)管理員希望更輕松地部署和管理分布式應(yīng)用程序大型運(yùn)營(yíng)成本考慮事項(xiàng)： IT經(jīng)理和CFO需要硬件成本、軟件希望大幅度降低人工成本，關(guān)系數(shù)據(jù)庫(kù)的限制、擴(kuò)展困難：由于存在Join這樣的多表查詢機(jī)制，數(shù)據(jù)庫(kù)的擴(kuò)展困難。讀寫慢：這種情況主要發(fā)生在數(shù)據(jù)量達(dá)到一定規(guī)模時(shí)， 由于關(guān)系數(shù)據(jù)庫(kù)的內(nèi)部邏輯非常復(fù)雜，容易發(fā)生死鎖等并發(fā)問(wèn)題，讀寫速度嚴(yán)重下降，成本高：企業(yè)級(jí)數(shù)據(jù)庫(kù)的許可價(jià)格驚人， 隨著系統(tǒng)規(guī)模的增長(zhǎng)而上升的有限支持容量：現(xiàn)有的關(guān)系解決方案無(wú)法像谷歌那樣支持大量數(shù)據(jù)存儲(chǔ)，NoSQL數(shù)據(jù)庫(kù)是業(yè)界為了解決上述幾個(gè)需求而推出的多種新型在設(shè)定修正上，NoSQL關(guān)注對(duì)數(shù)據(jù)的高同時(shí)讀寫和大量數(shù)據(jù)的保存等。

3、與關(guān)系數(shù)據(jù)庫(kù)相比，在體系結(jié)構(gòu)和數(shù)據(jù)模型方面“減”，在擴(kuò)展的同時(shí)等方面“加”。 主要產(chǎn)品有BigTable、HBase、Redis、Cassandra、MongoDB等。NoSQL數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)、簡(jiǎn)單擴(kuò)展：典型示例為Cassandra，其體系結(jié)構(gòu)類似于經(jīng)典P2P，因此可以輕松添加新節(jié)點(diǎn)來(lái)擴(kuò)展該集群的同時(shí)讀寫：主要示例為Redis，邏輯簡(jiǎn)單，純粹主要是因?yàn)樗情_源軟件，沒有昂貴的許可成本。 NoSQL數(shù)據(jù)庫(kù)的缺點(diǎn)，不提供SQL支持：如果不支持SQL這樣的工業(yè)標(biāo)準(zhǔn)，用戶會(huì)產(chǎn)生一定的學(xué)習(xí)和應(yīng)用程序遷移成本，支持的功能不足：現(xiàn)有產(chǎn)品提供的功能有限， 大多數(shù)NoSQL數(shù)據(jù)庫(kù)不支持事務(wù)，沒有像MS SQL S

4、erver那樣提供強(qiáng)大附加功能的當(dāng)前產(chǎn)品的不成熟性：大多數(shù)產(chǎn)品還處于初期階段，不能與關(guān)系數(shù)據(jù)庫(kù)的數(shù)十年完善相同在開發(fā)YunTable的個(gè)人資料YunTable的時(shí)候，發(fā)現(xiàn)業(yè)界在體系結(jié)構(gòu)上非常簡(jiǎn)潔，能對(duì)應(yīng)很多云計(jì)算場(chǎng)景的NoSQL數(shù)據(jù)庫(kù)不足，從那時(shí)開始開發(fā)YunTable。 YunTable的目標(biāo)不是創(chuàng)建比較大、完整的數(shù)據(jù)庫(kù)(如BigTable )，而是主要通過(guò)創(chuàng)建緊湊版本的分布式Key-Value數(shù)據(jù)庫(kù)，使得上層云計(jì)算應(yīng)用程序能夠根據(jù)自己的需要而運(yùn)行YunTable現(xiàn)在，已經(jīng)在10月初正式發(fā)表了開源，其版本0.8，項(xiàng)目地址，YunTable的設(shè)計(jì)，首先，從設(shè)計(jì)的角度，YunTable主要從Bi

5、gTable參考許多優(yōu)秀的設(shè)計(jì)，進(jìn)行簡(jiǎn)化SSTable的格式主要用于分布式體系結(jié)構(gòu)(其中以下三個(gè)專色：是數(shù)據(jù)模型的一部分)，SSTable的格式主要用于存儲(chǔ)，而YunTable的結(jié)構(gòu)主要由兩個(gè)大模塊組成： 主節(jié)點(diǎn)：管理整個(gè)YunTable群集的角色，在群集中只存在一個(gè)。 Region節(jié)點(diǎn)：用于存儲(chǔ)數(shù)據(jù)，在群集中有多個(gè)。 Key-Value、Key-Value這些數(shù)據(jù)模型在結(jié)構(gòu)上比以往的關(guān)系類型簡(jiǎn)單，與常見的HashTable類似，Key支持Value，但提供非?？斓牟樵兯俣?、大的數(shù)據(jù)存儲(chǔ)量、高并發(fā)操作，主要Single-Master在分散的設(shè)計(jì)基礎(chǔ)上，選擇語(yǔ)義上和實(shí)現(xiàn)上非常簡(jiǎn)單的Single

6、Master模式來(lái)管理整個(gè)集群。 一般而言，為了使一個(gè)主節(jié)點(diǎn)能夠管理成千上萬(wàn)個(gè)Region節(jié)點(diǎn)并且能夠管理這樣的大集群，主節(jié)點(diǎn)只負(fù)責(zé)在Region節(jié)點(diǎn)之間分布數(shù)據(jù)，而實(shí)際的數(shù)據(jù)處理是在客戶端和Region之間進(jìn)行的，而不考慮主節(jié)點(diǎn)為了避免主節(jié)點(diǎn)出現(xiàn)單點(diǎn)故障，YunTable計(jì)劃在將來(lái)的版本中引入名為Shadow-Master的機(jī)制。 ss表，簡(jiǎn)單來(lái)說(shuō)，ss表是一種包含排序的關(guān)鍵值對(duì)的文件格式，是不可更改的。 也就是說(shuō)，寫入后，只能隨后附加更新，不能直接修改。 這是為了使系統(tǒng)能夠執(zhí)行Key-Value對(duì)。在內(nèi)部格式中，SSTable文件主要由索引和數(shù)據(jù)塊兩部分組成。 在實(shí)際運(yùn)行時(shí)，索引經(jīng)常被加載

7、到內(nèi)存中以確保查詢的效率。YunTable的體系結(jié)構(gòu)、如何適應(yīng)不同的云計(jì)算環(huán)境，云計(jì)算主要有兩種方案。 需要低延遲和高并發(fā)讀取/寫入能力(如OLTP )。 大量數(shù)據(jù)的存儲(chǔ)和操作(如OLAP )。 那么，YunTable是如何適應(yīng)這兩種環(huán)境的呢？ 首先，堅(jiān)持Key-Value、Single-Master、SSTable等古典且通用的設(shè)計(jì)。 接下來(lái)，將Hotness機(jī)制添加到數(shù)據(jù)存儲(chǔ)器主要是通過(guò)設(shè)置Hotness值來(lái)確定之前為了完成查詢而裝入存儲(chǔ)器中的數(shù)據(jù)塊的生存時(shí)間，假設(shè)將Hotness值設(shè)置為低延遲時(shí)間更長(zhǎng)，以及在大量數(shù)據(jù)時(shí)、NoSQL產(chǎn)品之間的比較、主要NoSQL數(shù)據(jù)庫(kù)、BigTable/H

8、Base :在數(shù)據(jù)模型上屬于Column-Family，采用單主體的分布式體系結(jié)構(gòu)，主要存儲(chǔ)大量數(shù)據(jù)，因此不會(huì)強(qiáng)烈降低延遲。 Cassandra :在數(shù)據(jù)模型方面繼承了BigTable，也是Column-Family，采用Dynamo機(jī)制，其分散結(jié)構(gòu)類似于P2P。 redis :是key-value的產(chǎn)品，本機(jī)支持List和Set這一操作。 由于數(shù)據(jù)集全部存儲(chǔ)在內(nèi)存中，因此讀寫速度非?？?，但分布式支持非常有限。 mongodb:documentdb，提供的功能相對(duì)完整，在分布式方面有下一代主/從復(fù)制機(jī)制，如Replica Sets。NoSQL數(shù)據(jù)庫(kù)之間的比較、使用YunTable的場(chǎng)景、具體的場(chǎng)景、PaaS平臺(tái)： PaaS平臺(tái)的需求比較復(fù)雜，因此需要大量定制其背景的數(shù)據(jù)庫(kù)，而Yu