云計算原理與實踐PrinciplesandPracticeofCloudComputing2021/6/271Outline5.1分布式存儲的基礎(chǔ)5.2文件存儲5.3從單機存儲系統(tǒng)到分布式存儲系統(tǒng)5.4實踐：分布式存儲系統(tǒng)CephMachineLearningDomainexpertiseMathematicsDataengineering2021/6/2725.1分布式存儲的基礎(chǔ)5.1.1基本概念5.1.2分布式存儲分類5.1.3分布式存儲的發(fā)展歷史2021/6/2735.1.1基本概念分布式存儲系統(tǒng)的定義：分布式存儲系統(tǒng)是將為數(shù)眾多的普通計算機或服務(wù)器通過網(wǎng)絡(luò)進行連接，同時對外提供一個整體的存儲服務(wù)。分布式存儲系統(tǒng)包括以下幾個特性：高性能可擴展低成本易用性分布式存儲系統(tǒng)的技術(shù)挑戰(zhàn)包括：數(shù)據(jù)和狀態(tài)信息的持久化、數(shù)據(jù)的自動遷移、系統(tǒng)的自動容錯、并發(fā)讀寫的數(shù)據(jù)的一致性等方面。2021/6/2745.1.2分布式存儲分類分布式存儲面臨的應(yīng)用場景和數(shù)據(jù)需求都比較復(fù)雜，根據(jù)數(shù)據(jù)類型，可以將其分為非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)三類。正因為數(shù)據(jù)類型的多樣性，不同的分布式存儲系統(tǒng)適合處理不同類型的數(shù)據(jù)，因此可以將分布式存儲系統(tǒng)分為四類：分布式文件系統(tǒng)分布式鍵值（Key-Value）系統(tǒng)分布式表系統(tǒng)分布式數(shù)據(jù)庫2021/6/2751.分布式文件系統(tǒng)分布式文件系統(tǒng)存儲三種類型的數(shù)據(jù)：Blob對象、定長塊以及大文件。圖5.1數(shù)據(jù)塊與Blob對象、定長塊、大文件之間的關(guān)系2021/6/2762分布式鍵值（Key-Value）系統(tǒng)分布式鍵值系統(tǒng)用于存儲關(guān)系簡單的半結(jié)構(gòu)化數(shù)據(jù)，它提供基于主鍵的CRUD（Create/Read/Update/Delete）功能，即根據(jù)主鍵創(chuàng)建、讀取、更新或者刪除一條鍵值記錄。典型的系統(tǒng)有AmazonDynamo。分布式鍵值系統(tǒng)是分布式表系統(tǒng)的一種簡化，一般用作緩存，比如Memcache。從數(shù)據(jù)結(jié)構(gòu)的角度看，分布式鍵值系統(tǒng)支持將數(shù)據(jù)分布到集群中的多個存儲節(jié)點。一致性散列是分布式鍵值系統(tǒng)中常用的數(shù)據(jù)分布技術(shù)，由于在眾多系統(tǒng)中被采用而變得非常有名。2021/6/2773分布式表系統(tǒng)分布式表系統(tǒng)主要用于存儲半結(jié)構(gòu)化數(shù)據(jù)。與分布式鍵值系統(tǒng)相比，分布式表系統(tǒng)不僅僅支持簡單的CRUD操作，而且支持掃描某個主鍵范圍。分布式表系統(tǒng)以表格為單位組織數(shù)據(jù)，每個表格包括很多行，通過主鍵標識一行，支持根據(jù)主鍵的CRUD功能以及范圍查找功能。典型的分布式表系統(tǒng)包括GoogleBigtable、MicrosoftAzureTableStorage、AmazonDynamoDB等。2021/6/2784分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫是從傳統(tǒng)的基于單機的關(guān)系型數(shù)據(jù)庫擴展而來，用于存儲大規(guī)模的結(jié)構(gòu)化數(shù)據(jù)。分布式數(shù)據(jù)庫采用二維表格組織數(shù)據(jù)，提供經(jīng)典的SQL關(guān)系查詢語言，支持嵌套子查詢、多表關(guān)聯(lián)等復(fù)雜操作，并提供數(shù)據(jù)庫事務(wù)以及并發(fā)控制。關(guān)系數(shù)據(jù)庫是目前為止最為成熟的存儲技術(shù)，功能豐富，有完善的商業(yè)關(guān)系數(shù)據(jù)庫軟件的支持。隨著大數(shù)據(jù)時代的到來，為了解決關(guān)系數(shù)據(jù)庫面臨的可擴展性、高并發(fā)以及性能方面的問題，各種各樣的非關(guān)系數(shù)據(jù)庫不斷涌現(xiàn)，這類被稱為NoSQL的系統(tǒng)，可以理解為“NotOnlySQL”的含義。2021/6/279圖5.2分布式文件系統(tǒng)的發(fā)展5.1.3分布式存儲的發(fā)展歷史2021/6/27101．20世紀80年代的代表：AFS、NFS、Coda（1）

AFS：1983年CMU和IBM共同合作開發(fā)了Andrew文件系統(tǒng)（AndrewFileSystem，AFS）（2）

NFS：1985年，Sun公司基于UDP開發(fā)了網(wǎng)絡(luò)共享文件系統(tǒng)（NetworkFileSystem,NFS）（3）

Coda：1987年，CMU在基于AFS的基礎(chǔ)上開發(fā)了Coda文件系統(tǒng)5.1.3分布式存儲的發(fā)展歷史2021/6/27112．20世紀90年代的代表：XFS、TigerShark、SFS5.1.3分布式存儲的發(fā)展歷史XFS：加州大學(xué)伯克利分校（UCBerkeley）開發(fā)了XFS文件系統(tǒng)，克服了以往分布式文件系統(tǒng)只適用于局域網(wǎng)而不適用于廣域網(wǎng)和大數(shù)據(jù)存儲的問題，提出了廣域網(wǎng)進行緩存較少網(wǎng)絡(luò)流量設(shè)計思想，采用層次命名結(jié)構(gòu)，減少Cache一致性狀態(tài)和無效寫回Cache一致性協(xié)議，從而減少了網(wǎng)絡(luò)負載，在當時獲得了一定的成功。2021/6/27123．20世紀末的代表：

（1）

SAN（StorageAreaNetwork）（2）NAS（NetworkAttachedStorage）（3）

GPFS（GeneralParallelFileSystem）（4）

GFS（GoogleFileSystem）（5）

HDFS

（HadoopDistributedFileSystem）5.1.3分布式存儲的發(fā)展歷史2021/6/2713（1）SAN（StorageAreaNetwork）通過將磁盤存儲系統(tǒng)和服務(wù)器直接相連的方式提供一個易擴展、高可靠的存儲環(huán)境，高可靠的光纖通道交換機和光纖通道網(wǎng)絡(luò)協(xié)議保證各個設(shè)備間鏈接的可靠性和高效性。設(shè)備間的連接接口主要是采用FC或者SCSI。圖5.3SAN網(wǎng)絡(luò)結(jié)構(gòu)2021/6/2714（2）

NAS（NetworkAttachedStorage）通過基于TCP/IP的各種上層應(yīng)用在各工作站和服務(wù)器之間進行文件訪問，直接在工作站客戶端和NAS文件共享設(shè)備之間建立連接，NAS隱藏了文件系統(tǒng)的底層實現(xiàn)，注重上層的文件服務(wù)實現(xiàn)，具有良好的擴展性圖5.4NAS存儲網(wǎng)絡(luò)結(jié)構(gòu)2021/6/2715（3）GPFS（GeneralParallelFileSystem）GPFS是IBM公司開發(fā)的共享文件系統(tǒng)，起源于IBMSP系統(tǒng)上使用的虛擬共享磁盤技術(shù)。GPFS是一個并行的磁盤文件系統(tǒng)，它保證在資源組內(nèi)的所有節(jié)點可以并行訪問整個文件系統(tǒng)。GPFS允許客戶共享文件，而這些文件可能分布在不同節(jié)點的不同硬盤上。它同時還提供了許多標準的UNIX文件系統(tǒng)接口，允許應(yīng)用不需修改或者重新編輯就可以在其上運行。2021/6/2716（4）GFS（GoogleFileSystem）圖5.5GFS架構(gòu)圖2021/6/2717（5）HDFS（HadoopDistributedFileSystem）圖5.6HDFS總體結(jié)構(gòu)示意圖2021/6/27184．21世紀的代表：Cassandra、HBase、MongoDB、DynamoDB（1）

Cassandra：是一套開源分布式NoSQL數(shù)據(jù)庫系統(tǒng)，最初由Facebook開發(fā)，用于儲存收件箱等簡單格式數(shù)據(jù)，集GoogleBigTable的數(shù)據(jù)模型與AmazonDynamo的完全分布式的架構(gòu)于一身。（2）

HBase：列存儲數(shù)據(jù)庫，擅長以列為單位讀取數(shù)據(jù)，面向列存儲的數(shù)據(jù)庫具有高擴展性，即使數(shù)據(jù)大量增加也不會降低相應(yīng)的處理速度，特別是寫入速度。5.1.3分布式存儲的發(fā)展歷史2021/6/27194．21世紀的代表：Cassandra、HBase、MongoDB、DynamoDB（3）

MongoDB：文檔型數(shù)據(jù)庫同鍵值（Key-Value）型的數(shù)據(jù)庫類似，是鍵值型數(shù)據(jù)庫的升級版，允許嵌套鍵值，Value值是結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫可以理解Value的內(nèi)容，提供復(fù)雜的查詢，類似于RDBMS的查詢條件。（4）

DynamoDB：Amazon公司的一個分布式存儲引擎，是一個經(jīng)典的分布式Key-Value存儲系統(tǒng)，具備去中心化、高可用性、高擴展性的特點。5.1.3分布式存儲的發(fā)展歷史2021/6/27205.2文件存儲5.2.1單機文件系統(tǒng)5.2.2網(wǎng)絡(luò)文件系統(tǒng)5.2.3并行文件系統(tǒng)5.2.4分布式文件系統(tǒng)5.2.5高通量文件系統(tǒng)2021/6/27215.2.1單機文件系統(tǒng)現(xiàn)代文件系統(tǒng)的起源要追溯到分時操作系統(tǒng)時期。1965年，在Multics操作系統(tǒng)中首次提出使用樹型結(jié)構(gòu)來組織文件、目錄以及訪問控制的思想。這些思想被后來的UNIX文件系統(tǒng)（1973年）所借鑒。從結(jié)構(gòu)上看，它包括四個模塊：引導(dǎo)塊、超級塊、索引節(jié)點和數(shù)據(jù)塊。為解決UNIX文件系統(tǒng)I/O性能低的問題，先后出現(xiàn)了1984年的快速文件系統(tǒng)（FastFileSystem，F(xiàn)FS）和1992年的日志結(jié)構(gòu)文件系統(tǒng)（Log-StructuredFile，LFS）。20世紀90年代至今，出現(xiàn)了很多單機文件系統(tǒng)。包括SGI公司于1994年發(fā)布的XFS，以及Sun公司于2004年發(fā)布的ZFS。2021/6/27225.2.2網(wǎng)絡(luò)文件系統(tǒng)NFS（NetworkFileSystem，網(wǎng)絡(luò)文件系統(tǒng)）由Sun公司在1984年開發(fā)，被認為是第一個廣泛應(yīng)用的現(xiàn)代網(wǎng)絡(luò)文件系統(tǒng)。NFS的設(shè)計目標是提供跨平臺的文件共享系統(tǒng)。由于NFS的實現(xiàn)和設(shè)計思想都相對簡單，該協(xié)議很快被納入到RFC標準，并開始大量應(yīng)用。然而，NFS單一服務(wù)器的結(jié)構(gòu)也決定了它的擴展性有限。AFS（AndrewFileSystem）是美國卡耐基·梅隆大學(xué)1982年開發(fā)的分布式文件系統(tǒng)。其設(shè)計目標是支持5000～10000個節(jié)點的集群，擴展性是首要考慮的因素。與NFS等系統(tǒng)不同的是，AFS中有多個服務(wù)器，整個命名空間被靜態(tài)地劃分到各個服務(wù)器上，因此，AFS具有更好的擴展性。2021/6/27235.2.3并行文件系統(tǒng)早期的并行文件系統(tǒng)有BFS（BridgeFileSystem）和CFS（ConcurrentFileSystem）等。它們運行在MPP（MassivelyParallelProcessing，MPP）結(jié)構(gòu)的超級計算機上。。20世紀90年代中期，開源的Linux操作系統(tǒng)逐漸成熟并得到廣泛使用，為了能在越來越多的Linux集群上運行，出現(xiàn)了以PVFS和Lustr為代表的Linux集群上的并行文件系統(tǒng)。它們吸收了MPP并行文件系統(tǒng)的很多思想，包括采用一個專門的元數(shù)據(jù)服務(wù)器來維護和管理文件系統(tǒng)的命名空間，以及將文件數(shù)據(jù)條帶化并分散存儲在所有的存儲服務(wù)器上等。2021/6/27245.2.4分布式文件系統(tǒng)20世紀90年代后期，隨著互聯(lián)網(wǎng)的發(fā)展，出現(xiàn)了搜索引擎這樣的海量文本數(shù)據(jù)檢索工具。搜索引擎需要高吞吐率、低成本、高可靠的系統(tǒng)，而非高峰值處理性能的系統(tǒng)。于是產(chǎn)生了以谷歌的GoogleFileSystem（GFS）、MapReduce為代表的新型數(shù)據(jù)處理架構(gòu)。GFS的底層平臺是大規(guī)模（數(shù)千臺到數(shù)萬臺）的、廉價的、可靠性較低的PC集群，存儲設(shè)備是集群中每個節(jié)點上的多塊IDE磁盤谷歌架構(gòu)被互聯(lián)網(wǎng)企業(yè)廣泛采用，現(xiàn)在流行的Hadoop就是GFS和MapReduce的一種開源實現(xiàn)，被很多企業(yè)采用。2021/6/27255.2.5高通量文件系統(tǒng)高通量文件系統(tǒng)是為大型數(shù)據(jù)中心設(shè)計的文件系統(tǒng)，它將數(shù)據(jù)中心中大量低成本的存儲資源有效地組織起來，服務(wù)于上層多種應(yīng)用的數(shù)據(jù)存儲需求和數(shù)據(jù)訪問需求。隨著云計算技術(shù)的發(fā)展，數(shù)據(jù)中心的數(shù)據(jù)存儲需求逐漸成為數(shù)據(jù)存儲技術(shù)和文件系統(tǒng)發(fā)展的主要驅(qū)動力，高通量文件系統(tǒng)將成為一種重要的文件系統(tǒng)。大型數(shù)據(jù)中心在數(shù)據(jù)存儲和數(shù)據(jù)訪問方面有著與先前的應(yīng)用非常不同的需求特征，主要包括：數(shù)據(jù)量龐大、訪問的并發(fā)度高、文件數(shù)量巨大、數(shù)據(jù)訪問語義和訪問接口不同于傳統(tǒng)的文件系統(tǒng)、數(shù)據(jù)共享與數(shù)據(jù)安全的保障越來越重要等。2021/6/2726表5.1文件系統(tǒng)

的發(fā)展脈絡(luò)2021/6/27275.3從單機存儲系統(tǒng)到分布式存儲系統(tǒng)5.3.1單機存儲系統(tǒng)5.3.2分布式存儲系統(tǒng)2021/6/27285.3.1單機存儲系統(tǒng)1．硬件基礎(chǔ)簡單來說，單機存儲就是散列表、B樹等數(shù)據(jù)結(jié)構(gòu)在機械硬盤、SSD等持久化介質(zhì)上的實現(xiàn)。單機存儲系統(tǒng)的理論來源于關(guān)系數(shù)據(jù)庫，是單機存儲引擎的封裝，對外提供文件、鍵值、表或者關(guān)系模型。由摩爾定律可知，相同性能的計算機等IT產(chǎn)品，每18個月價錢會下降一半。而計算機的硬件體系架構(gòu)卻保持相對穩(wěn)定，一個重要原因就是希望最大限度地發(fā)揮底層硬件的價值。計算機架構(gòu)中常見硬件的大致性能參數(shù)如表5.2所示。2021/6/2729表5.2常用硬件性能參數(shù)2021/6/27305.3.1單機存儲系統(tǒng)2．存儲引擎存儲引擎直接決定了存儲系統(tǒng)能夠提供的性能和功能，其基本功能包括：增、刪、改、查，而讀取操作又分為隨機讀取和順序掃描兩種。散列存儲引擎是散列表的持久化實現(xiàn)，支持增、刪、改，以及隨機讀取操作，但不支持順序掃描，對應(yīng)的存儲系統(tǒng)為鍵值（Key-Value）存儲系統(tǒng)。B樹（B-Tree）存儲引擎是樹的持久化實現(xiàn)，不僅支持單條記錄的增、刪、讀、改操作，還支持順序掃描，對應(yīng)的存儲系統(tǒng)是關(guān)系數(shù)據(jù)庫。LSM樹（Log-StructuredMergeTree）存儲引擎和B樹存儲引擎一樣，支持增、刪、改、隨機讀取以及順序掃描，它通過批量轉(zhuǎn)儲技術(shù)規(guī)避了磁盤隨機寫入問題，廣泛應(yīng)用于互聯(lián)網(wǎng)的后臺存儲系統(tǒng)，例如GoogleBigtable、GoogleLevelDB以及Cassandra系統(tǒng)等。2021/6/27315.3.1單機存儲系統(tǒng)3．數(shù)據(jù)模型如果說存儲引擎相當于存儲系統(tǒng)的發(fā)動機，那么，數(shù)據(jù)模型就是存儲系統(tǒng)的外殼。存儲系統(tǒng)的數(shù)據(jù)模型主要包括三類：文件、關(guān)系以及鍵值模型。傳統(tǒng)的文件系統(tǒng)和關(guān)系數(shù)據(jù)庫系統(tǒng)分別采用文件和關(guān)系模型。關(guān)系模型描述能力強，生態(tài)好，是目前存儲系統(tǒng)的業(yè)界標準。而新產(chǎn)生的鍵值模型、關(guān)系弱化的表格模型等，因為其可擴展性、高并發(fā)以及性能上的優(yōu)勢，開始在越來越多的大數(shù)據(jù)應(yīng)用場景中發(fā)揮重要作用。2021/6/27325.3.2分布式存儲系統(tǒng)1．基本概念（1）異常（2）超時（3）一致性（4）衡量指標性能可用性一致性可擴展性2021/6/27335.3.2分布式存儲系統(tǒng)2．性能分析性能分析是用來判斷設(shè)計方案是否存在瓶頸點，權(quán)衡多種設(shè)計方案的一種手段，也可作為后續(xù)性能優(yōu)化的依據(jù)。性能分析與性能優(yōu)化是相對的，系統(tǒng)設(shè)計之初通過性能分析確定設(shè)計目標，防止出現(xiàn)重大的設(shè)計失誤，等到系統(tǒng)試運行后，需要通過性能優(yōu)化方法找出系統(tǒng)中的瓶頸點并逐步消除，使系統(tǒng)達到設(shè)計之初確定的設(shè)計目標。設(shè)計之初首先分析整體架構(gòu)，接著重點分析可能成為瓶頸的單機模塊。系統(tǒng)中的資源（CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)）是有限的，性能分析就是需要找出可能出現(xiàn)的資源瓶頸。2021/6/27345.3.2分布式存儲系統(tǒng)3．數(shù)據(jù)分布分布式系統(tǒng)能夠?qū)?shù)據(jù)分布到多個節(jié)點，并在多個節(jié)點之間實現(xiàn)負載均衡。其方式主要有兩種：散列分布，如一致性散列，代表系統(tǒng)為Amazon的Dynamo系統(tǒng)；順序分布，即每張表格上的數(shù)據(jù)按照主鍵整體有序，代表系統(tǒng)為Google的Bigtable。將數(shù)據(jù)分散到多臺機器后，需要盡量保證多臺機器之間的負載是比較均衡的。分布式存儲系統(tǒng)需要能夠自動識別負載高的節(jié)點，當某臺機器的負載較高時，將它服務(wù)的部分數(shù)據(jù)遷移到其他機器，實現(xiàn)自動負載均衡。2021/6/27355.3.2分布式存儲系統(tǒng)4．復(fù)制為了保證分布式存儲系統(tǒng)的高可靠和高可用，數(shù)據(jù)在系統(tǒng)中一般存儲多個副本。當某個副本所在的存儲節(jié)點出現(xiàn)故障時，分布式存儲系統(tǒng)能夠自動將服務(wù)切換到其他的副本，從而實現(xiàn)自動容錯。分布式存儲系統(tǒng)通過復(fù)制協(xié)議將數(shù)據(jù)同步到多個存儲節(jié)點，并確保多個副本之間的數(shù)據(jù)一致性。同一份數(shù)據(jù)的多個副本中往往有一個副本為主副本（Primary），其他副本為備用副本（Backup），由主副本將數(shù)據(jù)復(fù)制到備用副本。當主副本出現(xiàn)故障時，分布式存儲系統(tǒng)能夠?qū)⒎?wù)自動切換到某個備用副本，實現(xiàn)自動容錯。2021/6/27365.3.2分布式存儲系統(tǒng)5．容錯分布式存儲系統(tǒng)首先需要能夠檢測到機器故障，然后需要將服務(wù)復(fù)制或者遷移到集群中的其他正常節(jié)點。表5.3 Google某數(shù)據(jù)中心第一年運行故障2021/6/27375.3.2分布式存儲系統(tǒng)6．可擴展性可擴展性的實現(xiàn)手段很多，如通過增加副本個數(shù)或者緩存來提高讀取能力，將數(shù)據(jù)分片使每個分片可以被分配到不同的工作節(jié)點以實現(xiàn)分布式處理，把數(shù)據(jù)復(fù)制到多個數(shù)據(jù)中心等。同時，衡量分布式存儲系統(tǒng)的可擴展性應(yīng)該綜合考慮節(jié)點故障后的恢復(fù)時間、擴容的自動化程度、擴容的靈活性等。2021/6/27387．分布式協(xié)議（1）兩階段提交協(xié)議（Two-PhaseCommit，2PC）：由階段1請求階段（PreparePhase）和階段2提交階段（CommitPhase）組成，經(jīng)常用來實現(xiàn)分布式事務(wù)，以保證跨多個節(jié)點操作的原子性。（2）

Paxos協(xié)議：用于解決多個節(jié)點之間的一致性問題。Paxos協(xié)議考慮到主節(jié)點可能出現(xiàn)故障，系統(tǒng)需要選舉出新的主節(jié)點的問題，該協(xié)議可以保證多個節(jié)點之間操作日志的一致性，并在這些節(jié)點上構(gòu)建高可用的全局服務(wù)，例如分布式鎖服務(wù)、全局命名和配置服務(wù)等。5.3.2分布式存儲的發(fā)展歷史2021/6/27395.4實踐：分布式存儲系統(tǒng)Ceph5.4.1概述5.4.2設(shè)計思想5.4.3整體架構(gòu)5.4.4集群部署2021/6/2740Ceph最初是一項關(guān)于存儲系統(tǒng)的研究項目，由塞奇·維爾（SageWeil）在加州大學(xué)圣克魯茲分校（UCSC）開發(fā)。Ceph是一個統(tǒng)一的、分布式的存儲系統(tǒng)，具有出眾的性能、可靠性和可擴展性。其中,“統(tǒng)一”和“分布式”是理解Ceph的設(shè)計思想的出發(fā)點。①統(tǒng)一：意味著Ceph可以以一套存儲系統(tǒng)同時提供“對象存儲”“塊存儲”和“文件系統(tǒng)”三種功能，以滿足不同應(yīng)用的需求。②分布式：意味著無中心結(jié)構(gòu)和系統(tǒng)規(guī)模的無限（至少理論上沒有限制）擴展。在實踐當中，Ceph可以被部署于成千上萬臺服務(wù)器上。5.4.1概述2021/6/27415.4.2設(shè)計思想Ceph最初設(shè)計的目標應(yīng)用場景就是大規(guī)模的、分布式的存儲系統(tǒng)，是指至少能夠承載PB量級的數(shù)據(jù)，并且由成千上萬的存儲節(jié)點組成。在Ceph的設(shè)計思想中，對于一個大規(guī)模的存儲系統(tǒng)，主要考慮了三個場景變化特征：存儲系統(tǒng)的規(guī)模變化、存儲系統(tǒng)中的設(shè)備變化以及存儲系統(tǒng)中的數(shù)據(jù)變化。Ceph的設(shè)計思路基本上可以