云計算

糾刪碼目錄S概述背景糾刪碼結合0102030401概述one概述

隨著信息資源爆炸性增長，云文件系統(tǒng)憑借高性能、高擴展、高可用、易管理等特點，成為云存儲和大數(shù)據(jù)的基礎和核心。由于硬件損壞和軟件故障等原因，可能造成數(shù)據(jù)的損壞和丟失。云文件系統(tǒng)一般采用完全副本技術來提升容錯能力，提高數(shù)據(jù)資源的使用效率和系統(tǒng)性能。但完全副本的存儲開銷隨著副本數(shù)目的增加呈線性增長，存儲副本時造成額外的寫帶寬和數(shù)據(jù)管理開銷。糾刪碼在沒有增加過量的存儲空間的基礎上，通過合理的冗余編碼來保證數(shù)據(jù)的高可靠性和可用性。02背景two背景

信息資源的爆炸性增長，對存儲系統(tǒng)在存儲容量、數(shù)據(jù)可用性和可靠性方面帶來了新的挑戰(zhàn)。在這種情況下，云文件系統(tǒng)作為云存儲和大數(shù)據(jù)的核心基礎，被推倒了浪潮之巔。以Google文件系統(tǒng)（GoogleFileSystem，GFS）和Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem，HDFS）為代表的云文件系統(tǒng)具有高性能、高擴展、高可用、易管理等特點，成為云存儲的關鍵。two背景為了實現(xiàn)存儲系統(tǒng)的高擴展性，保證數(shù)據(jù)的高可用和高可靠性，數(shù)據(jù)一般采用分塊的方式來分布式存儲和管理。為了保證在節(jié)點失效和數(shù)據(jù)損壞的情況下數(shù)據(jù)依然可用，必須對數(shù)據(jù)進行冗余存儲。主要的數(shù)據(jù)冗余機制有完全副本和糾刪碼兩種。云文件系統(tǒng)一般采用完全副本的方式進行容錯。但完全副本存儲方式數(shù)據(jù)量隨副本數(shù)目的增加呈線性增長趨勢，存儲副本時占用額外的寫帶寬，造成硬件和維護成本的增加。two背景

糾刪碼提供了另一種面向存儲優(yōu)化的冗余機制來保護存儲的數(shù)據(jù)。在分布式存儲系統(tǒng)中，糾刪碼將數(shù)據(jù)編碼成數(shù)據(jù)塊和校驗塊，分別存儲在不同的節(jié)點中。當系統(tǒng)中部分節(jié)點失效或者部分數(shù)據(jù)塊損壞時，云文件系統(tǒng)仍能根據(jù)剩余的數(shù)據(jù)塊來恢復原文件，從而保障數(shù)據(jù)的可靠性。糾刪碼技術以其較強的容錯能力，高空間利用率等特點，越來越多地被用于大規(guī)模存儲系統(tǒng)設計，如RAID、Robustore及OceanStore等都是基于糾刪碼技術的容錯存儲系統(tǒng)。03糾刪碼three糾刪碼陣列糾刪碼陣列糾刪碼，特別是MDS類陣列糾刪碼軟硬件實現(xiàn)簡單、廉價，存儲效率、編譯碼復雜度和更新復雜度達到最優(yōu)。其主要用于RAID技術中，進行磁盤陣列糾錯。但不能滿足多點糾錯的需求。里德·所羅門類糾刪碼RS類碼空間利用率高可擴展性強，能夠根據(jù)需求增加冗余數(shù)據(jù)量，提供更高的容錯能力。其缺點是需要在有限域上進行復雜的計算，計算復雜度高。低密度奇偶校驗類糾刪碼LDPC類糾刪碼具有低譯碼復雜度和良好的糾錯能力，但是譯碼過程具有概率性，不能保證100%的譯碼成功。three糾刪碼云文件系統(tǒng)部署在動態(tài)變化的普通硬件上，節(jié)點失效是常態(tài)而不是異常，陣列糾刪碼不能實現(xiàn)多點容錯，因而不能滿足云文件系統(tǒng)的可靠性需求。LDPC類糾刪碼是非確定性編碼，不能滿足數(shù)據(jù)的高可用性，主要用于增加數(shù)據(jù)讀取速率和降低網(wǎng)絡開銷，因而不適合用作云文件系統(tǒng)的數(shù)據(jù)存儲。RS類糾刪碼容錯能力強，空間利用率高，可擴展性好，因而十分適合云文件系統(tǒng)，但需改進編碼和譯碼算法，以降低編譯碼的復雜度。

04結合four結合編碼對象

減少冗余信息造成的存儲開銷，是將糾刪碼技術運用于云文件系統(tǒng)的最主要原因。然而，由于云文件系統(tǒng)中文件比較大，文件塊也比較大，這給糾刪碼的應用帶來了挑戰(zhàn)，需要選擇合適的編碼對象。通常有單文件編碼和跨文件編碼兩種方式。

在云文件系統(tǒng)中，單文件編碼與跨文件編碼之間的選擇，與云文件系統(tǒng)存儲的文件大小密切相關，也是糾刪碼存儲開銷和糾刪碼實現(xiàn)復雜度的綜合權衡。如果云文件系統(tǒng)中文件普遍較大，文件塊數(shù)較多，則單文件編碼的存儲開銷也較小，應選擇單文件編碼。反之，則應根據(jù)存儲開銷和實現(xiàn)復雜度來選擇。若側重減小存儲開銷，應選擇跨文件編碼；若希望保持糾刪碼系統(tǒng)簡單，則應選擇單文件編碼。four應用編碼時機一般來說，糾刪碼進行編碼的時機分為同步編碼和異步編碼兩種。同步編碼能夠在存儲數(shù)據(jù)時即節(jié)省存儲開銷和寫數(shù)據(jù)帶寬，但降低了部分讀數(shù)據(jù)的性能，實現(xiàn)較為復雜。異步編碼一般將文件系統(tǒng)中的數(shù)據(jù)分為熱數(shù)據(jù)和冷數(shù)據(jù)兩類。熱數(shù)據(jù)使用完全副本的方式存儲，充分提高讀取數(shù)據(jù)的帶寬，而對冷數(shù)據(jù)進行糾刪碼編碼，以節(jié)省存儲開銷。采用異步編碼時，何時進行異步編碼是一個研究的熱點問題。因此，糾刪碼編碼時機的選擇，是數(shù)據(jù)的讀寫性能和存儲開銷的綜合權衡。four應用數(shù)據(jù)更改

糾刪碼系統(tǒng)中，如何維護數(shù)據(jù)更改后糾刪碼的一致性，是系統(tǒng)設計需要考慮的一個重要問題。云文件系統(tǒng)中數(shù)據(jù)采用流式讀追加寫的訪問，極大降低了維護糾刪碼一致性的復雜性。數(shù)據(jù)中只有最后一個數(shù)據(jù)塊可能被追加寫（append），因而只需考慮最后一個數(shù)據(jù)塊的編碼問題。一般有兩種方式，一種是最后一個數(shù)據(jù)塊不進行編碼，仍采用完全副本的方式存儲，追加寫的數(shù)據(jù)添加到最后一個數(shù)據(jù)塊中。這種方式比較簡單，不需要更新校驗塊，其缺點是由于文件塊較大，最后一個塊不編碼也造成了相當大的存儲空間浪費。另外一種方式是用完全副本構造最后一個數(shù)據(jù)塊，追加寫完數(shù)據(jù)后，重新生成校驗塊。

four結合數(shù)據(jù)訪問方式在基于糾刪碼的分布式存儲系統(tǒng)中，數(shù)據(jù)訪問有兩種方式，一種是客戶端只讀取數(shù)據(jù)塊，另一種方式是根據(jù)帶寬或者其他因素選擇合適的數(shù)據(jù)塊和校驗塊，在客戶端進行解碼恢復出完整的數(shù)據(jù)。第一種方式需要在后臺定期檢查數(shù)據(jù)塊和校驗塊是否正常，如果出錯則需解碼恢復。若客戶端訪問數(shù)據(jù)時系統(tǒng)正進行數(shù)據(jù)恢復，則會造成一定的訪問延遲。第二種方式可以讀取不同的數(shù)據(jù)塊和校驗塊，有效增加了讀數(shù)據(jù)的帶寬，但造成了客戶端巨大的解碼開銷。four結合數(shù)據(jù)訪問性能在云文件系統(tǒng)中，副本不僅用于增強數(shù)據(jù)的可用性，也能提高數(shù)據(jù)訪問的性能和實現(xiàn)負載均衡。將糾刪碼引入云文件系統(tǒng)后，文件副本較少（通常為1或者2），不可避免造成了數(shù)據(jù)訪問性能的下降。為了應對這種性能下降，一種策略是選擇異步編碼，先充分利用完全副本來增強數(shù)據(jù)訪問的性能，等數(shù)據(jù)訪問平穩(wěn)后再采用糾刪碼技術減小存儲空間。另一種策略是使用緩存（Cache）技術。Cache常用于臨時緩存數(shù)據(jù)到訪問較快的地方，來提高數(shù)據(jù)訪問的性能。在云文件系統(tǒng)中，可以用Cache存儲新寫入文件的多倍副本，待該數(shù)據(jù)的訪問平穩(wěn)后再刪除Cache中的數(shù)據(jù)。結語