分布式文件系統(tǒng)關(guān)鍵特性目錄hdfs架構(gòu)關(guān)鍵設(shè)計(jì)Hdfs高可靠性2元數(shù)據(jù)持久化數(shù)據(jù)副本機(jī)制HDFS架構(gòu)關(guān)鍵設(shè)計(jì)NameNode/DataNode主從模式統(tǒng)一的文件系統(tǒng)命名空間數(shù)據(jù)副本機(jī)制元數(shù)據(jù)持久化機(jī)制聯(lián)邦存儲(chǔ)機(jī)制數(shù)據(jù)存儲(chǔ)策略HA高可靠性多方式訪問(wèn)機(jī)制空間回收機(jī)制健壯機(jī)制HDFSHDFS高可靠性HDFS的高可靠性（HA）架構(gòu)在基本架構(gòu)上增加了以下組件：ZooKeeper分布式協(xié)調(diào)，主要用來(lái)存儲(chǔ)HA下的狀態(tài)文件，主備信息。ZK個(gè)數(shù)建議3個(gè)及以上且為奇數(shù)個(gè)。NameNode主備NameNode主備模式，主提供服務(wù)，備合并元數(shù)據(jù)并作為主的熱備。ZKFCZKFC(ZooKeeperFailoverController)用于控制NameNode節(jié)點(diǎn)的主備狀態(tài)。JNJN(JournalNode)用于共享存儲(chǔ)NameNode生成的Editlog。數(shù)據(jù)副本機(jī)制副本距離計(jì)算公式：Distance(Rack1/D1,Rack1/D1)=0

同一臺(tái)服務(wù)器的距離為0Distance(Rack1/D1,Rack1/D3)=2

同一機(jī)架不同的服務(wù)器距離為2Distance(Rack1/D1,Rack2/D1)=4

不同機(jī)架的服務(wù)器距離為4副本放置策略：第一個(gè)副本在本地機(jī)器第二個(gè)副本在遠(yuǎn)端機(jī)架的節(jié)點(diǎn)第三個(gè)副本看之前的兩個(gè)副本是否在同一機(jī)架，如果是則選擇其他機(jī)架，否則選擇和第一個(gè)副本相同機(jī)架的不同節(jié)點(diǎn)，第四個(gè)及以上，隨機(jī)選擇副本存放位置。元數(shù)據(jù)持久化元數(shù)據(jù)持久化的流程如下：1.備NameNode通知主NameNode生成新的日志文件，以后的日志寫到Editlog.new中，并獲取舊的Editlog。2.備NameNode從主NameNode上獲取FSImage文件及位于JournalNode上面的舊EditLog。3.備NameNode將日志和舊的元數(shù)據(jù)合并，生成新的元數(shù)據(jù)FSImage.ckpt。4.備NameNode將元數(shù)據(jù)上傳到主NameNode。5.主NameNode將上傳的元數(shù)據(jù)進(jìn)行回滾。6.循環(huán)步驟1。元數(shù)據(jù)持久化健壯機(jī)制HDFS主要目的是保證存儲(chǔ)數(shù)據(jù)完整性，對(duì)于各組件的失效，做了可靠性處理。重建失效數(shù)據(jù)盤的副本數(shù)據(jù)DataNode向NameNode周期上報(bào)失敗時(shí)，NameNode發(fā)起副本重建動(dòng)作以恢復(fù)丟失副本。集群數(shù)據(jù)均衡HDFS架構(gòu)設(shè)計(jì)了數(shù)據(jù)均衡機(jī)制，此機(jī)制保證數(shù)據(jù)在各個(gè)DataNode上分布是平均的。數(shù)據(jù)有效性保證DataNode數(shù)據(jù)在讀取時(shí)校驗(yàn)失敗，則從其他數(shù)據(jù)節(jié)點(diǎn)讀取數(shù)據(jù)。元數(shù)據(jù)可靠性保證采用日志機(jī)制操作元數(shù)據(jù)，同時(shí)元數(shù)據(jù)存放在主備NameNode上。快照機(jī)制實(shí)現(xiàn)了文件系統(tǒng)常見(jiàn)的快照機(jī)制，保