簡單的一致性模型1四、文件系統(tǒng)的名字空間(namespace)3副本存放:最最開場的一步48.1磁盤數(shù)據(jù)錯(cuò)誤、心跳檢測和重新復(fù)制79.2Staging910.1DFSShell1010.2DFSAdmin10一、引言 二、前提和設(shè)計(jì)目標(biāo)硬件錯(cuò)誤2.2流式數(shù)據(jù)訪問FS2.3大規(guī)模數(shù)據(jù)集體上高的數(shù)據(jù)傳輸帶寬，能在一個(gè)集群里擴(kuò)展到數(shù)百個(gè)節(jié)點(diǎn)。一個(gè)單一的HDFS2.4簡單的一致性模型 “移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更劃算〞的時(shí)候更是如此。因?yàn)檫@樣就能降低網(wǎng)絡(luò)阻塞的影響，提高系統(tǒng)數(shù)據(jù)的吞吐量。規(guī)模數(shù)據(jù)應(yīng)用平臺的推廣。三、Namenode和Datanode 四、文件系統(tǒng)的名字空間(namespace)HDFS支持傳統(tǒng)的層次型文件組織構(gòu)造。用戶或者應(yīng)用程序可以創(chuàng)立目錄，戶磁盤配額和訪問權(quán)限控制，也不支持硬鏈接和軟鏈接。但是HDFS架構(gòu)并不排 e五、數(shù)據(jù)復(fù)制HDFS計(jì)成能夠在一個(gè)大集群中跨機(jī)器可靠地存儲超大文件。它將每個(gè)收心跳信號和塊狀態(tài)報(bào)告(Blockreport)。接收到心跳信號意味著該Datanode節(jié)點(diǎn)工作正常。塊狀態(tài)報(bào)告包含了一個(gè)該Datanode上所有數(shù)據(jù)塊的列表。5.1副本存放:最最開場的一步 d一個(gè)簡單但沒有優(yōu)化的策略就是將副本存放在不同的機(jī)架上。這樣可以有效價(jià)。5.2副本選擇5.3平安模式 六、文件系統(tǒng)元數(shù)據(jù)的持久化 七、通訊協(xié)議八、強(qiáng)健性HDFS要目標(biāo)就是即使在出錯(cuò)的情況下也要保證數(shù)據(jù)存儲的可靠性。常rtitions)。8.1磁盤數(shù)據(jù)錯(cuò)誤、心跳檢測和重新復(fù)制8.2集群均衡 8.3數(shù)據(jù)完整性8.4元數(shù)據(jù)磁盤錯(cuò)誤8.5快照用快照，可以讓HDFS在數(shù)據(jù)將來的版本進(jìn)展支持。 九、數(shù)據(jù)組織9.1數(shù)據(jù)塊9.2Staging9.3流水線復(fù)制設(shè)該文件的副本系數(shù)設(shè)置為3，當(dāng)本地臨時(shí)文件累積到一個(gè)數(shù)據(jù)塊的大小時(shí)，客 十、可訪問性h令創(chuàng)立一個(gè)名為/foodir的目錄bin/hadoopdfs-mkdir/foodir刪除名為/foodir/myfile.txt的文件Bin/hadoopdfs-rm/foodirmyfile.txtfoodir/myfile.txt的文件bin/hadoopdfs-cat/foodir/myfiDFSShell和文件系統(tǒng)進(jìn)展交互的應(yīng)用程序上。 令將集群置于平安模式bin/hadoopdfsadmin-safemodeenterbin/hadoopdfsadmin-reportbin/hadoopdfsadmin-decommissiondatanodename十一、存儲空間回收 十二、參考資料HDFSJavaAPI:HDFS源代碼:://hadoop.apache.o