1、大數(shù)據(jù)HDFS技術(shù)原理與實(shí)踐技術(shù)創(chuàng)新，變革未來2提綱HDFS簡介HDFS架構(gòu)與原理123HDFS程序設(shè)計(jì)3HDFS簡介發(fā)表于2003年10月HDFS是GFS的克隆版源自于Google的GFS論文易于擴(kuò)展的分布式文件系統(tǒng)運(yùn)行在大量普通廉價(jià)機(jī)器上，提供容錯(cuò)機(jī)制為大量用戶提供性能不錯(cuò)的文件存取服務(wù)HDFS特點(diǎn)4高容錯(cuò)性數(shù)據(jù)自動(dòng)保存多個(gè)副本副本丟失后，自動(dòng)恢復(fù)適合批處理移動(dòng)計(jì)算而非數(shù)據(jù)數(shù)據(jù)位置暴露給計(jì)算框架適合大數(shù)據(jù)處理TB、PB級(jí)數(shù)據(jù)百萬規(guī)模以上的文件數(shù)量10K+節(jié)點(diǎn)規(guī)模流式文件訪問一次性寫入，多次讀取保證數(shù)據(jù)一致性可構(gòu)建在廉價(jià)機(jī)器上通過多副本提高高可靠性提供了容錯(cuò)和恢復(fù)機(jī)制HDFS優(yōu)點(diǎn)&缺點(diǎn)不適合

2、低延遲數(shù)據(jù)訪問比如毫秒級(jí)低延遲與高吞吐率不適合小文件存取占用NameNode大量內(nèi)存尋道時(shí)間超過讀取時(shí)間不適合并發(fā)寫入、文件隨機(jī)修 改一個(gè)文件只能有一個(gè)寫著僅支持append5提綱HDFS簡介HDFS架構(gòu)與原理123HDFS程序設(shè)計(jì)6HDFS設(shè)計(jì)思想7HDFS架構(gòu) (1/2)8HDFS架構(gòu) (2/2)Active NameNode主Master（只有一個(gè)）管理HDFS的名稱空間管理數(shù)據(jù)塊映射信息配置副本策略處理客戶端讀寫請(qǐng)求Standby NameNodeNameNode的熱備定期合并fsimage和fsedits， 并推送給NameNode當(dāng)Active NameNode故障時(shí)， 快速切換為

3、新的Active NameNodeDataNodeSlave（有多個(gè)）存儲(chǔ)實(shí)際的數(shù)據(jù)塊執(zhí)行數(shù)據(jù)塊讀寫Client文件切分與NameNode交互，獲取文件 位置信息與DataNode交互，讀寫數(shù)據(jù)管理HDFS訪問HDFS9文件被切分為固定大小的數(shù)據(jù)塊默認(rèn)數(shù)據(jù)塊大小為128MB，可配置若文件大小不到128MB，則單獨(dú)存成一個(gè)block為何數(shù)據(jù)塊如此之大數(shù)據(jù)傳輸時(shí)間超過尋道時(shí)間（高吞吐率）一個(gè)文件存儲(chǔ)方式把大小切分成若干個(gè)block，存儲(chǔ)到不同節(jié)點(diǎn) 上默認(rèn)情況下每個(gè)block有三個(gè)副本HDFS數(shù)據(jù)塊（block）10Block副本放置策略副本1：同client的節(jié)點(diǎn) 上副本2：不同機(jī)架上中 的節(jié)點(diǎn)副

4、本3：與第二個(gè)副本 同一機(jī)架的另一個(gè)節(jié) 點(diǎn)上其他副本：隨機(jī)挑選HDFS副本策略11文件完整性CRC32校驗(yàn)用其他副本取代損壞文件HeartbeatDatanode定期向Namenode發(fā)送心跳元數(shù)據(jù)信息FSImage（文件系統(tǒng)鏡像）、Editlog（操 作日志）多份存儲(chǔ)主備NameNode實(shí)時(shí)切換HDFS可靠性策略12提綱HDFS簡介HDFS架構(gòu)與原理123HDFS程序設(shè)計(jì)13HDFS Shell 命令- 概覽14Configuration類該類的對(duì)象封裝了配置信息FileSystem類文件系統(tǒng)類，可使用該類的方法樹對(duì)文件/目錄進(jìn)行操作，一般通過FileSytem的靜態(tài)方法get獲得一個(gè)文件系統(tǒng)對(duì)象FSDataInputStream和FSDataOutputStream類HDFS中的輸入輸出流。分別通過FileSyst