分布式文件系統(tǒng)HDFS簡介2學(xué)習(xí)任務(wù)了解HDFS的概述了解HDFS的特性了解NameNode的啟動流程了解兩個節(jié)點的相關(guān)配置3知識目標(biāo)能夠了解HDFS的概念能夠了解NameNode的啟動流程能夠了解HDFS各組件的參數(shù)配置01能力目標(biāo)能夠簡單敘述HDFS的架構(gòu)及特性能夠簡單敘述HDFS各組件的參數(shù)配置02學(xué)習(xí)目標(biāo)4目錄01HDFS的概述02HDFS的NameNode的啟動流程03HDFS的存儲機(jī)制和數(shù)據(jù)安全04HDFS各組件的參數(shù)配置5HDFS的概述在HDFS集群中，主要分為兩種節(jié)點，分別為Namenode和Datanode。Namenode為集群老大，掌管文件系統(tǒng)目錄樹，處理客戶端讀且請求；DataNode存儲整個集群所有數(shù)據(jù)塊，處理真正數(shù)據(jù)讀寫；SecondaryNamenode持久化元數(shù)據(jù)，主要給namenode分擔(dān)壓力之用。HDFS的架構(gòu)分析6HDFS的概述HDFS中的文件在物理上是分塊存儲（block），塊的大小可以通過配置參數(shù)(dfs.blocksize)來規(guī)定，默認(rèn)大小在hadoop2.x版本中是128M，老版本中是64M。HDFS文件系統(tǒng)會給客戶端提供一個統(tǒng)一的抽象目錄樹，客戶端通過路徑來訪問文件Namenode是HDFS集群主節(jié)點，負(fù)責(zé)維護(hù)整個hdfs文件系統(tǒng)的目錄樹，以及每一個路徑（文件）所對應(yīng)的block塊信息（block的id，及所在的datanode服務(wù)器）。HDFS的特性7HDFS的概述Datanode是HDFS集群從節(jié)點，每一個block都可以在多個datanode上存儲多個副本（副本數(shù)量也可以通過參數(shù)設(shè)置dfs.replication，默認(rèn)是3）。HDFS是設(shè)計成適應(yīng)一次寫入，多次讀出的場景，且不支持文件的修改。HDFS的特性8HDFS的NameNode

的啟動流程ecourndarynamenode會通過httpget去下載namenode節(jié)點的鏡像fsimage與edits_log將fsimage加載內(nèi)存當(dāng)中,當(dāng)用數(shù)據(jù)寫入HDFS時記錄到edits_log并生成新edits_logs同時合并fsimage,生成新的fsimage.ckpt鏡像文件，然后將fsimge.ckpt通過httpput上傳到,namenode節(jié)點.namenode節(jié)點最后更名成為新的fsimage。9HDFS的NameNode

的啟動流程Hadoop在格式化文件系統(tǒng)HDFS時候會默認(rèn)生成一個fsimage文件，啟動時會將fsimage鏡像加載到內(nèi)存，然后replay去編輯edit_log默認(rèn)edit_log為空的,。當(dāng)客戶端節(jié)點去整個HDFS的數(shù)據(jù)節(jié)點datenode傳送數(shù)據(jù)文件時，默認(rèn)在安全模式下數(shù)據(jù)節(jié)點datenode會每隔一斷時間發(fā)送一些存儲信息給namenode處理,edit_log就會經(jīng)行記錄,然后進(jìn)行合并鏡像fsimage使當(dāng)前整個鏡像保持在最新狀態(tài)。10HDFS的存儲機(jī)制和數(shù)據(jù)安全HDFS在客戶端上傳文件到整個hdfs時，會在這個block節(jié)點快的形式存儲，切分成塊每個block節(jié)點塊128M。數(shù)據(jù)在存儲在hdfs上的時候包括了兩個文件，一個是上傳文件的本身，一個是元數(shù)據(jù)，包括數(shù)據(jù)塊的長度，塊之間的校驗和，以及存儲的時間等。存儲在HDFS上的文件，存儲機(jī)制及數(shù)據(jù)安全性如何保證，主要由以下幾點決定：11HDFS的存儲機(jī)制和數(shù)據(jù)安全數(shù)據(jù)在存儲本身，其每塊副本存儲在不同的datanode節(jié)點之上，默認(rèn)副本數(shù)為3在datanode節(jié)點上默認(rèn)用按就近原則復(fù)制?，F(xiàn)實環(huán)境當(dāng)datanode節(jié)點出現(xiàn)問題時，根據(jù)datanode可以橫向擴(kuò)展新加上的datanode就可以從臨近節(jié)點的副本數(shù)，進(jìn)行數(shù)據(jù)恢復(fù)。存儲在HDFS上的文件，存儲機(jī)制及數(shù)據(jù)安全性如何保證，主要由以下幾點決定：12HDFS各組件的參數(shù)配置NameNode配置參數(shù)為，.dir可以單獨定制定制，參數(shù)為namenode在core-site.xml的配置文件中配置，具體目錄可以自己定制，一般在生產(chǎn)環(huán)境中可以存儲在一塊空的比較大的磁盤上。在hdfs格式化的時候會生成一個dfs/name/current目錄里面存放著edits與fsimage文件。NameNode元數(shù)據(jù)本地磁盤存儲目錄配置13HDFS各組件的參數(shù)配置Datanode配置參數(shù)為,dfs,data.dir這個參數(shù)可以配置datanode節(jié)點可以配置到單獨的目錄在core-site.xml現(xiàn)實環(huán)境一臺服務(wù)器做datanode節(jié)點，在dfs/data/current/會生成一個以本機(jī)名字生成的一個BP文件下面有一個current/finalized錄，里面很多在向hdfs上傳文件時生成的block文件。偽分布時采用