Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——HDFS體系結(jié)構(gòu)目錄content02數(shù)據(jù)節(jié)點(diǎn)塊0405第二名稱節(jié)點(diǎn)01HDFS體系結(jié)構(gòu)03名稱節(jié)點(diǎn)HDFS體系結(jié)構(gòu)HDFS的核心組件是名稱節(jié)點(diǎn)（NameNode）和數(shù)據(jù)節(jié)點(diǎn)（DataNode）。它是一個主/從（master/slave）架構(gòu)的系統(tǒng)，即一個HDFS集群由一個NameNode和若干DataNode組成。其中，名稱節(jié)點(diǎn)為主節(jié)點(diǎn)，數(shù)據(jù)節(jié)點(diǎn)為從節(jié)點(diǎn)。HDFS的體系結(jié)構(gòu)塊的概述Hadoop2.X版本默認(rèn)的塊大小為128M。塊是HDFS中的最小存儲單位，并且可以自定義大小。塊按實(shí)際大小存儲。拆分出來的塊會有它相應(yīng)的副本。塊的優(yōu)勢可以存儲任意大小的數(shù)據(jù)文件，不用再受單個節(jié)點(diǎn)磁盤容量大小的限制。簡化了文件存儲子系統(tǒng)的設(shè)計(jì)，將元數(shù)據(jù)信息和文件數(shù)據(jù)信息分開存儲。有利于實(shí)現(xiàn)負(fù)載均衡并提高集群可靠性。有利于實(shí)現(xiàn)分布式文件系統(tǒng)的容錯性。名稱節(jié)點(diǎn)概述名稱節(jié)點(diǎn)是整個HDFS集群的管家，名稱節(jié)點(diǎn)上存儲的元數(shù)據(jù)信息包括：數(shù)據(jù)塊到數(shù)據(jù)節(jié)點(diǎn)的映射信息。每個文件由哪些數(shù)據(jù)塊組成。文件目錄的所有者及其權(quán)限。文件名、目錄名及其層級關(guān)系。名稱節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)元數(shù)據(jù)信息可被持久化到本地磁盤的兩個文件中，分別是元數(shù)據(jù)鏡像文件（fsimage）和事務(wù)日志文件(edits）。fsimage存儲著文件系統(tǒng)的所有命名空間信息。edits存儲著HDFS數(shù)據(jù)的事務(wù)操作日志。名稱節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)所謂的持久化，就是指把數(shù)據(jù)保存到可永久保存存儲設(shè)備（如磁盤）中。數(shù)據(jù)節(jié)點(diǎn)概述每個數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)會被保存在各自節(jié)點(diǎn)的本地Linux文件系統(tǒng)中。負(fù)責(zé)為客戶端或名稱節(jié)點(diǎn)提供數(shù)據(jù)的檢索和讀寫服務(wù)，并通過“心跳”定期向名稱節(jié)點(diǎn)發(fā)送自己的塊列表信息。存儲著HDFS文件的真實(shí)數(shù)據(jù)，負(fù)責(zé)數(shù)據(jù)的存儲和讀取第二名稱節(jié)點(diǎn)因?yàn)槭聞?wù)日志文件（edits）開始比較小，但隨著對數(shù)據(jù)的不斷修改，事務(wù)日志文件（edits）會不斷增大，大到一定程度的時候，又會影響整個系統(tǒng)的功能，由此引入第二名稱節(jié)點(diǎn)。1.對元數(shù)據(jù)鏡像文件（fsimage）和事務(wù)日志文件（edits）定期合并，縮短名稱節(jié)點(diǎn)（NameNode）的重啟時間，提高系統(tǒng)性能。2.是名稱節(jié)點(diǎn)的冷備份，因?yàn)槊Q節(jié)點(diǎn)有可能發(fā)生故障。為什么又引入第二名稱節(jié)點(diǎn)？第二名稱節(jié)點(diǎn)的功能：本節(jié)小結(jié)負(fù)責(zé)管理整個文件