HDFS運(yùn)行原理目錄一、HDFS存儲(chǔ)機(jī)制二、Block三、元數(shù)據(jù)四、HDFS讀流程五、HDFS寫流程一、HDFS存儲(chǔ)機(jī)制假如目前由一個(gè)10G的文件要存儲(chǔ)到HDFS中。首先，會(huì)在客戶端處進(jìn)行切分，切分成一個(gè)個(gè)Block塊，默認(rèn)情況下Block塊的大小是128M。這些切分后的Block塊，會(huì)以多副本的形式均勻放置到DataNode中。數(shù)據(jù)存放在DataNode中后，主節(jié)點(diǎn)NameNode會(huì)記錄這份文件具體切分了多少Block塊和每個(gè)Block塊具體存放的位置，也即元數(shù)據(jù)信息。數(shù)據(jù)文件存儲(chǔ)二、Block

Block是HDFS的最小存儲(chǔ)單元，默認(rèn)大小為128M，可以自定義修改，但是要注意修改的一些影響，塊太大和太小都可能會(huì)影響性能。Block存儲(chǔ)到DataNode上，會(huì)以多副本的形式進(jìn)行存儲(chǔ)，默認(rèn)副本數(shù)為3，通過(guò)機(jī)架感知和副本均勻分布的策略保證數(shù)據(jù)的高可用性。數(shù)據(jù)存儲(chǔ)之后，對(duì)應(yīng)的元數(shù)據(jù)會(huì)保存在NameNode中。Block二、Blocklock文件是DataNode本地磁盤中名為“blk_blockId”的Linux文件。Block文件BP-randominteger-NameNode-IPaddress-creationtime：BP代表BlockPool，就是Namenode的VERSION中的集群唯一blockpoolIDfinalized/rbw：其中finalized目錄用于實(shí)際存儲(chǔ)Block文件，finalized用于存放Block文件以及Block元數(shù)據(jù)文件；rbw是“replicabeingwritten”的意思，該目錄用于存儲(chǔ)用戶當(dāng)前正在寫入的數(shù)據(jù)二、Blocklock文件是DataNode本地磁盤中名為“blk_blockId”的Linux文件。Block文件VERSION：VERSION文件是java屬性文件，保存了HDFS的基本信息blk_前綴文件：HDFS中的文件塊本身，存儲(chǔ)的是原始文件內(nèi)容in_use.lock：防止一臺(tái)機(jī)器同時(shí)啟動(dòng)多個(gè)Datanode進(jìn)程導(dǎo)致目錄數(shù)據(jù)不一致二、BlockBlock副本放置策略Block切分之后，會(huì)有三個(gè)副本，三個(gè)副本之間完全都是一樣的沒有任何區(qū)別，注意他們之間并沒有“主備”這樣的區(qū)分。他們會(huì)存放到不同的DataNode節(jié)點(diǎn)上。如圖所示，左右兩個(gè)為兩個(gè)機(jī)架，在機(jī)架上分別放置多臺(tái)服務(wù)器作為DataNode。Block在放置的時(shí)候，如果默認(rèn)為三個(gè)副本，首先，第一個(gè)隨機(jī)選擇一臺(tái)負(fù)載比較低、資源比較空閑的DataNode；然后，第二個(gè)會(huì)在不同的機(jī)架上隨機(jī)找一臺(tái)服務(wù)器；最后，第三個(gè)會(huì)在和第二個(gè)副本服務(wù)器相同的機(jī)架上，找另外一臺(tái)服務(wù)器存放。三、元數(shù)據(jù)元數(shù)據(jù)信息存儲(chǔ)與NameNode內(nèi)存當(dāng)中，由于內(nèi)存掉電數(shù)據(jù)易丟失的特性，所以需要對(duì)其進(jìn)行持久化。元數(shù)據(jù)持久化，包含有兩種文件：第一個(gè)是fsimage文件，大家可以把它理解為是一個(gè)內(nèi)存的快照，他會(huì)將內(nèi)存當(dāng)中除去block位置存放信息之外的所有元數(shù)據(jù)信息持久化寫到一個(gè)磁盤當(dāng)中的文件內(nèi)；第二個(gè)是edits文件，這種文件可以理解為是日志記錄文件。為什么有了fsimage內(nèi)存快照、還需要有edits文件呢？因?yàn)槿绻看螌?duì)于文件系統(tǒng)有操作，元數(shù)據(jù)信息就有可能發(fā)生變化，那么每次變化都去更新一下fsimage文件，顯然成本非常之高而且性能也不好，所以fsimage并不會(huì)實(shí)時(shí)去發(fā)生變化，那么后邊這些操作則通過(guò)edits文件做一個(gè)記錄。元數(shù)據(jù)四、HDFS讀流程HDFS的讀流程分為：1、客戶端通過(guò)FileSystem對(duì)象的open()方法來(lái)打開希望讀取的文件。2、DistributedFileSystem通過(guò)遠(yuǎn)程調(diào)用（RPC）來(lái)調(diào)用namenode，獲取到每個(gè)文件的起止位

置。對(duì)于每一個(gè)塊，namenode返回該塊副本的datanode。這些datanode會(huì)根據(jù)它們與客戶

端的距離排序，如果客戶端本身就是其中的一個(gè)datanode，那么就會(huì)在該datanode上讀取

數(shù)據(jù)。DistributedFileSystem遠(yuǎn)程調(diào)用后返回一個(gè)FSDataInputStream對(duì)象給客戶端以便于

讀取數(shù)據(jù)，然后FSDataInputStream封裝一個(gè)DFSInputStream對(duì)象。該對(duì)象管理datanode

和namenode的IO。HDFS讀流程四、HDFS讀流程HDFS的讀流程分為：3、客戶端對(duì)這個(gè)輸入流調(diào)用read()方法，存儲(chǔ)著文件起始幾個(gè)塊的datanode地址的DFSInputStream隨即連接距離最近的文件中第一個(gè)塊所在的datanode，通過(guò)數(shù)據(jù)流反復(fù)調(diào)用read()方法，可以將數(shù)據(jù)從datanode傳送到客戶端。當(dāng)讀完這個(gè)塊時(shí)，DFSInputStream關(guān)閉與該datanode的連接，然后尋址下一個(gè)位置最佳的datanode。HDFS讀流程五、HDFS寫流程HDFS的讀流程分為：1、首先客戶端通過(guò)DistributedFileSystem上的create()方法指明一個(gè)預(yù)創(chuàng)建的文件的文件名2、DistributedFileSystem再通過(guò)RPC調(diào)用向NameNode申請(qǐng)創(chuàng)建一個(gè)新文件。namenode檢查

是否有同名文件存在以及用戶是否有相應(yīng)的創(chuàng)建權(quán)限，如果檢查通過(guò)，namenode會(huì)為該文

件創(chuàng)建一個(gè)新的記錄，否則的話文件創(chuàng)建失敗，客戶端得到一個(gè)IOException異常。DistributedFileSystem返回一個(gè)FSDataOutputStream以供客戶端寫入數(shù)據(jù)，與FSDataInputStream類似，F(xiàn)SDataOutputStream封裝了一個(gè)DFSOutputStream用于處理namenode與datanode之間的通信。HDFS寫流程五、HDFS寫流程HDFS的讀流程分為：3、當(dāng)客戶端開始寫數(shù)據(jù)時(shí)，DFSOutputStream把寫入的數(shù)據(jù)分成包,放入一個(gè)中間隊(duì)列——數(shù)

據(jù)隊(duì)列中去。DataStreamer從數(shù)據(jù)隊(duì)列中取數(shù)據(jù)，同時(shí)向namenode申請(qǐng)一個(gè)新的block來(lái)

存放它已經(jīng)取得的數(shù)據(jù)。namenode選擇一系列合適的datanode構(gòu)成一個(gè)管道線，這里我

們假設(shè)replica為3，所以管道線中就有三個(gè)datanode。4、DataSteamer把數(shù)據(jù)流式的寫入到管道線中的第一個(gè)datanode中，第一個(gè)datanode再把接

收到的數(shù)據(jù)轉(zhuǎn)到第二個(gè)datanode中，以此類推。HDFS寫流程五、HDFS寫流程HDFS的讀流程分為：5、DFSOutputStream同時(shí)也維護(hù)著另一個(gè)中間隊(duì)列——確認(rèn)隊(duì)列，確認(rèn)隊(duì)列中的包只有在得

到管道線中所有的datanode的確認(rèn)以后才會(huì)被移出確認(rèn)隊(duì)列6、當(dāng)客戶端完成寫數(shù)據(jù)后，它會(huì)調(diào)用close()方法。這個(gè)操作會(huì)沖洗所有剩下的package到pipeline中。HDFS寫流程五、HDFS寫流程HDFS的讀流程分為：7、等待這些package確認(rèn)成功，然后通知namenode寫入文件成功。這時(shí)候namen