HDFS數(shù)據(jù)寫過程2學(xué)習(xí)任務(wù)了解HDFS寫數(shù)據(jù)的流程了解HDFS存儲(chǔ)相關(guān)知識(shí)3知識(shí)目標(biāo)了解HDFS寫過程的特點(diǎn)和缺點(diǎn)了解HDFS存儲(chǔ)相關(guān)知識(shí)熟悉HDFS寫數(shù)據(jù)流程01能力目標(biāo)能夠掌握HDFS的寫數(shù)據(jù)流程熟練運(yùn)用存儲(chǔ)相關(guān)知識(shí)解決實(shí)際問題02學(xué)習(xí)目標(biāo)4目錄01概述02HDFS存儲(chǔ)相關(guān)知識(shí)03HDFS寫數(shù)據(jù)流程5概述能夠運(yùn)行在廉價(jià)機(jī)器上，硬件出錯(cuò)常態(tài)，需要具備高容錯(cuò)性流式數(shù)據(jù)訪問，而不是隨機(jī)讀寫面向大規(guī)模數(shù)據(jù)集，能夠進(jìn)行批處理、能夠橫向擴(kuò)展簡單一致性模型，假定文件是一次寫入、多次讀取特點(diǎn)6概述不支持低延遲數(shù)據(jù)訪問不適合大量小文件存儲(chǔ)（因?yàn)槊織l元數(shù)據(jù)占用空間是一定的）不支持并發(fā)寫入，一個(gè)文件只能有一個(gè)寫入者不支持文件隨機(jī)修改，僅支持追加寫入缺點(diǎn)7HDFS存儲(chǔ)相關(guān)知識(shí)文件上傳前需要分塊，這個(gè)塊就是block，一般為128MB，當(dāng)然你可以去改，不顧不推薦。因?yàn)閴K太?。簩ぶ窌r(shí)間占比過高。塊太大：Map任務(wù)數(shù)太少，作業(yè)執(zhí)行速度變慢。它是最大的一個(gè)單位。block8HDFS存儲(chǔ)相關(guān)知識(shí)packet是第二大的單位，它是client端向DataNode，或DataNode的PipLine之間傳數(shù)據(jù)的基本單位，默認(rèn)64KB。packet9HDFS存儲(chǔ)相關(guān)知識(shí)chunk是最小的單位，它是client向DataNode，或DataNode的PipLine之間進(jìn)行數(shù)據(jù)校驗(yàn)的基本單位，默認(rèn)512Byte，因?yàn)橛米餍ｒ?yàn)，故每個(gè)chunk需要帶有4Byte的校驗(yàn)位。所以實(shí)際每個(gè)chunk寫入packet的大小為516Byte。由此可見真實(shí)數(shù)據(jù)與校驗(yàn)值數(shù)據(jù)的比值約為128:1。（即64*1024/512）。chunk10HDFS寫數(shù)據(jù)流程客戶端向NameNode發(fā)出寫文件請求。檢查是否已存在文件、檢查權(quán)限。若通過檢查，直接先將操作寫入EditLog，并返回輸出流對象。（注：WAL，writeaheadlog，先寫Log，再寫內(nèi)存，因?yàn)镋ditLog記錄的是最新的HDFS客戶端執(zhí)行所有的寫操作。如果后續(xù)真實(shí)寫操作失敗了，由于在真實(shí)寫操作之前，操作就被寫入EditLog中了，故EditLog中仍會(huì)有記錄，我們不用擔(dān)心后續(xù)client讀不到相應(yīng)的數(shù)據(jù)塊，若沒寫成功，發(fā)送端沒收到確認(rèn)信息，會(huì)一直重試，直到成功）過程性描述11HDFS寫數(shù)據(jù)流程client端按128MB的塊切分文件。client將NameNode返回的分配的可寫的DataNode列表和Data數(shù)據(jù)一同發(fā)送給最近的第一個(gè)DataNode節(jié)點(diǎn)，此后client端和NameNode分配的多個(gè)DataNode構(gòu)成pipeline管道，client端向輸出流對象中寫數(shù)據(jù)。client每向第一個(gè)DataNode寫入一個(gè)packet，這個(gè)packet便會(huì)直接在pipeline里傳給第二個(gè)、第三個(gè)…DataNode。過程性描述12HDFS寫數(shù)據(jù)流程每個(gè)DataNode寫完一個(gè)塊后，會(huì)返回確認(rèn)信息。（注：并不是每寫完一個(gè)packet后就返回確認(rèn)信息，個(gè)人覺得因?yàn)閜acket中的每個(gè)chunk都攜帶校驗(yàn)信息，沒必要每寫一個(gè)就匯報(bào)一下，這樣效率太慢。正確的做法是寫完一個(gè)block塊后，對校驗(yàn)信息進(jìn)行匯總分析，就能得出是否有塊寫錯(cuò)的情況發(fā)生）過程性描述13HDFS寫數(shù)據(jù)流程寫完數(shù)據(jù)，關(guān)閉輸出流。發(fā)送完成信號(hào)給NameNode。（注：發(fā)送完成信號(hào)的時(shí)機(jī)取決于集群是強(qiáng)一致性還是最終一致性，強(qiáng)一致性則需要所有DataNode寫完后才向NameNode匯報(bào)。最終一致性則其中任意一個(gè)DataNode寫完后就能單獨(dú)向NameNode匯報(bào)，HDFS一般情況下都是強(qiáng)調(diào)強(qiáng)一致性）過程性描