大數(shù)據(jù)計(jì)算平臺(tái)《大數(shù)據(jù)導(dǎo)論》課程Introductiontobigdata平臺(tái)搭建HadoopHadoop架構(gòu)011Hadoop的架構(gòu)Hadoop1.0版本兩個(gè)核心：HDFS+MapReduceHadoop2.0版本，引入了Yarn核心：HDFS+Yarn+MapReduceYarn是資源調(diào)度框架。能夠細(xì)粒度的管理和調(diào)度任務(wù)。此外，還能夠支持其他的計(jì)算框架。Hadoop架構(gòu)Hadoop1.0Hadoop2.0MapReduceHDFSMapReduceOthersYarnHDFSHadoop2.x主要包括以下四個(gè)模塊：（1）HadoopCommon：為其他Hadoop模塊提供基礎(chǔ)設(shè)施。（2）HadoopHDFS：一個(gè)高可靠、高吞吐量的分布式文件系統(tǒng)。（3）HadoopMapReduce：一個(gè)分布式的離線并行計(jì)算框架。（4）HadoopYARN：一個(gè)新的MapReduce框架，任務(wù)調(diào)度與資源管理。Hadoop模塊HDFS文件系統(tǒng)（1）設(shè)計(jì)思想：一次寫入，多次讀取，寫入后存儲(chǔ)在HDFS上就不能修改，但可以把文件下載到本

地，把HDFS上的文件刪除，修改后再上傳到HDFS上，實(shí)現(xiàn)文件的修改。（2）文件屬性（文件元數(shù)據(jù)）：文件名稱、存儲(chǔ)位置、副本數(shù)、權(quán)限（RWX）、存儲(chǔ)塊。（3）存儲(chǔ)的形式：塊block，塊的大?。耗J(rèn)128MB，可以用戶自定義大小。比如：文件大小為500MB，塊大小是256MB，第一個(gè)塊：256，第二個(gè)塊：244。如果文件大小小于數(shù)據(jù)塊的大小，它是不會(huì)占據(jù)整個(gè)塊的空間的。多個(gè)文件不能放到一個(gè)塊中。HDFS文件系統(tǒng)（4）主從架構(gòu)NameNode是主節(jié)點(diǎn)，存儲(chǔ)文件的元數(shù)據(jù)，如文件名，文件目錄結(jié)構(gòu)，文件屬性（生成時(shí)間，副本數(shù)，文件權(quán)限），以及每個(gè)文件的塊列表和塊所在DataNode等。DataNode在本地文件系統(tǒng)存儲(chǔ)文件塊數(shù)據(jù)，以及塊數(shù)據(jù)的校驗(yàn)和。SecondaryNameNode是用來(lái)監(jiān)控HDFS狀態(tài)的輔助后臺(tái)程序，每隔一段時(shí)間獲取HDFS元數(shù)據(jù)的快照。（5）讀寫流程首先client通過(guò)RPC協(xié)議請(qǐng)求NameNode獲取文件的位置，然后到具體DataNode上讀寫主節(jié)點(diǎn)NameNode管理存儲(chǔ)元數(shù)據(jù)從節(jié)點(diǎn)DataNode真正存儲(chǔ)文件，消耗硬盤HDFS文件系統(tǒng)類似傳統(tǒng)分機(jī)系統(tǒng)，內(nèi)部通信基于TCP/IP協(xié)議。若干個(gè)計(jì)算機(jī)(DataNode)能夠?qū)⒋鎯?chǔ)在HDFS的文件拆分，并復(fù)制到各自存儲(chǔ)器中，與此同時(shí)負(fù)責(zé)控制外部客戶機(jī)訪問(wèn)的NameNode能夠控制DataNode與文件之間的映射關(guān)系。HDFS具有高容錯(cuò)性、能夠提供大量的數(shù)據(jù)流通途徑，因此能夠在很大規(guī)模數(shù)據(jù)集上得到廣泛應(yīng)用。HDFS簡(jiǎn)單架構(gòu)圖MapReduce分布式離線計(jì)算框架MapReduce是HDFS的上一層計(jì)算引擎，它可以對(duì)巨量的半數(shù)據(jù)化的數(shù)據(jù)集進(jìn)行存儲(chǔ)，因?yàn)槟軌螂S機(jī)存放，所以對(duì)數(shù)據(jù)不會(huì)帶來(lái)?yè)p害。MapReduce能夠提供優(yōu)秀的并行計(jì)算框架、在集群節(jié)點(diǎn)上自動(dòng)分配和執(zhí)行指示的任務(wù)的同時(shí)計(jì)算并將結(jié)果收集，是一種很便利的框架。MapReduce的工作原理圖主節(jié)點(diǎn)：ResourceManager，管理資源、分配資源；從節(jié)點(diǎn)：NodeManager，消耗資源。集群資源分配管理，多任務(wù)調(diào)度?？偟馁Y源：CPU、內(nèi)存、硬盤。ApplicationMaster應(yīng)用管理者：每一個(gè)應(yīng)用都會(huì)有一個(gè)應(yīng)用管理者。Container容器：每個(gè)map都是在各自獨(dú)立的環(huán)境中去運(yùn)行（資源獨(dú)立），任務(wù)就在容器中運(yùn)行。Yarn框架主從架構(gòu)作用ResourceManager：負(fù)責(zé)處理客戶端請(qǐng)求，啟動(dòng)/監(jiān)控ApplicationMaster，監(jiān)控NodeManager，資源分配與調(diào)度。

NodeManager：負(fù)責(zé)單個(gè)節(jié)點(diǎn)上的資源管理，處理來(lái)自ResourceManager的命令和來(lái)自ApplicationMaster的命令。

ApplicationMaster：負(fù)責(zé)數(shù)據(jù)切分，為應(yīng)用程序申請(qǐng)資源，并分配給內(nèi)部任務(wù)，負(fù)責(zé)任務(wù)監(jiān)控與容錯(cuò)。

Container：對(duì)任務(wù)運(yùn)行環(huán)境的抽象，封裝了CPU、內(nèi)存等多維資源以及環(huán)境變量、啟動(dòng)命令等任務(wù)運(yùn)行相關(guān)的信息。Yarn框架ResourceManagerNodeManager

ApplicationMasterContainerHadoop部署模式Hadoop部署模式有：本地模式、偽分布模式、完全分布式模式、HA完全分布式模式。區(qū)分的依據(jù)是NameNode、DataNode、ResourceManager、NodeManager等模塊運(yùn)行在幾個(gè)JVM進(jìn)程、幾個(gè)機(jī)器。模式名稱各個(gè)模塊占用的JVM進(jìn)