Hadoop總體概述演示文稿現(xiàn)在是1頁\一共有35頁\編輯于星期日大數(shù)據(jù)入門

以前有個國王很闊綽也很愛排場，有天他很高興想獎賞他的寵臣,這個大臣給國王看下面這個棋盤，8*8的方格，希望獲得在每個標(biāo)號的格子內(nèi)放米粒，第一個格子放1粒米，后面的格子總是前面格子的兩倍的所有米粒。如果把整個棋盤放滿，需要多少米粒？我們學(xué)過級數(shù)的話，它的推演是1+2+4…+2^63＝2^64-1這個數(shù)字多大很多人沒印象，反正如果真的要兌現(xiàn)的話，這個國家肯定是破產(chǎn)了其實(shí)把這個棋盤分成上下兩半，在上一半總共需要的米粒是2^32,這并不是個很大的數(shù)，其實(shí)前幾年計算機(jī)的32位就是那么大，但下半場就完全不一樣了，這是個平方級別的scale現(xiàn)在是2頁\一共有35頁\編輯于星期日什么是大數(shù)據(jù)：什么樣的東西能成為數(shù)據(jù)呢？電子商務(wù)方面：淘寶,美團(tuán),京東買東西,你的IP地址,商品名,價格,快遞名,手機(jī)號,收貨地址,下單的時間日期等這些就是數(shù)據(jù)工業(yè)方面：鋼鐵廠的日，月，年產(chǎn)量;銷量;省，市，縣銷量等這些也是數(shù)據(jù)...現(xiàn)在是3頁\一共有35頁\編輯于星期日本章要點(diǎn)一、hadoop總體概述二、hadoop生態(tài)系統(tǒng)三、hadoop特點(diǎn)及工作機(jī)制四、hadoop任務(wù)(job)運(yùn)行過程五、核心進(jìn)程講解六、hadoop配置文件現(xiàn)在是4頁\一共有35頁\編輯于星期日Hadoop總體概述

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop實(shí)現(xiàn)了一個分布式文件系統(tǒng)(HadoopDistributedFileSystem)簡稱HDFS。HDFS有高容錯性的特點(diǎn)，并且設(shè)計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)Hadoop框架核心設(shè)計HDFS和MapReduce:HDFS為海量的數(shù)據(jù)提供分布式存儲MapReduce為海量的數(shù)據(jù)提供分布式計算現(xiàn)在是5頁\一共有35頁\編輯于星期日什么是分布式文件系統(tǒng)：HDFS最簡單的理解如上圖，多臺服務(wù)器(三臺也行,兩萬臺也可以)構(gòu)成的一個集群系統(tǒng)對外無論是讀操作還是寫操作都僅有主節(jié)點(diǎn)這一個出入口對內(nèi)若干個服務(wù)器之間會自動完成文件的多機(jī)復(fù)制，自動遷移，數(shù)據(jù)文件讀寫等操作,前期，你們就理解這樣這個工作機(jī)制就行HDFS是可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用，它運(yùn)行于廉價的普通硬件上，提供容錯功能現(xiàn)在是6頁\一共有35頁\編輯于星期日分布式計算mapreduce簡單介紹：形象化例子1：

1、校長對一位老師說，批改一萬份卷子（必須上午改完）

2、老師叫了100個學(xué)生，老師和這100個學(xué)生組成一個團(tuán)隊（集群），老師指定將卷子分給這100個學(xué)生，讓他們完成，然后匯總，老師不改只管分配例子2：現(xiàn)在是7頁\一共有35頁\編輯于星期日Hadoop生態(tài)系統(tǒng)現(xiàn)在是8頁\一共有35頁\編輯于星期日Hadoop生態(tài)系統(tǒng)概況：ApacheHive：數(shù)據(jù)倉庫基礎(chǔ)設(shè)施，提供數(shù)據(jù)匯總和特定查詢。這個系統(tǒng)支持用戶進(jìn)行有效的查詢，并實(shí)時得到返回結(jié)果。ApacheSpark：ApacheSpark是提供大數(shù)據(jù)集上快速進(jìn)行數(shù)據(jù)分析的計算引擎。它建立在HDFS之上，卻繞過了MapReduce使用自己的數(shù)據(jù)處理框架，Spark常用于實(shí)時查詢、流處理、迭代算法、復(fù)雜操作運(yùn)算和機(jī)器學(xué)習(xí)。ApacheAmbari：Ambari用來協(xié)助管理Hadoop，它提供對Hadoop生態(tài)系統(tǒng)中許多工具的支持，包括Hive、HBase、Pig、Spooq和ZooKeeper，這個工具提供集群管理儀表盤，可以跟蹤集群運(yùn)行狀態(tài)，幫助診斷性能問題。現(xiàn)在是9頁\一共有35頁\編輯于星期日ApachePig：Pig是一個集成高級查詢語言的平臺，可以用來處理大數(shù)據(jù)集ApacheHBase：HBase是一個非關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，運(yùn)行在HDFS之上。它用來處理大數(shù)據(jù)工程中稀疏數(shù)據(jù)集其他常見的Hadoop項目還包括Avro、Cassandra、Chukwa,Mahout和ZooKeeperHadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。具有可靠、高效、可伸縮的特點(diǎn)，Hadoop的核心是HDFS和Mapreduce，hadoop2.0還包括YARNHadoop生態(tài)系統(tǒng)概況：現(xiàn)在是10頁\一共有35頁\編輯于星期日Hadoop特點(diǎn)Hadoop是一個能夠讓用戶輕松架構(gòu)和使用的分布式計算平臺，用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個優(yōu)點(diǎn)：高可靠性：Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。高擴(kuò)展性：Hadoop是在可用的計算機(jī)集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以方便地擴(kuò)展到數(shù)以千計的節(jié)點(diǎn)中。高效性：Hadoop能夠在節(jié)點(diǎn)之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點(diǎn)的動態(tài)平衡，因此處理速度非?？?。高容錯性：Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配。低成本：與一體機(jī)、商用數(shù)據(jù)倉庫以及QlikView、YonghongZ-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項目的軟件成本因此會大大降低?，F(xiàn)在是11頁\一共有35頁\編輯于星期日Hadoop工作機(jī)制hadoop由兩部分組成，分別是分布式文件系統(tǒng)HDFS和分布式計算框架MapReduceHDFS主要用于大規(guī)模數(shù)據(jù)的分布式存儲MapReduce則構(gòu)建在分布式文件系統(tǒng)之上，對存儲在分布式文件系統(tǒng)中的數(shù)據(jù)進(jìn)行分布式計算Hadoop默認(rèn)使用的分布式文件系統(tǒng)HFDS(Hadoop

Distributed

File

System),它與MapReduce框架緊密結(jié)合Hadoop中，MapReduce底層的分布式文件系統(tǒng)是獨(dú)立模塊，用戶可按照約定的一套接口實(shí)現(xiàn)自己的分布式文件系統(tǒng)，然后經(jīng)過簡單的配置后，存儲在該文件系統(tǒng)上的數(shù)據(jù)便可以被MapReduce處理現(xiàn)在是12頁\一共有35頁\編輯于星期日Hadoop工作機(jī)制HDFS工作機(jī)制簡單介紹:1、由一個master與多個server組成2、Master用來保存目錄與索引信息，hadoop2x設(shè)置的每個chunk大

小為128M；Hadoop1x設(shè)置的每個chunk大小為64M3、Master的所有信息都存儲在內(nèi)存中，啟動時的信息從chunk

server中獲得

現(xiàn)在是13頁\一共有35頁\編輯于星期日Hadoop工作機(jī)制HDFS是一個具有高度容錯性的分布式文件系統(tǒng)，適合部署在廉價的機(jī)器上HDFS的架構(gòu)如下圖1所示，總體上采用了master/slave架構(gòu)，主要由以下幾個組件組成：Client,NameNode,Secondary,DataNode現(xiàn)在是14頁\一共有35頁\編輯于星期日Client：切分文件,訪問HDFS,與NameNode交互，獲取文件位置信息；與

DataNode交互，讀取和寫入數(shù)據(jù)

NameNode：Master節(jié)點(diǎn)，在hadoop1.X中只有一個，在hadoop2x中可以配合zookeeper實(shí)現(xiàn)HA(熱備-兩個NameNode)，管理HDFS的名稱空間和數(shù)據(jù)

塊映射信息，配置副本策略，處理客戶端請求

DataNode：Slave節(jié)點(diǎn)，存儲實(shí)際的數(shù)據(jù)，匯報存儲信息給NameNodeSecondaryNameNode(可以叫做冷備)：輔助NameNode，分擔(dān)其工作量；定期合并fsimage和fsedits，推送給NameNode；緊急情況下，可輔助恢復(fù)NameNode，但SecondaryNameNode并非NameNode的熱備現(xiàn)在是15頁\一共有35頁\編輯于星期日Mapreduce（分布式計算框架）源自于google的MapReduce論文，發(fā)表于2004年12月，HadoopMapReduce是googleMapReduce克隆版，MapReduce是一種計算模型，用以進(jìn)行大數(shù)據(jù)量的計算Map：對數(shù)據(jù)集上的獨(dú)立元素進(jìn)行指定的操作，生成鍵-值對形式中間結(jié)果Reduce：對中間結(jié)果中相同“鍵”的所有“值”進(jìn)行規(guī)約，以得到最終結(jié)果MapReduce這樣的功能劃分，非常適合在大量計算機(jī)組成的分布式并行環(huán)境里進(jìn)行數(shù)據(jù)處理現(xiàn)在是16頁\一共有35頁\編輯于星期日Mapreduce處理流程，以wordCount(詞頻統(tǒng)計)為例：現(xiàn)在是17頁\一共有35頁\編輯于星期日Mapreduce（map和reduce）處理流程：現(xiàn)在是18頁\一共有35頁\編輯于星期日hadoop工作任務(wù)(job)過程HadoopV1:現(xiàn)在是19頁\一共有35頁\編輯于星期日J(rèn)obTracker：Master節(jié)點(diǎn)，只有一個，管理所有作業(yè)，作業(yè)/任務(wù)的

監(jiān)控、錯誤處理等；將任務(wù)分解成一系列任務(wù)，并分

派給TaskTrackerTaskTracker：Slave節(jié)點(diǎn),運(yùn)行MapTask和ReduceTask,與JobTracker交互，匯報任務(wù)狀態(tài)MapTask：解析每條數(shù)據(jù)記錄，傳遞給用戶編寫的map(),并執(zhí)行，

將輸出結(jié)果寫入本地磁盤(如果為map-only作業(yè)，直接寫入HDFS)。ReducerTask：從MapTask的執(zhí)行結(jié)果中，遠(yuǎn)程讀取輸入數(shù)據(jù)，對數(shù)

據(jù)進(jìn)行排序，將數(shù)據(jù)按照分組傳遞給用戶編寫的reduce

函數(shù)執(zhí)行?，F(xiàn)在是20頁\一共有35頁\編輯于星期日現(xiàn)在是21頁\一共有35頁\編輯于星期日Client(客戶端)：編寫mapreduce程序，配置作業(yè)，提交作業(yè)，這就是程序員完成的工作JobTracker：初始化作業(yè)，分配作業(yè)，與TaskTracker通信，協(xié)調(diào)整個作業(yè)的執(zhí)行TaskTracker：保持與JobTracker的通信，在分配的數(shù)據(jù)片段上執(zhí)行Map或Reduce任務(wù)TaskTracker和JobTracker的不同有個很重要的方面，就是在執(zhí)行任務(wù)時候TaskTracker可以有n多個，JobTracker則只會有一個（JobTracker只能有一個就和hdfs里namenode一樣存在單點(diǎn)故障，我會在后面的mapreduce的相關(guān)問題里講到這個問題的）Hdfs：保存作業(yè)的數(shù)據(jù)、配置信息等等，最后的結(jié)果也是保存在hdfs上面mapreduce作業(yè)執(zhí)行涉及4個獨(dú)立的實(shí)體：現(xiàn)在是22頁\一共有35頁\編輯于星期日hadoop工作任務(wù)(job)過程HadoopV2:現(xiàn)在是23頁\一共有35頁\編輯于星期日MapReduce在Hadoop2x中稱為MR2或YARN，將JobTracker中的資源管理及任務(wù)生命周期管理（包括定時觸發(fā)及監(jiān)控），拆分成兩個獨(dú)立的服務(wù):1、用于管理全部資源的ResourceManager---用于管理向應(yīng)用程序分配計算資源2、管理每個應(yīng)用的ApplicationMaster---用于管理應(yīng)用程序、調(diào)度以及協(xié)調(diào)一個應(yīng)用程序可以是經(jīng)典的MapReduce架構(gòu)中的一個單獨(dú)的任務(wù)ResourceManager及每臺機(jī)上的NodeManager服務(wù)，用于管理那臺機(jī)的用戶進(jìn)程，形成計算架構(gòu)每個應(yīng)用程序的ApplicationMaster實(shí)際上是一個框架具體庫，并負(fù)責(zé)從ResourceManager中協(xié)調(diào)資源及與NodeManager(s)協(xié)作執(zhí)行并監(jiān)控任務(wù)。說明：現(xiàn)在是24頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程N(yùn)ameNode

SecondaryNameNodeDataNodeJobTrackerTaskTracker

現(xiàn)在是25頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程N(yùn)ameNodeNameNode：它是Hadoop中的主服務(wù)器，管理文件系統(tǒng)名稱空間和對集群中存儲的文件的訪問現(xiàn)在是26頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程SecondaryNameNodeSecondaryNameNode：它不是namenode的冗余守護(hù)進(jìn)程，而是提供周期檢查點(diǎn)和清理任務(wù)。出于對可擴(kuò)展性和容錯性等考慮，我們一般將SecondaryNameNode運(yùn)行在一臺非NameNode的機(jī)器上現(xiàn)在是27頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程DataNodeDataNode：它負(fù)責(zé)管理連接到節(jié)點(diǎn)的存儲（一個集群中可以有多個節(jié)點(diǎn)）。每個存儲數(shù)據(jù)的節(jié)點(diǎn)運(yùn)行一個datanode守護(hù)進(jìn)程現(xiàn)在是28頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程

JobTrackerJobTracker負(fù)責(zé)調(diào)度

DataNode上的工作,每個

DataNode有一個TaskTracker，它們執(zhí)行實(shí)際工作JobTracker和

TaskTracker采用主-從形式，JobTracker跨DataNode分發(fā)工作，而

TaskTracker執(zhí)行任務(wù)JobTracker還檢查請求的工作，如果一個

DataNode由于某種原因失敗，JobTracker會重新調(diào)度以前的任務(wù)現(xiàn)在是29頁\一共有35頁\編輯于星期日關(guān)鍵進(jìn)程

TaskTrackerTaskTracker:

是在網(wǎng)絡(luò)環(huán)境中開始和跟蹤任務(wù)的核心位置，與Jobtracker連接請求執(zhí)行任務(wù)而后報告任務(wù)狀態(tài)現(xiàn)在是30頁\一共有35頁\編輯于星期日HDFShdfs-site.xml參數(shù)配置hadoop配置文件.dir

NameNode元數(shù)據(jù)存放位置默認(rèn)值：file://${hadoop.tmp.dir}/dfs/namedfs.blocksize對于新文件切分的大小，單位byte。默認(rèn)是128M,每一個節(jié)點(diǎn)都要指定，包括客戶端。默認(rèn)值：134217728dfs.datanode.data.dirDataNode在本地磁盤存放block的位置，可以是以逗號分隔的目錄列表，DataNode循環(huán)向磁盤中寫入數(shù)據(jù)，每個DataNode可單獨(dú)指定與其它DataNode不一樣默認(rèn)值：file://${hadoop.tmp.dir}/dfs/data現(xiàn)在是31頁\一共有35頁\編輯于星期日HDFShdfs-site.xml參數(shù)配置node.handler.countNameNode用來處理來自DataNode的RPC請求的線程數(shù)量建議設(shè)置為DataNode數(shù)量的10%，一般在10~200個之間如設(shè)置太小，DataNode在傳輸數(shù)據(jù)的時候日志中會報告“connectonrefused"信息在NameNode上設(shè)定默認(rèn)值：10dfs.datanode.handler.countDataNode用來連接NameNode的RPC請求的線程數(shù)量取決于系統(tǒng)的繁忙程度設(shè)置太小會導(dǎo)致性能下降甚至報錯在DataNode上設(shè)定默認(rèn)值：10dfs.datanode.max.transfer.threadsDataNode可以同時處理的數(shù)據(jù)傳輸連接數(shù)建議值：4096現(xiàn)在是32頁\一共有35頁\編輯于星期日HDFShdfs-site.xml參數(shù)配置dfs.permissions

如果是true則檢查權(quán)限，否則不檢查（每一個人都可以存取文件）于NameNode上設(shè)定默認(rèn)值：truedfs.datanode.du.reserved 在每個卷上面HDFS不能使用的空間大小在每個DataNode上面設(shè)定默認(rèn)值：0建議為10737418240，即10G。需要結(jié)合MapReduce場景設(shè)置。dfs.datanode.failed.volumes.toleratedDataNode可以容忍損塊的磁盤數(shù)量，超過這個數(shù)量DataNode將會離線，所有在這個節(jié)點(diǎn)上面的block將會被重新復(fù)制默認(rèn)是0，但是在有多塊磁盤的時候一般會增大這個值dfs.replication在文件被寫入的時候，每一塊將要被復(fù)制多少份默認(rèn)是3份。建議3份在客戶端上設(shè)定通常也需要在DataNode上設(shè)定現(xiàn)在是33頁\一共有35頁\編輯于星期日HDFShdfs-site.xml參數(shù)配置dfs.webhdfs.enabled

-EnableWebHDFS(RESTAPI)inNa