《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現(xiàn)1_第1頁
《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現(xiàn)1_第2頁
《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現(xiàn)1_第3頁
《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現(xiàn)1_第4頁
《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現(xiàn)1_第5頁
已閱讀5頁，還剩18頁未讀， 繼續(xù)免費閱讀

付費下載

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權，請進行舉報或認領

文檔簡介

電子工業(yè)出版社《云計算(第二版)》配套課件解放軍理工大學教授主編華東交通大學制作第6章Hadoop：Google云計算的開源實現(xiàn)

《云計算（第二版）》購買網(wǎng)址：當當網(wǎng)

京東商城姊妹力作《實戰(zhàn)Hadoop》購買網(wǎng)址：當當網(wǎng)

京東商城提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結構化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

Hadoop簡介

Hadoop——Apache開源組織的一個分布式計算框架，可以在大量廉價的硬件設備組成的集群上運行應用程序，為應用程序提供了一組穩(wěn)定可靠的接口，旨在構建一個具有高可靠性和良好擴展性的分布式系統(tǒng)

Hadoop云計算系統(tǒng)Google云計算系統(tǒng)HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHadoopHBaseGoogleBigtableHadoopZooKeeperGoogleChubbyHadoopPigGoogleSawzallHadoop云計算系統(tǒng)與Google云計算系統(tǒng)

Hadoop簡介開源項目Lucene：Java開發(fā)的開源高性能全文檢索工具包

開源項目Nutch：第一個開源的Web搜索引擎

Hadoop

Hadoop簡介Hadoop項目組成

（1）HadoopCommon（2）Avro（3）Chukwa（4）HBase（5）HDFS（6）Hive（7）MapReduce（8）Pig（9）ZooKeeper

Hadoop優(yōu)點

（1）可擴展（2）經(jīng)濟（3）可靠（4）高效提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結構化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

設計前提與目標

設計前提與目標硬件錯誤是常態(tài)而不是異常流式數(shù)據(jù)訪問

超大規(guī)模數(shù)據(jù)集

簡單一致性模型

移動計算比移動數(shù)據(jù)更簡單

異構軟硬件平臺間的可移植性

體系結構HDFS主從結構體系NameNode：主控制服務器，負責維護文件系統(tǒng)的命名空間（Namespace）并協(xié)調(diào)客戶端對文件的訪問，記錄命名空間內(nèi)的任何改動或命名空間本身的屬性改動DataNode：負責它們所在的物理節(jié)點上的存儲管理保障可靠性的措施

1．冗余備份每個文件存儲成一系列數(shù)據(jù)塊（Block），默認塊大小為64MB（可配置）。為了容錯，文件的所有數(shù)據(jù)塊都會有副本（副本數(shù)量即復制因子，可配置）2．副本存放采用機架感知（Rack-aware）的策略來改進數(shù)據(jù)的可靠性、可用性和網(wǎng)絡帶寬的利用率

復制因子為3時數(shù)據(jù)塊分布情況

保障可靠性的措施

3.心跳檢測NameNode周期性地從集群中的每個DataNode接受心跳包和塊報告，收到心跳包說明該DataNode工作正常4.安全模式系統(tǒng)啟動時，NameNode會進入一個安全模式。此時不會出現(xiàn)數(shù)據(jù)塊的寫操作5.數(shù)據(jù)完整性檢測

HDFS客戶端軟件實現(xiàn)了對HDFS文件內(nèi)容的校驗和（Checksum）檢查保障可靠性的措施

6.空間回收

文件被用戶或應用程序刪除時，先把它移動到/trash目錄里；只要還在這個目錄里，文件就可以被迅速恢復7.元數(shù)據(jù)磁盤失效NameNode可以配置為支持維護映像文件和事務日志的多個副本，任何對映像文件或事務日志的修改，都將同步到它們的副本上8.快照

快照支持存儲某個時間的數(shù)據(jù)復制，當HDFS數(shù)據(jù)損壞時，可以回滾到過去一個已知正確的時間點。HDFS目前還不支持快照功能提升性能的措施

提升性能措施副本選擇HDFS會盡量使用離程序最近的副本來滿足用戶請求，這樣可以減少總帶寬消耗和讀延時

負載均衡HDFS的架構支持數(shù)據(jù)均衡策略

客戶端緩存HDFS客戶端先把數(shù)據(jù)緩存到本地的一個臨時文件，程序的寫操作透明地重定向到這個臨時文件流水線復制DataNode從前一個節(jié)點接收數(shù)據(jù)的同時，即時把數(shù)據(jù)傳給后面的節(jié)點，這就是流水線復制訪問接口

HadoopAPI（1）org.apache.hadoop.conf（2）org.apache.hadoop.dfs（3）org.apache.hadoop.fs（4）org.apache.hadoop.io（5）org.apache.hadoop.ipc（6）org.apache.hadoop.mapred（7）org.apache.hadoop.metrics（8）org.apache.hadoop.record（9）org.apache.hadoop.tools（10）org.apache.hadoop.util瀏覽器接口典型HDFS安裝會配置一個Web服務器開放自己的命名空間，其TCP端口可配；默認配置下http://namenode-name:50070這個頁面列出了集群里的所有DataNode和集群的基本狀態(tài)

提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結構化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

邏輯模型MapReduce處理的任務基本要求：待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集，而且每一個小數(shù)據(jù)集都可以完全并行地進行處理

映射階段，用戶輸入的數(shù)據(jù)分割為M個片斷，對應M個Map任務。每一個Map操作的輸入是數(shù)據(jù)片斷中的鍵值對<K1,V1>集合，Map操作調(diào)用用戶定義的Map函數(shù)，輸出一個中間態(tài)的鍵值對<K2,V2>集合。接著，按照中間態(tài)的K2將輸出的數(shù)據(jù)集進行排序，并生成一個新的<K2,list(V2)>元組，按照K2的范圍將這些元組分割為R個片斷化簡階段，每一個Reduce操作的輸入是一個<K2,list(V2)>片斷，Reduce操作調(diào)用用戶定義的Reduce函數(shù)，生成用戶需要的鍵值對<K3,V3>進行輸出實現(xiàn)機制

實現(xiàn)機制1．分布式并行計算2．本地計算3．任務粒度4．Combine（連接）5．Partition（分區(qū)）6．讀取中間結果7．任務管道提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結構化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

邏輯模型表格里存儲一系列的數(shù)據(jù)行，每行包含一個可排序的行關鍵字、一個可選的時間戳及一些可能有數(shù)據(jù)的列（稀疏）數(shù)據(jù)行有三種基本類型的定義：行關鍵字是數(shù)據(jù)行在表中唯一標識，時間戳是每次數(shù)據(jù)操作對應關聯(lián)的時間戳，列定義為：<family>:<label>（<列族>:<標簽>）行關鍵字時間戳列"contents:"列"anchor:"列"mime:""n.www"t9"anchor:""CNN"t8"anchor:my.look.ca""CNN.com"t6"<html>...""text/html"t5"<html>..."t3"<html>..."

物理模型行關鍵字時間戳列"contents:""n.www"t5"<html>…"t4"<html>…"t3"<html>…"行關鍵字時間戳列"anchor:""n.www"t8"anchor:""CNN"t7"anchor:look.ca""CNN.com"行關鍵字時間戳列"mime:""n.www"t6"text/html"物理模型實際上就是把概念模型中的一個行進行分割，并按照列族存儲查詢時間戳為t7的“contents:”將返回空值，查詢時間戳為t8，“anchor:”值為“l(fā)ook.ca”的項也返回空值（空的單元格不存儲

）查詢“contents:”而不指明時間戳，將返回t5時刻的數(shù)據(jù)；查詢“anchor:”的“l(fā)ook.ca”而不指明時間戳，將返回t7時刻的數(shù)據(jù)（未指明時間戳，則返回指定列的最新數(shù)據(jù)值

）子表服務器

客戶端進行更新操作時，首先連接相關的子表服務器，之后向子表提交變更。提交的數(shù)據(jù)被添加到子表的HMemcache和子表服務器的HLog提供服務時，子表首先查詢緩存HMemcache。若沒有，再查找磁盤上的HStoreHRegion.flushcache()定期被調(diào)用，把HMemcache中的內(nèi)容寫到磁盤上HStore文件里

調(diào)用HSpact()方法來實現(xiàn)多個HStoreFile合并成一個HStoreFile

HRegion.closeAndMerge()可把兩個子表合并成一個；HRegion.closeAndSplit()，可將子表分割為兩個新子表

調(diào)用flushcache()方法越少，工作量就越少，而HMemcache就要占用更多的內(nèi)存空間，啟動時HLog文件也需要更多的時間來恢復數(shù)據(jù)。而調(diào)用flushcache()越頻繁，HMemcache占用內(nèi)存就越少，HLog文件恢復數(shù)據(jù)時也就越快主服務器

主服務器維護子表服務器在任何時刻的活躍標記

與Google的Bigtable不同，Bigtable使用分布式鎖服務Chubby保證了子表服務器訪問子表操作的原子性；HBase不具備這樣的Chubby每個子表都由它所屬的表格名字、首關鍵字和regionId來標識例如，表名：hbaserepository首關鍵字：w-nk5YNZ8TBb2uWFIRJo7V==regionId：68906014

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論