Hadoop大數(shù)據(jù)技術

——linux系統(tǒng)概述

全套可編輯PPT課件項目1Linux系統(tǒng)概述項目2Hadoop技術概述項目4Zookeeper分布式協(xié)調(diào)服務項目5搭建HDFS分布式集群項目6搭建YARN分布式集群項目7Hadoop分布式計算框架(MapReduce)項目8Hive的安裝部署項目10HBase集群安裝配置項目11Sqoop安裝部署項目12Flume的安裝與使用項目13Kafka分布式集群搭建項目14Davinci安裝部署linux系統(tǒng)概述

Linux，全稱GNU/Linux，是一種免費使用和自由傳播的類UNIX操作系統(tǒng)，其內(nèi)核由林納斯·本納第克特·托瓦茲于1991年10月5日首次發(fā)布，它主要受到Minix和Unix思想的啟發(fā)，是一個基于POSIX的多用戶、多任務、支持多線程和多CPU的操作系統(tǒng)。它能運行主要的Unix工具軟件、應用程序和網(wǎng)絡協(xié)議。它支持32位和64位硬件。Linux繼承了Unix以網(wǎng)絡為核心的設計思想，是一個性能穩(wěn)定的多用戶網(wǎng)絡操作系統(tǒng)。Linux有上百種不同的發(fā)行版，如基于社區(qū)開發(fā)的debian、archlinux，和基于商業(yè)開發(fā)的RedHatEnterpriseLinux、SUSE、OracleLinux等。1.1.1linux操作系統(tǒng)的特點

linux系統(tǒng)概述

Linux操作系統(tǒng)的特點有：良好的用戶界面、可移植性、全面支持網(wǎng)絡協(xié)議、支持多任務及多用戶、免費及源代碼開放、可靠的安全性。1.1.1linux操作系統(tǒng)的特點

linux系統(tǒng)概述1、高端服務器領域。服務器市場占有率已經(jīng)達到25%，很多公司都是用Liunx做操作系統(tǒng)的。2、桌面應用領域。新版本的Liunx完全可以作為一種集辦公應用、多媒體應用、網(wǎng)絡應用等多方面功能為一體的圖形界面操作系統(tǒng)。3、嵌入式應用領域。目前能夠支持嵌入式開發(fā)的操作系統(tǒng)有PalmOS、嵌入式Linux、WindowsCE。1.1.3linux操作系統(tǒng)的應用場景

linux系統(tǒng)概述linux版本版本分為兩類：內(nèi)核版本和發(fā)行版本1．內(nèi)核版本內(nèi)核是系統(tǒng)的心臟，是運行程序和管理像磁盤和打印機等硬件設備的核心程序，它提供了一個在裸設備與應用程序間的抽象層。例如，程序本身不需要了解用戶的主板芯片集或磁盤控制器的細節(jié)就能在高層次上讀寫磁盤。內(nèi)核的開發(fā)和規(guī)范一直是由Linus領導的開發(fā)小組控制著，版本也是惟一的。開發(fā)小組每隔一段時間公布新的版本或其修訂版，從1991年10月Linus向世界公開發(fā)布的內(nèi)核0.0.2版本（0.0.1版本功能相當簡陋所以沒有公開發(fā)布）到目前最新的內(nèi)核2.6.22版本，Linux的功能越來越強大。1.1.4linux版本

linux系統(tǒng)概述linux版本版本分為兩類：內(nèi)核版本和發(fā)行版本發(fā)行版本僅有內(nèi)核而沒有應用軟件的操作系統(tǒng)是無法使用的，所以許多公司或社團將內(nèi)核、源代碼及相關的應用程序組織構(gòu)成一個完整的操作系統(tǒng)，讓一般的用戶可以簡便地安裝和使用Linux，這就是所謂的發(fā)行版本（distribution），一般談論的Linux系統(tǒng)便是針對這些發(fā)行版本的。目前估計各種發(fā)行版本有數(shù)十種，它們的發(fā)行版本號各不相同，使用的內(nèi)核版本號也可能不一樣，下面就為讀者介紹目前比較著名的幾個發(fā)行版本。1.1.4linux版本

linux系統(tǒng)概述linux版本版本分為兩類：內(nèi)核版本和發(fā)行版本發(fā)行版本Linux幾種常見的發(fā)行版，如商業(yè)版本redHat:十分穩(wěn)定且好用，但是需要付費。centos：雖然不如redHat，但功能全面，且免費。Ubuntu：擁有圖形化界面，方便操作，PC針對Ubuntu軟件較多。1.1.4linux版本

ThanksHadoop大數(shù)據(jù)技術

——Hadoop技術概述

Hadoop的前世今生什么是大數(shù)據(jù)

雙11電商數(shù)據(jù)大屏

高速收費站數(shù)據(jù)大屏

智慧交通

工程建設作戰(zhàn)指揮室

生產(chǎn)作業(yè)KPI指標分析

大數(shù)據(jù)是什么大數(shù)據(jù)這三個字只是一門市場語言，不是一項專門的技術。大數(shù)據(jù)的背后是硬件、數(shù)據(jù)庫、操作系統(tǒng)、Hadoop等一系列技術的綜合應用。

大數(shù)據(jù)是什么大數(shù)據(jù)這三個字只是一門市場語言，不是一項專門的技術。大數(shù)據(jù)的背后是硬件、數(shù)據(jù)庫、操作系統(tǒng)、Hadoop等一系列技術的綜合應用。

Hadoop是什么Hadoop是由一系列軟件庫組成的框架。這些軟件庫各自負責Hadoop的一部分功能，其中最主要的是HDFS、MapReduce和YARN。HDFS負責大數(shù)據(jù)的存儲、MapReduce負責大數(shù)據(jù)的計算、YARN負責集群資源的調(diào)度。

Hadoop項目起源Hadoop起源于Google的三篇著名論文：《TheGoogleFileSystem》2003年《MapReduce:SimplifiedDataProcessingonLargeClusters》2004年《Bigtable:ADistributedStorageSystemforStructuredData》2006年2004年左右，DougCutting開發(fā)出初始版本的Hadoop，作為Nutch項目的一部分。

Hadoop發(fā)展歷程第一階段前Hadoop時代（2003-2007）三大論文、DougCutting、HadoopHBase萌芽階段

HDFS（分布式文件系統(tǒng)）MapReduce(分布式離線計算框架)HBase（NOSQL分布式數(shù)據(jù)庫）Hadoop發(fā)展歷程第二階段后Hadoop時代（2008-2014）Hadoop、HBase、Hive、Pig、Sqoop等百花齊放，眼花繚亂各個組件層出不窮，相互之間的兼容性管理混亂，雖然選擇性多，但是很亂

HDFS（分布式文件系統(tǒng)）MapReduce(分布式離線計算框架)HivePigMahoutHBaseZookeeperSqoopFlumeOozieHadoop發(fā)展歷程第三階段Hadoop商業(yè)發(fā)行版時代（2011-2020）商業(yè)發(fā)行版、CDH、HDP等等，云原生套件出現(xiàn)，如阿里云、華為云、騰訊云、百度云標準的發(fā)行版大行其道，提供免費版本，云原生商業(yè)版如火如荼

Hadoop發(fā)展歷程第四階段國產(chǎn)化開源發(fā)行版時代（2021開始）USDP標準的發(fā)行版紛紛收費，國產(chǎn)化開源發(fā)行版勢在必行

Hadoop名字起源Hadoop這個名字不是一個縮寫，而是一個虛構(gòu)的名字。該項目的創(chuàng)建者，DougCutting解釋Hadoop的得名：“這個名字是我孩子給一個棕黃色的大象玩具命名的。我的命名標準就是簡短，容易發(fā)音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子恰恰是這方面的高手?！?/p>

Hadoop生態(tài)系統(tǒng)簡介Hadoop版本迭代

Hadoop生態(tài)系統(tǒng)

Hadoop的優(yōu)勢及應用場景Hadoop的優(yōu)勢方便Hadoop可以運行在一般商業(yè)服務器構(gòu)成的大型集群上，或者是亞馬遜彈性計算云(AmazonEC2)/阿里云等云計算服務上。彈性Hadoop可以通過增加節(jié)點方式來線性地擴展集群規(guī)模，以便處理更大的數(shù)據(jù)集。同時，在集群負載下降時，也可以減少節(jié)點以提高資源使用效率。健壯Hadoop在設計之初，就將故障檢測和自動恢復作為一個設計目標，它可以從容處理通用計算平臺上出現(xiàn)硬件失效的情況。簡單Hadoop允許用戶快速編寫出高效的分布式計算程序。

Hadoop的應用領域移動數(shù)據(jù)Cloudera運營總監(jiān)稱，美國有70%的智能手機數(shù)據(jù)服務背后都是由Hadoop來支撐的，也就是說包括數(shù)據(jù)的存儲以及無線運營商的數(shù)據(jù)處理等，都是在利用Hadoop技術。電子商務Hadoop在這一領域應用非常廣泛，eBay就是最大的實踐者之一。國內(nèi)的電商平臺在Hadoop技術儲備上也非常雄厚。在線旅游目前全球范圍內(nèi)80%的在線旅游網(wǎng)站都是在使用Cloudera公司提供的Hadoop發(fā)行版，其中SearchBI網(wǎng)站曾經(jīng)報導過的Expedia也在其中。

Hadoop的應用領域移詐騙檢測這個領域普通用戶接觸得比較少，一般只有金融服務或者政府機構(gòu)會用到。利用Hadoop來存儲所有的客戶交易數(shù)據(jù)，包括一些非結(jié)構(gòu)化的數(shù)據(jù)，能夠幫助機構(gòu)發(fā)現(xiàn)客戶的異常活動，預防欺詐行為。醫(yī)療保健醫(yī)療行業(yè)也會用到Hadoop，像IBM的Watson就會使用Hadoop集群作為其服務的基礎，包括語義分析等高級分析技術。醫(yī)療機構(gòu)可以利用語義分析為患者提供醫(yī)護人員，并協(xié)助醫(yī)生更好地為患者進行診斷。能源開采美國Chevron公司是全美第二大石油公司，它們的IT部門主管介紹了Chevron使用Hadoop的經(jīng)驗，利用Hadoop進行數(shù)據(jù)的收集和處理，其中一些數(shù)據(jù)是海洋的地震數(shù)據(jù)，以便找到油礦的位置。

Hadoop與云計算云計算是什么云計算是一種可以通過網(wǎng)絡方便地接入共享資源池，按需獲取計算資源（包括網(wǎng)絡、服務器、存儲、應用、服務等）的服務模型。共享資源池中的資源可以通過較少的管理代價和簡單業(yè)務交互過程而快速部署和發(fā)布。

云計算的特點按需提供服務以服務的形式為用戶提供應用程序、數(shù)據(jù)存儲、基礎設施等資源，并可以根據(jù)用戶需求自動分配資源，而不需要管理員的干預。比如亞馬遜彈性計算云（AmazonEC2），用戶可以通過Web表單提交自己需要的配置給亞馬遜，從而動態(tài)獲得計算能力，這些配置包括CPU核數(shù)、內(nèi)存大小、磁盤大小等。寬帶網(wǎng)絡訪問用戶可以通過各種終端設備，比如智能手機、筆記本等，隨時隨地通過互聯(lián)網(wǎng)訪問云計算服務。資源池化資源以共享池的方式統(tǒng)一管理。通過虛擬化技術，將資源分享給不同的用戶，而資源的存放、管理以及分配策略對用戶是透明的。高可伸縮性服務的規(guī)?？梢钥焖偕炜s，來自動適應業(yè)務負載的變化。這樣就保證了用戶使用的資源與業(yè)務所需要的資源的一致性，從而避免了因為服務器超載或者冗余造成服務質(zhì)量下降或者資源的浪費。

云計算的特點可量化服務云計算服務中心可以通過監(jiān)控軟件監(jiān)控用戶的使用情況，從而根據(jù)資源的使用情況對提供的服務進行計費。大規(guī)模承載云計算的集群規(guī)模非常巨大，一般達到數(shù)萬臺服務器以上。從集群規(guī)模來看，云計算賦予了用戶前所未有的計算能力。服務非常廉價云服務可以采用非常廉價的PCServer來構(gòu)建，而不是需要非常昂貴的小型機。另外云服務的公用性和通用性，極大地提升了資源利用率，從而大幅降低使用成本。

HadoopVS云計算云計算包含以下3種模式：IaaS(InfrastructureasaService)它的含義是基礎設施即服務。比如，阿里云主機提供的就是基礎設施服務，可以直接購買阿里云主機服務。PaaS(PlatformasaService)：它的含義是平臺即服務。比如，阿里云主機上已經(jīng)部署好Hadoop集群，可以提供大數(shù)據(jù)平臺服務，用戶直接購買平臺的計算能力運行自己的應用即可。SaaS(SoftwareasaService)：它的含義是軟件即服務，比如阿里云平臺已經(jīng)部署好具體的項目應用，用戶直接購買賬號使用它們提供的軟件服務即可?？偟膩碚f，云計算是一種運營模式，而Hadoop是一種技術手段，對云計算提供技術支撐。

Hadoop與SparkSpark是什么Spark是基于內(nèi)存計算的大數(shù)據(jù)并行計算框架。Spark基于內(nèi)存計算的特性，提高了在大數(shù)據(jù)環(huán)境下數(shù)據(jù)處理的實時性，同時保證了高容錯性和高可伸縮性，允許用戶將Spark部署在大量的廉價硬件之上形成集群，從而提高并行計算能力。Spark于2009年誕生于加州大學伯克利分校AMPLab，在開發(fā)以Spark為核心的BDAS時，AMPLab提出的目標是：onestacktorulethemall，也就是說在一套軟件棧內(nèi)完成各種大數(shù)據(jù)分析任務。目前，Spark已經(jīng)成為Apache軟件基金會旗下的頂級開源項目。

Spark的特點運行速度快Spark源碼是由Scala語言編寫的，Scala語言非常簡潔并具有豐富的表達力。

Spark充分利用和集成了Hadoop等其他第三方組件，同時著眼于大數(shù)據(jù)處理，那么數(shù)據(jù)處理速度是至關重要的，Spark通過將中間結(jié)果緩存在內(nèi)存從而減少磁盤I/O來達到性能的提升。易用性Spark支持Java、Python和Scala的API，還支持超過80種高級算法，使用戶可以快速構(gòu)建不同的應用。而且Spark支持交互式的Python和Scala的shell，可以非常方便地在這些shell中使用Spark集群來驗證解決問題的方法。支持復雜查詢除了簡單的map及reduce操作之外，Spark還支持復雜查詢。Spark支持SQL查詢、流式計算、機器學習和圖算法，同時用戶可以在同一個工作流中無縫地搭配這些計算范式。

Spark的特點實時的流處理與Hadoop相比，Spark不僅支持離線計算還支持實時流計算。SparkStreaming主要用來對數(shù)據(jù)進行實時處理，而Hadoop在擁有了YARN之后，也可以借助其他框架進行流式計算。容錯性Spark引入了彈性分布式數(shù)據(jù)集RDD(ResilientDistributedDataset)，它是分布在一組節(jié)點中的只讀對象集合，這些集合是彈性的，如果數(shù)據(jù)集的一部分丟失，則可以根據(jù)“血統(tǒng)”對它們進行重建。另外在對RDD進行計算時可以通過CheckPoint機制來實現(xiàn)容錯。

HadoopVSSpark

Hadoop與傳統(tǒng)關系型數(shù)據(jù)庫RDBMS是什么傳統(tǒng)關系型數(shù)據(jù)庫RDBMS(RelationalDatabaseManagementSystem)是指對應于一個關系模型的所有關系的集合。關系型數(shù)據(jù)庫系統(tǒng)實現(xiàn)了關系模型，并用它來處理數(shù)據(jù)。關系模型在表中將信息與字段關聯(lián)起來，從而存儲數(shù)據(jù)。這種數(shù)據(jù)庫管理系統(tǒng)需要結(jié)構(gòu)（例如表）在存儲數(shù)據(jù)之前被定義出來。有了表，每一列（字段）都存儲一個不同類型（數(shù)據(jù)類型）的信息。數(shù)據(jù)庫中的每條記錄都有自己唯一的key（主鍵）作為屬于某個表的一行，行中的每一個信息都對應了表中的一列——所有的關系一起構(gòu)成了關系模型。

RDBMS的特點容易理解二維表結(jié)構(gòu)是非常貼近邏輯世界的一個概念，關系模型相對網(wǎng)狀、層次等其他模型來說更容易理解。使用方便通用的SQL語言使得操作關系型數(shù)據(jù)庫非常方便。易于維護豐富的完整性（實體完整性、參照完整性和用戶定義的完整性）大大降低了數(shù)據(jù)冗余和數(shù)據(jù)不一致的概率。支持SQL支持SQL語言完成復雜的查詢功能。

HadoopVSRDBMS

HadoopVSRDBMS數(shù)據(jù)規(guī)模RDBMS適合處理GB級別的數(shù)據(jù)，數(shù)據(jù)量超過這個范圍就會出現(xiàn)性能急劇下降，而Hadoop可以處理PB級別的數(shù)據(jù)，沒有數(shù)據(jù)規(guī)模的限制。訪問方式RDBMS支持交互處理和批處理，而Hadoop僅支持批處理。數(shù)據(jù)讀寫RDBMS支持數(shù)據(jù)多次讀寫，而Hadoop支持一次寫、多次讀。集群收縮性RDBMS是非線性擴展的，而Hadoop支持線性擴展，可以通過簡單的增加節(jié)點來擴展Hadoop集群規(guī)模?？偟膩碚f，Hadoop適合用于海量數(shù)據(jù)的批處理，而RDBMS適合用于少量數(shù)據(jù)的實時查詢。在實際工作中，Hadoop一般需要與RDBMS結(jié)合來使用，比如可以利用Hadoop集群對海量數(shù)據(jù)進行統(tǒng)計分析，然后將分析結(jié)果存入RDBMS對外提供實時查詢服務。

ThanksHadoop大數(shù)據(jù)技術

——Zookeeper分布式協(xié)調(diào)服務

Zookeeper架構(gòu)設計與工作原理Zookeeper是什么定義：zookeeper一個分布式的開源的協(xié)調(diào)服務框架,服務于分布式應用。它暴露了一系列的原語操作服務,因此分布式應用能夠基于這些服務,構(gòu)建出更高級別的服務,比如同步,配置管理,分組和命名服務。zookeeper設計上易于編碼,數(shù)據(jù)模型構(gòu)建在我們熟悉的樹形結(jié)構(gòu)目錄風格的文件系統(tǒng)中。zookeeper運行在Java中,同時支持Java和C語言。

Zookeeper的特點最終一致性客戶端不論連接到哪個Server，展示給它的都是同一個視圖，這是Zookeeper最重要的特點?？煽啃訸ookeeper具有簡單、健壯、良好的性能。如果一條消息被一臺服務器接收，那么它將被所有的服務器接收。實時性Zookeeper保證客戶端將在一個時間間隔范圍內(nèi)，獲得服務器的更新信息或者服務器失效的信息。但由于網(wǎng)絡延時等原因，Zookeeper不能保證兩個客戶端能同時得到剛更新的數(shù)據(jù)，如果需要最新數(shù)據(jù)，應該在讀數(shù)據(jù)之前調(diào)用sync()接口。等待無關（wait-free）慢的或者失效的客戶端不得干預快速的客戶端的請求，這就使得每個客戶端都能有效地等待。

Zookeeper的特點原子性對Zookeeper的更新操作要么成功，要么失敗，沒有中間狀態(tài)。順序性它包括全局有序和偏序兩種。全局有序是針對服務器端，例如，在一臺服務器上，消息A在消息B前發(fā)布，那么所有服務器上的消息A都將在消息B前被發(fā)布。偏序是針對客戶端，例如，在同一個客戶端中，消息B在消息A后發(fā)布，那么執(zhí)行的順序必將是先執(zhí)行消息A然后在是消息B。所有的更新操作都有嚴格的偏序關系，更新操作都是串行執(zhí)行的，這一點是保證ZooKeeper功能正確性的關鍵。

Zookeeper的基本架構(gòu)與工作原理Zookeeper服務自身組成一個集群（2n+1個服務節(jié)點最多允許n個失效）。Zookeeper服務有兩個角色：一個是主節(jié)點（Leader），負責投票的發(fā)起和決議，更新系統(tǒng)狀態(tài)；另一種是從節(jié)點（Follower），用于接收客戶端請求并向客戶端返回結(jié)果，在選主過程（即選擇主節(jié)點的過程）中參與投票。主節(jié)點失效后，會在從節(jié)點中重新選舉新的主節(jié)點。

Zookeeper數(shù)據(jù)模型zookeeper的數(shù)據(jù)結(jié)構(gòu)與linux文件系統(tǒng)很類似，與Linux中的文件系統(tǒng)路徑不同，Zookeeper中的路徑必須是絕對路徑，而且每條路徑只有唯一的一種表示方式（/app1/p_3）。

Zookeeper數(shù)據(jù)模型Znode節(jié)點特性臨時節(jié)點znode節(jié)點有兩種：臨時節(jié)點和持久節(jié)點。Znode的類型在創(chuàng)建時就確定，之后不能修改。當創(chuàng)建臨時節(jié)點的客戶端會話結(jié)束時，Zookeeper會將該臨時節(jié)點刪除。而持久節(jié)點不依賴與客戶端會話，只有當客戶端明確要刪除該持久節(jié)點時才會被真正刪除。臨時節(jié)點不可以有子節(jié)點，即使是短暫的子節(jié)點。順序節(jié)點順序節(jié)點是指名稱中包含Zookeeper指定順序號的znode。如果在創(chuàng)建znode的時候設置了順序標識，那么該znode名稱之后就會附加一個值，這個值是由一個單調(diào)遞增的計數(shù)器所添加的，由父節(jié)點維護。

Zookeeper數(shù)據(jù)模型觀察機制客戶端可以在znode上設置watcher，當節(jié)點狀態(tài)發(fā)生改變時將會觸發(fā)watcher所對應的操作。當watcher被觸發(fā)時，ZooKeeper將會向客戶端發(fā)送且僅發(fā)送一條通知，因為watcher只能被觸發(fā)一次，這樣可以減少網(wǎng)絡流量。為了能夠多次收到通知，客戶端需要重新注冊所需的watcher。

Zookeeper服務/spider客戶端客戶端客戶端監(jiān)視器注冊注冊注冊ThanksHadoop大數(shù)據(jù)技術

——搭建HDFS分布式集群

HDFS架構(gòu)設計與工作原理HDFS是什么HDFS（HadoopDistributedFileSystem）是Hadoop項目的核心子項目，是分布式計算中數(shù)據(jù)存儲管理的基礎，是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的，可以運行于廉價的商用服務器上。HDFS源于Google在2003年10月份發(fā)表的GFS（GoogleFileSystem）論文。它其實就是GFS的一個克隆版本。

HDFS產(chǎn)生背景隨著數(shù)據(jù)量的不斷增大，最終會導致數(shù)據(jù)在一個操作系統(tǒng)的磁盤中存儲不下。那么為了存儲這些大規(guī)模數(shù)據(jù)，就需要將數(shù)據(jù)分配到更多操作系統(tǒng)管理的磁盤中進行存儲，但是這樣會導致數(shù)據(jù)的管理和維護非常不方便，所以就迫切需要一種系統(tǒng)來管理和維護多臺機器上的數(shù)據(jù)文件，實際上這種系統(tǒng)就是分布式文件系統(tǒng)，而HDFS只是分布式文件系統(tǒng)中的一種。

HDFS設計理念HDFS的設計理念來源于非常樸素的思想：即當數(shù)據(jù)文件的大小超過單臺計算機的存儲能力時，就有必要將數(shù)據(jù)文件切分并存儲到由若干臺計算機組成的集群中，這些計算機通過網(wǎng)絡進行連接。而HDFS作為一個抽象層架構(gòu)在集群網(wǎng)絡之上，對外提供統(tǒng)一的文件管理功能，對于用戶來說就感覺像在操作一臺計算機一樣，根本感受不到HDFS底層的多臺計算機，而且HDFS還能夠很好地容忍節(jié)點故障且不丟失任何數(shù)據(jù)。

HDFS設計目標HHDFS核心設計目標：支持超大文件存儲支持超大文件存儲是HDFS最基本的職責所在。流式數(shù)據(jù)訪問流式數(shù)據(jù)訪問是HDFS選擇的最高效的數(shù)據(jù)訪問方式。流式數(shù)據(jù)訪問可以理解為：讀取數(shù)據(jù)文件就像打開水龍頭一樣，可以不停地讀取。簡單的一致性模型在HDFS文件系統(tǒng)中，一個文件一旦經(jīng)過創(chuàng)建、寫入、關閉之后，一般就不需要再進行修改，這樣就可以簡單地保證數(shù)據(jù)的一致性。硬件故障的檢測和快速應對通過大量普通硬件構(gòu)成的集群中，硬件出現(xiàn)故障是常見的問題。HDFS文件系統(tǒng)一般是由數(shù)十臺甚至成百上千臺服務器組成，這么多服務器就意味著高故障率，但是HDFS在設計之初已經(jīng)充分考慮到這些問題，認為硬件故障是常態(tài)而不是異常，所以如何進行故障的檢測和快速自動恢復也是HDFS的重要設計目標之一。

HDFS系統(tǒng)架構(gòu)

HDFS系統(tǒng)架構(gòu)

HDFS優(yōu)缺點HDFS的優(yōu)點高容錯性數(shù)據(jù)自動保存多個副本，HDFS通過增加多個副本的形式，提高HDFS文件系統(tǒng)的容錯性，某一個副本丟失以后可以自動恢復。適合大數(shù)據(jù)處理能夠處理GB、TB、甚至PB級別的數(shù)據(jù)規(guī)模；能夠處理百萬規(guī)模以上的文件數(shù)量；能夠達到10000個節(jié)點以上的集群規(guī)模。流式文件訪問數(shù)據(jù)文件只能一次寫入，多次讀取，只能追加，不能修改；HDFS能保證數(shù)據(jù)的簡單一致性?？蓸?gòu)建在廉價的機器上HDFS提供了容錯和恢復機制，比如某一個副本丟失了可以通過其他副本來恢復，從而保證了數(shù)據(jù)的安全性和系統(tǒng)的可靠性。

HDFS優(yōu)缺點HDFS的缺點不適合低延時數(shù)據(jù)訪問比如毫秒級別的數(shù)據(jù)響應時間，這種場景HDFS是很難做到的。HDFS更適合高吞吐率的場景，就是在某一時間內(nèi)寫入大量的數(shù)據(jù)。不適合大量小文件的存儲如果有大量小文件需要存儲，這些小文件的元數(shù)據(jù)信息會占用NameNode大量的內(nèi)存空間。這樣是不可取的，因為NameNode的內(nèi)存總是有限的。如果讀取小文件的尋道時間超過文件數(shù)據(jù)的讀取時間，它就違反了HDFS大數(shù)據(jù)塊的設計目標。不適合并發(fā)寫入、文件隨機修改一個文件只能有一個寫操作，不允許多個線程同時進行寫操作；僅支持數(shù)據(jù)的append（追加）操作，不支持文件的隨機修改。

HDFS讀數(shù)據(jù)流程

HDFS寫數(shù)據(jù)流程

HDFS高可用（HA）HA機制產(chǎn)生的背景高可用（HighAvailability

，簡稱HA）為了整個系統(tǒng)的可靠性，我們通常會在系統(tǒng)中部署兩臺或多臺主節(jié)點，多臺主節(jié)點形成主備的關系，但是某一時刻只有一個主節(jié)點能夠?qū)ν馓峁┓?，當某一時刻檢測到對外提供服務的主節(jié)點“掛”掉之后，備用主節(jié)點能夠立刻接替已掛掉的主節(jié)點對外提供服務，而用戶感覺不到明顯的系統(tǒng)中斷。這樣對用戶來說整個系統(tǒng)就更加的可靠和高效。影響HDFS集群的可用性主要包括兩種情況一是NameNode機器宕機，將導致集群不可用，重啟NameNode之后才可使用；二是計劃內(nèi)的NameNode節(jié)點軟件或硬件升級，導致集群在短時間內(nèi)不可用。

HDFSHA架構(gòu)

HDFSHA機制

集群規(guī)劃主機規(guī)劃

軟件規(guī)劃

用戶規(guī)劃

目錄規(guī)劃

ThanksHadoop大數(shù)據(jù)技術

——搭建YARN分布式集群

YARN架構(gòu)設計與工作原理YARN產(chǎn)生背景MapReduce1.0系統(tǒng)架構(gòu)

YARN產(chǎn)生背景MapReduce1.0架構(gòu)缺陷擴展性差JobTracker同時兼?zhèn)淞速Y源管理和作業(yè)控制兩個功能，嚴重制約了Hadoop集群擴展性。

YARN產(chǎn)生背景MapReduce1.0架構(gòu)缺陷資源利用率低MRv1采用基于slot的粗粒度的資源分配模型，包含Mapslot和Reduceslot。某個任務用不完的資源其他任務也不能用，因為map和reduce的資源完全不能共享的。當一個作業(yè)剛提交時，只會運行MapTask，此時ReduceSlot閑置。

YARN產(chǎn)生背景MapReduce1.0架構(gòu)缺陷通用性差隨著互聯(lián)網(wǎng)高速發(fā)展導致數(shù)據(jù)量劇增，MapReduce這種基于磁盤的離線計算框架已經(jīng)不能滿足應用要求，從而出現(xiàn)了一些新的計算框架以應對各種場景，包括內(nèi)存計算框架、流式計算框架和迭代式計算框架等，而MRv1不能支持多種計算框架并存。

YARN產(chǎn)生背景MapReduce1.0架構(gòu)缺陷單點故障MRv1采用了master/slave結(jié)構(gòu)，其中master存在單點故障問題，一旦它出現(xiàn)故障將導致整個集群不可用。

YARN產(chǎn)生背景MapReduce1.0架構(gòu)缺陷擴展性差：兼具資源管理和作業(yè)調(diào)度資源利用率低：基于粗粒度slot資源分配通用性差：不支持多種計算框架單點故障：master沒有實現(xiàn)高可用

YARN是什么YARN是Hadoop2.0版本新引入的資源管理系統(tǒng)，直接從MR1演化而來。ApacheHadoopYARN（YetAnotherResourceNegotiator，另一種資源協(xié)調(diào)者）是一種新的Hadoop資源管理器，它是一個通用資源管理系統(tǒng)，可為上層應用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。核心思想：將MR1中JobTracker的資源管理和作業(yè)調(diào)度兩個功能分開，分別由ResourceManager和ApplicationMaster進程來實現(xiàn)。ResourceManager負責整個集群的資源管理和調(diào)度。ApplicationMaster負責應用程序相關的事務，比如任務調(diào)度、任務監(jiān)控和容錯等。

YARN的作用

YARN的基本構(gòu)架

YARN的工作原理

MapReduceONYARN工作流程MapReduceONYARN工作流程

YARN的容錯性YARN的容錯性ResourceManager的容錯性保障ResourceManager存在單點故障，但是可以通過配置實現(xiàn)ResourceManager的HA（高可用），當主節(jié)點出現(xiàn)故障時，可以切換到備用節(jié)點繼續(xù)對外提供服務。NodeManager的容錯性保障NodeManager失敗之后，ResourceManager會將失敗的任務通知對應的ApplicationMaster，由ApplicationMaster來決定如何去處理失敗的任務。ApplicationMaster的容錯性保障ApplicationMaster失敗后，由ResourceManager負責重啟即可。其中，ApplicationMaster需要處理內(nèi)部任務的容錯問題。ResourceManager會保存已經(jīng)運行的任務，重啟后無須重新運行。

YARN的高可用YARN的高可用

YARN的調(diào)度器先進先出調(diào)度器

容量調(diào)度器

公平調(diào)度器

ThanksHadoop大數(shù)據(jù)技術

——MapReduce

初識MapReduceMapReduce概述MapReduce是一個使用簡單的軟件框架，基于它寫出來的應用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯式并行處理TB級別的數(shù)據(jù)集。MapReduce是一個并行程序的計算模型與方法MapReduce是一個并行程序運行的軟件框架MapReduce是一個基于集群的高性能并行計算平臺

MapReduce基本設計思想

分而治之MapReduce基本設計思想抽象成模型

MapReduce基本設計思想升到框架MapReduce

提供統(tǒng)一計算框架的主要目標是實現(xiàn)自動并行化計算，為程序員隱藏系統(tǒng)層面的細節(jié)。計算任務的自動劃分和調(diào)度。數(shù)據(jù)的自動化分布存儲和劃分。處理數(shù)據(jù)與計算任務的同步。結(jié)果數(shù)據(jù)的收集整理，如排序，合并，分區(qū)等。系統(tǒng)通信、負載均衡、計算性能優(yōu)化。處理系統(tǒng)節(jié)點出錯檢測和失效恢復。

MapReduce優(yōu)缺點MapReduce的優(yōu)點MapReduce易于編程良好的擴展性高容錯性適合PB級以上數(shù)據(jù)集的離線處理MapReduce缺點不適合實時計算不適合流式計算不適合DAG計算

MapReduce的編程模型MapReduce分布式計算原理

MapReduce編程模型

深入剖析MapReduce編程模型

背景分析

深入剖析MapReduce編程模型問題思路分析業(yè)務場景有大量的文件，每個文件里面存儲的都是單詞。我們的任務統(tǒng)計所有文件中每個單詞出現(xiàn)的次數(shù)。解決思路先分別統(tǒng)計出每個文件中各個單詞出現(xiàn)的次數(shù)，然后再累加不同文件中同一個單詞出現(xiàn)次數(shù)。

深入剖析MapReduce編程模型深入剖析MapReduce編程模型數(shù)據(jù)分割

深入剖析MapReduce編程模型深入剖析MapReduce編程模型數(shù)據(jù)處理

深入剖析MapReduce編程模型深入剖析MapReduce編程模型數(shù)據(jù)局部合并

深入剖析MapReduce編程模型深入剖析MapReduce編程模型數(shù)據(jù)聚合

MapReduce運行機制剖析MapReduce作業(yè)運行機制

作業(yè)失敗與容錯任務容錯當applicationmaster被告知一個任務嘗試失敗后，它將重新調(diào)度該任務的執(zhí)行。applicationmaster會試圖避免在之前失敗過的NodeManager上重新調(diào)度該任務。此外，如果一個任務失敗數(shù)超過4次，該任務將不會再嘗試執(zhí)行。applicationmaster容錯applicationmaster向ResourceManager發(fā)送周期性的心跳，當applicationmaster失敗時，ResourceManager將檢測到該失敗，并在一個新的容器中重新啟動一個applicationmaster實例。對于新的applicationmaster來說，它將使用作業(yè)歷史記錄來恢復失敗的應用程序所運行任務的狀態(tài)，所以這些任務不需要重新運行。

作業(yè)失敗與容錯NodeManager容錯如果一個NodeManager節(jié)點因中斷或運行緩慢而失敗，那么它就會停止向ResourceManager發(fā)送心跳信息（或者發(fā)送頻率很低）。默認情況下，如果ResourceManager在10分鐘內(nèi)沒有收到一個心跳信息，它將會通知停止發(fā)送心跳信息的NodeManager，并且將其從自己的節(jié)點池中移除。在出現(xiàn)故障的NodeManager節(jié)點上運行的任何任務或applicationmaster，將會按前面描述的機制進行恢復。另外，對于出現(xiàn)故障的NodeManager節(jié)點，那么曾經(jīng)在其上運行且成功完成的map任務，如果屬于未完成的作業(yè)，那么applicationmaster會安排它們重新運行。這是因為它們的中間輸出結(jié)果是存放在故障NodeManager節(jié)點所在的本地文件系統(tǒng)中，reduce任務可能無法訪問。

作業(yè)失敗與容錯ResourceManager容錯ResourceManager出現(xiàn)故障是比較嚴重的，因為沒有ResourceManager，作業(yè)和任務容器將無法啟動。在默認的配置中，ResourceManager是一個單點故障，因為在機器出現(xiàn)故障時，所有的作業(yè)都會失敗并且不能被恢復。為了實現(xiàn)高可用（HA），有必要以一種active-standby配置模式運行一對ResourceManager。如果activeResourceManager出現(xiàn)故障，則standbyResourceManager可以很快的接管，并且對客戶端來說沒有明顯的中斷現(xiàn)象。

shuffle過程詳解

Hadoop集群運維管理Hadoop集群進程管理NameNode守護進程管理下線操作sbin/hadoop-daemon.shstopnamenode

上線操作sbin/hadoop-daemon.shstartnamenodeDataNode守護進程管理下線操作sbin/hadoop-daemon.shstopdatanode上線操作sbin/hadoop-daemon.shstartdatanode

Hadoop集群進程管理ResourceManager守護進程管理下線操作sbin/yarn-daemon.shstopresourcemanager

上線操作sbin/yarn-daemon.shstartresourcemanagerNodeManager守護進程管理下線操作sbin/yarn-daemon.shstopnodemanager上線操作sbin/yarn-daemon.shstartnodemanager

Hadoop集群運維技巧文件系統(tǒng)檢查命令：bin/hdfsfsck/元數(shù)據(jù)備份命令：bin/hdfsdfsadmin-fetchImagefsimage.backup

ThanksHadoop大數(shù)據(jù)技術

——Hive數(shù)據(jù)倉庫工具

Hive概述Hive是什么Hive是由faceBook開源，最初用于解決海量結(jié)構(gòu)化的日志數(shù)據(jù)統(tǒng)計問題，它可以作為ETL工具。Hive最初是構(gòu)建在Hadoop之上的數(shù)據(jù)倉庫。數(shù)據(jù)計算是MapReduce數(shù)據(jù)存儲是HDFSHive定義了一種類SQL的查詢語言——HQLHive適合離線數(shù)據(jù)處理Hive是將HQL轉(zhuǎn)換為MR的語言翻譯器。

Hive產(chǎn)生的背景

Hive

的誕生源于

Facebook

的日志分析需求，面對海量的結(jié)構(gòu)化數(shù)據(jù)，

Hive

能夠以較低的成本完成以往需要大規(guī)模數(shù)據(jù)庫才能完成的任務，并且學習門檻相對較低，應用開發(fā)靈活且高效。后來Facebook將

Hive

開源給了

Apache，成為

Apache

的一個頂級項目，至此Hive在大數(shù)據(jù)應用方面得到了快速的發(fā)展和普及。Hive的優(yōu)缺點Hive的優(yōu)點Hive適合數(shù)據(jù)的批處理，解決了傳統(tǒng)關系型數(shù)據(jù)庫在海量數(shù)據(jù)處理上的瓶頸。Hive構(gòu)建在Hadoop之上，充分利用了集群的存儲資源、計算資源。Hive學習使用成本低，支持標準的SQL語法，這樣就免去了編寫MapReduce程序的過程，減少了開發(fā)成本。具有良好的擴展性，且能夠?qū)崿F(xiàn)與其他組件的集成開發(fā)。Hive的缺點HQL的表達能力依然有限，不支持迭代計算，有些復雜的運算用HQL不易表達，還需要單獨編寫MapReduce來實現(xiàn)。Hive的運行效率低、延遲高，這是因為Hive底層計算引擎默認為MapReduce，而MapReduce是離線計算框架。Hive的調(diào)優(yōu)比較困難，由于HQL語句最終會轉(zhuǎn)換為MapReduce任務，所以Hive的調(diào)優(yōu)還需要考慮MapReduce層面的優(yōu)化。

Hive在Hadoop生態(tài)系統(tǒng)中的位置

Hive和Hadoop的關系

Hive利用HDFS來存儲數(shù)據(jù)，利用MapReduce來查詢分析數(shù)據(jù)，那么Hive與Hadoop之間的關系總結(jié)如下。Hive需要構(gòu)建在Hadoop集群之上。Hive中的所有數(shù)據(jù)都存儲在Hadoop分布式文件系統(tǒng)中。對HQL查詢語句的解釋、優(yōu)化、生成查詢計劃等過程均是由

Hive

完成的，而查詢計劃被轉(zhuǎn)化為

MapReduce

任務之后需要運行在

Hadoop

集群之上。

Hive原理及架構(gòu)Hive的設計原理Hive的原理Hive

是一種構(gòu)建在Hadoop之上的數(shù)據(jù)倉庫工具，可以使用HQL

語句對數(shù)據(jù)進行分析和查詢，而Hive

的底層數(shù)據(jù)都存儲在HDFS中。Hive

在加載數(shù)據(jù)過程中不會對數(shù)據(jù)進行任何的修改，只是將數(shù)據(jù)移動到指定的HDFS目錄下，因此，Hive

不支持對數(shù)據(jù)的修改。Hive的特點支持索引，加快數(shù)據(jù)查詢。不同的存儲類型，例如，純文本文件、HBase

中的文件。將元數(shù)據(jù)保存在關系數(shù)據(jù)庫中，大大減少了在查詢過程中執(zhí)行語義檢查的時間?？梢灾苯邮褂么鎯υ贖adoop

文件系統(tǒng)中的數(shù)據(jù)。內(nèi)置大量用戶自定義函數(shù)(userdefinefunction，簡稱UDF)來對時間、字符串進行操作，支持用戶擴展UDF

函數(shù)來完成內(nèi)置函數(shù)無法實現(xiàn)的操作。HQL語句最終會被轉(zhuǎn)換為MapReduce任務運行在Hadoop集群之上。

Hive的體系結(jié)構(gòu)

Hive的運行機制

Hive的轉(zhuǎn)換過程

Hive的數(shù)據(jù)類型

Hive的基本數(shù)據(jù)類型Hive的數(shù)據(jù)類型

Hive的復雜數(shù)據(jù)類型Hive的數(shù)據(jù)存儲

表（table）Hive的表在邏輯上由存儲的數(shù)據(jù)和描述表中數(shù)據(jù)形式的相關元數(shù)據(jù)組成。數(shù)據(jù)一般存放在HDFS中，但它也可以放在其他任何Hadoop文件系統(tǒng)中，包括本地文件系統(tǒng)或S3。Hive把元數(shù)據(jù)存放在關系型數(shù)據(jù)庫中，而不是放在HDFS中。在Hive中創(chuàng)建表時，默認情況下Hive負責管理數(shù)據(jù)。這意味著Hive把數(shù)據(jù)移入它的“倉庫目錄”。另外一種選擇是創(chuàng)建一個外部表(externaltable)，這會讓Hive到倉庫目錄以外的位置訪問數(shù)據(jù)。分區(qū)（Partition）Hive把表組織成分區(qū)。這是一種根據(jù)分區(qū)列（如日期）的值對表進行粗略劃分的機制。使用分區(qū)可以加快數(shù)據(jù)分片的查詢速度。以分區(qū)的常用情況為例，如日志文件的每條記錄包含一個時間戳。如果我們根據(jù)日期來對它進行分區(qū)，那么同一天的記錄就會被存放在同一個分區(qū)中。這樣做的優(yōu)點是：對于限制到某個或者某些特定日期的查詢，它們的處理可以變得非常高效。因為它們只需要掃描查詢范圍內(nèi)分區(qū)中的文件。注意，使用分區(qū)并不會影響大范圍查詢的執(zhí)行，我們?nèi)匀豢梢圆樵兛缍鄠€分區(qū)的整個數(shù)據(jù)集。桶（Bucket）表或者分區(qū)可以進一步分為桶。它會為數(shù)據(jù)提供額外的結(jié)構(gòu)以獲得更高效的查詢處理。例如，通過用戶ID來劃分桶，我們可以在所有用戶集合的隨機樣本上快速計算基于用戶的查詢。

ThanksHadoop大數(shù)據(jù)技術

——HBase分布式數(shù)據(jù)庫

HBase概述HBase是什么HBase是一個高可靠、高性能、面向列、可伸縮的分布式數(shù)據(jù)庫，利用HBase技術可在廉價的PCServer上搭建大規(guī)模結(jié)構(gòu)化存儲集群。HBase是GoogleBigTable的開源實現(xiàn)，與Google的BigTable利用GFS作為其文件存儲系統(tǒng)類似，HBase則利用Hadoop的HDFS作為其文件存儲系統(tǒng)。Google運行MapReduce來處理Bigtable中的海量數(shù)據(jù)，而HBase則利用Hadoop的MapReduce來處理HBase中的海量數(shù)據(jù)。GoogleBigtable利用Chubby作為協(xié)同服務，而HBase則利用Zookeeper作為協(xié)同服務。

HBase的特點

容量巨大：單表可以有百億行、數(shù)百萬列。無模式：同一個表的不同行可以有截然不同的列。面向列：HBase是面向列的存儲和權限控制，并支持列獨立索引。稀疏性：表可以設計得非常稀疏，值為空的列并不占用存儲空間。擴展性：HBase底層文件存儲依賴HDFS，它天生具備可擴展性。高可靠性：HBase提供了預寫日志(WAL)和副本(Replication)機制，防止數(shù)據(jù)丟失。高性能：底層的LSM（Log-StructuredMergeTree）數(shù)據(jù)結(jié)構(gòu)和RowKey有序排列等架構(gòu)上的獨特設計，使得HBase具備非常高的寫入性能。

HBase模型及架構(gòu)HBase邏輯模型

HBase邏輯模型表HBase

是一種列式存儲的分布式數(shù)據(jù)庫，其核心概念是表（Table）。與傳統(tǒng)關系型數(shù)據(jù)庫一樣，HBase

的表也是由行和列組成，但

HBase

同一列可以存儲不同時刻的值，同時多個列可以組成一個列簇（ColumnFamily），這種組織形式主要是出于HBase存取性能的考慮。行健Rowkey

既是

HBase

表的行鍵，也是

HBase

表的主鍵。HBase

表中的記錄是按照RowKey的字典順序進行存儲的。在HBase中，為了高效地檢索數(shù)據(jù)，需要設計良好的Rowkey來提高查詢性能。因為Rowkey

會被冗余存儲，所以長度不宜過長，Rowkey

過長將會占用大量的存儲空間同時會降低檢索效率。其次

Rowkey

應該盡量均勻分布，避免產(chǎn)生熱點問題（大量用戶訪問集中在一個或極少數(shù)節(jié)點，從而造成單臺節(jié)點超出自身承受能力）。另外需要保證Rowkey的唯一性。

HBase邏輯模型列簇HBase表中的每個列都歸屬于某個列簇，一個列簇中的所有列成員有著相同的前綴。比如，列anchor:和anchor:my.look.ca都是列簇anchor的成員。列簇是表的schema的一部分，必須在使用表之前定義列簇，但列卻不是必需的，寫數(shù)據(jù)的時候可以動態(tài)加入。一般將經(jīng)常一起查詢的列放在一個列簇中，合理劃分列簇將減少查詢時加載到緩存的數(shù)據(jù)，提高查詢效率，但也不能有太多的列簇，因為跨列簇訪問是非常低效的。單元格HBase中通過RowKey和Column確定的一個存儲單元稱為單元格（Cell）。每個單元格都保存著同一份數(shù)據(jù)的多個版本，不同時間版本的數(shù)據(jù)按照時間順序倒序排序，最新時間的數(shù)據(jù)排在最前面，時間戳是

64

位的整數(shù)，可以由客戶端在寫入數(shù)據(jù)時賦值，也可以由RegionServer自動賦值。

HBase物理模型

HBase物理模型

HBase物理模型

HBase物理模型

HBase基本構(gòu)架

HBaseshell操作HBaseshell操作1.創(chuàng)建course表hbase(main):002:0>create'course','cf'2.查看HBase所有表hbase(main):003:0>list3.查看course表結(jié)構(gòu)hbase(main):004:0>describe'course'4.向course表插入數(shù)據(jù)hbase(main):005:0>put'course','001','cf:cname','hbase'hbase(main):006:0>put'course','001','cf:score','95'hbase(main):007:0>put'course','002','cf:cname','sqoop'hbase(main):008:0>put'course','002','cf:score','85'hbase(main):009:0>put'course','003','cf:cname','flume'hbase(main):010:0>put'course','003','cf:score','98'

HBaseshell操作5.查詢course表中的所有數(shù)據(jù)hbase(main):011:0>scan'course'6.根據(jù)行鍵查詢course表（1）查詢整條記錄hbase(main):012:0>get'course','001'（2）查詢一個列簇數(shù)據(jù)hbase(main):013:0>get'course','001','cf'（3）查詢列簇中其中的一個列hbase(main):014:0>get'course','001','cf:cname'7.更新course表數(shù)據(jù)hbase(main):015:0>put'course','001','cf:score','99'hbase(main):016:0>get'course','001','cf'8.查詢course表總記錄hbase(main):017:0>count'course'

HBaseshell操作9.刪除course表數(shù)據(jù)（1）刪除列簇中的一個列hbase(main):021:0>delete'course','003','cf:score'（2）刪除整行記錄hbase(main):022:0>deleteall'course','002'hbase(main):023:0>scan'course'10.清空course表hbase(main):024:0>truncate'course'hbase(main):025:0>scan'course'11.刪除course表hbase(main):026:0>disable'course'hbase(main):027:0>drop'course'12.查看表是否存在hbase(main):028:0>exists'course'

ThanksHadoop大數(shù)據(jù)技術

——Sqoop安裝部署

Sqoop概述ApacheSqoop（SQL-to-Hadoop）項目旨在協(xié)助RDBMS與Hadoop之間進行高效的大數(shù)據(jù)遷移。用戶可以在Sqoop的幫助下，輕松地將RDBMS中的數(shù)據(jù)導入到Hadoop或者與其相關的系統(tǒng)（如HBase和Hive）中；同時也可以將數(shù)據(jù)從Hadoop系統(tǒng)導出到RDBMS。因此，可以說Sqoop就是一個橋梁，連接了RDBMS與Hadoop。

Sqoop的優(yōu)勢

Sqoop可以高效地、可控地利用資源，可以通過調(diào)整任務數(shù)來控制任務的并發(fā)度。另外它還可以配置數(shù)據(jù)庫的訪問時間。Sqoop可以自動地完成數(shù)據(jù)庫與Hadoop系統(tǒng)中數(shù)據(jù)類型的映射與轉(zhuǎn)換。Sqoop支持多種數(shù)據(jù)庫，比如，MySQL、Oracle和PostgreSQL等數(shù)據(jù)庫。Sqoop架構(gòu)及工作機制

SqoopImport流程

SqoopExport流程

HBase邏輯模型表HBase

是一種列式存儲的分布式數(shù)據(jù)庫，其核心概念是表（Table）。與傳統(tǒng)關系型數(shù)據(jù)庫一樣，HBase

的表也是由行和列組成，但

HBase

同一列可以存儲不同時刻的值，同時多個列可以組成一個列簇（ColumnFamily），這種組織形式主要是出于HBase存取性能的考慮。行健Rowkey

既是

HBase

表的行鍵，也是

HBase

表的主鍵。HBase

表中的記錄是按照RowKey的字典順序進行存儲的。在HBase中，為了高效地檢索數(shù)據(jù)，需要設計良好的Rowkey來提高查詢性能。因為Rowkey

會被冗余存儲，所以長度不宜過長，Rowkey

過長將會占用大量的存儲空間同時會降低檢索效率。其次

Rowkey

應該盡量均勻分布，避免產(chǎn)生熱點問題（大量用戶訪問集中在一個或極少數(shù)節(jié)點，從而造成單臺節(jié)點超出自身承受能力）。另外需要保證Rowkey的唯一性。

HBase邏輯模型列簇HBase表中的每個列都歸屬于某個列簇，一個列簇中的所有列成員有著相同的前綴。比如，列anchor:和anchor:my.look.ca都是列簇anchor的成員。列簇是表的schema的一部分，必須在使用表之前定義列簇，但列卻不是必需的，寫數(shù)據(jù)的時候可以動態(tài)加入。一般將經(jīng)常一起查詢的列放在一個列簇中，合理劃分列簇將減少查詢時加載到緩存的數(shù)據(jù)，提高查詢效率，但也不能有太多的列簇，因為跨列簇訪問是非常低效的。單元格HBase中通過RowKey和Column確定的一個存儲單元稱為單元格（Cell）。每個單元格都保存著同一份數(shù)據(jù)的多個版本，不同時間版本的數(shù)據(jù)按照時間順序倒序排序，最新時間的數(shù)據(jù)排在最前面，時間戳是

64

位的整數(shù)，可以由客戶端在寫入數(shù)據(jù)時賦值，也可以由RegionServer自動賦值。

HBase物理模型

HBase物理模型

HBase物理模型

HBase物理模型

HBase基本構(gòu)架

HBaseshell操作HBaseshell操作1.創(chuàng)建course表hbase(main):002:0>create'course','cf'2.查看HBase所有表hbase(main):003:0>list3.查看course表結(jié)構(gòu)hbase(main):004:0>describe'course'4.向course表插入數(shù)據(jù)hbase(main):005:0>put'course','001','cf:cname','hbase'hbase(main):006:0>put'course','001','cf:score','95'hbase(main):007:0>put'course','002','cf:cname','sqoop'hbase(main):008:0>put'course','002','cf:score','85'hbase(main):009:0>put'course','003','cf:cname','flume'hbase(main):010:0>put'course','003','cf:score','98'

HBaseshell操作5.查詢course表中的所有數(shù)據(jù)hbase(main):011:0>scan'course'6.根據(jù)行鍵查詢course表（1）查詢整條記錄hbase(main):012:0>get'course','001'（2）查詢一個列簇數(shù)據(jù)hbase(main):013:0>get'course','001','cf'（3）查詢列簇中其中的一個列hbase(main):014:0>get'course','001','cf:cname'7.更新course表數(shù)據(jù)hbase(main):015:0>put'course','001','cf:score','99'hbase(main):016:0>get'course','001','cf'8.查詢course表總記錄hbase(main):017:0>count'course'

HBaseshell操作9.刪除course表數(shù)據(jù)（1）刪除列簇中的一個列hbase(main):021:0>delete'course','003','cf:score'（2）刪除整行記錄hbase(main):022:0>deleteall'course','002'hbase(main):023:0>scan'course'10.清空course表hbase(main):024:0>truncate