朱佳目錄0102Sqoop簡(jiǎn)介Sqoop架構(gòu)Sqoop簡(jiǎn)介1Sqoop簡(jiǎn)介Sqoop是“SQLtoHadoop”的縮寫，其是常用于將批量數(shù)據(jù)移入和移出關(guān)系型數(shù)據(jù)庫(kù)的強(qiáng)大工具。通常，你會(huì)發(fā)現(xiàn)，當(dāng)將企業(yè)分析數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)結(jié)合使用時(shí)，大數(shù)據(jù)的價(jià)值得到彰顯。Sqoop是將大數(shù)據(jù)與傳統(tǒng)企業(yè)數(shù)據(jù)存儲(chǔ)相結(jié)合的重要工具。在許多情況下，我們希望將關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)數(shù)據(jù)直接導(dǎo)入HDFS，或?qū)adoop處理的輸出直接發(fā)送到外部數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)。Sqoop負(fù)責(zé)在hadoop和數(shù)據(jù)庫(kù)之間移動(dòng)數(shù)據(jù)。Sqoop簡(jiǎn)介Sqoop提供了一種簡(jiǎn)單的方法將駐留在數(shù)據(jù)庫(kù)中的外部數(shù)據(jù)導(dǎo)入HDFS?？梢允褂肞ig(用于查詢和操作數(shù)據(jù)的高級(jí)數(shù)據(jù)管道系統(tǒng))和Hive(幫助編寫類似SQL的查詢，其被轉(zhuǎn)換為MapReduce)作業(yè)處理數(shù)據(jù)，然后將這些作業(yè)的輸出導(dǎo)出到相同或不同的數(shù)據(jù)庫(kù)。Sqoop簡(jiǎn)介Sqoop可以向或從關(guān)系型數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)和NoSQL系統(tǒng)導(dǎo)入或?qū)С鰯?shù)據(jù)。Sqoop提供數(shù)據(jù)和增量更新的雙向復(fù)制。Sqoop支持多種常用的數(shù)據(jù)格式，如Avro和SequenceFiles,并且可與Hive和Oozie(Hadoop的流行作業(yè)調(diào)度程序)等工具集成在一起。Sqoop架構(gòu)2Sqoop架構(gòu)Sqoop利用Hadoop的MapReduce框架來完成所有的繁重工作。這意味著，當(dāng)使用Sqoop移動(dòng)數(shù)據(jù)時(shí)，可以充分利用MapReduce框架的所有優(yōu)點(diǎn)，例如MapReduce的并行處理能力，以及其出色的容錯(cuò)能力。Sqoop架構(gòu)Sqoop架構(gòu)是非常簡(jiǎn)單的，它主要由三個(gè)部分組成：Sqoopclient、HDFS/HBase/Hive、Database。需要指出的是，雖然Sqoop可以直接從RDBMS導(dǎo)入數(shù)據(jù)到HDFS、Hive和HBase，但不能直接從Hive和HBase導(dǎo)出數(shù)據(jù)到RDBMS。（這就是下圖中Hive和Hbase的箭頭不是雙向的，而到HDFS的箭頭是雙向的原因）所有導(dǎo)出都是從HDFS完成的。將Hive表從Hadoop集群導(dǎo)出到RDBMS時(shí)，可以通過指向存儲(chǔ)Hive表的HDFS目錄(默認(rèn)情況下為/user/hive/warehouse)來執(zhí)行此操作。Sqo