教材名稱：大數(shù)據(jù)技術(shù)實(shí)戰(zhàn)案例教程ISBN：978-7-5606-6679-2CIP：中國(guó)版本圖書(shū)館CIP數(shù)據(jù)核字(2022)第178608號(hào)版次：2022年11月第1版主編：徐魯輝，副主編：于長(zhǎng)青、王黎光，主審：張良均出版社：西安電子科技大學(xué)出版社圖書(shū)介紹：本書(shū)系統(tǒng)介紹了Hadoop、Spark、Flink等開(kāi)源大數(shù)據(jù)組件的相關(guān)知識(shí)和實(shí)踐技能。全書(shū)共9章，涉及到數(shù)據(jù)采集、大數(shù)據(jù)存儲(chǔ)與管理、大數(shù)據(jù)處理與分析等大數(shù)據(jù)應(yīng)用生命周期中各階段典型組件的部署、使用和基本編程方法，內(nèi)容包括部署全分布模式Hadoop集群、HDFS實(shí)戰(zhàn)、MapReduce編程、部署ZooKeeper集群和ZooKeeper實(shí)戰(zhàn)、部署本地模式Hive和Hive實(shí)戰(zhàn)、Flume實(shí)戰(zhàn)、Kafka實(shí)戰(zhàn)、Spark集群部署和基本編程、Flink集群部署和基本編程，每章最后均安排有“綜合實(shí)戰(zhàn)”，步驟詳細(xì)，方便讀者進(jìn)行跟訓(xùn)和實(shí)操。本書(shū)內(nèi)容翔實(shí)、案例豐富、操作過(guò)程詳盡，面向高等院校計(jì)算機(jī)、大數(shù)據(jù)、人工智能等相關(guān)專業(yè)的研究生和本科生，可以作為大數(shù)據(jù)技術(shù)類課程的教材，也可以作為實(shí)驗(yàn)指導(dǎo)書(shū)或教學(xué)輔助用書(shū)，同時(shí)也可供相關(guān)技術(shù)人員參考。圖書(shū)目錄：第1章部署全分布模式Hadoop集群1.1初識(shí)Hadoop1.2Hadoop生態(tài)系統(tǒng)1.3Hadoop體系架構(gòu)1.4Hadoop部署要點(diǎn)1.4.1Hadoop運(yùn)行環(huán)境1.4.2Hadoop運(yùn)行模式1.4.3Hadoop配置文件1.5綜合實(shí)戰(zhàn)：部署全分布模式Hadoop集群1.5.1規(guī)劃部署1.5.2準(zhǔn)備機(jī)器1.5.3準(zhǔn)備軟件環(huán)境1.5.4獲取和安裝Hadoop1.5.5配置全分布模式Hadoop集群1.5.6關(guān)閉防火墻1.5.7格式化文件系統(tǒng)1.5.8啟動(dòng)和驗(yàn)證Hadoop1.5.9關(guān)閉Hadoop本章小結(jié)第2章實(shí)戰(zhàn)HDFS2.1初識(shí)HDFS2.2HDFS體系架構(gòu)2.3HDFS文件存儲(chǔ)原理2.3.1數(shù)據(jù)塊Block2.3.2副本存放策略2.3.3數(shù)據(jù)讀取2.3.4數(shù)據(jù)寫(xiě)入2.4HDFS接口2.4.1HDFSWebUI2.4.2HDFSShell2.4.3HDFSAPI2.5HDFS高可靠性機(jī)制2.5.1HDFSNameNodeHA高可用機(jī)制2.5.2HDFSNameNodeFederation聯(lián)邦機(jī)制2.6綜合實(shí)戰(zhàn)：實(shí)戰(zhàn)HDFS2.6.1啟動(dòng)HDFS集群2.6.2使用HDFSShell命令2.6.3使用HDFSWebUI界面2.6.4搭建HDFS開(kāi)發(fā)環(huán)境Eclipse2.6.5使用HDFSJavaAPI編程2.6.6關(guān)閉HDFS集群本章小結(jié)第3章MapReduce編程3.1初識(shí)MapReduce3.2MapReduce作業(yè)執(zhí)行流程3.3MapReduce入門(mén)案例WordCount剖析3.3.1TokenizerMapper類3.3.2IntSumReducer類3.3.3main()函數(shù)3.3.4向Hadoop集群提交并運(yùn)行WordCount3.4MapReduce數(shù)據(jù)類型3.5MapReduce接口3.5.1MapReduceWebUI3.5.2MapReduceShell3.5.3MapReduceJavaAPI3.6綜合實(shí)戰(zhàn)：MapReduce編程3.6.1啟動(dòng)Hadoop集群3.6.2搭建MapReduce開(kāi)發(fā)環(huán)境Eclipse3.6.3編寫(xiě)并運(yùn)行MapReduce程序3.6.4練習(xí)使用MapReduceShell命令3.6.5練習(xí)使用MapReduceWebUI界面3.6.6關(guān)閉Hadoop集群本章小結(jié)第4章部署ZooKeeper集群和實(shí)戰(zhàn)ZooKeeper4.1初識(shí)ZooKeeper4.3ZooKeeper工作原理4.2ZooKeeper數(shù)據(jù)模型4.4ZooKeeper部署要點(diǎn)4.4.1ZooKeeper運(yùn)行環(huán)境4.4.2ZooKeeper運(yùn)行模式4.4.3ZooKeeper配置文件4.5ZooKeeper接口4.5.1ZooKeeper四字命令4.5.2ZooKeeperShell4.5.3ZooKeeperJavaAPI4.6綜合實(shí)戰(zhàn)：部署ZooKeeper集群和實(shí)戰(zhàn)ZooKeeper4.6.1規(guī)劃ZooKeeper集群4.6.2部署ZooKeeper集群4.6.3啟動(dòng)ZooKeeper集群4.6.4驗(yàn)證ZooKeeper集群4.6.5使用ZooKeeperShell客戶端命令4.6.6關(guān)閉ZooKeeper集群本章小結(jié)第5章部署本地模式Hive和實(shí)戰(zhàn)Hive5.1初識(shí)Hive5.2Hive體系架構(gòu)5.3Hive數(shù)據(jù)類型5.4Hive數(shù)據(jù)模型5.5Hive函數(shù)5.6Hive部署要點(diǎn)5.6.1Hive運(yùn)行環(huán)境5.6.2Hive部署模式5.6.3Hive配置文件5.7Hive接口5.7.1HiveShell5.7.2HiveWebInterface（HWI）5.7.3HiveAPI5.8綜合實(shí)戰(zhàn)：部署本地模式Hive和實(shí)戰(zhàn)Hive5.8.1規(guī)劃Hive5.8.2部署本地模式Hive5.8.3驗(yàn)證Hive5.8.4使用HiveShell本章小結(jié)第6章實(shí)戰(zhàn)Flume6.1初識(shí)Flume6.2Flume體系架構(gòu)6.3Flume部署要點(diǎn)6.3.1Flume運(yùn)行環(huán)境6.3.2Flume運(yùn)行模式6.3.3Flume配置文件6.4FlumeShell常用命令6.5綜合實(shí)戰(zhàn)：部署單機(jī)模式Flume和實(shí)戰(zhàn)Flume6.5.1規(guī)劃Flume6.5.2安裝和配置Flume6.5.3驗(yàn)證Flume6.5.4使用Flume本章小結(jié)第7章實(shí)戰(zhàn)Kafka7.1初識(shí)Kafka7.2Kafka體系架構(gòu)7.3Kafka部署要點(diǎn)7.3.1Kafka運(yùn)行環(huán)境7.3.2Kafka運(yùn)行模式7.3.3Kafka配置文件7.4KafkaShell常用命令7.5綜合實(shí)戰(zhàn)：部署Kafka集群和實(shí)戰(zhàn)Kafka7.5.1規(guī)劃Kafka集群7.5.2部署Kafka集群7.5.2啟動(dòng)Kafka集群7.5.3驗(yàn)證Kafka集群7.5.4使用KafkaShell7.5.5關(guān)閉Kafka集群本章小結(jié)第8章Spark集群部署和基本編程8.1初識(shí)Spark8.1.1Spark簡(jiǎn)介8.1.2Spark對(duì)比HadoopMapReduce8.2Spark生態(tài)系統(tǒng)8.3Spark運(yùn)行架構(gòu)8.4RDD的設(shè)計(jì)與操作8.4.1RDD簡(jiǎn)介8.4.2RDD數(shù)據(jù)存儲(chǔ)模型8.4.3RDD創(chuàng)建8.4.4RDD操作8.5Spark部署要點(diǎn)8.5.1Spark運(yùn)行環(huán)境8.5.2Spark運(yùn)行模式8.5.3Spark配置文件8.6Spark接口8.6.1SparkWebUI8.6.2SparkShell8.6.3SparkAPI8.6.4其他接口8.7綜合實(shí)戰(zhàn)：Spark集群部署和基本編程8.7.1規(guī)劃Spark集群8.7.2部署Spark集群8.7.3啟動(dòng)Spark集群8.7.4驗(yàn)證Spark集群8.7.5編寫(xiě)并運(yùn)行Spark應(yīng)用程序8.7.6關(guān)閉Spark集群本章小結(jié)第9章Flink集群部署和基本編程9.1初識(shí)Flink9.2Flink技術(shù)棧9.3Flink運(yùn)行架構(gòu)9.4Flink編程模型9.4.1DataStreamAPI9.4.2DataSetAPI9.5Flink應(yīng)用程序編寫(xiě)步驟9.5.1Flink批處理應(yīng)用程序編寫(xiě)步驟9.5.2Flink流處理應(yīng)用程序編寫(xiě)步驟9.6部署Flink要點(diǎn)8.5.1Flink運(yùn)行環(huán)境8.5.2Flink運(yùn)行模式8.5.3Flink配置文件9.7Flink接口9.7.1FlinkWebUI9.7.2FlinkShell9.7.3FlinkAPI9.8綜合實(shí)戰(zhàn)：Fl