打造基于產(chǎn)教融合的就業(yè)育人綜合服務(wù)平臺(tái)打造基于產(chǎn)教融合的就業(yè)育人綜合服務(wù)平臺(tái)《Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)（第3版）（微課版）》教學(xué)大綱課程名稱：Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論28學(xué)時(shí)，實(shí)驗(yàn)36學(xué)時(shí)）總學(xué)分：4.0學(xué)分課程的性質(zhì)隨著時(shí)代的發(fā)展，大數(shù)據(jù)已經(jīng)成為一個(gè)耳熟能詳?shù)脑~匯。與此同時(shí)，針對(duì)大數(shù)據(jù)處理的新技術(shù)也在不斷的開(kāi)發(fā)和運(yùn)用中，逐漸成為數(shù)據(jù)處理挖掘行業(yè)廣泛使用的主流技術(shù)之一。Hadoop分布式集群系統(tǒng)架構(gòu)，具有高可用性、高容錯(cuò)性和高擴(kuò)展性等優(yōu)點(diǎn)，由于它提供了一個(gè)開(kāi)放式的平臺(tái)，用戶可以在不了解底層實(shí)現(xiàn)細(xì)節(jié)的情形下，開(kāi)發(fā)適合自身應(yīng)用的分布式程序。經(jīng)過(guò)多年的發(fā)展，目前Hadoop生態(tài)系統(tǒng)已經(jīng)成長(zhǎng)為一個(gè)全棧式的大數(shù)據(jù)技術(shù)生態(tài)圈，包括了Hive、HBase、Spark等一系列組件，成為應(yīng)用最廣泛、最具有代表性的大數(shù)據(jù)技術(shù)之一。因此，學(xué)習(xí)Hadoop相關(guān)技術(shù)是從事大數(shù)據(jù)行業(yè)工作所必不可少的一步。為了滿足企業(yè)的大數(shù)據(jù)人才需求，幫助學(xué)者掌握相關(guān)技術(shù)知識(shí)解決實(shí)際的業(yè)務(wù)需求，特開(kāi)設(shè)Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)課程。課程的任務(wù)通過(guò)本課程的學(xué)習(xí)，使學(xué)生掌握Hadoop、Hive和HBase集群的安裝配置，能夠根據(jù)具體需求編寫(xiě)MapReduce程序解決實(shí)際業(yè)務(wù)問(wèn)題，使用Hive、HBase進(jìn)行數(shù)據(jù)存儲(chǔ)、查詢與分析，同時(shí)在各項(xiàng)目章節(jié)的學(xué)習(xí)過(guò)程中詳細(xì)拆解并學(xué)習(xí)電影網(wǎng)站用戶影評(píng)分析案例，將理論與實(shí)踐相結(jié)合，為將來(lái)從事數(shù)據(jù)分析挖掘研究、工作奠定基礎(chǔ)。課程學(xué)時(shí)分配序號(hào)教學(xué)內(nèi)容理論學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)其它1項(xiàng)目1分析電影網(wǎng)站用戶影評(píng)需求及環(huán)境搭建462項(xiàng)目2存儲(chǔ)電影網(wǎng)站用戶影評(píng)分析數(shù)據(jù)333項(xiàng)目3統(tǒng)計(jì)電影網(wǎng)站用戶影評(píng)數(shù)據(jù)554項(xiàng)目4多維度分析電影網(wǎng)站用戶影評(píng)695項(xiàng)目5基于Hive實(shí)現(xiàn)電影網(wǎng)站用戶影評(píng)分析566項(xiàng)目6基于HBase實(shí)現(xiàn)存儲(chǔ)電影網(wǎng)站用戶影評(píng)分析結(jié)果57總計(jì)2836教學(xué)內(nèi)容及學(xué)時(shí)安排理論教學(xué)序號(hào)章節(jié)名稱主要內(nèi)容教學(xué)目標(biāo)學(xué)時(shí)1分析電影網(wǎng)站用戶影評(píng)需求及環(huán)境搭建什么是Hadoop了解Hadoop的特點(diǎn)了解Hadoop核心組件了解Hadoop生態(tài)系統(tǒng)了解Hadoop應(yīng)用場(chǎng)景創(chuàng)建Linux虛擬機(jī)設(shè)置固定IP地址遠(yuǎn)程連接虛擬機(jī)配置本地YUM源及安裝常用軟件在Linux下安裝Java修改配置文件克隆虛擬機(jī)配置SSH免密碼登錄配置時(shí)間同步服務(wù)啟動(dòng)和關(guān)閉Hadoop集群監(jiān)控Hadoop集群了解電影網(wǎng)站用戶影評(píng)數(shù)據(jù)字段分析影評(píng)統(tǒng)計(jì)需求了解Hadoop框架及其特點(diǎn)了解Hadoop核心組件了解Hadoop生態(tài)系統(tǒng)了解Hadoop應(yīng)用場(chǎng)景掌握虛擬機(jī)的安裝及配置方法掌握Linux中JDK的安裝方法掌握Hadoop完全分布式集群環(huán)境的搭建過(guò)程掌握Hadoop集群的監(jiān)控方法42存儲(chǔ)電影網(wǎng)站用戶影評(píng)分析數(shù)據(jù)了解Hadoop安全模式查看、解除和開(kāi)啟Hadoop安全模式查詢集群的存儲(chǔ)系統(tǒng)信息查詢集群的計(jì)算資源信息了解HDFSHDFS的基本操作了解Hadoop官方的示例程序包提交MapReduce任務(wù)給集群運(yùn)行查詢MapReduce任務(wù)中斷MapReduce任務(wù)上傳用戶影評(píng)數(shù)據(jù)至HDFS了解Hadoop安全模式掌握查看、解除與開(kāi)啟Hadoop安全模式的操作方法掌握查看Hadoop集群的存儲(chǔ)系統(tǒng)信息和計(jì)算資源信息的方法了解HDFS掌握HDFS的基本操作掌握提交MapReduce任務(wù)的基本操作掌握多個(gè)MapReduce任務(wù)的管理方法33統(tǒng)計(jì)電影網(wǎng)站用戶影評(píng)數(shù)據(jù)在Windows下安裝Java下載、安裝并啟動(dòng)IntelliJIDEA創(chuàng)建MapReduce工程配置MapReduce環(huán)境了解MapReduce實(shí)現(xiàn)詞頻統(tǒng)計(jì)的執(zhí)行流程讀懂官方提供的WordCount源碼分析思路與處理邏輯編寫(xiě)核心模塊代碼打包程序并提交MapReduce任務(wù)給集群運(yùn)行創(chuàng)建并配置工程項(xiàng)目統(tǒng)計(jì)所有電影的評(píng)分次數(shù)統(tǒng)計(jì)不同性別的用戶對(duì)電影的評(píng)分掌握在Windows下安裝Java和IntelliJIDEA的方法掌握在IntelliJIDEA中創(chuàng)建MapReduce工程和配置MapReduce環(huán)境的方法熟悉MapReduce的工作原理及執(zhí)行流程了解Hadoop官方示例中的WordCount源碼了解MapReduce編程的基本思路熟悉map()方法與reduce()方法的處理邏輯掌握編寫(xiě)基礎(chǔ)的MapReduce程序處理簡(jiǎn)單任務(wù)的方法54多維度分析電影網(wǎng)站用戶影評(píng)設(shè)置MapReduce輸入格式設(shè)置MapReduce輸出格式篩選日志文件并生成序列化文件使用FileSystemAPI管理文件夾使用FileSystemAPI操作文件使用FileSystemAPI讀/寫(xiě)數(shù)據(jù)使用HadoopJavaAPI讀取序列化文件自定義鍵值類型初步探索Combiner淺析Partitioner自定義計(jì)數(shù)器傳遞參數(shù)使用Hadoop輔助類ToolRunner自動(dòng)打包并提交MapReduce程序統(tǒng)計(jì)評(píng)分次數(shù)最多的10部電影并分析統(tǒng)計(jì)不同性別的用戶評(píng)分最高的10部電影并分析計(jì)算指定電影的各年齡段用戶的平均評(píng)分并分析統(tǒng)計(jì)影評(píng)庫(kù)中各種電影類型中評(píng)分最高的5部電影并分析掌握MapReduce輸入和輸出格式的設(shè)置方法掌握HadoopJavaAPI的使用方法掌握自定義鍵值類型的方法了解Combiner的工作原理掌握Combiner、Partitioner和自定義計(jì)數(shù)器的使用方法熟悉MapReduce參數(shù)傳遞流程掌握使用IntelliJIDEA自動(dòng)打包并提交MapReduce程序的方法65基于Hive實(shí)現(xiàn)電影網(wǎng)站用戶影評(píng)分析什么是Hive了解Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)比了解Hive系統(tǒng)架構(gòu)了解Hive數(shù)據(jù)模型了解Hive執(zhí)行流程設(shè)置內(nèi)嵌模式設(shè)置直連數(shù)據(jù)庫(kù)模式設(shè)置遠(yuǎn)程模式了解Hive數(shù)據(jù)定義語(yǔ)言的基本語(yǔ)法創(chuàng)建表的基本操作修改表的基本操作了解Hive數(shù)據(jù)操作語(yǔ)言的基本語(yǔ)法向數(shù)據(jù)表中裝載文件查詢數(shù)據(jù)插入數(shù)據(jù)刪除數(shù)據(jù)創(chuàng)建電影用戶影評(píng)數(shù)據(jù)表分析電影用戶影評(píng)數(shù)據(jù)表了解Hive的概念及Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)比了解Hive系統(tǒng)架構(gòu)、數(shù)據(jù)模型和執(zhí)行流程熟悉3種Hive的安裝模式及相關(guān)配置過(guò)程掌握Hive中數(shù)據(jù)庫(kù)與表的創(chuàng)建、修改方法掌握Hive表中數(shù)據(jù)增刪查改的操作方法56基于HBase實(shí)現(xiàn)存儲(chǔ)電影網(wǎng)站用戶影評(píng)分析結(jié)果什么是HBase了解HBase系統(tǒng)架構(gòu)了解HBase數(shù)據(jù)模型了解HBase讀/寫(xiě)流程了解并安裝ZooKeeper安裝及配置HBase集群修改與刪除表查詢表數(shù)據(jù)創(chuàng)建Java項(xiàng)目實(shí)現(xiàn)表的創(chuàng)建向表中插入數(shù)據(jù)存儲(chǔ)評(píng)分次數(shù)最多的10部電影的數(shù)據(jù)存儲(chǔ)電影ID為2858的電影各年齡段用戶的平均評(píng)分的數(shù)據(jù)存儲(chǔ)影評(píng)庫(kù)中各種類型電影中評(píng)分最高的5部電影的數(shù)據(jù)了解分布式數(shù)據(jù)庫(kù)HBase熟悉HBase的系統(tǒng)架構(gòu)、數(shù)據(jù)模型和讀/寫(xiě)流程了解ZooKeeper的概念、集群角色及選舉機(jī)制掌握Z(yǔ)ooKeeper的安裝和部署方法掌握HBase的安裝和部署方法掌握HBase常用的Shell命令掌握HBaseJavaAPI的使用方法5學(xué)時(shí)合計(jì)28實(shí)驗(yàn)教學(xué)序號(hào)實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)要求學(xué)時(shí)1安裝及配置虛擬機(jī)創(chuàng)建Linux虛擬機(jī)設(shè)置固定IP地址遠(yuǎn)程連接虛擬機(jī)配置本地YUM源及安裝常用軟件32搭建Hadoop完全分布式集群在Linux下安裝Java修改配置文件克隆虛擬機(jī)配置SSH免密碼登錄配置時(shí)間同步服務(wù)啟動(dòng)和關(guān)閉Hadoop集群監(jiān)控Hadoop集群33Hadoop基礎(chǔ)操作查看、解除和開(kāi)啟Hadoop安全模式查詢集群的存儲(chǔ)系統(tǒng)信息查詢集群的計(jì)算資源信息HDFS的基本操作提交MapReduce任務(wù)給集群運(yùn)行查詢MapReduce任務(wù)中斷MapReduce任務(wù)上傳用戶影評(píng)數(shù)據(jù)至HDFS34MapReduce入門編程在Windows下安裝Java下載、安裝并啟動(dòng)IntelliJIDEA創(chuàng)建MapReduce工程配置MapReduce環(huán)境編寫(xiě)核心模塊代碼打包程序并提交MapReduce任務(wù)給集群運(yùn)行35統(tǒng)計(jì)電影網(wǎng)站用戶影評(píng)數(shù)據(jù)創(chuàng)建并配置工程項(xiàng)目統(tǒng)計(jì)所有電影的評(píng)分次數(shù)統(tǒng)計(jì)不同性別的用戶對(duì)電影的評(píng)分26MapReduce進(jìn)階編程篩選日志文件并生成序列化文件使用FileSystemAPI管理文件夾使用FileSystemAPI操作文件使用FileSystemAPI讀/寫(xiě)數(shù)據(jù)使用HadoopJavaAPI讀取序列化文件自定義鍵值類型初步探索Combiner淺析Partitioner自定義計(jì)數(shù)器傳遞參數(shù)使用Hadoop輔助類ToolRunner自動(dòng)打包并提交MapReduce程序67多維度分析電影網(wǎng)站用戶影評(píng)統(tǒng)計(jì)評(píng)分次數(shù)最多的10部電影并分析統(tǒng)計(jì)不同性別的用戶評(píng)分最高的10部電影并分析計(jì)算指定電影的各年齡段用戶的平均評(píng)分并分析統(tǒng)計(jì)影評(píng)庫(kù)中各種電影類型中評(píng)分最高的5部電影并分析38安裝與配置Hive設(shè)置內(nèi)嵌模式設(shè)置直連數(shù)據(jù)庫(kù)模式設(shè)置遠(yuǎn)程模式29Hive的基礎(chǔ)操作創(chuàng)建表的基本操作修改表的基本操作向數(shù)據(jù)表中裝載文件查詢數(shù)據(jù)插入數(shù)據(jù)刪除數(shù)據(jù)210基于Hive實(shí)現(xiàn)電影網(wǎng)站用戶影評(píng)分析創(chuàng)建電影用戶影評(píng)數(shù)據(jù)表分析電影用戶影評(píng)數(shù)據(jù)表211安裝與配置HBase了解并安裝ZooKeeper安裝及配置HBase集群212HBase的基礎(chǔ)操作修改與刪除表查詢表數(shù)據(jù)創(chuàng)建Java項(xiàng)目實(shí)現(xiàn)表的創(chuàng)建向表中插入數(shù)據(jù)213基于HBase實(shí)現(xiàn)存儲(chǔ)電影網(wǎng)站用戶影評(píng)分析結(jié)果存儲(chǔ)評(píng)分次數(shù)最多的10部電影的數(shù)據(jù)存儲(chǔ)不同性別的用戶評(píng)分最高的10部電影及評(píng)分信息的數(shù)據(jù)存儲(chǔ)電影ID為2858的電影各年齡段用戶的平均評(píng)分的數(shù)據(jù)存儲(chǔ)影評(píng)庫(kù)中各種類型電影中評(píng)分最高的5部電影的數(shù)據(jù)3學(xué)時(shí)合計(jì)36考核方式突出學(xué)生解決實(shí)際問(wèn)題的能力，加強(qiáng)過(guò)程性考核。課程考核的成績(jī)構(gòu)成=平時(shí)作業(yè)（10%）+課堂參與（20%）+期末考核（70%），期末考試建議采用開(kāi)卷形式，試題應(yīng)包括基本概念、組件安裝流程、開(kāi)發(fā)環(huán)境搭建流程、MapReduce編程、Hive