大數(shù)據(jù)技術(shù)入門 Hadoop+Spark教學(xué)大綱1課程基本信息課程中文名稱：課程代碼：課程類別：考核性質(zhì)：先修課程：適用專業(yè)：開(kāi)課單位：課程團(tuán)隊(duì)負(fù)責(zé)人：2教學(xué)目標(biāo)2.1課程教學(xué)目標(biāo)大數(shù)據(jù)技術(shù)入門-Hadoop+Spark專業(yè)基礎(chǔ)課

考試Java語(yǔ)言課程英文名稱:學(xué)時(shí)/學(xué)分:課程性質(zhì)：后續(xù)課程:開(kāi)課學(xué)期:成員:教學(xué)目標(biāo)1：掌握大數(shù)據(jù)的基本概念,BigDataTechnologyand

Practice了解大數(shù)據(jù)技術(shù)發(fā)展歷程、技術(shù)體系及應(yīng)用領(lǐng)域。教學(xué)目標(biāo)2：理解大數(shù)據(jù)存儲(chǔ)的基本原理，掌握大數(shù)據(jù)存儲(chǔ)的基本技術(shù)，能夠應(yīng)用常用的大數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)存取及管理。教學(xué)目標(biāo)3：理解大數(shù)據(jù)處理的基本原理，掌握大數(shù)據(jù)處理的基本編程模型并能夠進(jìn)行初級(jí)實(shí)踐。教學(xué)目標(biāo)4：了解大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì)，認(rèn)識(shí)到大數(shù)據(jù)技術(shù)的發(fā)展及應(yīng)用對(duì)社會(huì)發(fā)展的影響。教學(xué)目標(biāo)5：理解大數(shù)據(jù)應(yīng)用需求及技術(shù)環(huán)境的多樣性，認(rèn)識(shí)到自我學(xué)習(xí)的必要性。2.2課程教學(xué)目標(biāo)與畢業(yè)要求的關(guān)系矩陣課程教學(xué)目標(biāo)與畢業(yè)要求的關(guān)系矩陣見(jiàn)表1。表1課程教學(xué)目標(biāo)與畢業(yè)要求的關(guān)系矩陣業(yè)要求\相關(guān)度教學(xué)目畢業(yè)要求指標(biāo)點(diǎn)6-2了解計(jì)算機(jī)應(yīng)用領(lǐng)域新知識(shí)、新技術(shù)及發(fā)展趨勢(shì)，能夠客觀評(píng)價(jià)計(jì)算機(jī)科學(xué)與技術(shù)的發(fā)展及應(yīng)用對(duì)社會(huì)、健康、安全、法律以及文化的影響。畢業(yè)要求指標(biāo)點(diǎn)12-1對(duì)于自我探索和學(xué)習(xí)的必要性有止確的認(rèn)識(shí)，理解技術(shù)環(huán)境的多樣化、技術(shù)應(yīng)用發(fā)展和技術(shù)進(jìn)步對(duì)于知識(shí)和能力的影響和要求。目標(biāo)1?目標(biāo)2?目標(biāo)3?目標(biāo)4?目標(biāo)5?注：?相關(guān)程度大；O表示有相關(guān)。3課程基本內(nèi)容和學(xué)時(shí)安排教學(xué)單元1：大數(shù)據(jù)概述教學(xué)單元1-1研究背景和意義教學(xué)單元1-2數(shù)據(jù)定義及其技術(shù)持點(diǎn)教學(xué)單元1-3大數(shù)據(jù)處理的主要技術(shù)特點(diǎn)與難點(diǎn)教學(xué)單元1-4研究大數(shù)據(jù)的意義重點(diǎn)：數(shù)據(jù)定義及其技術(shù)持點(diǎn)難點(diǎn)：3大數(shù)據(jù)處理的主要技術(shù)特點(diǎn)與難點(diǎn)教學(xué)單元2：Hadoop簡(jiǎn)介及安裝部署教學(xué)單元2-1Hadoop簡(jiǎn)介及生態(tài)體系教學(xué)單元2-1Hadoop集群架構(gòu)教學(xué)單元2-1Hadoop集群運(yùn)行環(huán)境搭建重點(diǎn)：Hadoop簡(jiǎn)介及生態(tài)體系難點(diǎn)：Hadoop集群運(yùn)行環(huán)境搭建3教學(xué)單元3：HDFS分布式文件系統(tǒng)教學(xué)單元3-1相關(guān)基本概念教學(xué)單元3-2HDFS存儲(chǔ)架構(gòu)教學(xué)單元3-3HDFS的特點(diǎn)教學(xué)單元3-4HDFS常用Shell命令教學(xué)單元3-5HDFS的JavaAPI重點(diǎn)：HDFS存儲(chǔ)架構(gòu)難點(diǎn)：HDFS常用Shell命令、HDFS的JavaAPI3.4教學(xué)單元4：MapReduce計(jì)算框架教學(xué)單元4-1MapReduce核心思想教學(xué)單元4-2MapReduce的工作原理教學(xué)單元4-3M叩Reduce的運(yùn)行機(jī)制教學(xué)單元4-4MapReduce數(shù)據(jù)本地化教學(xué)單元4-5MapReduce編程教學(xué)單元4-6MapReduce編程示例重點(diǎn)：MapReduce核心思想難點(diǎn)：MapReduce的工作原理、運(yùn)行機(jī)制5教學(xué)單元5：Hive數(shù)據(jù)倉(cāng)庫(kù)教學(xué)單元5-1Hive概述教學(xué)單元5-2Hive安裝教學(xué)單元5-3Hive數(shù)據(jù)庫(kù)相關(guān)操作重點(diǎn)：Hive安裝難點(diǎn)：Hive數(shù)據(jù)庫(kù)相關(guān)操作3.6教學(xué)單元6：HBase分布式數(shù)據(jù)庫(kù)教學(xué)單元5-1HBase的概述教學(xué)單元5-2HBase安裝教學(xué)單元5-3HBase數(shù)據(jù)模型教學(xué)單元5-4HBase的Shell操作教學(xué)單元5-5Hbase常用JavaAPI及示例程序重點(diǎn)：HBase安裝難點(diǎn)：HBase的Shell操作7教學(xué)單元7：Spark基礎(chǔ)教學(xué)單元7-1Spark概述教學(xué)單元7-2Spark的安裝教學(xué)單元7-3Spark運(yùn)行架構(gòu)與原理教學(xué)單元7-4Spark運(yùn)行基本流程重點(diǎn)：Spark運(yùn)行架構(gòu)與原理難點(diǎn)：Spark運(yùn)行基本流程3.8教學(xué)單元8：SparkRDD彈性分布式數(shù)據(jù)集教學(xué)單元8-1RDD的設(shè)計(jì)與運(yùn)行原理教學(xué)單元8-2RDD創(chuàng)建教學(xué)單元8-3RDD操作教學(xué)單元8-4程序示例：倒排索引重點(diǎn)：RDD的設(shè)計(jì)與運(yùn)行原理難點(diǎn)：RDD操作9教學(xué)單元9：sparkSQL教學(xué)單元9-1sparkSQL概述教學(xué)單元9-2DataFrame教學(xué)單元9-3Dataset教學(xué)單元9-4SparkSQL編程重點(diǎn)：DataFrame難點(diǎn)：SparkSQL編程10教學(xué)單元10：SparkStreaming實(shí)時(shí)計(jì)算框架教學(xué)單元10-1SparkStreaming概述教學(xué)單元10-2DStream編程模型教學(xué)單元10-3DStream編程模型示例重點(diǎn)：DStream編程模型難點(diǎn)：DStream編程模型示例11教學(xué)單元11：SparkStreaming與Flume、Kafka的整合教學(xué)單元11-1Flume簡(jiǎn)介及安裝教學(xué)單元11-2kafka簡(jiǎn)介及其安裝教學(xué)單元11-3Flume>Kafka區(qū)別和側(cè)重點(diǎn)教學(xué)單元11-4SparkStreaming與Flume>Kafka整合與開(kāi)發(fā)重點(diǎn)：Flume、Kafka區(qū)別和側(cè)重點(diǎn)難點(diǎn)：SparkStreaming與Flume>Kafka整合與開(kāi)發(fā)3.12教學(xué)單元12：SparkMLlib機(jī)器學(xué)習(xí)教學(xué)單元12-1機(jī)器學(xué)習(xí)概念教學(xué)單元12-2MLlib的簡(jiǎn)介教學(xué)單元12-3SparkMLlib數(shù)據(jù)類型教學(xué)單元12-4SparkMLlib機(jī)器學(xué)習(xí)示例重點(diǎn)：SparkMLlib數(shù)據(jù)類型難點(diǎn)：SparkMLlib機(jī)器學(xué)習(xí)示例3.13實(shí)戰(zhàn)案例-分布式優(yōu)惠券后臺(tái)應(yīng)用系統(tǒng)教學(xué)單元13-1系統(tǒng)簡(jiǎn)介教學(xué)單元13-1系統(tǒng)整體架構(gòu)教學(xué)單元13-1表結(jié)構(gòu)設(shè)計(jì)教學(xué)單元13-1系統(tǒng)實(shí)現(xiàn)教學(xué)單元13-1系統(tǒng)運(yùn)行測(cè)試重點(diǎn)：系統(tǒng)整體架構(gòu)難點(diǎn)：系統(tǒng)實(shí)現(xiàn)、運(yùn)行測(cè)試4學(xué)時(shí)分配學(xué)時(shí)分配本課程共64學(xué)時(shí)，其中課堂講授38學(xué)時(shí)，上機(jī)實(shí)驗(yàn)26學(xué)時(shí)，具體的學(xué)時(shí)分配見(jiàn)表2。表2課程學(xué)時(shí)分配表教學(xué)內(nèi)容學(xué)時(shí)課堂教學(xué)學(xué)時(shí)自主學(xué)習(xí)講授實(shí)驗(yàn)作業(yè)報(bào)告資料收集教學(xué)單元122教學(xué)單元242211教學(xué)單元36421.50.51教學(xué)單元464211教學(xué)單元542211教學(xué)單元66421.50.51教學(xué)單元742211教學(xué)單元86421.50.51

教學(xué)單元94221.50.51教學(xué)單元1084411教學(xué)單元1142211教學(xué)單元1264211教學(xué)單元1342211學(xué)時(shí)合計(jì)64382614212實(shí)踐性教學(xué)內(nèi)容課內(nèi)實(shí)驗(yàn)內(nèi)容及要求見(jiàn)表3。表3課內(nèi)實(shí)驗(yàn)內(nèi)容及要求序號(hào)項(xiàng)目編號(hào)項(xiàng)目名稱實(shí)驗(yàn)類型學(xué)時(shí)實(shí)驗(yàn)內(nèi)容及基本要求1XM07YZ001熟悉常用的Linux操作和Hadoop操作驗(yàn)證21、米用虛擬機(jī)或雙系統(tǒng)方式女裝Linux后安裝Hadoop,測(cè)試是否安裝成功；2、進(jìn)行偽分布式配置，運(yùn)行相同測(cè)試程序，比較單機(jī)環(huán)境與偽分布式環(huán)境的差異，認(rèn)識(shí)分布式環(huán)境；3、練習(xí)常用的Linux操作，練習(xí)常用的Hadoop操作，了解Hadoop處理架構(gòu)的基本構(gòu)成。2XM07ZH002熟悉常用的HDFS操作綜合性21、利用Hadoop提供的Shell命令完成文件下載、文件輸出、追加文件內(nèi)容等一些列指定任務(wù)，掌握分布式文件系統(tǒng)HDFS的基本存取方法；2、利用HDFS提供JavaAPI編程實(shí)現(xiàn)文件的讀取與管理3XM07ZH003MapReduce編程初級(jí)實(shí)踐綜合性21、編程實(shí)現(xiàn)文件合并和去重操作：對(duì)于兩個(gè)輸入文件，即文件A和文件B,編寫(xiě)M叩Reduce程序，對(duì)兩個(gè)文件進(jìn)行合并，并剔除其中重復(fù)的內(nèi)容，得到一個(gè)新的輸出文件C。2、編寫(xiě)程序?qū)崿F(xiàn)對(duì)輸入文件的排序：現(xiàn)在有多個(gè)輸入文件，每個(gè)文件中的每行內(nèi)容均為一個(gè)整數(shù)。要求讀取所有文件中的整數(shù)，進(jìn)行升序排序后，輸出到一個(gè)新的文件中，輸出的數(shù)據(jù)格式為每行兩個(gè)整數(shù)，第一個(gè)數(shù)字為第二個(gè)整數(shù)的排序位次，第二個(gè)整數(shù)為原待排列的整數(shù)。4XM07Z11004Hive的安裝及操作驗(yàn)證2Hive安裝及建表，查詢，導(dǎo)入數(shù)據(jù)等操作5XM07ZH005熟悉常用的HBase操作綜合性21、安裝Hbase并完成配置；2、用Hadoop提供的HBaseShell命令完成數(shù)據(jù)管理任務(wù)：3、使用Hbase提供的JavaAPI完成一系列指定編程任務(wù)，實(shí)現(xiàn)應(yīng)用程序?qū)?shù)據(jù)的管理及存取。6XM07ZH006Spark的安裝驗(yàn)證2Spark的安裝7XM07ZH007SparkRDD彈性分布式數(shù)據(jù)集API操作綜合性2利用SparkRDD實(shí)現(xiàn)倒排索引8XM07ZH008SparkSQL編程綜合性2DataFrame操作、SparkSQL讀寫(xiě)MySQL數(shù)據(jù)庫(kù)、SparkSQL讀寫(xiě)Hive9XM07ZH009DStream編程示例綜合性4DStream編程基本步驟-文件流、無(wú)狀態(tài)轉(zhuǎn)換操作、有狀態(tài)轉(zhuǎn)換操作、輸出操作10XM07ZH010SparkStreaming與Flume>Kafka的整合綜合性2SparkStreaming與Flume、Kafka的整合步驟及開(kāi)發(fā)11XM07ZH011SparkMLlib機(jī)器學(xué)習(xí)綜合性2特征抽取—TF-IDF,分類與回歸—線性回歸、分類與回歸一邏輯回歸12XM07ZH012綜合案例-分布式優(yōu)惠券后臺(tái)應(yīng)用系統(tǒng)綜合性2商戶投放子系統(tǒng)、用戶消費(fèi)子系統(tǒng)及系統(tǒng)測(cè)試5教學(xué)方式方法5.1教學(xué)方法本課程是一門64學(xué)時(shí)的專業(yè)必修課，課堂教學(xué)38學(xué)時(shí)，上機(jī)實(shí)驗(yàn)26學(xué)時(shí)。根據(jù)課程目標(biāo)，設(shè)計(jì)課程教學(xué)方法如下：1、課堂講授：以問(wèn)題導(dǎo)入的方式，通過(guò)介紹當(dāng)前應(yīng)用環(huán)境的變化和需求引入大數(shù)據(jù)技術(shù)，概括介紹大數(shù)據(jù)知識(shí)體系，使學(xué)生對(duì)課程有一個(gè)初步的認(rèn)識(shí)，進(jìn)而詳細(xì)介紹大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)處理兩大核心技術(shù)。采用多媒體與板書(shū)相結(jié)合的方式進(jìn)行講授，對(duì)于各章節(jié)的重點(diǎn)及難點(diǎn)，基于案例進(jìn)行詳細(xì)講解，幫助學(xué)生理解和掌握。每次開(kāi)始授課之前，以提問(wèn)的方式，幫助學(xué)生回顧課程內(nèi)容、抓住知識(shí)重點(diǎn)。每章結(jié)束進(jìn)行章節(jié)總結(jié)，幫助學(xué)生梳理知識(shí)體系。授課過(guò)程中，以啟發(fā)學(xué)生思維為核心，注重師生互動(dòng)，調(diào)動(dòng)學(xué)生的學(xué)習(xí)主動(dòng)性和積極性。2、課內(nèi)實(shí)驗(yàn)：采用課內(nèi)實(shí)驗(yàn)輔助學(xué)生理解和掌握大數(shù)據(jù)技術(shù)的原理及應(yīng)用方法，實(shí)驗(yàn)內(nèi)容主要圍繞大數(shù)據(jù)存儲(chǔ)及大數(shù)據(jù)處理兩大核心技術(shù)。實(shí)驗(yàn)指導(dǎo)書(shū)在每次實(shí)驗(yàn)之前提前發(fā)布，以便學(xué)生預(yù)習(xí)。實(shí)驗(yàn)課上由教師布置實(shí)驗(yàn)任務(wù)并進(jìn)行簡(jiǎn)單講解，不宜講解過(guò)細(xì)，應(yīng)注重培養(yǎng)學(xué)生自我探索的能力。學(xué)生針對(duì)實(shí)驗(yàn)問(wèn)題進(jìn)行分析、設(shè)計(jì)并完成上機(jī)實(shí)驗(yàn)、撰寫(xiě)實(shí)驗(yàn)報(bào)告。實(shí)驗(yàn)報(bào)告中除記錄實(shí)驗(yàn)過(guò)程外，還要記錄實(shí)驗(yàn)中遇到的問(wèn)題、解決辦法，以及實(shí)驗(yàn)心得，以促進(jìn)學(xué)生的思考與總結(jié)。3、自主學(xué)習(xí)：為了充分調(diào)動(dòng)學(xué)生的學(xué)習(xí)主動(dòng)性和積極性，除課堂教學(xué)及實(shí)驗(yàn)教學(xué)外，加入11學(xué)時(shí)的自主學(xué)習(xí)，通過(guò)作業(yè)幫助學(xué)生理解并掌握各章節(jié)的重點(diǎn)內(nèi)容；通過(guò)報(bào)告中的案例調(diào)研分析及課程總結(jié)展望,培養(yǎng)自主學(xué)習(xí)和終身學(xué)習(xí)的意識(shí)，以及客觀評(píng)價(jià)大數(shù)據(jù)技術(shù)的能力。5.2教學(xué)手段及措施采取課堂講授、實(shí)驗(yàn)、應(yīng)用實(shí)例講解等形式，結(jié)合課后自學(xué)進(jìn)行教學(xué)。采用電子教案和板書(shū)相結(jié)合的方式，提高講課效果。在教學(xué)過(guò)程中，教師應(yīng)對(duì)大數(shù)據(jù)的基本概念、技術(shù)體系、基本存儲(chǔ)原理以及基本計(jì)算模型進(jìn)行詳細(xì)講解，并指出各教學(xué)內(nèi)容的重點(diǎn)和難點(diǎn)部分。講授中應(yīng)以學(xué)生為中心，注重理論聯(lián)系實(shí)際,以及先進(jìn)教學(xué)方法的使用C6考核方式考核方式說(shuō)明采用平時(shí)、實(shí)驗(yàn)，作業(yè)相結(jié)合的考核方式