大數(shù)據(jù)技術(shù)導論教學教案適用專業(yè)：大數(shù)據(jù)技術(shù)、軟件技術(shù)、人工智能等參考學時：共54學時，理論24學時/實踐30學時授課對象：大一學生課程類型：專業(yè)基礎(chǔ)課2023年9月

《大數(shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目一大數(shù)據(jù)與大數(shù)據(jù)時代課時1-4課時教學目的了解大數(shù)據(jù)技術(shù)的發(fā)展歷程了解大數(shù)據(jù)時代的產(chǎn)生的原因了解大數(shù)據(jù)對社會的影響了解大數(shù)據(jù)行業(yè)應(yīng)用和崗位掌握大數(shù)據(jù)的主要特征掌握大數(shù)據(jù)的社會價值教學內(nèi)容任務(wù)1-1認識大數(shù)據(jù)時代1.1.1大數(shù)據(jù)時代1.1.2大數(shù)據(jù)時代產(chǎn)生的原因1.1.3大數(shù)據(jù)時代產(chǎn)生的變革任務(wù)1-2掌握大數(shù)據(jù)基本特征和處理流程1.2.1數(shù)據(jù)的定義和分類1.2.2什么是大數(shù)據(jù)1.2.3大數(shù)據(jù)的特征1.2.4大數(shù)據(jù)處理流程任務(wù)1-3大數(shù)據(jù)技術(shù)發(fā)展歷程任務(wù)1-4大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu)及行業(yè)應(yīng)用1.4.1大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu) 1.4.2大數(shù)據(jù)、云計算、人工智能、物聯(lián)網(wǎng)深度融合1.4.3大數(shù)據(jù)技術(shù)在各行業(yè)領(lǐng)域應(yīng)用案例任務(wù)1-5了解大數(shù)據(jù)崗位需求1.5.1大數(shù)據(jù)崗位需求1.5.2高職院校學生大數(shù)據(jù)就業(yè)定位教學重難點重點：1.2.3大數(shù)據(jù)的特征1.2.4大數(shù)據(jù)處理流程1.4.2大數(shù)據(jù)、云計算、人工智能、物聯(lián)網(wǎng)深度融合1.4.3大數(shù)據(jù)技術(shù)在各行業(yè)領(lǐng)域應(yīng)用案例1.5.2高職院校學生大數(shù)據(jù)就業(yè)定位難點：1.2.4大數(shù)據(jù)處理流程討論、思考題及作業(yè)討論：1.簡述生活中的大數(shù)據(jù)應(yīng)用。2.你未來是否會從事大數(shù)據(jù)相關(guān)工作？3.結(jié)合實際談?wù)劥髷?shù)據(jù)的數(shù)據(jù)安全問題。思考題及作業(yè)：1.大數(shù)據(jù)的特征是什么？2.大數(shù)據(jù)時代的個人隱私如何保護？3.大數(shù)據(jù)的技術(shù)未來發(fā)展方向?！洞髷?shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目二初識大數(shù)據(jù)處理平臺課時5-8課時教學目的了解為什么要構(gòu)建大數(shù)據(jù)處理平臺了解大數(shù)據(jù)處理平臺的特征了解Hadoop簡介和發(fā)展掌握HDFS和MapReduce設(shè)計思想掌握Hadoop生態(tài)系統(tǒng)架構(gòu)教學內(nèi)容任務(wù)2-1了解構(gòu)建大數(shù)據(jù)處理平臺的原因2.1.1大數(shù)據(jù)時代的數(shù)據(jù)類型2.1.2傳統(tǒng)數(shù)據(jù)處理平臺遇到的問題2.1.3大數(shù)據(jù)處理平臺任務(wù)2-2認識最早的大數(shù)據(jù)生態(tài)系統(tǒng)—Hadoop2.2.1Hadoop的簡介和發(fā)展2.2.2Hadoop的設(shè)計思想和特點2.2.3Hadoop兩大基礎(chǔ)組件2.2.4Hadoop生態(tài)系統(tǒng)架構(gòu)和其他組件教學重難點重點：2.1.3大數(shù)據(jù)處理平臺2.2.2Hadoop的設(shè)計思想和特點2.2.3Hadoop兩大基礎(chǔ)組件2.2.4Hadoop生態(tài)系統(tǒng)架構(gòu)和其他組件難點：2.2.2Hadoop的設(shè)計思想和特點2.2.3Hadoop兩大基礎(chǔ)組件討論、思考題及作業(yè)討論：1.簡述大數(shù)據(jù)處理平臺有哪些特征。2.分布式文件系統(tǒng)HDFS的優(yōu)點和缺點。3.MapReduce的優(yōu)點和缺點。思考題及作業(yè)：1.HDFS設(shè)計思想是什么？2.畫出HDFS架構(gòu)圖，并介紹內(nèi)部各組件。3.列舉Hadoop生態(tài)系統(tǒng)中常用的組件?！洞髷?shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目二初識大數(shù)據(jù)處理平臺課時9-12課時教學目的了解幾種常見的大數(shù)據(jù)計算模式了解互聯(lián)網(wǎng)企業(yè)大數(shù)據(jù)處理平臺架構(gòu)案例掌握大數(shù)據(jù)處理平臺基本架構(gòu)及數(shù)據(jù)處理流程掌握五種主流大數(shù)據(jù)處理平臺架構(gòu)教學內(nèi)容任務(wù)2-3熟悉大數(shù)據(jù)處理平臺架構(gòu)2.3.1幾種大數(shù)據(jù)計算模式2.3.2大數(shù)據(jù)處理平臺基本架構(gòu)及數(shù)據(jù)處理流程2.3.3五種主流大數(shù)據(jù)處理平臺架構(gòu)2.3.4大數(shù)據(jù)處理平臺架構(gòu)案例介紹教學重難點重點：2.3.1幾種大數(shù)據(jù)計算模式2.3.2大數(shù)據(jù)處理平臺基本架構(gòu)及數(shù)據(jù)處理流程2.3.3五種主流大數(shù)據(jù)處理平臺架構(gòu)難點：2.3.2大數(shù)據(jù)處理平臺基本架構(gòu)及數(shù)據(jù)處理流程2.3.3五種主流大數(shù)據(jù)處理平臺架構(gòu)討論、思考題及作業(yè)討論：1.五種主流大數(shù)據(jù)處理平臺架構(gòu)是哪些？2.Lambda和Kappa架構(gòu)的區(qū)別。思考題及作業(yè)：1.敘述大數(shù)據(jù)處理基本流程。2.大數(shù)據(jù)計算模式有幾種，每種計算模式的應(yīng)用場景是什么?！洞髷?shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目三Hadoop開發(fā)環(huán)境搭建課時13-16課時教學目的了解什么是VMware了解什么是Ubuntu系統(tǒng)掌握VMware安裝流程掌握Ubuntu系統(tǒng)安裝流程掌握Ubuntu系統(tǒng)網(wǎng)絡(luò)配置教學內(nèi)容任務(wù)3-1安裝VMware虛擬機任務(wù)3-2在VMware上安裝和配置Ubuntu系統(tǒng)3.2.1Ubuntu系統(tǒng)的安裝3.2.2Ubuntu系統(tǒng)的網(wǎng)絡(luò)設(shè)置教學重難點重點：任務(wù)3-1安裝Vmware虛擬機任務(wù)3-2在VMware上安裝和配置Ubuntu系統(tǒng)3.2.1Ubuntu系統(tǒng)的安裝3.2.2Ubuntu系統(tǒng)的網(wǎng)絡(luò)設(shè)置難點：3.2.1Ubuntu系統(tǒng)的安裝3.2.2Ubuntu系統(tǒng)的網(wǎng)絡(luò)設(shè)置討論、思考題及作業(yè)討論：1.Linux系統(tǒng)有哪幾種。2.為什么大數(shù)據(jù)技術(shù)多運行在Linux系統(tǒng)上。思考題及作業(yè)：1.在自己的電腦上完成VMware和Ubuntu系統(tǒng)的安裝。2.分別為Ubuntu系統(tǒng)配置動態(tài)和靜態(tài)IP，并確保能夠上網(wǎng)?！洞髷?shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目三Hadoop開發(fā)環(huán)境搭建課時17-20課時教學目的了解什么是SSH了解Hadoop有幾種配置模式掌握Java安裝及配置掌握SSH以及免密碼登錄設(shè)置掌握Hadoop偽分布式配置掌握Hadoop自帶詞頻統(tǒng)計案例的執(zhí)行命令教學內(nèi)容任務(wù)3-3在Ubuntu系統(tǒng)上安裝配置Hadoop3.3.1安裝配置Java環(huán)境3.3.2安裝SSH以及免密碼登錄設(shè)置3.3.3安裝配置Hadoop任務(wù)3-4在Hadoop上運行wordcount程序?qū)ξ募M行詞頻統(tǒng)計教學重難點重點：任務(wù)3-3在Ubuntu系統(tǒng)上安裝配置Hadoop3.3.1安裝配置Java環(huán)境3.3.2安裝SSH以及免密碼登錄設(shè)置3.3.3安裝配置Hadoop任務(wù)3-4在Hadoop上運行wordcount程序?qū)ξ募M行詞頻統(tǒng)計難點：3.3.2安裝SSH以及免密碼登錄設(shè)置3.3.3安裝配置Hadoop任務(wù)3-4在Hadoop上運行wordcount程序?qū)ξ募M行詞頻統(tǒng)計討論、思考題及作業(yè)討論：1.為什么偽分布式配置需要SSH？2.SSH免密碼登錄原理是什么？思考題及作業(yè)：1.在自己的電腦上完成Hadoop的安裝和配置，并正常啟動HDFS。2.執(zhí)行Hadoop自帶的詞頻統(tǒng)計案例統(tǒng)計HDFS上某目錄下的詞頻?！洞髷?shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目四數(shù)據(jù)采集與預處理課時21-24課時教學目的了解數(shù)據(jù)采集的概念了解傳統(tǒng)數(shù)據(jù)采集和大數(shù)據(jù)采集區(qū)別了解常用的大數(shù)據(jù)采集工具掌握數(shù)據(jù)預處理的內(nèi)容掌握爬蟲的定義和分類教學內(nèi)容任務(wù)4-1初識數(shù)據(jù)采集4.1.1傳統(tǒng)數(shù)據(jù)采集和大數(shù)據(jù)采集4.1.2大數(shù)據(jù)采集方式4.1.3大數(shù)據(jù)采集工具4.1.4數(shù)據(jù)預處理任務(wù)4-2認識互聯(lián)網(wǎng)數(shù)據(jù)采集4.2.1初識爬蟲4.2.2爬蟲編程語言及爬蟲分類教學重難點重點：4.1.3大數(shù)據(jù)采集工具4.1.4數(shù)據(jù)預處理4.2.2爬蟲編程語言及爬蟲分類難點：4.1.3大數(shù)據(jù)采集工具4.1.4數(shù)據(jù)預處理討論、思考題及作業(yè)討論：1.談?wù)勛约浩綍r采集數(shù)據(jù)的方式。2.談?wù)勁老x的兩面性問題。思考題及作業(yè)：1.數(shù)據(jù)預處理包含哪些內(nèi)容？2.爬蟲分為幾類，每一類的特點是什么？《大數(shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目四數(shù)據(jù)采集與預處理課時25-28課時教學目的了解什么是requests和BeautifulSoup了解爬蟲爬取數(shù)據(jù)過程了解網(wǎng)頁的基本結(jié)構(gòu)掌握Python3.x的安裝和環(huán)境變量配置掌握requests和BeautifulSoup包基本使用掌握PyCharm安裝掌握利用PyCharm編寫Python應(yīng)用程序教學內(nèi)容任務(wù)4-3Windows下Python爬蟲開發(fā)環(huán)境搭建4.3.1Windows下Python3.x的安裝和環(huán)境變量配置4.3.2requests和BeautifulSoup包安裝4.4.3PyCharm安裝和使用任務(wù)4-4Python爬蟲應(yīng)用程序的編寫4.4.1爬蟲爬取數(shù)據(jù)過程4.4.2網(wǎng)頁的基本結(jié)構(gòu)教學重難點重點：4.3.1Windows下Python3.x的安裝和環(huán)境變量配置4.3.2requests和BeautifulSoup包安裝4.4.3PyCharm安裝和使用難點：4.3.1Windows下Python3.x的安裝和環(huán)境變量配置4.4.3PyCharm安裝和使用討論、思考題及作業(yè)討論：1.常用的大數(shù)據(jù)采集工具有哪些？2.爬蟲爬取數(shù)據(jù)的基本流程是什么？思考題及作業(yè)：1.在自己電腦的Windows環(huán)境下安裝Python3.x的安裝和環(huán)境變量配置2.在自己電腦的Windows環(huán)境下安裝requests和BeautifulSoup包3.在自己電腦的Windows環(huán)境下安裝PyCharm4.利用PyCharm編寫簡單的爬蟲程序爬取指定網(wǎng)站的數(shù)據(jù)《大數(shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目四數(shù)據(jù)采集與預處理課時29-32課時教學目的了解網(wǎng)站數(shù)據(jù)抓取流程掌握利用BeautifulSoup解析網(wǎng)站數(shù)據(jù)掌握數(shù)據(jù)清洗的編程應(yīng)用掌握編寫Python應(yīng)用程序爬取鏈家網(wǎng)數(shù)據(jù)并進行數(shù)據(jù)清洗教學內(nèi)容4.4.3網(wǎng)站數(shù)據(jù)抓取4.4.4網(wǎng)站數(shù)據(jù)解析與數(shù)據(jù)清洗4.4.5編寫完整的爬蟲程序爬取數(shù)據(jù)并進行預處理教學重難點重點：4.4.4網(wǎng)站數(shù)據(jù)解析與數(shù)據(jù)清洗4.4.5編寫完整的爬蟲程序爬取數(shù)據(jù)并進行預處理難點：4.4.4網(wǎng)站數(shù)據(jù)解析與數(shù)據(jù)清洗4.4.5編寫完整的爬蟲程序爬取數(shù)據(jù)并進行預處理討論、思考題及作業(yè)討論：1.為什么需要數(shù)據(jù)清洗？2.數(shù)據(jù)清洗包括哪些方面？思考題及作業(yè)：1.進一步對yuchuliguangzhouershoufang.csv的數(shù)據(jù)進行預處理，對最后一列year的值進行映射，房本滿5年則值映射為5，房本滿2年則值映射為2，未知則值映射為0?！洞髷?shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目五數(shù)據(jù)計算與數(shù)據(jù)存儲課時33-36課時教學目的了解大數(shù)據(jù)計算和傳統(tǒng)數(shù)據(jù)計算區(qū)別了解常用的大數(shù)據(jù)計算框架有哪些掌握批量計算和流計算差別掌握NoSQL數(shù)據(jù)概念和分類掌握Hbase基本架構(gòu)和運行原理教學內(nèi)容任務(wù)5-1初識大數(shù)據(jù)計算框架5.1.1大數(shù)據(jù)計算和傳統(tǒng)數(shù)據(jù)計算區(qū)別5.1.2常見的大數(shù)據(jù)計算框架簡介任務(wù)5-2初識大數(shù)據(jù)存儲5.2.1分布式文件系統(tǒng)5.2.2NoSQL數(shù)據(jù)庫5.2.3HBase簡介教學重難點重點：5.1.2常見的大數(shù)據(jù)計算框架簡介5.2.1分布式文件系統(tǒng)5.2.2NoSQL數(shù)據(jù)庫5.2.3HBase簡介難點：5.1.2常見的大數(shù)據(jù)計算框架簡介5.2.3HBase簡介討論、思考題及作業(yè)討論：1.大數(shù)據(jù)計算框架的類別有哪些？常見的大數(shù)據(jù)計算框架有哪些？3.什么叫NoSQL數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫的作用是什么？思考題及作業(yè)：畫出HDFS架構(gòu)圖。2.HBase數(shù)據(jù)庫前身是什么？《大數(shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目五數(shù)據(jù)計算與數(shù)據(jù)存儲課時37-44課時教學目的了解Spark的概念和運行原理掌握HBase安裝和配置掌握Spark安裝和配置掌握ScalaIDEForEclipse工具的基本使用掌握利用ScalaIDE編寫和打包Spark應(yīng)用程序掌握Spark應(yīng)用程序jar包提交集群運行的方法教學內(nèi)容任務(wù)5-3搭建Spark和HBase開發(fā)環(huán)境5.3.1安裝HBase并配置5.3.2安裝Spark并配置任務(wù)5-4編寫Spark應(yīng)用程序并提交集群運5.4.1Linux下安裝和配置ScalaIDEForEclipse工具5.4.2ScalaIDE編寫Spark應(yīng)用程序存儲數(shù)據(jù)進入HBase并打包5.4.3Spark應(yīng)用程序jar包提交集群運行教學重難點重點：5.3.1安裝HBase并配置5.3.2安裝Spark并配置5.4.1Linux下安裝和配置ScalaIDEForEclipse工具5.4.2ScalaIDE編寫Spark應(yīng)用程序存儲數(shù)據(jù)進入HBase并打包5.4.3Spark應(yīng)用程序jar包提交集群運行難點：5.4.1Linux下安裝和配置ScalaIDEForEclipse工具5.4.2ScalaIDE編寫Spark應(yīng)用程序并打包5.4.3Spark應(yīng)用程序jar包提交集群運行討論、思考題及作業(yè)討論：1.HBase數(shù)據(jù)庫是哪種NoSQL數(shù)據(jù)庫？HBase如何標識每條數(shù)據(jù)？2.敘述HBase數(shù)據(jù)庫如何進行數(shù)據(jù)存儲。思考題及作業(yè)：1.利用Spark讀取存儲在Hbase中的房屋數(shù)據(jù)并顯示前100條在控制臺《大數(shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目六數(shù)據(jù)分析與可視化課時45-48課時教學目的了解數(shù)據(jù)分析概念掌握Python大數(shù)據(jù)分析環(huán)境搭建掌握常見的大數(shù)據(jù)分析方法編程應(yīng)用教學內(nèi)容任務(wù)6-1初識大數(shù)據(jù)分析6.1.1數(shù)據(jù)分析簡介6.1.2Python大數(shù)據(jù)分析環(huán)境搭建6.1.3常見的大數(shù)據(jù)分析方法教學重難點重點：6.1.2Python大數(shù)據(jù)分析環(huán)境搭建6.1.3常見的大數(shù)據(jù)分析方法難點：6.1.2Python大數(shù)據(jù)分析環(huán)境搭建6.1.3常見的大數(shù)據(jù)分析方法討論、思考題及作業(yè)討論：1.什么是數(shù)據(jù)分析？傳統(tǒng)數(shù)據(jù)分析和大數(shù)據(jù)分析的異同點有哪些？2.常見的大數(shù)據(jù)分析方法有哪些？思考題及作業(yè)：1.分類分析和回歸分析的區(qū)別是什么？2.分類分析和聚類分析的區(qū)別是什么？3.k均值聚類算法的原理是什么？《大數(shù)據(jù)技術(shù)導論》課程教案授課章節(jié)項目六數(shù)據(jù)分析與可視化課時48-54課時教學目的了解大數(shù)據(jù)可視化概念了解常用的大數(shù)據(jù)可視化工具掌握PySpark的配置和基本使用掌握利用PySpark編寫Spark應(yīng)用程序進行可視化展現(xiàn)教學內(nèi)容任務(wù)6-2初識大數(shù)據(jù)可