《大數(shù)據(jù)技術導論》教學大綱課程名稱大數(shù)據(jù)技術導論先修課程計算機基礎、Python編程課程類別專業(yè)基礎課課程類型理論+實踐總學時48理論學時24實踐學時24教學目的大數(shù)據(jù)是國家發(fā)展戰(zhàn)略，是各專業(yè)培養(yǎng)數(shù)智化、復合型技術技能人才的必修課程。通過本課程的學習學生能夠了解大數(shù)據(jù)相關基礎知識，知曉大數(shù)據(jù)行業(yè)各崗位的技能需求，體驗各崗位工作任務，掌握大數(shù)據(jù)相關工具的使用，最終能夠利用大數(shù)據(jù)思維和工具解決專業(yè)問題，提升學習效率。具體包括：掌握大數(shù)據(jù)相關基礎理論知識，包括大數(shù)據(jù)特征、發(fā)展歷程，行業(yè)應用，崗位需求鄧；了解大數(shù)據(jù)平臺的整個數(shù)據(jù)處理流程，掌握大數(shù)據(jù)采集、預處理、存儲、分許、可視化的主流技術架構級常用工具的使用方法，例如爬蟲、HDFS數(shù)據(jù)存儲、Python數(shù)據(jù)挖掘分析和可視化；能夠應用一些主流的大數(shù)據(jù)工具進行實踐任務，如數(shù)據(jù)爬取、簡單的數(shù)據(jù)分析、以及數(shù)據(jù)可視化展現(xiàn)等；能夠利用數(shù)字思維解決專業(yè)問題，從數(shù)據(jù)中挖掘?qū)ふ椅粗畔?，輔助專業(yè)實踐創(chuàng)新。教學主要內(nèi)容以二手房數(shù)據(jù)主線介紹大數(shù)據(jù)的采集、預處理、存儲、分析挖掘、可視化等核心技術。課程內(nèi)容包括大數(shù)據(jù)概念和特征、發(fā)展歷程、行業(yè)應用、崗位技能、平臺架構等理論知識以及Hadoop環(huán)境搭建、Python爬蟲和預處理、大數(shù)據(jù)存儲、Spark數(shù)據(jù)分析挖掘、Python數(shù)據(jù)可視化等全流程的實踐實驗。教學方式本課程的教學方式主要采用課堂講授和實驗操作，包括：課堂講授、多媒體教學、實驗操作、習題解析、課堂討論等多種形式相結(jié)合，培養(yǎng)學生的自學能力、分析問題和解決問題的能力。教學方法：采用啟發(fā)式教學和探究式教學，以學生為主體，鼓勵學生在掌握書本知識的基礎上針對特定需求動手實踐，培養(yǎng)學生的自學能力。教學手段：充分利用電子教案、課件和網(wǎng)絡教學平臺等多種教學手段和資源。教學進度項目主要內(nèi)容學時安排大數(shù)據(jù)與大數(shù)據(jù)時代大數(shù)據(jù)時代概念、產(chǎn)生原因、對社會產(chǎn)生的變革，大數(shù)據(jù)基本特征和處理流程4大數(shù)據(jù)與大數(shù)據(jù)時代大數(shù)據(jù)技術發(fā)展歷程，大數(shù)據(jù)產(chǎn)業(yè)結(jié)構和行業(yè)應用，大數(shù)據(jù)崗位需求4大數(shù)據(jù)處理平臺大數(shù)據(jù)處理平臺產(chǎn)生的原因和特征，Hadoop大數(shù)據(jù)處理平臺架構和兩大基礎組件HDFS、MapReduce4大數(shù)據(jù)處理平臺大數(shù)據(jù)處理流程，大數(shù)據(jù)4種計算模式，5種主流的大數(shù)據(jù)處理平臺架構4Hadoop開發(fā)環(huán)境搭建虛擬機基礎知識和安裝使用4Hadoop開發(fā)環(huán)境搭建Hadoop環(huán)境的搭建以及詞頻統(tǒng)計案例得運行4數(shù)據(jù)采集與預處理大數(shù)據(jù)采集的定義，常用的數(shù)據(jù)采集工具，爬蟲的基礎知識，Python爬蟲環(huán)境搭建4數(shù)據(jù)采集與預處理網(wǎng)頁基本結(jié)構，網(wǎng)站數(shù)據(jù)的爬取過程，Python爬蟲采集網(wǎng)站上二手房租房數(shù)據(jù)并進行簡單的預處理4數(shù)據(jù)計算與數(shù)據(jù)存儲常見的大數(shù)據(jù)計算框架，NOSQL數(shù)據(jù)庫基礎知識、HBase數(shù)據(jù)庫基礎知識4數(shù)據(jù)計算與數(shù)據(jù)存儲利用Spark對二手房數(shù)據(jù)進行簡單處理并存儲在MySQL4數(shù)據(jù)分析與可視化常見的大數(shù)據(jù)分析工具，數(shù)據(jù)挖掘的常見算法，常見的數(shù)據(jù)可視化工具4數(shù)據(jù)分析與可視化利用Python對二手房數(shù)據(jù)進行分析挖掘并可視化展示結(jié)果4合計48作業(yè)要求完成課堂布置的每章節(jié)課后習題。依照書中的步驟完成每章的實驗項目?？己朔绞狡谀┕P試+大作業(yè)成績構成期末筆試成績占50%，大作業(yè)成績占50%《大數(shù)據(jù)技術導論》課程標準課程名稱：大數(shù)據(jù)技術導論適用專業(yè)：大數(shù)據(jù)技術專業(yè)，軟件技術專業(yè)，人工智能技術專業(yè)課程學分：2參考學時：54，其中，理論學時24，實踐學時30課程類別：專業(yè)基礎課1課程定位本課程是針對大數(shù)據(jù)技術與應用專業(yè)學生開設的第一門專業(yè)課，是專業(yè)入門導引課程。課程開設的目的是使學生對大數(shù)據(jù)領域及其知識技術概況有基本的了解，同時緩沖學生初入大學的專業(yè)學習，初步適應高職“行動導向”教學方法，養(yǎng)成“教師重在指導、學生自我能力發(fā)展”的專業(yè)學習模式?！洞髷?shù)據(jù)技術導論》為后續(xù)專業(yè)課程學習構建一個指導性的知識與技能框架，規(guī)劃就業(yè)導向的學習路線。2課程目標2.1知識目標2.1.1了解大數(shù)據(jù)技術的歷史進程及發(fā)展趨勢2.1.2了解大數(shù)據(jù)領域的崗位情況、專業(yè)相關工作崗位的技術特點與質(zhì)素要求2.1.3掌握大數(shù)據(jù)基礎知識：大數(shù)據(jù)的概念和特點，大數(shù)據(jù)、人工智能、云計算、物聯(lián)網(wǎng)技術的關聯(lián)，大數(shù)據(jù)行業(yè)應用和發(fā)展前景等2.1.4了解大數(shù)據(jù)時代數(shù)據(jù)工程的相關知識：大數(shù)據(jù)時代數(shù)據(jù)特點和數(shù)據(jù)獲取的多樣性，數(shù)據(jù)工程工作流流程（從數(shù)據(jù)獲取-數(shù)據(jù)存儲-數(shù)據(jù)建模-數(shù)據(jù)處理），數(shù)據(jù)存儲和數(shù)據(jù)倉庫，數(shù)據(jù)可視化分析等2.1.5了解常用的大數(shù)據(jù)分析算法：如分類、回歸、聚類等2.1.6大數(shù)據(jù)開發(fā)技術路線知識：了解大數(shù)據(jù)開發(fā)流程，了解Hadoop生態(tài)系統(tǒng)組件、Spark生態(tài)系統(tǒng)組件、Python數(shù)據(jù)分析可視化組件等開源大數(shù)據(jù)處理技術的概念和運用場景。了解常見的大數(shù)據(jù)開發(fā)編程語言、開發(fā)工具和前端可視化應用的相關技術2.2能力目標2.2.1大數(shù)據(jù)開發(fā)的工具使用能力：會安裝和使用常用的大數(shù)據(jù)開發(fā)工具2.2.2大數(shù)據(jù)開發(fā)的基本編程應用能力：在老師引導入門后，通過案例任務，編程完成數(shù)據(jù)采集-數(shù)據(jù)清洗-數(shù)據(jù)存儲-數(shù)據(jù)分析-數(shù)據(jù)可視化整個流程2.2.3專業(yè)學習概述與規(guī)劃能力：能向別人介紹大數(shù)據(jù)行業(yè)的大致發(fā)展歷程、行業(yè)特點、職業(yè)崗位、能力要求、主流技術等，有概況性專業(yè)談資，能初步規(guī)劃自己專業(yè)學習路線2.3素質(zhì)目標（含職業(yè)素質(zhì)、道德素質(zhì)等）2.3.1初步形成計算機行業(yè)的職業(yè)道德與法律意識，樹立正確的行業(yè)價值觀2.3.2明確大數(shù)據(jù)專業(yè)的就業(yè)崗位目標，初步建立項目目標及行動導向的學習模式，培養(yǎng)大數(shù)據(jù)開發(fā)中的邊做邊鉆研的學習能力3課程設計理念和思路《大數(shù)據(jù)技術導論》必須結(jié)合高職特點及專業(yè)學習方向,以“行動導向”的理念為指導，依據(jù)專業(yè)學習方向的技術路線，《大數(shù)據(jù)技術導論》應介紹大數(shù)據(jù)的職業(yè)領域特點及其技能要求，幫助學生樹立就業(yè)導向的學習目標，在大學的開始階段就引導學生對就業(yè)方向、崗位目標、技術路線的思考。在適用實用為原則，突現(xiàn)后續(xù)專業(yè)課程的基本知識與技能框架，為學生以后學習和掌握專業(yè)知識與技能提供必要的引導。體現(xiàn)“以學生為主體”的教育思想,注重學生自己的操作和體驗,讓學生學會主動獲取知識(特別是從網(wǎng)絡上獲取知識)的能力。引導學生的形成正確有效的專業(yè)學習模式，適應行動導向的教學方法，習慣“用手思考”。大數(shù)據(jù)行業(yè)技術日新月異，必須不斷追蹤當前的行業(yè)流行軟件技術，重點把握軟件開發(fā)工具與開發(fā)方法變化，及時更新教學內(nèi)容；盡量使用討論式、案例式的先進教學模式，增加演示實例，增強學生的學習興趣；應以大數(shù)據(jù)的經(jīng)典案例為載體，提高學生的學習體驗感，培養(yǎng)學生的能力本位意識與專業(yè)學習方法，通過一些真實的IT行業(yè)案例、故事，講授知識，引導學生正確對待行業(yè)職業(yè)道德問題，樹立使用計算機的過程中應有的道德與法律觀念。4課程內(nèi)容、教學要求與學時分配單元名稱訓練項目學習任務知識要求技能要求教學方法與手段建議學時分配初識大數(shù)據(jù)項目一大數(shù)據(jù)與大數(shù)據(jù)時代任務1-1認識大數(shù)據(jù)時代1.了解大數(shù)據(jù)時代定義2.了解大數(shù)據(jù)時代產(chǎn)生的原因3.了解大數(shù)據(jù)時代產(chǎn)生的變革1.能夠講述大數(shù)據(jù)時代概念2.能夠講述大數(shù)據(jù)時代產(chǎn)生原因3.能夠講述大數(shù)據(jù)時代產(chǎn)生的變革1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課0.5任務1-2掌握大數(shù)據(jù)基本特征和處理流程1.了解數(shù)據(jù)的定義和分類2.了解什么是大數(shù)據(jù)1.掌握大數(shù)據(jù)概念和特征2.掌握大數(shù)據(jù)處理流程1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課0.5任務1-3大數(shù)據(jù)技術發(fā)展歷程1.了解大數(shù)據(jù)發(fā)展歷程1.能夠講述大數(shù)據(jù)發(fā)展歷程1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課1任務1-4大數(shù)據(jù)產(chǎn)業(yè)結(jié)構及行業(yè)應用1.了解大數(shù)據(jù)產(chǎn)業(yè)結(jié)構2.了解大數(shù)據(jù)技術在各行業(yè)領域應用案例1.掌握大數(shù)據(jù)、云計算、人工智能、物聯(lián)網(wǎng)的關系1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課1任務1-5了解大數(shù)據(jù)崗位需求了解大數(shù)據(jù)崗位需求能夠?qū)ψ晕业膶W習技術路線做規(guī)劃，大致確定就業(yè)方向1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課1大數(shù)據(jù)處理平臺項目二初識大數(shù)據(jù)處理平臺任務2-1了解構建大數(shù)據(jù)處理平臺的原因1.了解大數(shù)據(jù)時代的數(shù)據(jù)類型2.了解傳統(tǒng)數(shù)據(jù)處理平臺遇到的問題1.掌握大數(shù)據(jù)處理平臺概念2.能夠區(qū)分大數(shù)據(jù)處理平臺和傳統(tǒng)數(shù)據(jù)處理平臺，并說出二者差別1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務2-2認識最早的大數(shù)據(jù)生態(tài)系統(tǒng)—Hadoop1.了解Hadoop的概念和發(fā)展歷程2.了解Hadoop的設計思想和特點1.掌握Hadoop兩大基礎組件2.掌握Hadoop生態(tài)系統(tǒng)架構和組件的功能1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務2-3熟悉大數(shù)據(jù)處理平臺架構1.了解五種主流大數(shù)據(jù)處理平臺架構2.了解大數(shù)據(jù)處理平臺架構案例1.掌握幾種大數(shù)據(jù)計算模式2.掌握大數(shù)據(jù)處理平臺基本架構及數(shù)據(jù)處理流程1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課4Hadoop環(huán)境搭建項目三Hadoop開發(fā)環(huán)境搭建任務3-1安裝VMware虛擬機1.了解什么是虛擬機2.了解VMware安裝流程1.能夠在自己電腦上自主安裝VMware軟件1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務3-2在VMware上安裝和配置Ubuntu系統(tǒng)1.了解什么是Ubuntu2.了解虛擬機常用的網(wǎng)絡模式1.在自己電腦上安裝Ubuntu系統(tǒng)2.對Ubuntu系統(tǒng)進行網(wǎng)絡設置，確保能夠上網(wǎng)1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務3-3在Ubuntu系統(tǒng)上安裝配置Hadoop1.了解什么是SSH免密登錄2.了解Hadoop安裝步驟1.能夠在自己電腦上安裝配置Java環(huán)境2.能夠在自己電腦上安裝SSH以及免密碼登錄設置3.能夠在自己電腦上安裝配置Hadoop1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務3-4在Hadoop上運行wordcount程序?qū)ξ募M行詞頻統(tǒng)計1.了解什么是詞頻統(tǒng)計2.了解Hadoop自帶案例的使用方法1.能夠在自己電腦上的Hadoop上運行wordcount程序?qū)ξ募M行詞頻統(tǒng)計1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2大數(shù)據(jù)采集項目四數(shù)據(jù)采集與預處理任務4-1初識數(shù)據(jù)采集1.了解傳統(tǒng)數(shù)據(jù)采集和大數(shù)據(jù)采集差異2.了解大數(shù)據(jù)采集方式1.掌握常見的大數(shù)據(jù)采集工具2.能夠講述數(shù)據(jù)預處理的內(nèi)容和作用1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務4-2認識互聯(lián)網(wǎng)數(shù)據(jù)采集1.了解爬蟲的概念2.了解爬蟲編程語言及爬蟲分類1.能夠說出有幾種爬蟲，分別有什么區(qū)別1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務4-3Windows下Python爬蟲開發(fā)環(huán)境搭建1.了解Windows下Python3.x的安裝和環(huán)境變量配置2.了解requests和BeautifulSoup包安裝3.了解PyCharm安裝和使用1.在自己電腦Windows下安裝Python3.x并配置環(huán)境變量2.在自己電腦安裝requests和BeautifulSoup包3.安裝并使用PyCharm編寫簡單的爬蟲程序1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務4-4Python爬蟲應用程序的編寫1.了解爬蟲爬取數(shù)據(jù)過程2.了解網(wǎng)頁的基本結(jié)構3.了解網(wǎng)站數(shù)據(jù)的解析過程1.能夠分析網(wǎng)頁基本結(jié)構找出爬取內(nèi)容所在2.能夠編寫完整的爬蟲程序爬取數(shù)據(jù)并進行預處理1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課6大數(shù)據(jù)計算和存儲項目五數(shù)據(jù)計算與數(shù)據(jù)存儲任務5-1初識大數(shù)據(jù)計算框架1.了解大數(shù)據(jù)計算和傳統(tǒng)數(shù)據(jù)計算區(qū)別2.常見的大數(shù)據(jù)計算框架簡介1.能夠列舉介紹常見的大數(shù)據(jù)計算框架1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務5-2初識大數(shù)據(jù)存儲1.了解分布式文件系統(tǒng)概念2.了解NoSQL數(shù)據(jù)庫3.了解HBase概念1.能夠列舉NoSQL數(shù)據(jù)庫的四種類型2.能夠說出HBase數(shù)據(jù)庫的基本架構1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務5-3搭建Spark和HBase開發(fā)環(huán)境1.了解HBase安裝流程2.了解Spark的安裝流程1.能夠在自己電腦上安裝HBase并配置2.能夠在自己電腦上安裝Spark并配置1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課4任務5-4編寫Spark應用程序并提交集群運1.了解ScalaIDEForEclipse工具的安裝和基本使用2.了解Spark應用程序打包流程3.了解Spark應用程序jar包提交集群運行流程1.能夠在自己電腦上安裝ScalaIDEForEclipse工具2.能夠利用ScalaIDEForEclipse工具編寫Spark應用程序存儲數(shù)據(jù)進入HBase并打包3.能夠?qū)⒋虬某绦蛱峤籗park運行1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課4大數(shù)據(jù)分析可視化項目六數(shù)據(jù)分析與可視化任務6-1初識大數(shù)據(jù)分析1.了解數(shù)據(jù)分析概念2.了解Python大數(shù)據(jù)分析環(huán)境搭建步驟3常見的大數(shù)據(jù)分析方法1.能夠在自己電腦上搭建Python大數(shù)據(jù)分析環(huán)境2.掌握常見的大數(shù)據(jù)分析方法的編程應用（分類、回歸、聚類）1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課4任務6-2初識大數(shù)據(jù)可視化1.了解大數(shù)據(jù)可視化概念2.了解常用的數(shù)據(jù)可視化工具1.能夠簡單使用一種數(shù)據(jù)可視化工具1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課2任務6-3房屋數(shù)據(jù)分析可視化案例編程1.了解PySpark配置流程和基本使用1.能夠利用PySpark編寫Spark應用程序進行可視化展現(xiàn)并提交集群運行1.項目驅(qū)動法2.案例分析法3.多媒體教學4.微課45教學實施建議5.1教材選用建議5.1.1主選教材：《大數(shù)據(jù)技術導論》，西安電子科技大學出版社，張寺寧主編，2021年3月第1版。5.1.2備選教材：《人工智能與大數(shù)據(jù)技術導論》，清華大學出版社，楊正洪、郭良越、劉瑋主編，2018年2月第1版。5.1.3參考教材：《大數(shù)據(jù)導論思維、技術與應用》，人民郵電出版社，武志學主編，2019年4月第1版。5.2教學場地要求多媒體教室，安裝有Windowsxp/200x/vista/7操作系統(tǒng)、office辦公軟件、Vmware、Ubuntu虛擬機、idea、JDK以上版本的開發(fā)工具，課室以小組方式布置,便于小組討論及教師巡視指導。5.3教學方法與手段5.3.1教學方法（1）變教師主動講授為組織指導咨詢。教師是多重角色：教學組織管理者、職業(yè)知識傳播者、職業(yè)行動教練員、解答問題咨詢師、職業(yè)引路人；（2）變學生被動聽講為學生主動學習，教師不再過多講授，而主要是回答