《大數(shù)據(jù)技術(shù)》教學(xué)大綱課程英文名BigDataTechnology課程代碼03M0259學(xué)分2總學(xué)時(shí)32理論學(xué)時(shí)20實(shí)驗(yàn)學(xué)時(shí)0上機(jī)學(xué)時(shí)12實(shí)踐學(xué)時(shí)0課程類別學(xué)科基礎(chǔ)課課程性質(zhì)任選先修課程Java程序設(shè)計(jì)適用專業(yè)通信工程開(kāi)課學(xué)院信息工程專業(yè)注：課程類別是指公共基礎(chǔ)課/學(xué)科基礎(chǔ)課/專業(yè)教育課；課程性質(zhì)是指必修/限選/任選。一、課程地位與課程目標(biāo)（一）課程地位本課程是通信工程專業(yè)開(kāi)設(shè)的一門(mén)專業(yè)選修課。信息時(shí)代已開(kāi)始逐步過(guò)渡到數(shù)據(jù)時(shí)代，大數(shù)據(jù)技術(shù)的發(fā)展也已被列為國(guó)家重大發(fā)展戰(zhàn)略。通過(guò)本課程的學(xué)習(xí)，使學(xué)生較系統(tǒng)地掌握大數(shù)據(jù)的基本知識(shí)、原理與方法，初步具備大數(shù)據(jù)的應(yīng)用與開(kāi)發(fā)能力，為從事大數(shù)據(jù)分析、建模、可視化奠定基礎(chǔ)。（二）課程目標(biāo)課程的總體目標(biāo)是讓學(xué)生掌握大數(shù)據(jù)分析的基本理論、技術(shù)，了解大數(shù)據(jù)技術(shù)的典型應(yīng)用場(chǎng)景、掌握如何分析數(shù)據(jù)、處理數(shù)據(jù)、解決相關(guān)問(wèn)題的能力。具體地，通過(guò)本課程的學(xué)習(xí)，應(yīng)達(dá)到的預(yù)期學(xué)習(xí)結(jié)果（ILO，IntendedLearningOutcomes）如下所示：1、ILO-1：了解大數(shù)據(jù)平臺(tái)搭建的步驟，掌握大數(shù)據(jù)的存儲(chǔ)、分析的原理；了解大數(shù)據(jù)分析的典型應(yīng)用場(chǎng)景；2、ILO-2：理解大數(shù)據(jù)分析和挖掘的基本理論與技術(shù)；掌握實(shí)際問(wèn)題中大數(shù)據(jù)的建模、評(píng)估、可視化等方法，培養(yǎng)學(xué)生分析與解決工程實(shí)踐問(wèn)題的能力；3、ILO-3：掌握獲取、處理、分析和應(yīng)用大數(shù)據(jù)資源的能力；掌握文獻(xiàn)查閱、報(bào)告撰寫(xiě)、技術(shù)研討的方法。（三）思政目標(biāo)通過(guò)大數(shù)據(jù)技術(shù)應(yīng)用相關(guān)案例教學(xué)，培養(yǎng)學(xué)生的數(shù)據(jù)科學(xué)思維、“洞見(jiàn)”式分析推理能力、批判性思考能力，以及團(tuán)隊(duì)協(xié)作意識(shí)。二、課程目標(biāo)達(dá)成的途徑與方法課程主要以課堂教學(xué)與實(shí)驗(yàn)操作為主，結(jié)合課堂討論、課外作業(yè)、小組大作業(yè)、期末測(cè)試等途徑和方式來(lái)達(dá)成。具體課程目標(biāo)的達(dá)成途徑與方法如下表所示。課程目標(biāo)達(dá)成途徑ILO-1課堂教學(xué)、課后作業(yè)、課堂測(cè)試和期末測(cè)試ILO-2實(shí)驗(yàn)指導(dǎo)、驗(yàn)收及實(shí)驗(yàn)報(bào)告ILO-3課堂教學(xué)三、課程目標(biāo)與相關(guān)畢業(yè)要求的對(duì)應(yīng)關(guān)系課程目標(biāo)課程目標(biāo)對(duì)畢業(yè)要求的支撐程度（H、M、L）畢業(yè)要求指標(biāo)點(diǎn)1-1畢業(yè)要求指標(biāo)點(diǎn)2-2畢業(yè)要求指標(biāo)點(diǎn)5-2畢業(yè)要求指標(biāo)點(diǎn)9-2ILO-1MILO-2HHILO-3HL注：1.支撐強(qiáng)度分別填寫(xiě)H、M或L（其中H表示支撐程度高、M為中等、L為低）。2.畢業(yè)要求應(yīng)根據(jù)課程所在專業(yè)培養(yǎng)方案進(jìn)行描述。3.通識(shí)選修課程可不填寫(xiě)上表。四、課程主要內(nèi)容與基本要求1、大數(shù)據(jù)概述了解大數(shù)據(jù)的發(fā)展歷程、基本概念、主要影響、應(yīng)用領(lǐng)域；理解大數(shù)據(jù)的關(guān)鍵技術(shù)、計(jì)算模式和產(chǎn)業(yè)發(fā)展；了解大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的概念及其與大數(shù)據(jù)之間的緊密關(guān)系。該部分是課程的理論基礎(chǔ)，重點(diǎn)掌握大數(shù)據(jù)技術(shù)的基本概念和基本原理。結(jié)合目前的國(guó)家事件“第七次人口普查”激發(fā)學(xué)生對(duì)大數(shù)據(jù)相關(guān)事件的關(guān)注。2、大數(shù)據(jù)處理框架Hadoop了解Hadoop的發(fā)展歷史、重要特性和應(yīng)用現(xiàn)狀；熟悉Hadoop的生態(tài)系統(tǒng)構(gòu)建；了解Hadoop項(xiàng)目結(jié)構(gòu)及其各個(gè)組件；掌握Hadoop的安裝與使用；在Linux操作系統(tǒng)下演示Hadoop安裝和配置后，完成相應(yīng)的實(shí)驗(yàn)操作，為后續(xù)學(xué)習(xí)奠定基礎(chǔ)。介紹國(guó)際機(jī)關(guān)組織實(shí)施的“迅雷-2020”專項(xiàng)行動(dòng)及臺(tái)灣間諜案件，引導(dǎo)學(xué)生對(duì)國(guó)家安全和網(wǎng)絡(luò)安全的重視。3、MapReduce計(jì)算與HDFS了解MapReduce模型及其工作流程；掌握MapReduce編程方法；了解MapReduce的具體應(yīng)用；了解分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計(jì)需求；理解Hadoop分布式文件系統(tǒng)的相關(guān)概念、體系結(jié)構(gòu)及其局限性；掌握HDFS的存儲(chǔ)原理和讀寫(xiě)過(guò)程；掌握HDFS的常用命令、Web界面及JavaAPI操作等編程實(shí)踐知識(shí)。通過(guò)完成相應(yīng)的編程實(shí)踐進(jìn)一步鞏固學(xué)生對(duì)MapReduce和HDFS的掌握。4、分布式數(shù)據(jù)庫(kù)HBase了解分布式數(shù)據(jù)庫(kù)HBase的由來(lái)及其與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別；掌握的HBase訪問(wèn)接口、數(shù)據(jù)模型、實(shí)現(xiàn)原理和運(yùn)行機(jī)制；理解HBase系統(tǒng)構(gòu)建、服務(wù)器工作原理；掌握HBase編程實(shí)踐方面的基本知識(shí)；完成本章實(shí)驗(yàn)，熟悉常用的HBase數(shù)據(jù)存儲(chǔ)和檢索操作；簡(jiǎn)介“泄密照片”案例，引導(dǎo)學(xué)生在平時(shí)生活、學(xué)習(xí)以及未來(lái)的工作中一定要具有“數(shù)據(jù)思維意識(shí)”。5、數(shù)據(jù)倉(cāng)庫(kù)Hive了解數(shù)據(jù)倉(cāng)庫(kù)的概念、Hive的基本特征、與其他組件之間的關(guān)系、與傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別以及它在企業(yè)中的具體應(yīng)用；掌握Hive的系統(tǒng)架構(gòu)，包括基本組成模塊、工作原理和幾種外部訪問(wèn)方式；熟悉Hive的具體應(yīng)用及HiveHA原理；了解新一代開(kāi)源大數(shù)據(jù)分析引擎Impala及其與Hive的比較分析；通過(guò)示例掌握如何使用Hive進(jìn)行簡(jiǎn)單編程，并理解Hive編程相對(duì)于MapReduce編程的優(yōu)勢(shì)。6、Spark計(jì)算了解Spark與Scala編程語(yǔ)言、Spark生態(tài)與構(gòu)架；了解Spark與Hadoop的區(qū)別、HadoopMapReduce計(jì)算模型的缺陷與Spark的優(yōu)勢(shì)；掌握Spark的生態(tài)系統(tǒng)和架構(gòu)設(shè)計(jì)，掌握SparkSQL以及Spark的部署和應(yīng)用方式；掌握Spark的安裝與基本的編程實(shí)踐。7、大數(shù)據(jù)綜合應(yīng)用了解大數(shù)據(jù)應(yīng)用場(chǎng)景，了解大數(shù)據(jù)在推薦系統(tǒng)，生物醫(yī)學(xué)，物流，城市管理的應(yīng)用；掌握協(xié)同過(guò)濾兩種推薦系統(tǒng)算法（基于用戶和基于物品推薦）及其之間的對(duì)比；了解基于大數(shù)據(jù)的總和健康服務(wù)平臺(tái)，了解大數(shù)據(jù)在物流領(lǐng)域的應(yīng)用；最后總結(jié)大數(shù)據(jù)技術(shù)帶來(lái)的變革，深切感受大數(shù)據(jù)實(shí)實(shí)在在的威力，鼓勵(lì)學(xué)生投身大數(shù)據(jù)發(fā)展事業(yè)。五、課程學(xué)時(shí)安排（“教學(xué)內(nèi)容”按章填寫(xiě)，相應(yīng)章的學(xué)時(shí)數(shù)包括屬于本章的實(shí)驗(yàn)教學(xué)時(shí)）章節(jié)號(hào)教學(xué)內(nèi)容思政映射內(nèi)容學(xué)時(shí)數(shù)學(xué)生任務(wù)對(duì)應(yīng)課程目標(biāo)第1章大數(shù)據(jù)概述案例：大數(shù)據(jù)背景下人口普查技術(shù)創(chuàng)新與應(yīng)用。了解大數(shù)據(jù)技術(shù)對(duì)于人口普查工作中的重要性；培養(yǎng)學(xué)生的大數(shù)據(jù)思維與意識(shí)。21.預(yù)習(xí)大數(shù)據(jù)基本概念、發(fā)展歷程及應(yīng)用領(lǐng)域；2.完成課中的課堂測(cè)試。3.完成大數(shù)據(jù)技術(shù)的概念、原理及技術(shù)方面的作業(yè)ILO-1第2章大數(shù)據(jù)處理框架Hadoop介紹國(guó)際機(jī)關(guān)組織實(shí)施的“迅雷-2020”專項(xiàng)行動(dòng)及臺(tái)灣間諜案件，引導(dǎo)學(xué)生對(duì)國(guó)家安全和網(wǎng)絡(luò)安全的重視。21.課前預(yù)習(xí)Hadoop的發(fā)展歷史、特性和應(yīng)用現(xiàn)狀；2.完成課中的課堂測(cè)試。3.完成相應(yīng)的實(shí)驗(yàn)操作和作業(yè)；ILO-1、ILO-2第3章MapReduce與HDFS案例：個(gè)人信息保護(hù)與商業(yè)化利用的利益平衡。倡議同學(xué)們關(guān)注個(gè)人信息保護(hù)問(wèn)題，抵制個(gè)人信息的非法盜用，用所學(xué)的計(jì)算機(jī)理論知識(shí)及相關(guān)技術(shù)為凈化網(wǎng)絡(luò)空間和商業(yè)環(huán)境作出自己的貢獻(xiàn)。51.預(yù)習(xí)MapReduce計(jì)算與HDFS的介紹；2.完成課中的課堂測(cè)試；3.完成實(shí)驗(yàn)操作。ILO-2、ILO-3第4章分布式數(shù)據(jù)庫(kù)Hbase41.完成課中的課堂問(wèn)題測(cè)試；2.完成Hbase實(shí)驗(yàn)。ILO-2、ILO-3第5章云數(shù)據(jù)倉(cāng)庫(kù)Hive71.預(yù)習(xí)數(shù)據(jù)倉(cāng)庫(kù)的概念、Hive的基本特征、與其他組件之間的關(guān)系等知識(shí)；2.完成課后作業(yè)；3.完成Hive實(shí)驗(yàn)操作。ILO-2、ILO-3第6章Spark計(jì)算101.預(yù)習(xí)Spark的背景知識(shí)2完成Spark與Hadoop比較、HadoopMapReduce計(jì)算模型的缺陷與Spark的優(yōu)勢(shì)等方面的作業(yè)；3.完成相應(yīng)的作業(yè)；4.完成Spark實(shí)驗(yàn)操作。ILO-2、ILO-3第7章大數(shù)據(jù)綜合應(yīng)用21.預(yù)習(xí)大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用背景2.完成課中的課堂測(cè)試；ILO-2、ILO-3六、實(shí)踐環(huán)節(jié)及基本要求序號(hào)實(shí)驗(yàn)項(xiàng)目名稱學(xué)時(shí)基本要求學(xué)生任務(wù)實(shí)驗(yàn)性質(zhì)實(shí)驗(yàn)類別1HDFS運(yùn)維命令使用3了解linux環(huán)境，熟悉linux常用的命令，學(xué)會(huì)hadoop單點(diǎn)配置，掌握HDFS基本命令在實(shí)驗(yàn)操作之前完成預(yù)習(xí)，在老師講解基本操作方法后，按照實(shí)驗(yàn)指導(dǎo)書(shū)的步驟，記錄相關(guān)實(shí)驗(yàn)結(jié)果，并完成實(shí)驗(yàn)指導(dǎo)書(shū)中的思考題，撰寫(xiě)實(shí)驗(yàn)報(bào)告。驗(yàn)證必做2Hive和Hbase基本操作3掌握hivehql語(yǔ)句，學(xué)會(huì)創(chuàng)建表格，內(nèi)部表，外部表，掌握hbase基本命令，掌握hbase過(guò)濾器基本使用方法本實(shí)驗(yàn)，在老師講解基本操作方法之后，首先根據(jù)提供的數(shù)據(jù)創(chuàng)建對(duì)應(yīng)的表格，然后對(duì)比各種表格的不同;把相關(guān)數(shù)據(jù)導(dǎo)入到hbase表格中，按照實(shí)驗(yàn)手冊(cè)進(jìn)行操作。按照實(shí)驗(yàn)手冊(cè)需求，使用相關(guān)的過(guò)濾器查找數(shù)據(jù)驗(yàn)證必做3共同好友推薦3掌握scala語(yǔ)法，掌握sparkRDD轉(zhuǎn)換算子和action算子，掌握sparksql組件本實(shí)驗(yàn)，首先驗(yàn)證和學(xué)習(xí)scala語(yǔ)言以及sparkRDD算子，對(duì)比sparkrdd算子和sparksql;然后根據(jù)需求，導(dǎo)入數(shù)據(jù)，然后根據(jù)需求找到符合要求的好友列表.設(shè)計(jì)必做4購(gòu)物籃分析3掌握sparkml庫(kù)，掌握稀疏向量和密集向量，以及關(guān)聯(lián)規(guī)則算法本實(shí)驗(yàn)首先從指定的目錄下導(dǎo)入數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行清洗，接下來(lái)，采用rdd算子，直接對(duì)其進(jìn)行操作;把清洗之后數(shù)據(jù)，采用fp-tree算法找到滿足需求的支持度和置信度的數(shù)據(jù)設(shè)計(jì)必做注：1.實(shí)驗(yàn)性質(zhì)指演示性、驗(yàn)證性、設(shè)計(jì)性、綜合性等；2.實(shí)驗(yàn)類別指必做、選做等。七、考核方式及成績(jī)?cè)u(píng)定考核內(nèi)容考核方式評(píng)定標(biāo)準(zhǔn)（依據(jù)）占總成績(jī)比例考核與課程目標(biāo)對(duì)應(yīng)關(guān)系過(guò)程考核含到課率、課堂討論發(fā)言、平時(shí)作業(yè)等點(diǎn)名記錄回答問(wèn)題記錄課堂測(cè)試成績(jī)25%ILO-1，ILO-3實(shí)驗(yàn)考核驗(yàn)收及實(shí)驗(yàn)報(bào)告驗(yàn)收成績(jī)報(bào)告批改成績(jī)30%ILO-2期末考核考試/大作業(yè)卷面/大作業(yè)成績(jī)45%ILO-1，ILO-3考核類別考查成績(jī)登記方式百分制八、推薦教材與主要參考書(shū)（一）課程教材：林子雨，《大數(shù)據(jù)技術(shù)原理與應(yīng)