1、大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)教學(xué)大綱學(xué)時： 60代碼：適用專業(yè)：制定：審核：批準：一、課程的地位、性質(zhì)和任務(wù)大數(shù)據(jù)技術(shù)的發(fā)展，已被列為國家重大發(fā)展戰(zhàn)略。而在過去的幾年里，無論是聚焦大數(shù)據(jù)發(fā)展的促進大數(shù)據(jù)發(fā)展行動綱要 ，還是“十三五”規(guī)劃中都深刻體現(xiàn)了政府對大數(shù)據(jù)產(chǎn)業(yè)和應(yīng)用發(fā)展的重視。目前國內(nèi)大數(shù)據(jù)發(fā)展還處于加速期、轉(zhuǎn)型期，數(shù)據(jù)與傳統(tǒng)產(chǎn)業(yè)的融合還處于起步階段，各行業(yè)對大數(shù)據(jù)分析和挖掘的應(yīng)用還不理想。但隨著市場競爭的加劇，各行業(yè)對大數(shù)據(jù)技術(shù)研究的熱情越來越高，在未來幾年，各領(lǐng)域的數(shù)據(jù)分析都將大規(guī)模應(yīng)用。本課程在注重大數(shù)據(jù)時代應(yīng)用環(huán)境前提下，考慮大數(shù)據(jù)處理分析需求多樣復(fù)雜的基本情況，從初學(xué)者角度出發(fā)， 以輕

2、量級理論、 豐富的實例對比性地介紹大數(shù)據(jù)常用計算模式的各種系統(tǒng)和工具。考慮到當前大數(shù)據(jù)發(fā)展處于起步并逐步趕超先進的階段，其應(yīng)用領(lǐng)域豐富廣泛，在教學(xué)過程中應(yīng)注重掌握大數(shù)據(jù)分析的實踐操作。本課程通過豐富簡單易上手的實例，讓學(xué)生能夠切實體會和掌握各種類型工具的特點和應(yīng)用。二、課程教學(xué)基本要求1. 了解大數(shù)據(jù)的發(fā)展和基本概念，理解并掌握大數(shù)據(jù)的特征及主要技術(shù)層面。2. 掌握 Scrapy 環(huán)境的搭建，了解網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)的過程，熟悉爬蟲項目的創(chuàng)建。3.深刻了解 hadoop 的基礎(chǔ)理論，理解并掌握Hadoop單機及集群環(huán)境的部署方法。4.掌握 HDFS的基本概念和 HDFS在 hadoop 中的作用，

3、理解并識記HDFS的使用，了解HDFS的JAVA API 接口及數(shù)據(jù)流原理；讓學(xué)生明白Map過程與 Reduce 過程這兩個獨立部分各自的原理及合作途徑，知道如何獨立編寫滿足自己需求的MapReduce程序。5. 理解 HBase中涉及的基本概念，掌握 HBase的簡單應(yīng)用；讓學(xué)生了解數(shù)據(jù)倉庫的基礎(chǔ)概念，熟悉 Hive 與 HDFS、 MapReduce直接的關(guān)心。6.熟悉 Spark 和 RDD 的基本概念，熟悉spark 接口的使用，解決實戰(zhàn)時的步驟及思路。7.明白 Hadoop和 Storm 之間的差別，掌握對Storm 的使用。理解 Apex 的工作過程并能簡單應(yīng)用。8. 了解 Dru

4、id 的基本概念、應(yīng)用場景以及集群架構(gòu)，掌握批量數(shù)據(jù)加載、流數(shù)據(jù)加載的操作。了解 Flink的重要概念和基本架構(gòu)，掌握Flink簡單的使用實例。9. 理解 Elasticsearch的基本架構(gòu)，掌握Elasticsearch的一些入門操作。了解并基本掌握怎樣利用所學(xué)的工具對目標實例進行數(shù)據(jù)分析。三、課程的內(nèi)容1大數(shù)據(jù)概述了解大數(shù)據(jù)的產(chǎn)生和發(fā)展，識記大數(shù)據(jù)的特征、數(shù)據(jù)類型和系統(tǒng)，大數(shù)據(jù)的計算模式和技術(shù)層面間的關(guān)聯(lián)。2數(shù)據(jù)獲取識記基本概念，識記各功能應(yīng)怎樣用Scrapy 爬蟲實現(xiàn)，了解采集目標數(shù)據(jù)項定義，領(lǐng)會并掌握爬蟲運行和數(shù)據(jù)存儲技術(shù)。3 Hadoop 基礎(chǔ)領(lǐng)會 Hadoop 的主要特點，識記H

5、adoop HDFS、 Hadoop MapReduce、 Hadoop YARN的原理，了解其生態(tài)系統(tǒng)中重要組成的原理，熟悉Hadoop 的配置。4 HDFS基本應(yīng)用熟悉 HDFS所需的 API 接口，了解數(shù)據(jù)流的工作過程，能簡單操作HDFS的接口。5 MapReduce應(yīng)用開發(fā)了解所需的開發(fā)環(huán)境eclipse，領(lǐng)會 Map過程與 Reduce 過程的工作原理，了解使用mapreduce解決實際問題時的步驟和思路，識記MapReduce代碼的不同功能。6分布式數(shù)據(jù)庫HBase識記 HBase的基本概念，熟悉安裝HBase集群的步驟，了解HBaseAPI 的基本步驟。7數(shù)據(jù)倉庫工具Hive領(lǐng)會

6、 Hive 的作用，掌握Hive 接口的使用，會利用Hive 解決實戰(zhàn)問題。8開源集群計算環(huán)境Spark了解 Spark 的基本思想，熟悉 Spark 所需的環(huán)境及 API 等，熟悉 Spark 實戰(zhàn)的完整工作過程，領(lǐng)會其所需的代碼。9流實時處理系統(tǒng)Storm識記 Storm 相關(guān)概念，掌握Storm 環(huán)境的安裝配置，了解Storm 的基本使用10企業(yè)級、大數(shù)據(jù)流處理Apex識記 Apex 的基本概念，掌握 Apex 的環(huán)境配置過程，理解常見組件的原理和特點，會簡單的應(yīng)用 Apex 解決問題。11事件流OLAP之 Druid了解 Druid 的概念及其應(yīng)用場所，掌握Druid單機環(huán)境的安裝方法

7、和步驟，并能利用Druid進行加載流數(shù)據(jù)處理數(shù)據(jù)查詢等。12事件數(shù)據(jù)流引擎Flink識記 Flink的基本概念，明白Flink的基本架構(gòu)，能夠安裝Flink的單機和集群環(huán)境。13分布式文件搜索Elasticsearch了解 Elasticsearch包含重要部分的基本概念，掌握Elasticsearch重要的安裝過程，掌握簡單的操作。14實例電商數(shù)據(jù)分析能夠通過已經(jīng)學(xué)習(xí)了解過的環(huán)境和工具等，有條理有步驟的對實例進行數(shù)據(jù)挖掘、數(shù)據(jù)處理和數(shù)據(jù)分析等，進而得出相關(guān)的結(jié)論。四、課程的重點、難點1大數(shù)據(jù)概述重點：大數(shù)據(jù)的概念和特征。難點：大數(shù)據(jù)的計算模式和技術(shù)層面間的關(guān)聯(lián)。2數(shù)據(jù)獲取重點： Scrapy

8、 環(huán)境的搭建。難點：網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)的過程。3 Hadoop 基礎(chǔ)重點： Hadoop 的基礎(chǔ)理論及安裝。難點： Hadoop 單機及集群環(huán)境的部署方法。4 HDFS基本應(yīng)用重點：掌握HDFS的兩種使用方法。5 MapReduce應(yīng)用開發(fā)重點：明白Map過程與 Reduce 過程的原理。難點：獨立編寫滿足自己需求的MapReduce程序。6分布式數(shù)據(jù)庫HBase重點： HBase 所包含的 3 個重要組件的工作方式。難點：如何通過 HBase shell 和 HBase API 訪問 HBase。7數(shù)據(jù)倉庫工具Hive重點：熟悉簡單的Hive 命令。8開源集群計算環(huán)境Spark重點：理解Spa

9、rk 的工作機制。難點：解決實戰(zhàn)時的步驟及思路。9流實時處理系統(tǒng)Storm重點： Storm 的實時處理。難點：利用Storm 的特點對數(shù)據(jù)進行合適的處理。10企業(yè)級、大數(shù)據(jù)流處理Apex重點： Apex 的流處理功能。11事件流OLAP之 Druid重點： 使用 Druid 進行加載和查詢數(shù)據(jù)。12事件數(shù)據(jù)流引擎Flink重點：明白Flink的基本架構(gòu)。難點： Flink系統(tǒng)中進程間處理信息的原理。13分布式文件搜索Elasticsearch重點： Elasticsearch的基本架構(gòu)。14實例電商數(shù)據(jù)分析難點：怎樣利用所學(xué)的工具對目標實例進行數(shù)據(jù)分析。五、課時分配表序號課程內(nèi)容總學(xué)時講課實

10、驗習(xí)題課機動1大數(shù)據(jù)概述2222數(shù)據(jù)獲取4223Hadoop 基礎(chǔ)4224HDFS基本應(yīng)用4225MapReduce應(yīng)用開發(fā)6426分布式數(shù)據(jù)庫 HBase4227數(shù)據(jù)倉庫工具 Hive4228開源集群計算環(huán)境Spark8449流實時處理系統(tǒng)Storm42210企業(yè)級、大數(shù)據(jù)流處理Apex42211事件流 OLAP之 Druid42212事件數(shù)據(jù)流引擎Flink42213分布式文件搜索Elasticsearch42214實例電商數(shù)據(jù)分析422合計603228六、實驗項目及基本要求實驗一通過爬蟲獲取數(shù)據(jù)要求：能安裝爬蟲所需環(huán)境，創(chuàng)建簡單的爬蟲項目。成功完成爬蟲核心實現(xiàn)。實驗二Hadoop 安裝與

11、配置要求： Hadoop 單機和集群模式的配置。實驗三實戰(zhàn) HDFS的接口要求：能自主操作 Java 和命令行接口。實驗四編寫簡單的 Mapreduce 程序要求：完成 MapReduce所需環(huán)境的配置，完成Mapreduce 應(yīng)用實例實驗五分布式數(shù)據(jù)庫 HBase要求：安裝 HBase 集群模式，能簡單使用HBase shell 和 Hbase API 。實驗六Hive 的使用要求：會進行簡單的 Hive命令使用，熟悉 Hive 的復(fù)雜語句。實驗七 Spark 簡單編程與聚類實戰(zhàn)要求：了解 Spark 簡單的 RDD創(chuàng)建，了解各個實戰(zhàn)的編程實現(xiàn)及解決過程。實驗八 Storm 安裝與配置要求：

12、了解 Storm 的概念及原理，了解Storm 的安裝和基本使用。實驗九 Spark 的使用和配置要求：掌握Apex 的使用，了解Apex 的基本配置。實驗十 Druid環(huán)境配置要求：了解Druid 的概念和使用，理解Druid 的作用。實驗十事件數(shù)據(jù)流引擎Flink的使用要求：了解Flink的概念和部署過程，理解Flink的使用。七、考核辦法1考試采用統(tǒng)一命題，閉卷考試，考試時間為120 分鐘。2本大綱各部分所規(guī)定基本要求、知識點及知識點下的知識細目，都屬于考核的內(nèi)容?？荚嚸}覆蓋到各部分，并適當突出重點部分，加大重點內(nèi)容的覆蓋密度。3不同能力層次要求的分數(shù)比例大致為：識記占20%，領(lǐng)會占30%，簡單應(yīng)用占30%，綜合應(yīng)用占20%4題的難度可分為易、 較易、較難和難四個等級。 試卷中不同難度試題的分數(shù)比例一般為2:3:3:25試題主要題型有：填空、單項選擇、多選、簡答、及綜合應(yīng)用等。八、使用說明在本課程學(xué)習(xí)中，應(yīng)從“了解” 、“識記”、“領(lǐng)會”、“簡單應(yīng)用” 、“綜合應(yīng)用”五個能力層次去把握：1. 了解：要求概念的基本掌握，是最基本要求。2. 識記：要求能夠識別和記憶本課程有關(guān)知識點的主要內(nèi)容，并能夠做出正確的表達、選擇和判斷。3. 領(lǐng)會：在識記的基礎(chǔ)上，