《大數(shù)據(jù)技術(shù)導(dǎo)論》教學(xué)大綱課程名稱大數(shù)據(jù)技術(shù)導(dǎo)論先修課程計算機(jī)基礎(chǔ)、Python編程課程類別專業(yè)基礎(chǔ)課課程類型理論+實踐總學(xué)時48理論學(xué)時24實踐學(xué)時24教學(xué)目的大數(shù)據(jù)是國家發(fā)展戰(zhàn)略，是各專業(yè)培養(yǎng)數(shù)智化、復(fù)合型技術(shù)技能人才的必修課程。通過本課程的學(xué)習(xí)學(xué)生能夠了解大數(shù)據(jù)相關(guān)基礎(chǔ)知識，知曉大數(shù)據(jù)行業(yè)各崗位的技能需求，體驗各崗位工作任務(wù)，掌握大數(shù)據(jù)相關(guān)工具的使用，最終能夠利用大數(shù)據(jù)思維和工具解決專業(yè)問題，提升學(xué)習(xí)效率。具體包括：掌握大數(shù)據(jù)相關(guān)基礎(chǔ)理論知識，包括大數(shù)據(jù)特征、發(fā)展歷程，行業(yè)應(yīng)用，崗位需求鄧；了解大數(shù)據(jù)平臺的整個數(shù)據(jù)處理流程，掌握大數(shù)據(jù)采集、預(yù)處理、存儲、分許、可視化的主流技術(shù)架構(gòu)級常用工具的使用方法，例如爬蟲、HDFS數(shù)據(jù)存儲、Python數(shù)據(jù)挖掘分析和可視化；能夠應(yīng)用一些主流的大數(shù)據(jù)工具進(jìn)行實踐任務(wù)，如數(shù)據(jù)爬取、簡單的數(shù)據(jù)分析、以及數(shù)據(jù)可視化展現(xiàn)等；能夠利用數(shù)字思維解決專業(yè)問題，從數(shù)據(jù)中挖掘?qū)ふ椅粗畔?，輔助專業(yè)實踐創(chuàng)新。教學(xué)主要內(nèi)容以二手房數(shù)據(jù)主線介紹大數(shù)據(jù)的采集、預(yù)處理、存儲、分析挖掘、可視化等核心技術(shù)。課程內(nèi)容包括大數(shù)據(jù)概念和特征、發(fā)展歷程、行業(yè)應(yīng)用、崗位技能、平臺架構(gòu)等理論知識以及Hadoop環(huán)境搭建、Python爬蟲和預(yù)處理、大數(shù)據(jù)存儲、Spark數(shù)據(jù)分析挖掘、Python數(shù)據(jù)可視化等全流程的實踐實驗。教學(xué)方式本課程的教學(xué)方式主要采用課堂講授和實驗操作，包括：課堂講授、多媒體教學(xué)、實驗操作、習(xí)題解析、課堂討論等多種形式相結(jié)合，培養(yǎng)學(xué)生的自學(xué)能力、分析問題和解決問題的能力。教學(xué)方法：采用啟發(fā)式教學(xué)和探究式教學(xué)，以學(xué)生為主體，鼓勵學(xué)生在掌握書本知識的基礎(chǔ)上針對特定需求動手實踐，培養(yǎng)學(xué)生的自學(xué)能力。教學(xué)手段：充分利用電子教案、課件和網(wǎng)絡(luò)教學(xué)平臺等多種教學(xué)手段和資源。教學(xué)進(jìn)度項目主要內(nèi)容學(xué)時安排大數(shù)據(jù)與大數(shù)據(jù)時代大數(shù)據(jù)時代概念、產(chǎn)生原因、對社會產(chǎn)生的變革，大數(shù)據(jù)基本特征和處理流程4大數(shù)據(jù)與大數(shù)據(jù)時代大數(shù)據(jù)技術(shù)發(fā)展歷程，大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu)和行業(yè)應(yīng)用，大數(shù)據(jù)崗位需求4大數(shù)據(jù)處理平臺大數(shù)據(jù)處理平臺產(chǎn)生的原因和特征，Hadoop大數(shù)據(jù)處理平臺架構(gòu)和兩大基礎(chǔ)組件HDFS、MapReduce4大數(shù)據(jù)處理平臺大數(shù)據(jù)處理流程，大數(shù)據(jù)4種計算模式，5種主流的大數(shù)據(jù)處理平臺架構(gòu)4Hadoop開發(fā)環(huán)境搭建虛擬機(jī)基礎(chǔ)知識和安裝使用4Hadoop開發(fā)環(huán)境搭建Hadoop環(huán)境的搭建以及詞頻統(tǒng)計案例得運行4數(shù)據(jù)采集與預(yù)處理大數(shù)據(jù)采集的定義，常用的數(shù)據(jù)采集工具，爬蟲的基礎(chǔ)知識，Python爬蟲環(huán)境搭建4數(shù)據(jù)采集與預(yù)處理網(wǎng)頁基本結(jié)構(gòu)，網(wǎng)站數(shù)據(jù)的爬取過程，Python爬蟲采集網(wǎng)站上二手房租房數(shù)據(jù)并進(jìn)行簡單的預(yù)處理4數(shù)據(jù)計算與數(shù)據(jù)存儲常見的大數(shù)據(jù)計算框架，NOSQL數(shù)據(jù)庫基礎(chǔ)知識、HBase數(shù)據(jù)庫基礎(chǔ)知識4數(shù)據(jù)計算與數(shù)據(jù)存儲利用Spark對二手房數(shù)據(jù)進(jìn)行簡單處理并存儲在MySQL4數(shù)據(jù)分析與可視化常見的大數(shù)據(jù)分析工具，數(shù)據(jù)挖掘的常見算法，常見的數(shù)據(jù)可視化工具4數(shù)據(jù)分析與可視化利用Python對二手房數(shù)據(jù)進(jìn)行分析挖掘并可視化展示結(jié)果4合計48作業(yè)要求完