《大數(shù)據(jù)分析原理和應(yīng)用》教學大綱第一章：大數(shù)據(jù)概述教學目標和要求（按認知程度分）★了解：大數(shù)據(jù)的產(chǎn)生背景、大數(shù)據(jù)的發(fā)展歷程★★熟悉：大數(shù)據(jù)的技術(shù)、特點、大數(shù)據(jù)的價值★★★掌握：大數(shù)據(jù)的概念、大數(shù)據(jù)時代的思維變革、國家大數(shù)據(jù)戰(zhàn)略主講內(nèi)容：大數(shù)據(jù)的產(chǎn)生背景、大數(shù)據(jù)的概念、大數(shù)據(jù)的特點和技術(shù)、大數(shù)據(jù)的應(yīng)用及價值、大數(shù)據(jù)時代的思維變革、國家大數(shù)據(jù)戰(zhàn)略。授課形式：課堂教學第二章：開源大數(shù)據(jù)平臺教學目標和要求（按認知程度分）★了解：兩種常用開源大數(shù)據(jù)分析平臺——Hadoop和Spark的起源、發(fā)展及應(yīng)用現(xiàn)狀★★熟悉：Hadoop和Spark的生態(tài)系統(tǒng)、體系結(jié)構(gòu)、基本運行機制及適用范圍★★★掌握：Hadoop和Spark的安裝部署過程及使用方法主講內(nèi)容：介紹兩種常用開源大數(shù)據(jù)分析平臺——Hadoop和Spark的起源、發(fā)展及應(yīng)用現(xiàn)狀、兩種平臺各自的生態(tài)系統(tǒng)和體系結(jié)構(gòu)、基本運行機制及適用范圍、兩種平臺的安裝部署過程及使用方法授課形式：課堂教學、上機實驗第三章：Hadoop分布式文件系統(tǒng)——HDFS教學目標和要求（按認知程度分）★了解：HDFS的優(yōu)缺點★★熟悉：HDFS中冗余數(shù)據(jù)的保存方式、數(shù)據(jù)存取策略、文件讀寫過程、數(shù)據(jù)錯誤和恢復的方式★★★掌握：分布式文件系統(tǒng)和HDFS的基本原理、HDFS1.0的體系結(jié)構(gòu)以及存在的問題、HDFS2.0體系結(jié)構(gòu)、使用JavaAPI對HDFS文件進行操作主講內(nèi)容：介紹分布式文件系統(tǒng)和HDFS的基本原理、HDFS1.0的體系結(jié)構(gòu)以及存在的問題、HDFS2.0體系結(jié)構(gòu)、HDFS中冗余數(shù)據(jù)的保存方式、數(shù)據(jù)存取策略、文件讀寫過程、數(shù)據(jù)錯誤與恢復的方式，并對HDFS的優(yōu)缺點進行分析，同時給出使用JavaAPI對HDFS文件進行操作的實例。授課形式：課堂教學、上機實驗第四章：MapReduce并行編程模型教學目標和要求（按認知程度分）★了解：MapReduce的優(yōu)缺點★★熟悉：MapReduce程序的設(shè)計思路和實現(xiàn)方法★★★掌握：分布式并行編程和MapReduce模型的基本原理、MapReduce的體系結(jié)構(gòu)和工作流程主講內(nèi)容：介紹分布式并行編程和MapReduce模型的基本原理、MapReduce的體系結(jié)構(gòu)和工作流程，并通過MapReduce實例分析，掌握MapReduce程序的設(shè)計思路和實現(xiàn)方法，同時能對MapReduce的優(yōu)缺點進行分析。授課形式：課堂教學、上機實驗第五章：Hadoop2.0的資源管理調(diào)度框架——YARN教學目標和要求（按認知程度分）★了解：YARN的優(yōu)缺點★★熟悉：YARN產(chǎn)生的背景、YARN的設(shè)計思路★★★掌握：YARN的體系結(jié)構(gòu)、YARN的工作流程主講內(nèi)容：YARN產(chǎn)生的背景、YARN的設(shè)計思路、YARN的體系結(jié)構(gòu)、YARN的工作流程，并能對YARN的優(yōu)缺點進行分析授課形式：課堂教學、上機實驗第六章：大數(shù)據(jù)的獲取和預(yù)處理教學目標和要求（按認知程度分）★★熟悉：爬蟲的基本概念和流程、數(shù)據(jù)清洗的基本原理和流程、數(shù)據(jù)歸約的基本概念和操作、數(shù)據(jù)標準化的基本概念和方法★★★掌握：使用Scrapy實現(xiàn)數(shù)據(jù)爬蟲、使用Pandas實現(xiàn)數(shù)據(jù)清洗主講內(nèi)容：爬蟲的基本概念和流程、使用Scrapy實現(xiàn)數(shù)據(jù)爬蟲、數(shù)據(jù)清洗的基本原理和流程、使用Pandas實現(xiàn)數(shù)據(jù)清洗、數(shù)據(jù)歸約的基本概念和操作、數(shù)據(jù)標準化的基本概念和方法授課形式：課堂教學、上機實驗第七章：大數(shù)據(jù)分析算法教學目標和要求（按認知程度分）★★熟悉：經(jīng)典聚類算法的基本原理、詳細步驟、應(yīng)用實例和Spark實現(xiàn)、經(jīng)典分類算法的基本原理、詳細步驟、應(yīng)用實例和Spark實現(xiàn)★★★掌握：通過對大數(shù)據(jù)聚類算法和分類算法的SparkMLlib實現(xiàn)的實例分析，掌握大數(shù)據(jù)聚類和分類分析程序的設(shè)計思路和實現(xiàn)方法主講內(nèi)容：經(jīng)典聚類算法的基本原理、詳細步驟、應(yīng)用實例和Spark實現(xiàn)、經(jīng)典分類算法的基本原理、詳細步驟、應(yīng)用實例和Spark實現(xiàn)、大數(shù)據(jù)聚類和分類算法的實際應(yīng)用授課形式：課堂教學、上機實驗第八章：大數(shù)據(jù)分析的應(yīng)用案例教學目標和要求（按認知程度分）★了解：大數(shù)據(jù)分析應(yīng)用案例的背景知識★★熟悉：案例數(shù)據(jù)的獲取和預(yù)處理過程★★★掌握：案例的P