《大數(shù)據(jù)平臺構(gòu)建》參考課程標(biāo)準(zhǔn)

課程名稱：大數(shù)據(jù)平臺構(gòu)建英文名稱：

課程代碼：課程類別：專業(yè)基礎(chǔ)課程

學(xué)時(shí)：64學(xué)分：4

考試課/考查課

適用專業(yè)：大數(shù)據(jù)技術(shù)考核方式：

終結(jié)性評價(jià)+過程性評價(jià)

編寫人：

審核人：修訂記錄：

二級學(xué)院/教

學(xué)部蓋章

1.前言（黑體、小四）

1.1課程的性質(zhì)（宋體，五號）

1.1.1《大數(shù)據(jù)平臺構(gòu)建》課程開設(shè)在大數(shù)據(jù)技術(shù)專業(yè)課程體系中的核心技能培養(yǎng)階段

（第3學(xué)期），是一門專業(yè)基礎(chǔ)課程。其理論性、實(shí)踐性、綜合性都比較強(qiáng)，本課程以國產(chǎn)

開源OpenEulerLinux操作系統(tǒng)來替代常用的CentOSLinux操作系統(tǒng)，介紹了Hadoop開源

大數(shù)據(jù)平臺的HDFS、MapReduce和YARN這幾個(gè)核心組件的原理與工作機(jī)制，詳細(xì)介紹了基

于Hadoop的大數(shù)據(jù)平臺安裝、配置與驗(yàn)證的過程，以及Hadoop生態(tài)系統(tǒng)常用組件HBase、

Hive、Spark的安裝、配置、驗(yàn)證與基本使用。

本課程共4個(gè)項(xiàng)目15個(gè)任務(wù)，項(xiàng)目由易到難、從單一到綜合，各個(gè)項(xiàng)目間既有機(jī)聯(lián)系，

又相互獨(dú)立，授課教師可以根據(jù)所教學(xué)生的學(xué)情分析結(jié)果選擇某一個(gè)項(xiàng)目單獨(dú)教學(xué)和進(jìn)行任

務(wù)實(shí)施。4個(gè)項(xiàng)目分別是：安裝環(huán)境準(zhǔn)備、Hadoop集群完全分布式部署、Hadoop生態(tài)系統(tǒng)

常用組件部署、HadoopHA集群部署4。

(**＞課程標(biāo)準(zhǔn)

1.1.2前置課程：Linux操作系統(tǒng)基礎(chǔ)、網(wǎng)絡(luò)技術(shù)基礎(chǔ)、數(shù)據(jù)庫原理與應(yīng)用

1.1.3后續(xù)課程：大數(shù)據(jù)分析技術(shù)、大數(shù)據(jù)可視化技術(shù)

1.2設(shè)計(jì)思路

1.2.1［從崗位、典型工作任務(wù)、行動領(lǐng)域、學(xué)習(xí)領(lǐng)域、學(xué)習(xí)情境角度分析］

對應(yīng)崗位崗位職責(zé)技能要求

1、參與項(xiàng)目技術(shù)平臺安裝部署、R1、熟悉Hadoop平臺的運(yùn)維、調(diào)優(yōu)

常運(yùn)行維護(hù)與故障處理2、能熟練編寫Linux下的shell腳本,能

2、平臺的自動化部署、運(yùn)維、監(jiān)控、使用及開發(fā)相關(guān)安全管理工具

大數(shù)據(jù)運(yùn)維告警處理，收集Hadoop的各項(xiàng)3、對運(yùn)維的網(wǎng)絡(luò)和存儲能有一定理解

工程師metrics指標(biāo),確保集群的正常工作4、熟悉Spark、Hbase、Hive等平臺的運(yùn)維

3、能夠針對ladoop生態(tài)系統(tǒng)的批計(jì)算

量部署場景進(jìn)行運(yùn)維調(diào)優(yōu)、完善運(yùn)

維工具

學(xué)習(xí)情境6：大數(shù)據(jù)平臺構(gòu)

建應(yīng)用案例(16H)

，學(xué)習(xí)情境5:數(shù)據(jù)倉庫基礎(chǔ)

構(gòu)架Hive(8H)

卜學(xué)習(xí)情境4：分布式計(jì)算

女統(tǒng)MapReduce(16H)

學(xué)習(xí)情境3:分布式文件

系統(tǒng)HDFS應(yīng)用(8H)

學(xué)習(xí)情境2:Hadoop的

安裝與使用(12H)

學(xué)習(xí)情境1:大數(shù)據(jù)平臺

構(gòu)建背景(4H)

本課程采用面向應(yīng)用方向，以應(yīng)用為中心構(gòu)建課程體系，提出從理論到實(shí)際，從具體到

抽象，從個(gè)別到一般，從零散到系統(tǒng)的方法，實(shí)施“提出問題-解決問題-歸納分析”的教

學(xué)三部曲，強(qiáng)調(diào)動手能力和對知識的運(yùn)用能力，重點(diǎn)培養(yǎng)應(yīng)用型人才。根據(jù)知識的深淺度進(jìn)

行實(shí)際學(xué)習(xí)，創(chuàng)設(shè)了6個(gè)學(xué)習(xí)情境：大數(shù)據(jù)平臺構(gòu)建背景、大數(shù)據(jù)處理架構(gòu)Hadoop的安裝

與使用、分傘式文件系統(tǒng)HD件應(yīng)用、分加式計(jì)算系統(tǒng)MapReduce、數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架件ve

及大數(shù)據(jù)平臺構(gòu)建應(yīng)用案例。通過實(shí)際案例對知識點(diǎn)進(jìn)行串聯(lián)發(fā)散。讓學(xué)生掌握基礎(chǔ)知識的

同時(shí)有適當(dāng)?shù)奶岣摺?/p>

在教學(xué)過程中，主要以任務(wù)來驅(qū)動、以項(xiàng)目為導(dǎo)向，在教學(xué)過程中，每個(gè)項(xiàng)目都是來源

于實(shí)際工作中的典型任務(wù)，項(xiàng)目和任務(wù)的學(xué)習(xí)與實(shí)施過程也就是工作過程，學(xué)生帶著真實(shí)的

2

學(xué)習(xí)任務(wù)，組成小組合作研究，分析任務(wù)、發(fā)展和提出問題，找出解決方法并予以實(shí)施，由

其他小組及教師進(jìn)行評價(jià)，在完成“任務(wù)”的過程中培養(yǎng)了學(xué)生的自主學(xué)習(xí)能力、創(chuàng)新能力、

團(tuán)隊(duì)合作精神，分析問題和解決問題的能力。

課程在設(shè)計(jì)時(shí)考慮主要以鍛煉學(xué)生的動手能力為主，對于比較深惠難懂、但實(shí)際開發(fā)中

運(yùn)用較少的知識點(diǎn)盡量少講或不講，?切以實(shí)際項(xiàng)目為核心，使學(xué)生的課程學(xué)習(xí)和工作需要

能完全吻合。

1.2.2［從教學(xué)模式、教學(xué)方法等角度分析］

學(xué)情分析：學(xué)生具備了數(shù)據(jù)庫、計(jì)算機(jī)網(wǎng)絡(luò)、Linux等基礎(chǔ)：對云計(jì)算、大數(shù)據(jù)庫等新

興技術(shù)有濃厚的興趣：教學(xué)的重點(diǎn)和難點(diǎn)，需要加以引導(dǎo)和鼓勵(lì)。

教學(xué)組織形式上主要采用班級教學(xué)、分組教學(xué)的方法。

教學(xué)方法主要采用：講授教學(xué)法、演示教學(xué)法、討論教學(xué)法。

1.2.3［從教學(xué)實(shí)施過程分析］

教學(xué)實(shí)施過程主要采用：講解一》示范一〉實(shí)施一》評估。

1.2.4［從職業(yè)資格等角度分析］

職業(yè)資格證書方面，主要有：華為H13-711HCNA-BigData認(rèn)證、華為H13-723HCNP-Big

Data-Developer認(rèn)證可供學(xué)生選擇考證。

2.課程目標(biāo)

通過本課程的教學(xué)，使學(xué)生熟悉現(xiàn)行施工規(guī)范、標(biāo)準(zhǔn)，掌握建筑施工工藝和施工方法及

質(zhì)量驗(yàn)收方法，能針對不同的工程實(shí)際確定相應(yīng)的施工方案和技術(shù)措施，具備從事施工管理

工作的職業(yè)素質(zhì)。具體目標(biāo)如下：

2.1知識目標(biāo)

2.1.1了解大數(shù)據(jù)發(fā)展歷程、基本概念、應(yīng)用領(lǐng)域

2.1.2了解Hadoop的發(fā)展歷史、重要特性和應(yīng)用現(xiàn)狀

2.1.3了解Hadoop生態(tài)系統(tǒng)及其各個(gè)組件

2.1.4理解分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計(jì)需求

2.1.5理解Hadoop資源調(diào)度管理框架Yarn的作用和工作原理

2.1.6理解“Base的系統(tǒng)架構(gòu)與工作原理

2.1.7理解Hive的系統(tǒng)架構(gòu)與工作原理

2.1.8理解Spark的系統(tǒng)架構(gòu)與工作原理

（**＞課程標(biāo)準(zhǔn)

2.2能力目標(biāo)

2.2.1能夠能對大數(shù)據(jù)平臺構(gòu)建需求進(jìn)行分析

2.2.2能實(shí)現(xiàn)大數(shù)據(jù)平臺架構(gòu)設(shè)計(jì)、技術(shù)選型以及平臺搭建

2.2.3能夠自主完成Hadoop集群完全分布式部署

2.2.4能夠熟練使用HDES命令操作文件

2.2.5能夠熟練使用hadoop命令測試運(yùn)行Job

2.2.6能夠熟練使用HBaseShell基本命令

2.2.7能夠熟練使用HiveCLI進(jìn)行基本命令操作

2.2.8能嵯熟練使用SparkSQL進(jìn)行基本命令操作

2.2.9能夠自主完成HacbopHA集群的部署

2.2.10會查看和優(yōu)化Hadoop平臺參數(shù)

2.2.11會分析并排除安裝配置過程中出錯(cuò)的錯(cuò)誤

2.3素質(zhì)目標(biāo)

2.3.1職業(yè)道德修養(yǎng)

2.3.2團(tuán)隊(duì)協(xié)作精神素質(zhì)

2.3.3崗位需求素養(yǎng)

2.3.4創(chuàng)新能力培養(yǎng)

3.課程內(nèi)容和要求

參考學(xué)時(shí)

序號學(xué)習(xí)情境果程內(nèi)容及教學(xué)要求活動設(shè)計(jì)

（64學(xué)時(shí)）

（1）了解大數(shù)據(jù)的基本概（1）介紹大數(shù)據(jù)的基本概

念加應(yīng)用領(lǐng)域念和應(yīng)用領(lǐng)域，并闡述大

（2）理解大數(shù)據(jù)、云計(jì)算數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的

和物聯(lián)網(wǎng)的相互關(guān)系相互關(guān)系；

了解大數(shù)據(jù)（3）了解大數(shù)據(jù)領(lǐng)域主流（2）學(xué)生分組查找大數(shù)據(jù)

14

基本概念開源組件的優(yōu)缺點(diǎn)及適用技術(shù)的應(yīng)用領(lǐng)域及主流開

場景源組件并講解：

（3）教師總結(jié)大數(shù)據(jù)領(lǐng)域

主流開源組件的優(yōu)缺點(diǎn)及

適用場景

4

(1)VMWwareWorkstation(1)講解虛擬機(jī)軟件作用

Pr。虛擬機(jī)軟件介紹(2)重點(diǎn)講解虛擬機(jī)網(wǎng)絡(luò)

(2)VMWwareWorkstation連接模式

虛擬機(jī)軟件Pro網(wǎng)絡(luò)連接模式(3)講解虛擬機(jī)軟件安裝

(3)VMWwareWorkstation過程，重點(diǎn)介紹系統(tǒng)生成

VMware

Pro軟件的安裝的虛擬網(wǎng)卡VMNetl.

2Workstatio4

nPro的安(4)VMWwareWorkstationVMNet8與網(wǎng)絡(luò)連接模式

之間的關(guān)系

裝與使用Pro中創(chuàng)建虛擬機(jī)

(5)教師演示、學(xué)生實(shí)操,

也可學(xué)生.課前預(yù)習(xí)，課中

學(xué)生實(shí)操作與教師答疑

(1)OpenEulerLinux操作(1)講解OpenEuler

系統(tǒng)介紹Linux操作系統(tǒng)

(2)Linux中查詢系統(tǒng)信息(2)重點(diǎn)講解Linux系統(tǒng)

(3)Linux系統(tǒng)配置網(wǎng)絡(luò)使用nmcli命令配置靜態(tài)

(4)Linux系統(tǒng)管理服務(wù)網(wǎng)絡(luò)地址的方法

(5)Linux系統(tǒng)管理軟件(3)講解Linux系統(tǒng)中使

(6)Linux系統(tǒng)vi編輯器用dnf命令管理軟件包的

OpenEuler方法

Linux操作(4)重點(diǎn)講解使用dnf

312

系統(tǒng)的安裝命令配置軟件源倉庫方法

與基礎(chǔ)使用(5)重點(diǎn)講解Linux系統(tǒng)

文本編輯器vi使用方法

(6)重點(diǎn)講解Linux系統(tǒng)

中ftp、http服務(wù)的安裝

與配置

(7)教師演示、學(xué)生實(shí)操，

也可學(xué)生課前預(yù)習(xí)，課中

學(xué)生實(shí)操作與教師答疑

(**＞課程標(biāo)準(zhǔn)

(1)Hadoop四種部署模式(1)講解Hadoop的四種

(2)Hadoop集群系統(tǒng)架構(gòu)部署模式

(3)Hadoop集群完全分布(2)重點(diǎn)講解Hadoop集

式部署的服務(wù)器角色規(guī)劃群的系統(tǒng)架構(gòu)

(4)Hadoop集群完全分布(3)講解Hadoop集群完

式部署的基本環(huán)境安裝、配全分布式部署服務(wù)器角色

置與驗(yàn)證(4)講解Hadoop集群完

(5)Hadoop集群完全分布全分布式部署的基本環(huán)境

式部署的HDFS安裝、配置、配置，重點(diǎn)講解軟件源倉

啟動與驗(yàn)證庫、時(shí)間同步服務(wù)、SSH

(6)Hadoop集群完全分布免密登錄安裝與配置方法

式部署的YARN安裝、配置、(5)講解Hadoop集群完

Hadoop集啟動與驗(yàn)證全分布式部署的HDFS安

4群完全分布裝、配置、后動與驗(yàn)證，16

式部署重點(diǎn)講解啟動與驗(yàn)證出現(xiàn)

錯(cuò)誤的解決辦法

(6)講解HDFS分布式文

件系統(tǒng)的基本操作命令

(7)講解Hadoop集群完

全分布式部署的YARN安

裝、配置、啟動與驗(yàn)證，

重點(diǎn)講解啟動與驗(yàn)證出現(xiàn)

錯(cuò)誤的解決辦法

(8)講解測試運(yùn)行Job

(9)教師演示、學(xué)生實(shí)操，

也可學(xué)生課前預(yù)習(xí)，課中

學(xué)生實(shí)操作與教師答疑

(1)HBse介紹(1)講解HBase簡介及其

(2)HBse系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)

(3)HBse常用Shell命令(2)講解HBase單機(jī)模式

部署

(3)重點(diǎn)講解HBase完全

HBse安裝分布式部署過程

5部署與基本(4)講解HBaseShell8

使用常用命令使用方法

(5)教師演示、學(xué)生實(shí)操,

也可學(xué)生課前預(yù)習(xí)，課中

學(xué)生實(shí)操作與教師答疑

6

(1)Hive介紹(1)講解Hive簡介及其

(2)Hive系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)

(3)Hive安裝模式與連接(2)講解Hive元數(shù)據(jù)內(nèi)

方式嵌模式安裝

(4)Hive常用命令(3)重點(diǎn)講解Hive遠(yuǎn)程

Hive安裝模式安裝、配置與驗(yàn)證

6部署與基本(4)死點(diǎn)講解HiveCLI8

使用的基本使用與HiveSQL

常用命令

(5)教師演示、學(xué)生實(shí)操,

也可學(xué)生課前預(yù)習(xí)，課中

學(xué)生實(shí)操作與教師答疑

(1)Spark介紹(1)講解Spark簡介及其

(2)Spark系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)

(3)Spark運(yùn)行模式(2)講解SparkLocal

<4)Spark應(yīng)用程序提交模式安裝

的部署模式(3)講解Spark

Spark安裝(5)SparkSQLCLI使用Standalone模式安裝

7部署與基本(4)重點(diǎn)講解Sparkon8

使用Yarn模式安裝

(5)講解SparkSQLCLI

的基本使用

(6)教師演示、學(xué)生實(shí)操,

也可學(xué)生課前預(yù)習(xí)，課中

學(xué)生實(shí)操作與教師答疑

(1)HadoopHA介紹(1)注解HadoopHA集群

(2)HadoopHA系統(tǒng)架構(gòu)與的系統(tǒng)架構(gòu)與工作原理

工作原理(2)注解HadoopHA集群

(3)HadoopHA部署的服務(wù)部署的服務(wù)器角色

器角色規(guī)劃(3)注解HDFSHA集群的

(4)Zookeeper安裝與配置安裝、配置、啟動與驗(yàn)證，

(5)HDFSHA安裝、配置、重點(diǎn)講解啟動與驗(yàn)證出現(xiàn)

HadoopHA

8啟動與驗(yàn)證錯(cuò)誤的解決辦法12

集群部署

(6)YARNHA安裝、配置、啟(4)注解YARNHA集群的

動與驗(yàn)證安裝、配置、啟動與驗(yàn)證，

近點(diǎn)講解啟動與驗(yàn)證出現(xiàn)

錯(cuò)誤的解決辦法

(5)教師演示、學(xué)生實(shí)操，

也可學(xué)生課前預(yù)習(xí)，課中

學(xué)生實(shí)操作與教師答疑

(**＞課程標(biāo)準(zhǔn)

4.實(shí)施建議

4.1教材選用或編寫建議

1、《大數(shù)據(jù)平臺構(gòu)建》，方明清著，西安電子科技大學(xué)出版社，2023年8月

ISBN：9787560669410

4.2教學(xué)方法建議

本課程遵循理論來自于實(shí)踐的原則，融”教、學(xué)、練”于一體，體現(xiàn)“在做中學(xué)，在學(xué)

中做，學(xué)以致用”理念設(shè)計(jì)學(xué)習(xí)情景，所有學(xué)習(xí)情景、學(xué)習(xí)內(nèi)容都是以“能力標(biāo)準(zhǔn)”為基本

依據(jù)，體現(xiàn)了“能力本位”的課程設(shè)計(jì)思想。同時(shí)通過具體項(xiàng)目的實(shí)踐操作，到達(dá)鞏固知識,

提升技能的目的。具體為：

1.本課程實(shí)踐性強(qiáng)，因此理論教學(xué)環(huán)節(jié)采用講授與實(shí)踐相結(jié)合的方式。

2.為加強(qiáng)和落實(shí)動手能力的培養(yǎng)，應(yīng)充分重視技能訓(xùn)練教學(xué)環(huán)節(jié)。

3.教學(xué)過程中要根據(jù)學(xué)生實(shí)際情況適當(dāng)調(diào)整教學(xué)內(nèi)容及進(jìn)度，確保教學(xué)質(zhì)量。

建議課時(shí)具體分配如下表所示：

教學(xué)

章節(jié)名稱理論課時(shí)實(shí)踐課時(shí)小計(jì)

形式

1了解大數(shù)據(jù)基本概念理論+實(shí)訓(xùn)224

虛擬機(jī)軟件VMwareWorkstationPro

2理論+實(shí)訓(xùn)224

的安裝與使用

OpenEulerLinux操作系統(tǒng)的安裝與基

3理論+實(shí)訓(xùn)6612

礎(chǔ)使用

4Hadoop集群完全分布式部署理論+實(shí)訓(xùn)8816

5HBse安裝部署與基本使用理論+實(shí)訓(xùn)448

6Hive安裝部署與基本使用理論+實(shí)訓(xùn)448

7Spark安裝部署與基本使用理論+實(shí)訓(xùn)448

8HadoopHA集群部署理論+實(shí)訓(xùn)6612

合計(jì)323264

5.課程考核

考核項(xiàng)目考核方法評價(jià)標(biāo)準(zhǔn)考核分值比例

8

不認(rèn)真聽課、不按時(shí)完

根據(jù)學(xué)習(xí)表現(xiàn)情況，由教成課堂或課外實(shí)踐1次

5%

師評定得分?？?.5分，扣完5分為

止。

遲到、早退1次扣1分，

根據(jù)上課考勒情況，由教曠課1次扣2分，扣完

學(xué)習(xí)態(tài)度師和課代表評定紀(jì)律得10分為止，曠課3次及10%20%

分。以上不得參加終結(jié)性考

核。

提出問題、回答同題時(shí)語

過根據(jù)課堂回答問題、課堂

言表達(dá)準(zhǔn)確、邏輯性強(qiáng)1

程實(shí)踐示范情況，有教師評5%

次力口0.5分，力U滿5分為

性定得分。

止。

評

課堂或課外實(shí)踐完成質(zhì)

價(jià)

量高（正確率80%以上）

考5%

1次加0.5分，加滿5分

核

為止。

能夠按時(shí)完成課外實(shí)踐，

根據(jù)完成的時(shí)間、功能的

且完成質(zhì)量高（正確率

完善、程序是否有創(chuàng)新，5%

單元實(shí)踐