1、大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)培養(yǎng)方案一、專業(yè)名稱及代碼專業(yè)名稱：大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)代碼：610201二、教育類型及學(xué)歷層次教育類型：高等職業(yè)教育學(xué)歷層次：大專三、招生對象及學(xué)制招生對象：普通高中畢業(yè)生或同等學(xué)歷者學(xué)制：三年四、就業(yè)范圍及主要崗位就業(yè)范圍：在各類企事業(yè)單位、政府機(jī)關(guān)以及IT行業(yè)從事大數(shù)據(jù)系統(tǒng)搭建、測試、管理、運(yùn)維和大數(shù)據(jù)分析等相關(guān)工作。主要崗位：1、大數(shù)據(jù)架構(gòu)工程師2、大數(shù)據(jù)開發(fā)工程師3、大數(shù)據(jù)分析工程師4、售前工程師5、銷售支持工程師6、運(yùn)維工程師7、售后技術(shù)工程師五、培養(yǎng)目標(biāo)及規(guī)格（一）人才培養(yǎng)目標(biāo)本專業(yè)以服務(wù)呂梁、山西省及周邊省市經(jīng)濟(jì)社會發(fā)展為宗旨，面向大數(shù)據(jù)行業(yè)，培養(yǎng)德智體美全

2、面發(fā)展和身心健康，踐行社會主義核心價值觀，具備良好職業(yè)道德和誠信品質(zhì)，掌握計算機(jī)技術(shù)、Java開發(fā)、Mysql數(shù)據(jù)庫、Linux操作系統(tǒng)、數(shù)量統(tǒng)計等基礎(chǔ)知識、會部署和使用Hadoop及Spark身體系統(tǒng)的常用組件，會使用網(wǎng)絡(luò)信息采集和頁面數(shù)據(jù)抓取工具，會使用SPSS等數(shù)據(jù)分析軟件，具備對大數(shù)據(jù)下信息采集、預(yù)處理、儲存、處理、分析、可視化等技術(shù)。本專業(yè)畢業(yè)生能勝任政府、企事業(yè)單位、社會組織等部門的大數(shù)據(jù)系統(tǒng)測試、管理運(yùn)維、大數(shù)據(jù)分析、數(shù)據(jù)可視化等技術(shù)工作。（二人才培養(yǎng)規(guī)格1、工作崗位描述（見表1）2、能力結(jié)構(gòu)與要求（見表2）3、職業(yè)能力證書（見表3）表1大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)面向的工作崗位崗位類型

3、工作崗位類型工作任務(wù)職業(yè)技能要求大數(shù)據(jù)平臺規(guī)則大數(shù)據(jù)架構(gòu)工程師1、大數(shù)據(jù)核心產(chǎn)品設(shè)計規(guī)劃，包括系統(tǒng)架構(gòu)、技術(shù)選型、關(guān)鍵技術(shù)研發(fā)；2、大數(shù)據(jù)新計算框架的選型，技術(shù)難題攻關(guān)，系統(tǒng)重構(gòu)優(yōu)化，根據(jù)業(yè)務(wù)規(guī)劃及技術(shù)制定設(shè)計方案3、大數(shù)據(jù)監(jiān)控、運(yùn)維系統(tǒng)等的構(gòu)架設(shè)計，詳細(xì)設(shè)計，核心功能代碼編寫，如Hadoop、Maperduce、Stirm等數(shù)據(jù)存儲架構(gòu)平臺、計算框架、數(shù)據(jù)展示系統(tǒng)設(shè)計與搭建1、具有嚴(yán)密的數(shù)學(xué)思維、突出的分析歸納能力和數(shù)據(jù)分析能力；2、精通Linux操作系統(tǒng)，至少熟練使用Python、Scala、C+等語言中的一種編程；3、熟悉Hadoop、Hbase、Spark工作原理，熟悉分布式計算實施過

4、程中的問題；4、精通常見的數(shù)據(jù)存儲相關(guān)技術(shù)，包括Hdfs、HBase、Hive、MySQL、Redis、Mongodb等；5、負(fù)責(zé)大數(shù)據(jù)平臺的性能參數(shù)調(diào)整和優(yōu)化；6、根據(jù)業(yè)務(wù)需求，編制各類分析圖表、撰寫項目分析文檔和報告。大數(shù)據(jù)部署大數(shù)據(jù)平臺開發(fā)工程師1、基于MySQL、Redis、Kafka、Hadoop、Hive搭建開發(fā)大數(shù)據(jù)分析平臺的后臺服務(wù)，支持?jǐn)?shù)據(jù)接入、統(tǒng)計、分析業(yè)務(wù)；2、構(gòu)建基于Spark/Storm的實時數(shù)據(jù)處理平臺，支撐上層業(yè)務(wù)使用，如：數(shù)據(jù)監(jiān)控、日報展現(xiàn)、統(tǒng)計分析、業(yè)務(wù)方調(diào)用等；3、構(gòu)建基于Hive的即席查詢數(shù)據(jù)統(tǒng)計分析平臺；4、負(fù)責(zé)數(shù)據(jù)平臺的設(shè)計、開發(fā)、維護(hù)與優(yōu)化。1、熟悉

5、Linux的Shell命令，靈活運(yùn)用Shell做文本處理和系統(tǒng)操作；2、熟悉分布式計算各種范式，分布式算法實現(xiàn)，有較好的分布式架構(gòu)設(shè)計能力；3、能夠使用SQL操作復(fù)雜的數(shù)據(jù)模型并有SQL優(yōu)化的經(jīng)驗；4、熟練掌握Golang、Scala語言，至少精通Python、Perl、Bashshell腳本語言中的一種，并具有海量數(shù)據(jù)ETL加工處理經(jīng)驗，從事分布式數(shù)據(jù)存儲與計算平臺應(yīng)用開發(fā)；5、熟練搭建Hadoop集群環(huán)境，熟悉Hdfs文件系統(tǒng)，熟練編寫MapReduce程序；6、熟悉Hadoop、Hbase、Hive的原理，并能夠管理、配置、運(yùn)維。大數(shù)據(jù)運(yùn)維工程師1、參與項目技術(shù)平臺安裝部署、日常運(yùn)行維護(hù)

6、與故障處理、大數(shù)據(jù)組件補(bǔ)丁升級管理；2、平臺的自動化部署、運(yùn)維、監(jiān)控、告警處理，收集Hadoop的各項metrics指標(biāo)，確保集群的正常運(yùn)行；3、針對Hadoop生態(tài)系統(tǒng)的批量部署場景進(jìn)行運(yùn)維調(diào)優(yōu)；4、負(fù)責(zé)任務(wù)調(diào)度平臺配置及運(yùn)維管理。1、具有較強(qiáng)的數(shù)據(jù)倉庫模型設(shè)計和ETL設(shè)計能力；2、熟悉Hadoop平臺的運(yùn)維、調(diào)優(yōu)，保障線上集群的穩(wěn)定可靠；3、熟練編寫Linux下的Shell腳本，能開發(fā)相關(guān)安全管理工具；4、能夠利用開源軟件搭建云服務(wù)，并進(jìn)行相關(guān)測試。大數(shù)據(jù)分析處理大數(shù)據(jù)分析工程師1、實現(xiàn)數(shù)據(jù)挖掘算法，并結(jié)合核心算法做程序開發(fā)；2、使用數(shù)據(jù)挖掘、統(tǒng)計分析工具，提供數(shù)據(jù)決策分析1、基于Hado

7、op、Spark的大數(shù)據(jù)分析和處理；2、熟悉Python、Scala、Java中的一門以上開發(fā)語言，熟悉MySQL、Oralce數(shù)據(jù)庫，對主流分布式存儲和運(yùn)算有一定的了解；3、熟練使用SPSS、SAS或其它數(shù)據(jù)挖掘軟件，具備數(shù)據(jù)建模和數(shù)據(jù)分析理論知識，熟悉常用數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理算法。大數(shù)據(jù)可視化工程師1、負(fù)責(zé)大數(shù)據(jù)系統(tǒng)設(shè)計和開發(fā)工作，如個性化推薦系統(tǒng)、精準(zhǔn)營銷、用戶畫像等數(shù)據(jù)產(chǎn)品的設(shè)計和開發(fā)工作；1、有較強(qiáng)編程能力，熟悉C/C+和Python，設(shè)計搭建大數(shù)據(jù)平臺；2、較強(qiáng)邏輯思維能力及軟件、算法實現(xiàn)能力，進(jìn)行抽取、清洗、加工等數(shù)據(jù)處理；2、配合需求人員，完成功能模塊，支撐日常業(yè)務(wù)數(shù)據(jù)需求，負(fù)責(zé)

8、系統(tǒng)優(yōu)化、問題跟進(jìn)并及時解決。3、能夠設(shè)計基于云架構(gòu)的數(shù)據(jù)倉庫模型，基于大數(shù)據(jù)平臺進(jìn)行研發(fā)、運(yùn)維、管理等；4、熟悉數(shù)據(jù)庫、應(yīng)用服務(wù)器和相關(guān)開發(fā)語言。良好的數(shù)據(jù)庫設(shè)計能力和SQL編寫能力。表2大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)人才能力結(jié)構(gòu)與要求職業(yè)能力項目職業(yè)能力要求專業(yè)課程通識能力計算機(jī)基礎(chǔ)操作能力Windows操作系統(tǒng)、office辦公軟件應(yīng)用能力計算機(jī)基本軟件應(yīng)用能力。計算機(jī)應(yīng)用基礎(chǔ)計算機(jī)網(wǎng)絡(luò)組建能力理解網(wǎng)絡(luò)的原理及基本組成；掌握如何構(gòu)建簡單的網(wǎng)絡(luò)；學(xué)會分析網(wǎng)絡(luò)地址；了解現(xiàn)實生活中使用的網(wǎng)絡(luò)設(shè)備。計算機(jī)網(wǎng)絡(luò)基礎(chǔ)基礎(chǔ)程序語言設(shè)計能力掌握C語言的基本語法。C語言程序設(shè)計大數(shù)據(jù)基礎(chǔ)能力了解大數(shù)據(jù)技術(shù)的理論知識

9、、應(yīng)用前景和最新發(fā)展動態(tài)；了解業(yè)內(nèi)常用的大數(shù)據(jù)處理工具。大數(shù)據(jù)基礎(chǔ)崗位能力面向?qū)ο缶幊棠芰φ莆認(rèn)ava程序設(shè)計的基本語法、Java面向?qū)ο缶幊趟枷耄贿\(yùn)用Java平臺開發(fā)Web應(yīng)用程序；熟悉JSP，Servlet，JavaBean，JDBC等技術(shù)。Java程序設(shè)計Java程序設(shè)計實訓(xùn)JavaWeb程序設(shè)計Javaweb應(yīng)用開發(fā)實訓(xùn)數(shù)據(jù)庫管理能力使用MySQL創(chuàng)建、查詢和管理數(shù)據(jù)庫MySQL數(shù)據(jù)庫原理及應(yīng)用大數(shù)據(jù)系統(tǒng)開發(fā)能力大數(shù)據(jù)平臺綜合部署，包括業(yè)務(wù)需求分析、集群環(huán)境設(shè)置、框架選擇、服務(wù)器環(huán)境部署等能力、性能測試、Hadoop與其他系統(tǒng)的集成等；Spark的部署，進(jìn)行計算業(yè)務(wù)模塊的開發(fā)；大數(shù)據(jù)系

10、統(tǒng)性能提升，包括數(shù)據(jù)讀寫優(yōu)化、并發(fā)處理優(yōu)化、數(shù)據(jù)存儲優(yōu)化、數(shù)據(jù)查詢優(yōu)化等，以及大數(shù)據(jù)系統(tǒng)安全維護(hù)。Linux操作系統(tǒng)云計算架構(gòu)技術(shù)與實踐Hadoop與大數(shù)據(jù)挖掘Spark大數(shù)據(jù)處理技術(shù)大數(shù)據(jù)系統(tǒng)開發(fā)實訓(xùn)大數(shù)據(jù)分析處理能力掌握數(shù)據(jù)采集、清洗、處理的原理和技能；熟練使用數(shù)據(jù)統(tǒng)計分析軟件，進(jìn)行數(shù)據(jù)分析利用可視化工具建立數(shù)據(jù)可視化方案。Python網(wǎng)絡(luò)爬蟲實戰(zhàn)概率論與數(shù)理統(tǒng)計數(shù)據(jù)可視化技術(shù)表3大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)職業(yè)能力證書考核安排序號證書名稱備注1全國計算機(jī)等級考試選試2相關(guān)職業(yè)能力證書選試3英語應(yīng)用能力考試選試六、課程設(shè)置、時間分配、教學(xué)進(jìn)程及實踐性教學(xué)（見表4、表5、表6）本專業(yè)總課時為2840

11、節(jié)，其中理論課時926節(jié)，占總課時的32.6%實踐課時1914節(jié)，占總學(xué)時的67.4%。表4大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)教學(xué)計劃進(jìn)程表序號課程類別課程名稱學(xué)分總課時開課學(xué)期與課時第一學(xué)年第二學(xué)年第三學(xué)年合計理論實踐一二三四五六1思想道德修養(yǎng)與法律基礎(chǔ)3483216V2毛澤東思想和中國特色社會主義理論體系概論4644816V3高的數(shù)學(xué)36060V4大學(xué)英語81249430VV5公共必體育8126126VVVV6修課大學(xué)語文及應(yīng)用文寫作2321616V7大學(xué)生職業(yè)規(guī)劃與就業(yè)指導(dǎo)2382216VV8形勢與政策（講座形式）18080VVVVV9大學(xué)生心理健康教育11616VVVV10安全教育11616VVVV

12、11健康教育11616VVVV公共必修課小計3462038423612計算機(jī)應(yīng)用基礎(chǔ)6909030V13大數(shù)據(jù)基礎(chǔ)4603624V14專業(yè)基計算機(jī)網(wǎng)絡(luò)基礎(chǔ)4603624V15礎(chǔ)課C語言程序設(shè)計6966432V16概率論與數(shù)理統(tǒng)計4643232V17Linux操作系統(tǒng)4643232V專業(yè)基礎(chǔ)課小計2863426017418MySQL數(shù)據(jù)庫原理及應(yīng)用4643034V19云計算架構(gòu)技術(shù)與實踐4643034V20專業(yè)核心課Java程序設(shè)計6963858V21Python網(wǎng)絡(luò)爬蟲實踐4642836V22JavaWeb程序設(shè)計6963858V23Spark大數(shù)據(jù)處理技術(shù)4642836V24Hadoop與大

13、數(shù)據(jù)挖掘71123082V25數(shù)據(jù)可視化技術(shù)4642836V專業(yè)核心課小計3962425037426大數(shù)據(jù)系統(tǒng)開發(fā)實例2525227專業(yè)技能實訓(xùn)大數(shù)據(jù)分析挖掘?qū)嵱?xùn)12626V28大數(shù)據(jù)綜合項目實訓(xùn)12626VV29Java程序設(shè)計實訓(xùn)2525230JavaWeb應(yīng)用開發(fā)實例12626V專業(yè)技能實例小計718218231IT認(rèn)證IT認(rèn)證25252V2525232軍事教育37878V33綜合實社會實踐25252VV34踐頂崗實習(xí)10520520V35畢業(yè)設(shè)計7182182V綜合實踐小計2283283236素質(zhì)拓展課程拓展課一一2321616V37拓展課二2321616V38拓展課三23232V素質(zhì)

14、拓展課程小計6963264合計13828409261914150578484538608182表5大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)全學(xué)程時間安排學(xué)年軍事教育教學(xué)頂崗實習(xí)復(fù)習(xí)考試社會實踐學(xué)期周數(shù)合計一13152202182120二3182204182120三51822062020總計3872010假期進(jìn)行120表6大數(shù)據(jù)主要實訓(xùn)課程教學(xué)環(huán)節(jié)一覽表序號實訓(xùn)課程名稱主要內(nèi)容及要求1大數(shù)據(jù)系統(tǒng)開發(fā)技術(shù)實訓(xùn)（上）本課程詳細(xì)講解了大數(shù)據(jù)生態(tài)體系的各個模塊的功能和開發(fā)技術(shù)。包括Hadoop體系中的HDFS,Hbase進(jìn)行數(shù)據(jù)操作，MapReduce進(jìn)行數(shù)據(jù)開發(fā)，YARN進(jìn)行資源配置，Hive完成數(shù)據(jù)倉庫，Pig進(jìn)行數(shù)據(jù)

15、分析，理解其基本原理，并通過實驗掌握其操作和編程開發(fā)。2大數(shù)據(jù)系統(tǒng)開發(fā)技術(shù)實訓(xùn)（下）本課程詳細(xì)講解了大數(shù)據(jù)生態(tài)體系的各個模塊的功能和開發(fā)技術(shù)。包括Oozie完成工作流設(shè)計，Zookeeper完成分布式進(jìn)程協(xié)調(diào)，Sqoop完成數(shù)據(jù)傳輸，F(xiàn)lume完成日志收集等模塊，最后介紹Spark生態(tài)體系，及其Scala基礎(chǔ)和SparkSQL開發(fā)。理解其基本原理，并通過實驗掌握其操作和編程開發(fā)。3大數(shù)據(jù)采集實訓(xùn)課程包括網(wǎng)絡(luò)爬蟲基本理論知識的介紹，深入剖析網(wǎng)絡(luò)爬蟲進(jìn)行數(shù)據(jù)采集的過程和策略，如何抓取不同類型的數(shù)據(jù)和文檔內(nèi)容，以及爬取過程中的優(yōu)化。通過一種常見工具完成對指定任務(wù)的爬取，并存儲本地系統(tǒng)中。4數(shù)據(jù)倉庫實

16、訓(xùn)課程通過介紹數(shù)據(jù)ETL過程、數(shù)據(jù)匯總過程、關(guān)鍵績效指標(biāo)分析、報表與即席查詢、OLAP分析、數(shù)據(jù)挖掘等方法，使學(xué)員學(xué)到數(shù)據(jù)處理的思路與能力方法；通過介紹數(shù)據(jù)質(zhì)量及元數(shù)據(jù)管理，使學(xué)員了解數(shù)據(jù)應(yīng)用的本質(zhì)，并將其有效運(yùn)用于數(shù)據(jù)集市及數(shù)據(jù)倉庫解決方案中。5數(shù)據(jù)統(tǒng)計及分析掌握分析推斷的統(tǒng)計技術(shù)，熟練使用數(shù)據(jù)軟件（Python）來分析數(shù)據(jù)，利用Exce1制作分析圖表，具備良好的數(shù)據(jù)呈現(xiàn)技能。對數(shù)據(jù)分析報告的撰寫有一定程度的掌握，便于在工作中實際操作。6數(shù)據(jù)可視化本課程從數(shù)據(jù)可視化的發(fā)展，理解數(shù)據(jù)和可視化的作用入手，介紹可視化工具和設(shè)計的方法。具體結(jié)合Tableau和D3.js的工具，讓學(xué)生掌握可視化的組件

17、，以及各種組合成為的可視化圖表。并結(jié)合不同類型的數(shù)據(jù)和場景，介紹各中設(shè)計方法和最佳實踐，學(xué)生如何產(chǎn)生的合適的可視化內(nèi)容。最后結(jié)合案例，理解可視化在各個領(lǐng)域的實際應(yīng)用。7企業(yè)大數(shù)據(jù)技術(shù)實訓(xùn)課程全面講解代表性大數(shù)據(jù)平臺的產(chǎn)品，包括大數(shù)據(jù)計算服務(wù)MaxCompute，分析型數(shù)據(jù)庫AnalyticDB，表格存儲TableStore和大數(shù)據(jù)開發(fā)平臺DataIDE，以及典型的大數(shù)據(jù)應(yīng)用產(chǎn)品。包括每個產(chǎn)品的使用場景，技術(shù)特點(diǎn)，以及實際操作實驗。8大數(shù)據(jù)綜合項目實訓(xùn)提供電商大數(shù)據(jù)、通信大數(shù)據(jù)、農(nóng)業(yè)大數(shù)據(jù)、交通大數(shù)據(jù)、電力大數(shù)據(jù)、政務(wù)大數(shù)據(jù)、金融大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)等八個完整的項目案例。還會不斷更新引入新的實訓(xùn)案

18、例。七、課程主要內(nèi)容簡表課程課程名稱課程性質(zhì)主要內(nèi)容計算機(jī)網(wǎng)絡(luò)技術(shù)1/必修2/1、掌握計算機(jī)網(wǎng)絡(luò)概念，網(wǎng)絡(luò)四層結(jié)構(gòu)與協(xié)議、設(shè)備與操作系統(tǒng)2、掌握局域網(wǎng)組網(wǎng)方法，互聯(lián)網(wǎng)法律法規(guī)應(yīng)用關(guān)系型數(shù)據(jù)庫概論必修1、掌握關(guān)系型數(shù)據(jù)庫概論的和基本操作2、掌握關(guān)系型數(shù)據(jù)庫概論的基本方法和基本技能數(shù)據(jù)結(jié)構(gòu)必修1、掌握常用的基本數(shù)據(jù)結(jié)構(gòu)2、了解數(shù)據(jù)結(jié)構(gòu)的邏輯思想和實現(xiàn)方法3、掌握程序設(shè)計方法、程序設(shè)計風(fēng)格Linux操作系統(tǒng)應(yīng)用必修1、掌握運(yùn)用Linux安裝、環(huán)境的配置2、掌握Linux系統(tǒng)管理，Linux網(wǎng)絡(luò)管理網(wǎng)頁設(shè)計（HTML/CSS）/必修21、掌握Web網(wǎng)站的基本知識2、掌握HTML/CSS的相關(guān)知識，并運(yùn)用SQLServer數(shù)據(jù)庫應(yīng)用1、必修2/1、掌握SQLServer2005的基本操作2、運(yùn)用SQL語言進(jìn)行程序設(shè)計云存儲技術(shù)必修1、掌握本課程主要講解云存儲基礎(chǔ)知識2、掌握云存儲整體架構(gòu)的設(shè)計與搭建，通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量不同類型的