ICS35.080

CCS6450

CAICI

中國通信企業(yè)協(xié)會團(tuán)體標(biāo)準(zhǔn)

T/CAICIXXXX—XXXX

大數(shù)據(jù)分析與應(yīng)用開發(fā)職業(yè)技能等級標(biāo)準(zhǔn)

Bigdataanalysisandapplicationdevelopmentvocationalskilllevelstandard

（征求意見稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國通信企業(yè)協(xié)會發(fā)布

T/CAICIXXXX—XXXX

前言

本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定

起草。

本文件由中國通信企業(yè)協(xié)會團(tuán)體標(biāo)準(zhǔn)管理委員會提出并歸口。

本文件主要起草單位：中國通信企業(yè)協(xié)會數(shù)字化轉(zhuǎn)型推進(jìn)工作委員會、戎易商智（北京）科技有限

公司、北京紅亞華宇科技有限公司、清華大學(xué)。

本文件參加起草單位：中國農(nóng)業(yè)大學(xué)、北京郵電大學(xué)、太原理工大學(xué)、北方工業(yè)大學(xué)、廈門理工學(xué)

院、重慶電子工程職業(yè)學(xué)院、北京工業(yè)職業(yè)技術(shù)學(xué)院、廣東郵電職業(yè)技術(shù)學(xué)院、福建恒立教育咨詢有限

公司、深圳市引領(lǐng)未來科技有限公司、唐山創(chuàng)元教育咨詢有限公司、北京久其軟件股份有限公司、河南

慧點(diǎn)信息科技有限公司、上海蘭姆達(dá)數(shù)據(jù)科技有限公司、河南新志通信工程有限公司、同舟和創(chuàng)（北京）

信息咨詢有限公司。

本文件主要起草人：趙俊湦、石義濤、鄭洪賓、朱延烈、張春芳、鄭清燕、余潔然、盧興民、謝曉

峰、李輝、周亞建、李鳳蓮、宋威、田悅、朱晨、王賢凌、趙可、付雯、賈民政、王琦、陸亭、孟秋玲、

董海峰、張雙飛、李曉鸞、段勇、張立新、張洲、錢小穩(wěn)。

本文件為首次發(fā)布。

II

T/CAICIXXXX—XXXX

大數(shù)據(jù)分析與應(yīng)用開發(fā)職業(yè)技能等級標(biāo)準(zhǔn)

1范圍

本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)分析與應(yīng)用開發(fā)職業(yè)技能等級對應(yīng)的人才工作領(lǐng)域、工作任務(wù)及職業(yè)技能要求

等。

本標(biāo)準(zhǔn)是衡量從業(yè)人員技能水平和工作能力的尺度，是進(jìn)行技能培訓(xùn)、技能鑒定、企業(yè)用人以及開

展國際勞務(wù)合作交流的主要依據(jù)。

本標(biāo)準(zhǔn)適用于大數(shù)據(jù)分析人才和大數(shù)據(jù)開發(fā)人才的各種不同崗位的工作職責(zé)和能力要求、職業(yè)技能

培訓(xùn)、考核與評價、相關(guān)用人單位的人員聘用、培訓(xùn)與考核可參考使用。

大數(shù)據(jù)分析人才主要指大數(shù)據(jù)分析師。大數(shù)據(jù)分析師通過充分合理利用大數(shù)據(jù)，在海量數(shù)據(jù)中

進(jìn)行數(shù)據(jù)挖據(jù)與展現(xiàn)后，為企業(yè)決策者提供清晰、準(zhǔn)確且有數(shù)據(jù)支撐的報(bào)告。具體職責(zé)包括數(shù)據(jù)挖掘模

型的構(gòu)建、維護(hù)、部署和評估；整理編寫商業(yè)數(shù)據(jù)分析報(bào)告，及時發(fā)現(xiàn)和分析其中隱含的變化和問題，

為業(yè)務(wù)發(fā)展提供決策支持等。

大數(shù)據(jù)開發(fā)人才主要指大數(shù)據(jù)開發(fā)工程師。大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、ETL開發(fā)、

大數(shù)據(jù)實(shí)時計(jì)算平臺及業(yè)務(wù)開發(fā)、平臺建設(shè)及維護(hù)、數(shù)據(jù)分析、數(shù)據(jù)指標(biāo)統(tǒng)計(jì)等工作內(nèi)容。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語

GB/T5271.1-2000信息技術(shù)詞匯第1部分：基本術(shù)語

GB/T33745-2017物聯(lián)網(wǎng)術(shù)語

GB/T36326-2018信息技術(shù)云計(jì)算云服務(wù)運(yùn)營通用要求

GB/T35589-2017信息技術(shù)大數(shù)據(jù)技術(shù)參考模型

GB/T35274-2017信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求

GB/T38673-2020信息技術(shù)大數(shù)據(jù)大數(shù)據(jù)系統(tǒng)基本要求

GB/T37721-2019信息技術(shù)大數(shù)據(jù)分析系統(tǒng)功能要求

GB/T37722-2019信息技術(shù)大數(shù)據(jù)存儲與處理系統(tǒng)功能要求

GB/T36073-2018數(shù)據(jù)管理能力成熟度評估模型

3術(shù)語和定義

GB/T35295-2017界定的以及下列術(shù)語適用于本標(biāo)準(zhǔn)。

3.1大數(shù)據(jù)bigdata

具體體量巨大、來源多樣、生成極快、多變等特征并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包含大

量數(shù)據(jù)集的數(shù)據(jù)。

[GB/T35295-2017，定義2.1.1]

1

T/CAICIXXXX—XXXX

3.2數(shù)據(jù)data

信息的可再解釋的形式化表示，以適用于通信、解釋或處理。

[GB/T5271.17-2000，定義1.1.2]

3.3大數(shù)據(jù)服務(wù)bigdataservice

基于大數(shù)據(jù)參考體系結(jié)構(gòu)提供的數(shù)據(jù)服務(wù)。

[GB/T35295-2017，定義2.1.15]

3.4分析analytics

根據(jù)信息合成知識的過程。

[GB/T35295-2017，定義2.1.48]

3.5數(shù)據(jù)處理dataprocessing

數(shù)據(jù)操作的系統(tǒng)執(zhí)行。

[GB/T35295-2017，定義2.2.2]

3.6數(shù)據(jù)管理datamanagement

在數(shù)據(jù)處理系統(tǒng)中，提供對數(shù)據(jù)的訪問，執(zhí)行或監(jiān)視數(shù)據(jù)的存儲，以及控制輸入輸出操作等功能。

[GB/T5271.17-2000，定義1.8.2]

3.7大數(shù)據(jù)系統(tǒng)bigdatasystem

實(shí)現(xiàn)大數(shù)據(jù)參考體系結(jié)構(gòu)的全部或部分功能的系統(tǒng)。

3.8分布式計(jì)算distributedcomputing

一種覆蓋存儲層和處理層的、用于實(shí)現(xiàn)多類型程序設(shè)計(jì)算法模型的計(jì)算模式。

3.9結(jié)構(gòu)化數(shù)據(jù)structureddata

一種數(shù)據(jù)表示形式，按此種形式，由數(shù)據(jù)元素匯集而成的每個記錄的結(jié)構(gòu)都是一致的并且可以使用

關(guān)系模型予以有效描述。

[GB/T35295-2017，定義2.2.13]

3.10非結(jié)構(gòu)化數(shù)據(jù)unstructureddata

不具有預(yù)定義模型或未以預(yù)訂方式。

[GB/T35295-2017，定義2.1.25]

3.11數(shù)據(jù)倉庫datawarehouse

在數(shù)據(jù)準(zhǔn)備之后用于永久性存儲數(shù)據(jù)的數(shù)據(jù)庫。

2

T/CAICIXXXX—XXXX

[GB/T35295-2017，定義2.1.35]

3.12數(shù)據(jù)治理datagovernance

對數(shù)據(jù)進(jìn)行處置、格式化和規(guī)范化過程。

[GB/T35295-2017，定義2.1.43]

3.13數(shù)據(jù)集dataset

數(shù)據(jù)記錄匯聚的數(shù)據(jù)形式。

3.14元數(shù)據(jù)metadata

關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)（可能包括其數(shù)據(jù)描述），以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑，訪問權(quán)和

數(shù)據(jù)易變性的數(shù)據(jù)。

[GB/T5271.17-2010，定義17.6.5]

3.15數(shù)據(jù)挖掘datamining

從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。

3.16查詢語言querylanguage

一種供用戶以對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行檢索并進(jìn)行檢索并可能加以修改的數(shù)據(jù)操縱語言。

例：結(jié)構(gòu)化查詢語言（SQL）

[GB/T5271.17-2010，定義17.7.9]

3.17數(shù)據(jù)字典datadictionary

對數(shù)據(jù)的數(shù)據(jù)項(xiàng)、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)流、數(shù)據(jù)存儲、處理邏輯等進(jìn)行定義和描述，其目的是對數(shù)據(jù)流

程圖中的各個元素做出詳細(xì)的說明，使用數(shù)據(jù)字典為簡單的建模項(xiàng)目。簡而言之，數(shù)據(jù)字典是描述數(shù)據(jù)

的信息集合，是對系統(tǒng)中使用的所有數(shù)據(jù)元素的定義的集合。

3.18數(shù)據(jù)流程圖（數(shù)據(jù)流圖）dataflowdiagram;DFD

一種能全面地描述系統(tǒng)數(shù)據(jù)流程的主要工具，它用一組符號來描述整個系統(tǒng)中的信息的全貌，綜合

地反映出信息在系統(tǒng)中的流動、處理和存儲情況。

3.19數(shù)據(jù)可視化datavisualization

關(guān)于數(shù)據(jù)視覺表現(xiàn)形式的科學(xué)技術(shù)研究。其中，這種數(shù)據(jù)的視覺表現(xiàn)形式被定義為一種以某種概要

形式抽提出來的信息，包括相應(yīng)信息單位的各種屬性和變量。

3.20商業(yè)智能businessintelligence,BI

又稱商業(yè)智慧或商務(wù)智能，指用現(xiàn)代數(shù)據(jù)倉庫技術(shù)、線上分析處理技術(shù)、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)技術(shù)

進(jìn)行數(shù)據(jù)分析以實(shí)現(xiàn)商業(yè)價值。

3

T/CAICIXXXX—XXXX

4總則

4.1總體目標(biāo)

結(jié)合大數(shù)據(jù)行業(yè)的特點(diǎn)，根據(jù)《國務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動綱要的通知》、《國務(wù)院關(guān)于

印發(fā)國家職業(yè)教育改革實(shí)施方案的通知》、《關(guān)于在院校實(shí)施“學(xué)歷證書+若干職業(yè)技能等級證書”制

度試點(diǎn)方案》等有關(guān)規(guī)定，對比國內(nèi)設(shè)立數(shù)據(jù)科學(xué)專業(yè)的高校培養(yǎng)方案，通過借鑒國內(nèi)先進(jìn)標(biāo)準(zhǔn)，對接

科技發(fā)展趨勢、市場需求，銜接專業(yè)教學(xué)標(biāo)準(zhǔn)，設(shè)計(jì)大數(shù)據(jù)開發(fā)與分析職業(yè)技能等級標(biāo)準(zhǔn)，建立職業(yè)技

能等級標(biāo)準(zhǔn)體系，深化復(fù)合型技術(shù)技能人才培養(yǎng)的培訓(xùn)模式和人才評定模式，構(gòu)筑技術(shù)技能人才成長通

道，拓展就業(yè)創(chuàng)業(yè)本領(lǐng)，促進(jìn)學(xué)習(xí)者靈活、高質(zhì)量就業(yè)。

4.2遵循原則

4.2.1科學(xué)性原則

職業(yè)技能等級標(biāo)準(zhǔn)的開發(fā)設(shè)計(jì)依據(jù)職業(yè)標(biāo)準(zhǔn)并結(jié)合職業(yè)崗位或職業(yè)崗位群工作任務(wù)，客觀、準(zhǔn)確地

確定標(biāo)準(zhǔn)的范圍、等級及職業(yè)技能要求。

4.2.2規(guī)范性原則

職業(yè)技能等級標(biāo)準(zhǔn)依據(jù)本指南所規(guī)定的標(biāo)準(zhǔn)框架、程序與方法等開發(fā)設(shè)計(jì)，表述準(zhǔn)確、規(guī)范，層次

清晰，邏輯嚴(yán)謹(jǐn)，專業(yè)術(shù)語和定義符合所屬行業(yè)最新國家標(biāo)準(zhǔn)和規(guī)范，前后一致，內(nèi)容應(yīng)及時反映產(chǎn)業(yè)

主流技術(shù)，體現(xiàn)行業(yè)最新要求。

4.2.3廣泛性原則

職業(yè)技能等級標(biāo)準(zhǔn)的開發(fā)設(shè)計(jì)應(yīng)聯(lián)合行業(yè)、企業(yè)、院校等相關(guān)各方參與，提高標(biāo)準(zhǔn)含金量和權(quán)威性，

贏得行業(yè)企業(yè)廣泛認(rèn)可，保障標(biāo)準(zhǔn)實(shí)施。

4.2.4適應(yīng)性原則

職業(yè)技能等級標(biāo)準(zhǔn)要反映行業(yè)、企業(yè)最新技術(shù)技能發(fā)展水平，體現(xiàn)產(chǎn)業(yè)發(fā)展新技術(shù)、新工藝、新規(guī)

范、新要求，適應(yīng)不同地域之間可能存在的差異，符合職業(yè)院校教學(xué)規(guī)律，滿足院校教學(xué)實(shí)際需求，內(nèi)

容應(yīng)具體化，可度量、可檢驗(yàn)、可操作。

5職業(yè)概況

5.1職業(yè)名稱

大數(shù)據(jù)分析師、大數(shù)據(jù)開發(fā)工程師

5.2職業(yè)定義

大數(shù)據(jù)分析師：充分合理利用大數(shù)據(jù)，在海量數(shù)據(jù)中進(jìn)行數(shù)據(jù)挖據(jù)與展現(xiàn)，為企業(yè)決策者提供

清晰、準(zhǔn)確且有數(shù)據(jù)支撐的報(bào)告。具體職責(zé)包括大數(shù)據(jù)采集、清洗、分析、治理、挖掘，以及數(shù)據(jù)模型

的構(gòu)建、維護(hù)、部署和評估；整理編寫商業(yè)數(shù)據(jù)分析報(bào)告，及時發(fā)現(xiàn)和分析其中隱含的變化和問題，為

業(yè)務(wù)發(fā)展提供決策支持、管理支持、技術(shù)維護(hù)和技術(shù)服務(wù)等。

大數(shù)據(jù)開發(fā)工程師：從事數(shù)據(jù)倉庫建設(shè)、ETL開發(fā)、大數(shù)據(jù)實(shí)時計(jì)算平臺及業(yè)務(wù)開發(fā)、平臺建

設(shè)及維護(hù)、數(shù)據(jù)分析、數(shù)據(jù)指標(biāo)統(tǒng)計(jì)等工作內(nèi)容。

5.3專業(yè)技術(shù)等級

4

T/CAICIXXXX—XXXX

本職業(yè)共設(shè)三個等級，分別為初級、中級、高級。

5.4職業(yè)能力特征

具有較強(qiáng)的學(xué)習(xí)能力、計(jì)算能力、表達(dá)能力及分析、推理和判斷能力、規(guī)劃/開發(fā)和架構(gòu)能力。

5.5普通受教育程度

大學(xué)專科學(xué)歷（或高等職業(yè)學(xué)校畢業(yè)）及以上。

6基本要求

6.1職業(yè)道德

6.1.1職業(yè)守則

（1）遵紀(jì)守法，愛崗敬業(yè)。

（2）精益求精，勇于創(chuàng)新。

（3）愛護(hù)設(shè)備，安全操作。

（4）遵守規(guī)程，執(zhí)行工藝。

（5）認(rèn)真嚴(yán)謹(jǐn)，忠于職守。

6.2基礎(chǔ)知識

6.2.1基礎(chǔ)理論知識

（1）操作系統(tǒng)知識

（2）計(jì)算機(jī)網(wǎng)絡(luò)知識

（3）編程基礎(chǔ)知識

（4）數(shù)據(jù)結(jié)構(gòu)與算法知識

（5）數(shù)據(jù)庫知識

（6）軟件工程知識

（7）云計(jì)算知識

（8）大數(shù)據(jù)知識

6.2.2技術(shù)基礎(chǔ)知識

（1）大數(shù)據(jù)系統(tǒng)環(huán)境安裝、配置和調(diào)試知識

（2）大數(shù)據(jù)平臺架構(gòu)知識

（3）軟件應(yīng)用開發(fā)知識

（4）接口開發(fā)與功能模塊設(shè)計(jì)知識

（5）數(shù)據(jù)采集與數(shù)據(jù)預(yù)處理知識

（6）數(shù)據(jù)計(jì)算與數(shù)據(jù)指標(biāo)知識

（7）常用數(shù)據(jù)分析與挖掘方法

（8）常用數(shù)據(jù)報(bào)表與可視化技術(shù)方法

（9）數(shù)據(jù)管理知識

（10）數(shù)據(jù)運(yùn)營及技術(shù)指導(dǎo)知識

6.2.3數(shù)據(jù)安全知識

5

T/CAICIXXXX—XXXX

（1）大數(shù)據(jù)應(yīng)用、設(shè)備與外部服務(wù)組件安全管理知識

（2）大數(shù)據(jù)服務(wù)用戶身份鑒別與訪問控制管理相關(guān)知識

（3）大數(shù)據(jù)服務(wù)數(shù)據(jù)活動安全管理知識

（4）大數(shù)據(jù)服務(wù)基礎(chǔ)設(shè)施安全管理知識

（5）大數(shù)據(jù)系統(tǒng)應(yīng)急響應(yīng)管理知識

6.2.4相關(guān)法律、法規(guī)知識

（1）《中華人民共和國個人信息保護(hù)法》

（2）《中華人民共和國數(shù)據(jù)安全法》

（3）《中華人民共和國消費(fèi)者權(quán)益保護(hù)法》

（4）《中華人民共和國勞動法》相關(guān)知識

（5）《中華人民共和國安全生產(chǎn)法》相關(guān)知識

（6）《中華人民共和國網(wǎng)絡(luò)安全法》相關(guān)知識

（7）《關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定》相關(guān)知識

（8）《關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)條例》相關(guān)知識

（9）《網(wǎng)絡(luò)安全等級保護(hù)條例》相關(guān)知識

（10）《電信和互聯(lián)網(wǎng)用戶個人信息保護(hù)規(guī)定》相關(guān)知識

（11）《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》

（12）《國家網(wǎng)絡(luò)空間安全戰(zhàn)略》

（13）《禁止網(wǎng)絡(luò)不正當(dāng)競爭行為規(guī)定》

（14）《征信業(yè)務(wù)管理辦法》

6.2.5其他相關(guān)知識

（1）環(huán)境保護(hù)知識

（2）文明生產(chǎn)知識

（3）勞動保護(hù)知識

（4）資料保管保密知識

7面向職業(yè)崗位

主要面向信息化企事業(yè)及大數(shù)據(jù)產(chǎn)品企業(yè)管理者、產(chǎn)品負(fù)責(zé)人（金融、房地產(chǎn)、電子商務(wù)、物聯(lián)網(wǎng)、

互聯(lián)網(wǎng)、新一代信息技術(shù)，智慧產(chǎn)品、智慧城市軟硬件供應(yīng)商等相關(guān)企業(yè)）、大數(shù)據(jù)規(guī)劃設(shè)計(jì)院相關(guān)人

員；對大數(shù)據(jù)感興趣的業(yè)內(nèi)人士；大數(shù)據(jù)，云計(jì)算相關(guān)專業(yè)的高校教師、學(xué)生；各級大數(shù)據(jù)建設(shè)工作領(lǐng)

導(dǎo)小組辦公室負(fù)責(zé)人；從事大數(shù)據(jù)架構(gòu)設(shè)計(jì)、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)分析處理、大數(shù)據(jù)平臺維護(hù)管理等工

作崗位的相關(guān)人員等。

8職業(yè)技能要求

8.1職業(yè)技能等級劃分

大數(shù)據(jù)開發(fā)與分析職業(yè)技能等級都分為三個等級：初級、中級、高級，三個級別的專業(yè)能力要求和

相關(guān)知識要求依次遞進(jìn)，高級別涵蓋低級別職業(yè)技能要求。

【大數(shù)據(jù)分析師】（初級）：主要負(fù)責(zé)數(shù)據(jù)咨詢，收集企業(yè)或客戶的數(shù)據(jù)需求，準(zhǔn)備相關(guān)數(shù)據(jù)，并

進(jìn)行數(shù)據(jù)處理工作，能夠勝任相關(guān)業(yè)務(wù)指標(biāo)分析以及基本的統(tǒng)計(jì)描述型數(shù)據(jù)分析、數(shù)據(jù)可視化與報(bào)告撰

寫；掌握分類、聚類等常用的分析算法，以及Excel、SPSS、Python等分析工具。

6

T/CAICIXXXX—XXXX

【大數(shù)據(jù)分析師】（中級）：主要負(fù)責(zé)將整理好的數(shù)據(jù)進(jìn)行倉儲管理，獨(dú)立完成數(shù)據(jù)分析處理、BI

報(bào)表、數(shù)據(jù)可視化、熟練運(yùn)用數(shù)據(jù)建模與分析技術(shù)進(jìn)行數(shù)據(jù)挖掘預(yù)測等工作；熟練掌握各種常見分析算

法和分析工具，能夠編寫復(fù)雜的大數(shù)據(jù)分析報(bào)告。

【大數(shù)據(jù)分析師】（高級）：根據(jù)業(yè)務(wù)需求，參與制定數(shù)據(jù)策略與規(guī)劃，完成云上大數(shù)據(jù)系統(tǒng)架構(gòu)

規(guī)劃、設(shè)計(jì)及部署，構(gòu)建完善的數(shù)據(jù)分析及運(yùn)營體系等工作，能從大數(shù)據(jù)分析結(jié)果中洞察風(fēng)險(xiǎn)因素，并

提出預(yù)警；帶領(lǐng)團(tuán)隊(duì)開展各領(lǐng)域大數(shù)據(jù)分析，利用大數(shù)據(jù)為企業(yè)創(chuàng)造更多的價值。

【大數(shù)據(jù)開發(fā)工程師】（初級）：主要負(fù)責(zé)大數(shù)據(jù)環(huán)境搭建，能夠獨(dú)立對開發(fā)環(huán)境進(jìn)行安裝，創(chuàng)建

Linux系統(tǒng)環(huán)境，了解Hadoop大數(shù)據(jù)架構(gòu)的部署；熟練掌握Python、Java、Scala等編程語言與數(shù)據(jù)庫語

言，進(jìn)行大數(shù)據(jù)采集、清洗、存儲與分析、可視化等；能根據(jù)工作安排，完成與客戶溝通、技術(shù)支持與

服務(wù)等工作。

【大數(shù)據(jù)開發(fā)工程師】（中級）：主要負(fù)責(zé)大數(shù)據(jù)應(yīng)用開發(fā)，部署Hadoop大數(shù)據(jù)架構(gòu)，搭建分布式

開源數(shù)據(jù)庫HBase、Hive系統(tǒng)架構(gòu)、Spark框架，對大數(shù)據(jù)平臺進(jìn)行容量規(guī)劃并可進(jìn)行監(jiān)控、處理故障等；

能進(jìn)行數(shù)據(jù)庫管理、SQL優(yōu)化等技術(shù)提升應(yīng)用程序性能；負(fù)責(zé)基于大數(shù)據(jù)的數(shù)據(jù)分析算法、挖掘模型研

究與開發(fā)應(yīng)用工作、數(shù)據(jù)可視化產(chǎn)品開發(fā)。

【大數(shù)據(jù)開發(fā)工程師】（高級）：能獨(dú)立部署應(yīng)用，規(guī)劃系統(tǒng)容量及軟硬件；負(fù)責(zé)大數(shù)據(jù)平臺搭建、

整體規(guī)劃設(shè)計(jì)及性能優(yōu)化、組件維護(hù)，能應(yīng)用企業(yè)級框架；能運(yùn)用基本的數(shù)據(jù)結(jié)構(gòu)和算法、多線程并

發(fā)編程；對機(jī)器學(xué)習(xí)與深度學(xué)習(xí)有全面的了解，運(yùn)用其進(jìn)行算法、模型研究與開發(fā)應(yīng)用工作，能夠帶領(lǐng)

團(tuán)隊(duì)進(jìn)行數(shù)據(jù)可視化報(bào)表開發(fā)、可視化大屏可視化系統(tǒng)開發(fā)和維護(hù)。

8.2職業(yè)技能等級要求描述

8.2.1大數(shù)據(jù)分析師職業(yè)技能等級要求描述

表1大數(shù)據(jù)分析師職業(yè)技能等級要求（初級）

工作領(lǐng)域工作任務(wù)職業(yè)技能要求

1.1.1能夠了解大數(shù)據(jù)的概念、理清業(yè)務(wù)邏輯。

1.1.2能夠建立大數(shù)據(jù)分析思維。

1.1業(yè)務(wù)理解與需求發(fā)現(xiàn)1.1.3能夠熟練掌握大數(shù)據(jù)分析的流程。

1.需求分析1.1.4能夠發(fā)現(xiàn)工作中運(yùn)用大數(shù)據(jù)分析解決業(yè)務(wù)

與管理問題的需求和機(jī)會。

1.2.1能夠與客戶、產(chǎn)品經(jīng)理或數(shù)據(jù)科學(xué)家對業(yè)

1.2需求咨詢與分析

務(wù)需求進(jìn)行溝通、分析并細(xì)化需求的要求。

2.1.1能夠在進(jìn)行數(shù)據(jù)分析之前進(jìn)行數(shù)據(jù)清理與

準(zhǔn)備。

2.1.2能夠確保數(shù)據(jù)質(zhì)量，理解數(shù)據(jù)質(zhì)量的重要

性，數(shù)據(jù)的完整性、可靠性、有效性。

2.1針對業(yè)務(wù)需求進(jìn)行數(shù)

2.數(shù)據(jù)預(yù)處理2.1.3能夠完成核心數(shù)據(jù)描述工作，識別異常數(shù)

據(jù)準(zhǔn)備、清洗和整理工作

據(jù)，掌握數(shù)據(jù)描述工具的使用。

2.1.4能夠根據(jù)業(yè)務(wù)需求，使用SQL進(jìn)行基本的

數(shù)據(jù)查詢。

2.1.5能夠完成核心數(shù)據(jù)清洗工作，掌握數(shù)據(jù)清

7

T/CAICIXXXX—XXXX

洗工具的使用。

2.1.6能夠與數(shù)據(jù)科學(xué)家溝通特定的數(shù)據(jù)需求。

2.1.7能夠掌握基本數(shù)據(jù)處理方法，對數(shù)據(jù)進(jìn)行

歸類、重組、合并、再配置,以增強(qiáng)分析價值。

3.1.1能夠熟悉基礎(chǔ)業(yè)務(wù)數(shù)據(jù)分析體系和各項(xiàng)業(yè)

務(wù)數(shù)據(jù)指標(biāo)。

3.1.2能夠使用常用分析工具Excel、SAS、SPSS、

3.數(shù)據(jù)基本統(tǒng)計(jì)分3.1對各類數(shù)據(jù)變量

R及其常用組件的基本操作。

析進(jìn)行統(tǒng)計(jì)、分類

3.1.3能夠熟練掌握描述性統(tǒng)計(jì)方法、統(tǒng)計(jì)描述

參數(shù)等。

3.1.4能夠掌握常用的分類、聚類分析等算法。

4.1.1能夠了解傳統(tǒng)可視化及新型可視化技術(shù)的

常見形式，能夠使用數(shù)據(jù)可視化常用工具Excel、

4.數(shù)據(jù)可視化4.1數(shù)據(jù)可視化處理Echarts、PowerBI、Tableau等。

4.1.2能夠根據(jù)業(yè)務(wù)需求，針對不同的數(shù)據(jù)指標(biāo)、

不同的分析維度選擇不同的圖表展現(xiàn)形式。

5.1.1能夠在業(yè)務(wù)主管的指導(dǎo)下根據(jù)數(shù)據(jù)分析可

視化結(jié)果，形成有條理、有邏輯的日報(bào)、周報(bào)、

月報(bào)、專題報(bào)告、行業(yè)分析報(bào)告等數(shù)據(jù)分析報(bào)告。

5.1.2能夠通過數(shù)據(jù)分析可視化結(jié)果，得出有效

5.報(bào)告撰寫5.1分析報(bào)告撰寫

的分析結(jié)論并體現(xiàn)在數(shù)據(jù)分析報(bào)告中。

5.1.3能夠根據(jù)數(shù)據(jù)分析可視化結(jié)果，發(fā)現(xiàn)業(yè)務(wù)

中存在的問題，給出解決建議或提出對業(yè)務(wù)有促

進(jìn)的建議，并體現(xiàn)在數(shù)據(jù)分析報(bào)告中。

表2大數(shù)據(jù)分析師職業(yè)技能等級要求（中級）

工作領(lǐng)域工作任務(wù)職業(yè)技能要求

1.1.1能夠快速理解客戶需求，參與數(shù)據(jù)需求設(shè)

1.1需求咨詢與分析

計(jì)、數(shù)據(jù)模型的需求分析。

1.2.1能夠獨(dú)立解答客戶關(guān)于大數(shù)據(jù)基礎(chǔ)理論相

關(guān)的問題。

1.2大數(shù)據(jù)技術(shù)1.2.2能夠獨(dú)立解答客戶關(guān)于大數(shù)據(jù)分析技術(shù)相

咨詢關(guān)的問題。

1.大數(shù)據(jù)咨詢

1.2.3能夠根據(jù)實(shí)際業(yè)務(wù)情況，輸出大數(shù)據(jù)技術(shù)

說明文檔。

1.3.1能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)平

1.3大數(shù)據(jù)平臺臺及方案。

咨詢1.3.2能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)存

儲計(jì)算產(chǎn)品。

8

T/CAICIXXXX—XXXX

1.3.3能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)可

視化產(chǎn)品。

1.3.4能夠解答關(guān)于大數(shù)據(jù)平臺使用相關(guān)的問

題。

1.3.5能夠根據(jù)業(yè)務(wù)需求，輸出大數(shù)據(jù)分析解決

方案架構(gòu)圖及說明文檔。

2.1.1能夠熟練使用結(jié)構(gòu)化數(shù)據(jù)存儲工具，如關(guān)

系數(shù)據(jù)庫、結(jié)構(gòu)化查詢語言（SQL）。

2.1.2能夠安裝數(shù)據(jù)庫以及創(chuàng)建基本對象，如

MySQL、SQLServer、Oracle等，熟悉常用數(shù)據(jù)

庫之間數(shù)據(jù)的互相導(dǎo)入。

2.1.3能夠熟練使用非結(jié)構(gòu)化數(shù)據(jù)存儲工具。

2.數(shù)據(jù)庫2.1數(shù)據(jù)存儲與查詢

2.1.4能夠熟悉數(shù)據(jù)庫開發(fā)及原理，熟練編寫簡

單存儲過程。

2.1.5能夠根據(jù)業(yè)務(wù)需求，使用SQL進(jìn)行數(shù)據(jù)查

詢、數(shù)據(jù)清洗。

2.1.6能夠獨(dú)立使用大數(shù)據(jù)平臺實(shí)現(xiàn)數(shù)據(jù)庫與大

數(shù)據(jù)平臺之間的數(shù)據(jù)遷移。

3.1.1能夠構(gòu)建基礎(chǔ)業(yè)務(wù)數(shù)據(jù)分析體系，幫助確

定各項(xiàng)業(yè)務(wù)數(shù)據(jù)指標(biāo)，統(tǒng)一指標(biāo)口徑。

3.1.2能夠編寫較為復(fù)雜的數(shù)據(jù)提取語句，準(zhǔn)確

地橫跨眾多業(yè)務(wù)線的底層數(shù)據(jù)表提取數(shù)據(jù)。

3.1.3能夠掌握相關(guān)算法如：多元回歸、時間序

3.1數(shù)據(jù)挖掘列預(yù)測法、樸素貝葉斯分類算法、支持向量機(jī)分

類算法、決策樹等算法。

3.1.4能夠運(yùn)用數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)工具如

SPSS、Python、SAS、Stata、MATLAB、R等。

3.1.5能夠基于數(shù)據(jù)挖掘分類算法，對業(yè)務(wù)目標(biāo)

進(jìn)行預(yù)測分析、監(jiān)控預(yù)警等。

3.數(shù)據(jù)挖掘分析

3.2.1能夠構(gòu)建用戶數(shù)據(jù)模型，挖掘用戶屬性及

用戶喜好等需求，為個性化產(chǎn)品推薦提供支持。

3.2.2能夠構(gòu)建產(chǎn)品、運(yùn)營及活動用戶行為評估

體系，通過數(shù)據(jù)分析對產(chǎn)品、運(yùn)營、市場提出建

3.2數(shù)據(jù)建模

議并推動實(shí)施。

3.2.3能夠使用不同維度和方法，對模型效果進(jìn)

行準(zhǔn)確性評估。

3.2.4能夠通過調(diào)整參數(shù)，使模型效果不斷優(yōu)化。

3.3.1能夠基于機(jī)器學(xué)習(xí)平臺，運(yùn)用神經(jīng)網(wǎng)絡(luò)、

3.3機(jī)器學(xué)習(xí)XGBoost、隨機(jī)森林等算法搭建基本的機(jī)器學(xué)習(xí)流

程。

9

T/CAICIXXXX—XXXX

3.3.2能夠基于機(jī)器學(xué)習(xí)平臺，根據(jù)業(yè)務(wù)需求進(jìn)

行分類、聚類分析。

3.3.3能夠基于機(jī)器學(xué)習(xí)平臺，根據(jù)用戶畫像分

析，構(gòu)建簡單的推薦系統(tǒng)。

3.3.4能夠基于機(jī)器學(xué)習(xí)平臺，根據(jù)用戶行為進(jìn)

行用戶流失預(yù)測。

4.1.1能夠使用數(shù)據(jù)可視化常用工具Excel、

Echarts、PowerBI、Tableau等。

4.1.2能夠根據(jù)業(yè)務(wù)需求，針對不同的數(shù)據(jù)指標(biāo)、

不同的分析維度選擇不同的圖表展現(xiàn)形式，掌握

商業(yè)智能的場景應(yīng)用實(shí)踐。

4.1數(shù)據(jù)可視化

4.數(shù)據(jù)可視化4.1.3能夠根據(jù)數(shù)據(jù)可視化方案和數(shù)據(jù)分析指

處理

標(biāo)，使用數(shù)據(jù)可視化工具完成數(shù)據(jù)BI報(bào)表的制作

與重要指標(biāo)的監(jiān)控預(yù)警。

4.1.4能夠構(gòu)建數(shù)據(jù)儀表盤及其他形式的分析報(bào)

告以滿足戰(zhàn)略及決策支持需要，完成數(shù)據(jù)展示大

屏的制作。

5.1.1能夠在業(yè)務(wù)主管的指導(dǎo)下根據(jù)數(shù)據(jù)分析可

視化結(jié)果，形成有條理、有邏輯的日報(bào)、周報(bào)、

月報(bào)、專題報(bào)告、行業(yè)分析報(bào)告等數(shù)據(jù)分析報(bào)告。

5.1.2能夠通過數(shù)據(jù)分析可視化結(jié)果，得出有效

5.1分析報(bào)告撰

5.報(bào)告撰寫的分析結(jié)論并體現(xiàn)在數(shù)據(jù)分析報(bào)告中。

寫

5.1.3能夠發(fā)現(xiàn)業(yè)務(wù)中存在的問題，給出解決建

議或提出對業(yè)務(wù)有促進(jìn)的建議，用管理層或業(yè)務(wù)

人員易于理解的方式及語言向其呈現(xiàn)，滿足信息

使用者的特定需求。

表3大數(shù)據(jù)分析師職業(yè)技能等級要求（高級）

工作領(lǐng)域工作任務(wù)職業(yè)技能要求

1.1.1能夠快速理解客戶需求，參與數(shù)據(jù)需求設(shè)

1.1需求咨詢計(jì)、數(shù)據(jù)模型的需求分析。

與分析1.1.2能夠根據(jù)業(yè)務(wù)需求構(gòu)建數(shù)據(jù)評估體系，對

企業(yè)數(shù)據(jù)進(jìn)行規(guī)范性評估。

1.2.1能夠獨(dú)立解答客戶關(guān)于大數(shù)據(jù)基礎(chǔ)理論相

1.大數(shù)據(jù)咨詢

關(guān)的問題。

與分析

1.2大數(shù)據(jù)技術(shù)1.2.2能夠獨(dú)立解答客戶關(guān)于大數(shù)據(jù)分析技術(shù)相

咨詢與分析關(guān)的問題。

1.2.3能夠根據(jù)實(shí)際業(yè)務(wù)情況，輸出大數(shù)據(jù)技術(shù)

說明文檔。

1.3大數(shù)據(jù)平臺1.3.1能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)平

10

T/CAICIXXXX—XXXX

咨詢臺及方案。

1.3.2能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)存

儲計(jì)算產(chǎn)品。

1.3.3能夠根據(jù)業(yè)務(wù)需求，選擇合適的大數(shù)據(jù)可

視化產(chǎn)品。

1.3.4能夠解答關(guān)于大數(shù)據(jù)平臺使用相關(guān)的問

題。

1.3.5能夠根據(jù)業(yè)務(wù)需求，輸出大數(shù)據(jù)分析解決

方案架構(gòu)圖及說明文檔。

1.3.6能夠通過大數(shù)據(jù)平臺，獨(dú)立進(jìn)行數(shù)據(jù)同

步、集成、開發(fā)、管理等工作。

2.1.1能夠熟練使用結(jié)構(gòu)化數(shù)據(jù)存儲工具，如關(guān)

系數(shù)據(jù)庫、結(jié)構(gòu)化查詢語言（SQL）。

2.1.2能夠安裝數(shù)據(jù)庫以及創(chuàng)建基本對象，如

MySQL、SQLServer、Oracle等，熟悉常用數(shù)據(jù)

庫之間數(shù)據(jù)的互相導(dǎo)入。

2.1數(shù)據(jù)存儲與查詢2.1.3能夠熟練使用非結(jié)構(gòu)化數(shù)據(jù)存儲工具。

2.1.4能夠熟悉數(shù)據(jù)庫開發(fā)及原理，熟練編寫簡

單存儲過程。

2.1.5能夠根據(jù)需求，使用SQL進(jìn)行數(shù)據(jù)查詢。

2.數(shù)據(jù)庫2.1.6能夠獨(dú)立使用大數(shù)據(jù)平臺實(shí)現(xiàn)數(shù)據(jù)庫與大

數(shù)據(jù)平臺之間的數(shù)據(jù)遷移。

2.2.1能夠配合大數(shù)據(jù)開發(fā)工程師進(jìn)行數(shù)據(jù)倉庫

方案設(shè)計(jì)，選擇合適的大數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)倉庫

搭建。

2.2.2能夠獨(dú)立使用數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)的ETL（抽

2.2數(shù)據(jù)倉庫

取、轉(zhuǎn)化、加載）操作。

2.2.3能夠基于大數(shù)據(jù)平臺完成數(shù)據(jù)倉庫的搭

建，包括數(shù)據(jù)的采集、同步、清洗、計(jì)算、分析、

展現(xiàn)等。

3.1.1能夠構(gòu)建基礎(chǔ)業(yè)務(wù)數(shù)據(jù)分析體系，幫助確

定各項(xiàng)業(yè)務(wù)數(shù)據(jù)指標(biāo)，統(tǒng)一指標(biāo)口徑。

3.1.2能夠編寫較為復(fù)雜的數(shù)據(jù)提取語句，準(zhǔn)確

地橫跨眾多業(yè)務(wù)線的底層數(shù)據(jù)表提取數(shù)據(jù)。

3.1.3能夠掌握相關(guān)算法如：多元回歸、時間序

3.數(shù)據(jù)挖掘分析3.1數(shù)據(jù)挖掘列預(yù)測法、樸素貝葉斯分類算法、支持向量機(jī)分

類算法、決策樹等算法。

3.1.4能夠掌握數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)工具如

SPSS、Python、SAS、Stata、MATLAB、R等。

3.1.5能夠基于數(shù)據(jù)挖掘分類算法，對業(yè)務(wù)目標(biāo)

進(jìn)行預(yù)測分析、監(jiān)控預(yù)警等。

11

T/CAICIXXXX—XXXX

3.2.1能夠構(gòu)建用戶數(shù)據(jù)模型，挖掘用戶屬性及

用戶喜好等需求，為個性化產(chǎn)品推薦提供支持。

3.2.2能夠構(gòu)建產(chǎn)品、運(yùn)營及活動用戶行為評估

體系，通過數(shù)據(jù)分析對產(chǎn)品、運(yùn)營、市場提出建

3.2數(shù)據(jù)建模

議并推動實(shí)施。

3.2.3能夠使用不同維度和方法，對模型效果進(jìn)

行準(zhǔn)確性評估。

3.2.4能夠通過調(diào)整參數(shù)，使模型效果不斷優(yōu)化。

3.3.1能夠基于機(jī)器學(xué)習(xí)平臺，運(yùn)用神經(jīng)網(wǎng)絡(luò)、

XGBoost、隨機(jī)森林等算法搭建基本的機(jī)器學(xué)習(xí)流

程。

3.3.2能夠基于機(jī)器學(xué)習(xí)平臺，根據(jù)業(yè)務(wù)需求進(jìn)

3.3機(jī)器學(xué)習(xí)行分類、聚類分析。

3.3.3能夠基于機(jī)器學(xué)習(xí)平臺，根據(jù)用戶畫像分

析，構(gòu)建簡單的推薦系統(tǒng)。

3.3.4能夠基于機(jī)器學(xué)習(xí)平臺，根據(jù)用戶行為進(jìn)

行用戶流失預(yù)測。

4.1.1能夠使用數(shù)據(jù)可視化常用工具Excel、

Echarts、PowerBI、Tableau等。

4.1.2能夠根據(jù)業(yè)務(wù)需求，針對不同的數(shù)據(jù)指標(biāo)、

不同的分析維度選擇不同的圖表展現(xiàn)形式，掌握

商業(yè)智能的場景應(yīng)用實(shí)踐。

4.1數(shù)據(jù)可視化

4.數(shù)據(jù)可視化4.1.3能夠根據(jù)數(shù)據(jù)可視化方案和數(shù)據(jù)分析指

處理

標(biāo)，使用數(shù)據(jù)可視化工具完成數(shù)據(jù)BI報(bào)表的制作

與重要指標(biāo)的監(jiān)控預(yù)警。

4.1.4能夠構(gòu)建數(shù)據(jù)儀表盤及其他形式的分析報(bào)

告以滿足戰(zhàn)略及決策支持需要，完成數(shù)據(jù)展示大

屏的制作。

5.1.1能夠在業(yè)務(wù)主管的指導(dǎo)下根據(jù)數(shù)據(jù)分析可

視化結(jié)果，形成有條理、有邏輯的日報(bào)、周報(bào)、

月報(bào)、專題報(bào)告、行業(yè)分析報(bào)告等數(shù)據(jù)分析報(bào)告。

5.1.2能夠通過數(shù)據(jù)分析可視化結(jié)果，得出有效

的分析結(jié)論并體現(xiàn)在數(shù)據(jù)分析報(bào)告中。

5.1分析報(bào)告撰

5.報(bào)告撰寫5.1.3能夠發(fā)現(xiàn)業(yè)務(wù)中存在的問題，給出解決建

寫

議或提出對業(yè)務(wù)有促進(jìn)的建議，用管理層或業(yè)務(wù)

人員易于理解的方式及語言向其呈現(xiàn)，滿足信息

使用者的特定需求。

5.1.4能夠圍繞企業(yè)的現(xiàn)狀與目標(biāo)，帶領(lǐng)團(tuán)隊(duì)完

成數(shù)據(jù)分析，并編寫復(fù)雜的數(shù)據(jù)分析報(bào)告。

6.大數(shù)據(jù)分析體系6.1大數(shù)據(jù)6.1.1能夠根據(jù)業(yè)務(wù)需求，基于云平臺進(jìn)行大數(shù)

構(gòu)建架構(gòu)規(guī)劃與設(shè)計(jì)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)并實(shí)現(xiàn)搭建部署。

12

T/CAICIXXXX—XXXX

6.1.2能夠根據(jù)業(yè)務(wù)需求，規(guī)劃設(shè)計(jì)自建大數(shù)據(jù)

系統(tǒng)往云上遷移的方案。

6.1.3能夠發(fā)現(xiàn)現(xiàn)有大數(shù)據(jù)系統(tǒng)架構(gòu)的問題，并

提出合理的優(yōu)化建議。

6.1.4能夠輸出完整的大數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)、優(yōu)

化文檔。

6.2.1能夠迅速理解業(yè)務(wù)和現(xiàn)有數(shù)據(jù)解決方式，

通過快速迭代測試并展示大數(shù)據(jù)和數(shù)據(jù)分析方

案。

6.2數(shù)據(jù)指標(biāo)體

6.2.2能夠有效參與業(yè)務(wù)的數(shù)據(jù)體系的策略規(guī)

系構(gòu)建

劃，提供有價值的建議。

6.2.3能夠思考業(yè)務(wù)的關(guān)鍵成功因素，搭建業(yè)務(wù)

分析框架。

6.3.1能夠進(jìn)行深入的市場調(diào)研，對用戶行為進(jìn)

行分析，不斷優(yōu)化數(shù)據(jù)分析模型。

6.3.2能夠通過海量數(shù)據(jù)的挖掘和分析，形成報(bào)

告，匯報(bào)給決策層，支持戰(zhàn)略規(guī)劃。

6.3行業(yè)認(rèn)知及前瞻性研

6.3.3能夠熟練應(yīng)用數(shù)據(jù)分析技術(shù)，不僅在深度

究

上，并且要在廣度上了解最新技術(shù)進(jìn)展和突破，

并能因時制宜地應(yīng)用在實(shí)際場景中。

6.3.4能夠根據(jù)最新技術(shù)及產(chǎn)品，不斷優(yōu)化數(shù)據(jù)

分析架構(gòu)及系統(tǒng)。

8.2.2大數(shù)據(jù)開發(fā)工程師職業(yè)技能等級要求描述

表4大數(shù)據(jù)開發(fā)工程師職業(yè)技能等級要求（初級）

工作領(lǐng)域工作任務(wù)職業(yè)技能要求

1.1.1能夠創(chuàng)建虛擬機(jī)及安裝Linux操作系統(tǒng)。

1.1.2能夠區(qū)分Linux系統(tǒng)種類。

1.創(chuàng)建Linux系統(tǒng)1.1Linu操作系統(tǒng)安裝和

1.1.3能夠了解Linux系統(tǒng)管理。

環(huán)境使用

1.1.4能夠部署及配置Linux。

1.1.5能夠編寫shell腳本。

2.1.1能夠熟悉分布式系統(tǒng)概念、架構(gòu)。

2.1.2能夠了解Hadoop的核心和特點(diǎn)。

2.1了解Hadoop大數(shù)據(jù)2.1.3能夠獨(dú)立完成Hadoop平臺安裝，配置

2.大數(shù)據(jù)平臺架構(gòu)

架構(gòu)的部署Hadoop環(huán)境變量。

2.1.4能夠厘清HDFS的前提和設(shè)計(jì)目標(biāo)。

2.1.5能夠編寫并運(yùn)行MapReduce程序。

3.大數(shù)據(jù)應(yīng)用基礎(chǔ)3.1熟練掌握3.1.1能夠根據(jù)開發(fā)團(tuán)隊(duì)的要求，正確安裝配置

13