T/MIITEC006-2021

大數(shù)據(jù)產(chǎn)業(yè)人才崗位能力要求

BigDataIndustrialTalentsCompetencyFramework

2021-10-21發(fā)布2021-10-21實(shí)施

工業(yè)和信息化部人才交流中心發(fā)布

T/MIITEC006-2021

大數(shù)據(jù)產(chǎn)業(yè)人才崗位能力要求

1范圍

本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)主要方向崗位能力要求。

本標(biāo)準(zhǔn)適用于指導(dǎo)各單位開展大數(shù)據(jù)領(lǐng)域人才培養(yǎng)、人才評價(jià)、人才招聘、人才引進(jìn)等工作。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。

GB/T35295-2017《信息技術(shù)大數(shù)據(jù)術(shù)語》

GB/T35589-2017《信息技術(shù)大數(shù)據(jù)技術(shù)參考模型》

GB/T36073-2018《數(shù)據(jù)管理能力成熟度評估模型》

T/MIITEC004-2020《工業(yè)和信息化人才崗位能力評價(jià)通則》

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

大數(shù)據(jù)bigdata

具有體量巨大、來源多樣、生成極快、且多變等特征并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包

含大量數(shù)據(jù)集的數(shù)據(jù)。

[來源：GB/T35295-2017《信息技術(shù)大數(shù)據(jù)術(shù)語》，2.1.1]

3.2

非結(jié)構(gòu)化數(shù)據(jù)unstructureddata

不具有預(yù)定義模型或未以預(yù)定義方式組織的數(shù)據(jù)。

[來源：GB/T35295-2017，2.1.25]

3.3

大數(shù)據(jù)生存周期模型lifecyclemodelforbigdata

1

T/MIITEC006-2021

用于描述大數(shù)據(jù)的“數(shù)據(jù)—信息—知識—價(jià)值”生存周期和指導(dǎo)大數(shù)據(jù)相關(guān)活動(dòng)的模型;這些活動(dòng)

主要由收集、準(zhǔn)備、分析和行動(dòng)等階段覆蓋。

[來源：GB/T35295-2017《信息技術(shù)大數(shù)據(jù)術(shù)語》，2.1.26]

3.4

數(shù)據(jù)挖掘datamining

從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。

[來源：GB/T35295-2017，2.2.9]

3.5

數(shù)據(jù)預(yù)處理datapreprocessing

包括數(shù)據(jù)驗(yàn)證、清洗、標(biāo)準(zhǔn)化、格式化和存儲。

[來源：GB/T35589-2017《信息技術(shù)大數(shù)據(jù)技術(shù)參考模型》，7.3.3]

3.6

數(shù)據(jù)處理dataprocessing

數(shù)據(jù)操作的系統(tǒng)執(zhí)行。

[來源：GB/T35295-2017《信息技術(shù)大數(shù)據(jù)術(shù)語》，2.2.2]

3.7

數(shù)據(jù)管理datamanagement

在數(shù)據(jù)處理系統(tǒng)中,提供對數(shù)據(jù)的訪問,執(zhí)行或監(jiān)視數(shù)據(jù)的存儲,以及控制輸入輸出操作等功

能。

[來源：GB/T35295-2017《信息技術(shù)大數(shù)據(jù)術(shù)語》，2.2.3]

3.8

大數(shù)據(jù)服務(wù)bigdataservice

基于大數(shù)據(jù)參考體系結(jié)構(gòu)提供的數(shù)據(jù)服務(wù)。

[來源：GB/T35295-2017，2.1.15]

4大數(shù)據(jù)主要方向及崗位

4.1主要方向

2

T/MIITEC006-2021

根據(jù)大數(shù)據(jù)技術(shù)體系及對人才的需求，本標(biāo)準(zhǔn)圍繞數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)分析、產(chǎn)品開發(fā)、

項(xiàng)目實(shí)施與運(yùn)維、平臺建設(shè)、數(shù)據(jù)安全、數(shù)據(jù)管理、運(yùn)營與應(yīng)用、咨詢服務(wù)等10個(gè)方向?qū)θ瞬诺膷徫?/p>

能力進(jìn)行說明。

4.2主要崗位及職責(zé)

本標(biāo)準(zhǔn)主要涉及以下大數(shù)據(jù)崗位，具體如表1所示。

表1大數(shù)據(jù)各方向主要崗位及職責(zé)

序號方向崗位名稱崗位職責(zé)

負(fù)責(zé)大數(shù)據(jù)采集方案設(shè)計(jì)與開發(fā)，實(shí)現(xiàn)基于系統(tǒng)集成、

01數(shù)據(jù)采集工程師

日志、網(wǎng)絡(luò)爬蟲等的數(shù)據(jù)采集

負(fù)責(zé)發(fā)現(xiàn)和處理數(shù)據(jù)異常，制定確保數(shù)據(jù)質(zhì)量的流程和

02數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗工程師

制度

負(fù)責(zé)設(shè)計(jì)和開發(fā)大數(shù)據(jù)存儲系統(tǒng)，解決存儲性能優(yōu)化、

03數(shù)據(jù)存儲工程師

容量規(guī)劃

負(fù)責(zé)合法、合規(guī)地采集人工智能算法所需特定結(jié)構(gòu)化和

04標(biāo)注采集工程師

非結(jié)構(gòu)化數(shù)據(jù)

負(fù)責(zé)數(shù)據(jù)標(biāo)注方案的執(zhí)行，保證標(biāo)注質(zhì)量、數(shù)據(jù)質(zhì)量和

05數(shù)據(jù)標(biāo)注工程師

數(shù)量

數(shù)據(jù)標(biāo)注

負(fù)責(zé)數(shù)據(jù)質(zhì)檢和驗(yàn)收、質(zhì)檢人員培訓(xùn)考核、數(shù)據(jù)質(zhì)量反

06標(biāo)注質(zhì)檢工程師

饋與改善

負(fù)責(zé)數(shù)據(jù)采集、標(biāo)注、質(zhì)檢項(xiàng)目方案制定與執(zhí)行、質(zhì)量

07標(biāo)注管理工程師

把控和交付

負(fù)責(zé)選擇、組合或定制化設(shè)計(jì)適合問題模型的求解算

08數(shù)據(jù)算法工程師

法，并對算法進(jìn)行調(diào)優(yōu)、性能分析與泛化能力評價(jià)

負(fù)責(zé)利用算法從大量數(shù)據(jù)中搜索隱藏于其中的信息，提

09數(shù)據(jù)挖掘工程師

高大數(shù)據(jù)利用效率

數(shù)據(jù)分析

負(fù)責(zé)數(shù)據(jù)統(tǒng)計(jì)分析、深度挖掘分析與業(yè)務(wù)預(yù)測，并形成

10數(shù)據(jù)分析工程師

分析報(bào)告

11數(shù)據(jù)可視化工程師負(fù)責(zé)開發(fā)數(shù)據(jù)可視化產(chǎn)品、輸出數(shù)據(jù)可視化圖表和報(bào)告

12數(shù)據(jù)產(chǎn)品架構(gòu)工程師負(fù)責(zé)大數(shù)據(jù)產(chǎn)品架構(gòu)設(shè)計(jì)和優(yōu)化

13數(shù)據(jù)開發(fā)工程師負(fù)責(zé)大數(shù)據(jù)產(chǎn)品技術(shù)方案設(shè)計(jì)與大數(shù)據(jù)應(yīng)用開發(fā)

產(chǎn)品開發(fā)

14數(shù)據(jù)測試工程師負(fù)責(zé)大數(shù)據(jù)產(chǎn)品質(zhì)量控制活動(dòng)

負(fù)責(zé)大數(shù)據(jù)產(chǎn)品需求、規(guī)劃、設(shè)計(jì)、交付、產(chǎn)品持續(xù)迭

15大數(shù)據(jù)產(chǎn)品經(jīng)理

代優(yōu)化

負(fù)責(zé)大數(shù)據(jù)項(xiàng)目售前技術(shù)方案的編寫，協(xié)同制定項(xiàng)目整

16大數(shù)據(jù)解決方案工程師

體實(shí)施方案

項(xiàng)目實(shí)施與運(yùn)維

17數(shù)據(jù)實(shí)施工程師負(fù)責(zé)大數(shù)據(jù)項(xiàng)目現(xiàn)場部署、實(shí)施、跟進(jìn)

3

T/MIITEC006-2021

負(fù)責(zé)大數(shù)據(jù)項(xiàng)目基礎(chǔ)環(huán)境、硬件、軟件、安全運(yùn)維及運(yùn)

18數(shù)據(jù)運(yùn)維工程師

維管理

負(fù)責(zé)企業(yè)級大數(shù)據(jù)平臺的架構(gòu)設(shè)計(jì)與建設(shè)方案制定，統(tǒng)

19數(shù)據(jù)平臺架構(gòu)師

籌大數(shù)據(jù)平臺建設(shè)實(shí)施

20平臺建設(shè)數(shù)據(jù)平臺開發(fā)工程師負(fù)責(zé)基于企業(yè)級大數(shù)據(jù)平臺進(jìn)行平臺軟件定制開發(fā)

21數(shù)據(jù)平臺運(yùn)維工程師負(fù)責(zé)完成大數(shù)據(jù)平臺的部署、監(jiān)控、分析、調(diào)優(yōu)

負(fù)責(zé)制定大數(shù)據(jù)安全體系頂層規(guī)劃與設(shè)計(jì)，設(shè)計(jì)組織架

22數(shù)據(jù)安全架構(gòu)工程師

構(gòu)和安全管理體系

負(fù)責(zé)分析、評估大數(shù)據(jù)中存在的威脅、漏洞及風(fēng)險(xiǎn)，并

23數(shù)據(jù)安全數(shù)據(jù)安全評估工程師

提出改進(jìn)措施

負(fù)責(zé)大數(shù)據(jù)安全巡檢、安全加固、脆弱性檢查、滲透性

24數(shù)據(jù)安全運(yùn)維工程師

測試應(yīng)急保障

25數(shù)據(jù)治理工程師負(fù)責(zé)制定大數(shù)據(jù)戰(zhàn)略、組織結(jié)構(gòu)、規(guī)章制度

數(shù)據(jù)管理

26數(shù)據(jù)管理工程師負(fù)責(zé)大數(shù)據(jù)全生命周期管理

負(fù)責(zé)大數(shù)據(jù)平臺、社區(qū)、生態(tài)、產(chǎn)品、數(shù)據(jù)、內(nèi)容等具

27數(shù)據(jù)運(yùn)營工程師

體的運(yùn)營推廣工作

運(yùn)營與應(yīng)用

28數(shù)據(jù)應(yīng)用工程師負(fù)責(zé)垂直行業(yè)大數(shù)據(jù)價(jià)值挖掘與大數(shù)據(jù)應(yīng)用開發(fā)和推廣

負(fù)責(zé)提供大數(shù)據(jù)平臺建設(shè)、數(shù)據(jù)全生命周期管理、業(yè)務(wù)

29大數(shù)據(jù)咨詢師

數(shù)字化及數(shù)字業(yè)務(wù)化解決方案的咨詢服務(wù)

30咨詢服務(wù)大數(shù)據(jù)培訓(xùn)師負(fù)責(zé)大數(shù)據(jù)培訓(xùn)方案設(shè)計(jì)、課程開發(fā)、人才培養(yǎng)

負(fù)責(zé)社群用戶和交互數(shù)據(jù)的安全可追溯，打造符合定位

31社群管理師

的社群內(nèi)容與產(chǎn)品

5大數(shù)據(jù)產(chǎn)業(yè)人才崗位能力要素

本標(biāo)準(zhǔn)從綜合能力、專業(yè)知識、技術(shù)技能、工程實(shí)踐能力四個(gè)維度提出了大數(shù)據(jù)產(chǎn)業(yè)人才崗位能

力要素。

表2大數(shù)據(jù)產(chǎn)業(yè)人才崗位能力要素列表

維度要素說明

指相應(yīng)崗位人才為完成工作任務(wù)所應(yīng)具備的行為特征和綜合素質(zhì)，包括學(xué)

綜合能力軟能力

習(xí)追蹤、溝通協(xié)調(diào)、需求與趨勢分析、業(yè)務(wù)場景把握等技能

指相應(yīng)崗位人才應(yīng)掌握的通用知識，主要包括基本理論、相關(guān)標(biāo)準(zhǔn)與規(guī)范

基礎(chǔ)知識

知識以及有關(guān)法律法規(guī)、安全、隱私等

專業(yè)知識

指相應(yīng)崗位人才完成工作任務(wù)所必備的知識，主要指與具體崗位要求相適

專業(yè)知識

應(yīng)的理論知識、技術(shù)要求和操作規(guī)程等

指相應(yīng)崗位人才為完成工作任務(wù)所應(yīng)具備的對基礎(chǔ)知識應(yīng)用的水平以及熟

基本技能

練程度

技術(shù)技能

指相應(yīng)崗位人才為完成工作任務(wù)所應(yīng)具備的對專業(yè)知識應(yīng)用的水平以及對

專業(yè)技能

特殊工具使用的掌握

工程實(shí)踐經(jīng)驗(yàn)指相應(yīng)崗位人才在實(shí)際工程與項(xiàng)目推進(jìn)中應(yīng)當(dāng)具備的經(jīng)驗(yàn)

4

T/MIITEC006-2021

6大數(shù)據(jù)產(chǎn)業(yè)人才崗位能力要求

6.1大數(shù)據(jù)預(yù)處理崗位能力要求

6.1.1數(shù)據(jù)采集工程師

a）綜合能力

——熟悉大數(shù)據(jù)采集匯聚技術(shù)體系及其發(fā)展趨勢；

——熟悉典型應(yīng)用場景下大數(shù)據(jù)采集的解決方案和流程；

——具備良好的溝通表達(dá)及團(tuán)隊(duì)合作能力；

b）專業(yè)知識

——熟悉典型文件采集、日志采集、消息采集、DPI采集原理及方案；

——熟悉網(wǎng)絡(luò)協(xié)議，如TCP/IP、FTP、HTTP等技術(shù)原理，了解COAP、MQTT等物聯(lián)網(wǎng)協(xié)

議技術(shù)原理；

——熟悉HTML技術(shù)、正則表達(dá)式及爬蟲原理；

——熟悉多進(jìn)程/多線程并發(fā)處理及容器化技術(shù)；

——熟悉大數(shù)據(jù)采集相關(guān)的標(biāo)準(zhǔn)與規(guī)范知識、有關(guān)法律法規(guī)以及行業(yè)準(zhǔn)則；

c）技術(shù)技能

——熟悉標(biāo)準(zhǔn)SQL語言，熟練至少一種常用關(guān)系型數(shù)據(jù)庫，如MySQL、PostgreSQL等；

——熟悉至少一種常用編程語言，如Python、GO、Java等，具備編程基本技能及良好的代

碼編寫習(xí)慣；

——熟悉網(wǎng)頁爬取技術(shù)，熟練使用Scrapy等常見爬蟲框架，并且可做二次開發(fā)；

——熟悉ELKB日志采集分析方案，熟練使用如Logstash、Beats等常見日志采集工具；

——熟悉如Kafka、Flume、RocketMQ、RabbitMQ等消息隊(duì)列方案，為不同類型的大數(shù)據(jù)

計(jì)算框架提供數(shù)據(jù)匯聚；

——熟悉至少一種NoSQL數(shù)據(jù)庫、分布式文件系統(tǒng)、ETL工具，如MongoDB、HDFS、

Sqoop等；

d）工程實(shí)踐

——具備日志分析、網(wǎng)頁數(shù)據(jù)爬取、數(shù)據(jù)庫數(shù)據(jù)采集、傳感器或移動(dòng)終端數(shù)據(jù)采集等典型

業(yè)務(wù)場景下數(shù)據(jù)采集方案的設(shè)計(jì)和開發(fā)經(jīng)驗(yàn)；

——具備良好的項(xiàng)目方案及技術(shù)文檔編制能力；

——具備典型業(yè)務(wù)場景下數(shù)據(jù)采集系統(tǒng)的建設(shè)、實(shí)施、運(yùn)維經(jīng)驗(yàn)。

6.1.2數(shù)據(jù)清洗工程師

a）綜合能力

——熟悉數(shù)據(jù)治理體系、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)稽核方法，以及行業(yè)發(fā)展趨勢；

——具備良好的溝通能力和表達(dá)能力，善于學(xué)習(xí)和歸納，能夠獨(dú)立開展業(yè)務(wù)調(diào)研、規(guī)范制

定、流程設(shè)計(jì)、報(bào)告編寫工作；

——具備良好的協(xié)調(diào)能力和合作精神，善于配合開展數(shù)據(jù)采集、加工、存儲、分析工作；

b）專業(yè)知識

——掌握統(tǒng)計(jì)學(xué)、應(yīng)用數(shù)學(xué)相關(guān)知識，了解數(shù)據(jù)分析常用手段及其數(shù)學(xué)原理；

——熟悉常見的數(shù)據(jù)清洗方法和流程；

——熟悉常見的數(shù)據(jù)預(yù)處理方法，如數(shù)據(jù)轉(zhuǎn)換、平滑處理、規(guī)范化處理和數(shù)據(jù)脫敏的方法

和原則；

5

T/MIITEC006-2021

——掌握管理學(xué)知識、工程統(tǒng)籌知識，熟悉人機(jī)協(xié)作計(jì)劃制定的關(guān)鍵要素；

——掌握常用數(shù)據(jù)庫的管理和使用方法、常用數(shù)據(jù)庫間數(shù)據(jù)傳輸技術(shù)，掌握標(biāo)準(zhǔn)SQL語言；

——了解數(shù)據(jù)質(zhì)量相關(guān)的標(biāo)準(zhǔn)與規(guī)范知識；

c）技術(shù)技能

——熟悉使用編程語言或清洗工具進(jìn)行數(shù)據(jù)清洗，如Java、Python、Kettle等；

——熟悉Hadoop生態(tài)組件，如Hive、HDFS、HBase、Spark、Storm、Flume、Kafka等；

——熟悉標(biāo)準(zhǔn)SQL語言，能熟練使用和管理常用數(shù)據(jù)庫；

——熟悉至少一種主流NoSQL數(shù)據(jù)庫，熟悉至少一種主流關(guān)系型數(shù)據(jù)庫；

——熟悉Linux，能熟練使用Shell、Python等腳本語言，并編寫自動(dòng)化腳本；

——熟練運(yùn)用統(tǒng)計(jì)方法進(jìn)行數(shù)據(jù)統(tǒng)計(jì)；

d）工程實(shí)踐

——具備數(shù)據(jù)倉庫建模、設(shè)計(jì)ETL數(shù)據(jù)抽取流程、設(shè)計(jì)任務(wù)調(diào)度、制定維護(hù)作業(yè)計(jì)劃、按

照數(shù)據(jù)存儲結(jié)構(gòu)進(jìn)行數(shù)據(jù)清洗的經(jīng)驗(yàn)；

——具備設(shè)計(jì)稽核點(diǎn)的經(jīng)驗(yàn)，能合理設(shè)計(jì)稽核邏輯，完成完整性、一致性、及時(shí)性、準(zhǔn)確

性稽核；

——具備相當(dāng)?shù)奈臋n撰寫能力，能夠完成系統(tǒng)運(yùn)維文檔、維護(hù)作業(yè)計(jì)劃、應(yīng)急處理方案等

文檔的編寫。

6.1.3數(shù)據(jù)存儲工程師

a）綜合能力

——熟悉典型應(yīng)用場景下大數(shù)據(jù)存儲需求及問題解決的方案；

——具備良好的學(xué)習(xí)能力，能夠跟蹤大數(shù)據(jù)存儲技術(shù)發(fā)展趨勢；

——具備良好的溝通能力和表達(dá)能力；

b）專業(yè)知識

——熟悉大數(shù)據(jù)存儲分類、存儲方式、處理特性、數(shù)據(jù)庫數(shù)據(jù)模型、數(shù)據(jù)庫存儲與處理架

構(gòu)等相關(guān)知識；

——熟悉分布式文件系統(tǒng)HDFS基礎(chǔ)知識、熟悉NoSQL數(shù)據(jù)庫，如列數(shù)據(jù)庫Hbase、文檔

型數(shù)據(jù)庫MongoDB、鍵值數(shù)據(jù)庫Redis等的相關(guān)技術(shù)原理和運(yùn)行機(jī)制；

——熟悉關(guān)系數(shù)據(jù)庫概念、原理和應(yīng)用場景；

——了解云數(shù)據(jù)庫的概念、基本原理和代表性產(chǎn)品的使用方法；

——了解大數(shù)據(jù)安全存儲方法；

c）技術(shù)技能

——熟悉常見分布式文件系統(tǒng)，如HDFS、FastDFS等系統(tǒng)的操作和使用；

——熟悉列數(shù)據(jù)庫HBase、文檔型數(shù)據(jù)庫MongoDB、鍵值數(shù)據(jù)庫Redis等NoSQL數(shù)據(jù)庫的

部署及使用；

——熟悉標(biāo)準(zhǔn)的SQL語言，熟練使用常用關(guān)系數(shù)據(jù)庫如Oracle、MySQL等；

——熟悉常用的數(shù)據(jù)庫中間件如Hibernate、Mango、Cobar等的部署及應(yīng)用；

——熟悉一種主流編程語言、腳本語言、大數(shù)據(jù)相關(guān)編程語言，具備較強(qiáng)的編碼能力和良

好的代碼編寫習(xí)慣；

——能夠制定多副本存儲，數(shù)據(jù)備份和恢復(fù)數(shù)據(jù)備份，故障恢復(fù)與遷移故障恢復(fù)方案；

d）工程實(shí)踐

——具備相當(dāng)?shù)拇髷?shù)據(jù)存儲需求分析與存儲架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)；

——具備相當(dāng)?shù)拇髷?shù)據(jù)項(xiàng)目相關(guān)數(shù)據(jù)庫部署經(jīng)驗(yàn)。

6

T/MIITEC006-2021

6.2大數(shù)據(jù)標(biāo)注崗位能力要求

6.2.1標(biāo)注采集工程師

a）綜合能力

——了解人工智能產(chǎn)業(yè)發(fā)展趨勢；

——了解數(shù)據(jù)標(biāo)注典型業(yè)務(wù)場景和業(yè)務(wù)流程；

——具備良好的溝通表達(dá)及團(tuán)隊(duì)合作能力；

——熟悉人工智能數(shù)據(jù)相關(guān)的需求和定義，掌握解析、采集項(xiàng)目需求文檔的能力；

b）專業(yè)知識

——熟悉數(shù)據(jù)采集作業(yè)的規(guī)范和操作流程；

——了解常見數(shù)據(jù)類型采集所需的專業(yè)設(shè)備及型號；

——掌握數(shù)據(jù)采集相關(guān)知識，了解數(shù)據(jù)標(biāo)注工具組件功能；

——掌握人工智能、深度學(xué)習(xí)、語音識別、計(jì)算機(jī)視覺、自然語言理解等基礎(chǔ)知識和原理；

——深入了解數(shù)據(jù)標(biāo)注規(guī)范及質(zhì)檢標(biāo)準(zhǔn)；

c）技術(shù)技能

——掌握合法合規(guī)獲取人工智能數(shù)據(jù)的渠道和方法；

——掌握專業(yè)采集環(huán)境及工具（含硬件）的搭建和調(diào)配；

——掌握復(fù)雜場景或?qū)I(yè)領(lǐng)域的數(shù)據(jù)采集任務(wù)技能，且數(shù)據(jù)質(zhì)量滿足規(guī)范要求；

——掌握特定需求下的數(shù)據(jù)采集場景搭建能力；

——能夠熟練應(yīng)用數(shù)據(jù)采集軟件，具備對于指定數(shù)據(jù)采集設(shè)備應(yīng)用的快速學(xué)習(xí)能力；

——能夠獨(dú)立完成采集工具部署以及采集腳本開發(fā)準(zhǔn)備；

d）工程實(shí)踐

——具備完成通用領(lǐng)域，不涉及專業(yè)采集設(shè)備的簡單數(shù)據(jù)和復(fù)雜數(shù)據(jù)采集任務(wù)的能力；

——具備完成復(fù)雜場景或?qū)I(yè)領(lǐng)域的數(shù)據(jù)采集任務(wù)的能力，如3D點(diǎn)云采集、3D人臉采集

等。

6.2.2數(shù)據(jù)標(biāo)注工程師

a）綜合能力

——了解人工智能產(chǎn)業(yè)發(fā)展趨勢；

——了解數(shù)據(jù)標(biāo)注典型業(yè)務(wù)場景和業(yè)務(wù)流程；

——具備良好的溝通表達(dá)及團(tuán)隊(duì)合作能力；

——熟悉人工智能數(shù)據(jù)相關(guān)的需求和定義，掌握解析、標(biāo)注項(xiàng)目需求文檔的能力；

b）專業(yè)知識

——掌握人工智能基礎(chǔ)知識和原理；

——熟悉數(shù)據(jù)標(biāo)注作業(yè)的架構(gòu)體系和操作流程；

——熟悉數(shù)據(jù)標(biāo)注工具組件功能；

——了解數(shù)據(jù)標(biāo)注的工作內(nèi)容，使用范圍及形式，熟悉各項(xiàng)標(biāo)注類型；

——掌握數(shù)據(jù)標(biāo)注規(guī)范及質(zhì)檢標(biāo)準(zhǔn)；

c）技術(shù)技能

——具備解析標(biāo)注項(xiàng)目需求文檔的能力；

——熟練使用人工智能數(shù)據(jù)標(biāo)注工具和平臺；

——掌握復(fù)雜場景、專業(yè)領(lǐng)域的數(shù)據(jù)標(biāo)注能力，且標(biāo)注數(shù)據(jù)質(zhì)量滿足規(guī)范要求；

——熟悉Windows、Linux等常見操作系統(tǒng)、常用辦公軟件；

7

T/MIITEC006-2021

——具備保密條件下的數(shù)據(jù)標(biāo)注能力；

d）工程實(shí)踐

——具備完成通用領(lǐng)域簡單數(shù)據(jù)標(biāo)注任務(wù)的能力，如圖像標(biāo)框、視頻切割標(biāo)注、語音切分

標(biāo)注、中文朗讀普通話轉(zhuǎn)寫標(biāo)注和中文實(shí)體名標(biāo)注等；

——具備完成通用領(lǐng)域復(fù)雜數(shù)據(jù)標(biāo)注任務(wù)的能力，如人臉106點(diǎn)關(guān)鍵點(diǎn)標(biāo)注、視頻人體追

蹤標(biāo)注、方言識別標(biāo)注、文本相關(guān)性判斷標(biāo)注等；

——具備完成復(fù)雜場景或?qū)I(yè)領(lǐng)域的數(shù)據(jù)標(biāo)注任務(wù)的能力，如圖文混合標(biāo)注、3D點(diǎn)云標(biāo)

注、航空語音標(biāo)注等。

6.2.3標(biāo)注質(zhì)檢工程師

a）綜合能力

——了解采集和標(biāo)注數(shù)據(jù)的典型應(yīng)用場景；

——掌握解析采集和標(biāo)注項(xiàng)目需求文檔的能力；

——具備總結(jié)提煉能力，能夠?qū)⒐ぷ鲗?shí)踐上升為理論與經(jīng)驗(yàn)；

b）專業(yè)知識

——掌握人工智能、深度學(xué)習(xí)、語音識別、計(jì)算機(jī)視覺、自然語言理解等基礎(chǔ)知識和原

理；

——熟悉質(zhì)檢審核作業(yè)操作規(guī)范和流程；

——掌握樣本抽樣檢測知識，能夠合理設(shè)計(jì)有效質(zhì)檢方案；

c）技術(shù)技能

——熟練應(yīng)用數(shù)據(jù)標(biāo)注工具進(jìn)行在線數(shù)據(jù)審核與修改；

——掌握各類數(shù)據(jù)格式，能夠?qū)崿F(xiàn)對數(shù)據(jù)交付技術(shù)參數(shù)的檢查；

——掌握復(fù)雜場景和專業(yè)領(lǐng)域內(nèi)的數(shù)據(jù)質(zhì)量要求、評判標(biāo)準(zhǔn)和質(zhì)檢/驗(yàn)收流程，具有擬定

驗(yàn)收標(biāo)準(zhǔn)的能力；

——能夠完成項(xiàng)目質(zhì)檢，對已有的質(zhì)量問題提供改善方案，并對驗(yàn)收結(jié)果負(fù)責(zé)；

d）工程實(shí)踐

——具備全類型數(shù)據(jù)標(biāo)注結(jié)構(gòu)審核與修改經(jīng)驗(yàn)；

——具備根據(jù)項(xiàng)目需求，完成相應(yīng)的質(zhì)檢任務(wù)并按照流程反饋質(zhì)檢結(jié)果的能力；

——具備完成復(fù)雜場景或?qū)I(yè)領(lǐng)域的數(shù)據(jù)標(biāo)注項(xiàng)目質(zhì)檢能力。

6.2.4標(biāo)注管理工程師

a）綜合能力

——了解人工智能產(chǎn)業(yè)發(fā)展趨勢；

——了解數(shù)據(jù)標(biāo)注典型業(yè)務(wù)場景和業(yè)務(wù)流程；

——具備大項(xiàng)目、項(xiàng)目集管理與溝通能力；

——能夠建立清晰的項(xiàng)目數(shù)據(jù)集管理機(jī)制；

b）專業(yè)知識

——掌握項(xiàng)目管理相關(guān)知識；

——了解數(shù)據(jù)定制服務(wù)的報(bào)價(jià)規(guī)則；

——了解工期管控和精準(zhǔn)預(yù)測的方法；

——掌握人工智能數(shù)據(jù)生產(chǎn)工藝流程；

c）技術(shù)技能

——熟悉項(xiàng)目環(huán)境，能夠針對不同標(biāo)注項(xiàng)目制定特定標(biāo)注流程、配置對應(yīng)工具模板；

8

T/MIITEC006-2021

——熟悉項(xiàng)目范圍管理，能夠使用標(biāo)注工具和平臺執(zhí)行在線任務(wù)分配；

——具備項(xiàng)目風(fēng)險(xiǎn)管理能力，能夠制定項(xiàng)目計(jì)劃，管控項(xiàng)目資源，控制項(xiàng)目整體風(fēng)險(xiǎn)；

——熟悉項(xiàng)目約束，能夠把握項(xiàng)目進(jìn)度、質(zhì)量與成本間的平衡關(guān)系，合理控制項(xiàng)目變更；

——熟悉項(xiàng)目文檔管理，能夠完成項(xiàng)目交付文檔，匯報(bào)項(xiàng)目整體進(jìn)展，總結(jié)項(xiàng)目實(shí)踐經(jīng)

驗(yàn)；

d）工程實(shí)踐

——具備豐富的數(shù)據(jù)采集、標(biāo)注、質(zhì)檢項(xiàng)目經(jīng)驗(yàn)；

——熟悉項(xiàng)目操作規(guī)范和流程，具備組建與帶領(lǐng)團(tuán)隊(duì)的組織協(xié)調(diào)經(jīng)驗(yàn)，完成數(shù)據(jù)采集、

標(biāo)注任務(wù)，且數(shù)據(jù)質(zhì)量滿足規(guī)范要求。

6.3大數(shù)據(jù)分析崗位能力要求

6.3.1數(shù)據(jù)算法工程師

a）綜合能力

——熟悉大數(shù)據(jù)算法演進(jìn)及其演化趨勢，具備典型業(yè)務(wù)場景下的算法應(yīng)用能力；

——具備優(yōu)秀的抽象建模能力、邏輯思維能力，獨(dú)立將現(xiàn)實(shí)問題轉(zhuǎn)化為數(shù)學(xué)模型；

——具備良好的溝通技巧和推動(dòng)能力，能夠正確理解業(yè)務(wù)需求，并能夠選擇合適的算法方

案；

b）專業(yè)知識

——熟悉數(shù)據(jù)結(jié)構(gòu)與算法，熟悉概率論、數(shù)理統(tǒng)計(jì)、線性代數(shù)、隨機(jī)過程、最優(yōu)化理論等

相關(guān)基礎(chǔ)知識；

——熟悉折半、倍增、搜索、分治、貪心、暴力、構(gòu)造等基礎(chǔ)算法；

——熟悉常見的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型、原理和應(yīng)用場景；

——掌握大數(shù)據(jù)生命周期管理方法；

——熟悉大數(shù)據(jù)平臺基礎(chǔ)知識及相應(yīng)的大數(shù)據(jù)算法運(yùn)行環(huán)境及其并行算法框架；

c）技術(shù)技能

——了解一種或多種主流深度學(xué)習(xí)框架，如TensorFlow、PyTorch、MXNet、Caffe、

Theano等，具備根據(jù)實(shí)際應(yīng)用場景設(shè)計(jì)算法和算法調(diào)優(yōu)的能力；

——熟悉MATLAB等仿真工具，熟悉數(shù)據(jù)分析工具SAS、SPSS等的使用；

——熟悉Hadoop生態(tài)組件，如Hive、HDFS、HBase、Spark、Storm、Flume、Kafka等；

——熟悉Oracle、MySQL、SQLServer等關(guān)系型數(shù)據(jù)庫及相應(yīng)的數(shù)據(jù)庫中間件，熟悉標(biāo)準(zhǔn)

SQL語言使用；

——熟悉使用Java、C++、Scala、Python、R等編程語言，具備扎實(shí)可靠的編程能力及良

好的代碼編寫習(xí)慣；

——熟悉Hadoop、Spark、Storm、Flink等常見的大數(shù)據(jù)計(jì)算框架；

d）工程實(shí)踐

——具備相當(dāng)?shù)拇髷?shù)據(jù)算法分析研發(fā)經(jīng)驗(yàn)；

——具備相當(dāng)?shù)拇髷?shù)據(jù)算法優(yōu)化經(jīng)驗(yàn)。

6.3.2數(shù)據(jù)挖掘工程師

a）綜合能力

——熟悉大數(shù)據(jù)下數(shù)據(jù)挖掘各方法體系及其應(yīng)用領(lǐng)域的現(xiàn)狀和發(fā)展趨勢；

——掌握典型的數(shù)據(jù)分析與數(shù)據(jù)挖掘的任務(wù)場景和問題解決過程；

——掌握數(shù)據(jù)分析思維方法，善于溝通并充分理解需求；

9

T/MIITEC006-2021

——掌握良好的業(yè)務(wù)建模能力，能夠協(xié)調(diào)數(shù)據(jù)團(tuán)隊(duì)、業(yè)務(wù)團(tuán)隊(duì)協(xié)同工作；

b）專業(yè)知識

——熟悉數(shù)據(jù)結(jié)構(gòu)與算法，熟悉概率論、數(shù)理統(tǒng)計(jì)、線性代數(shù)、隨機(jī)過程、最優(yōu)化理論等

相關(guān)基礎(chǔ)知識；

——掌握常見數(shù)據(jù)挖掘算法的原理和應(yīng)用，如分類算法、聚類算法、回歸算法、關(guān)聯(lián)分析

算法、特征工程算法；

——熟悉數(shù)據(jù)采樣、數(shù)據(jù)透視、數(shù)據(jù)集成、缺失值處理、異常值檢測、異常值處理、標(biāo)準(zhǔn)

化等數(shù)據(jù)預(yù)處理方法；

——了解多層感知機(jī)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成式對抗網(wǎng)絡(luò)等深度神經(jīng)網(wǎng)絡(luò)的

原理和應(yīng)用；

c）技術(shù)技能

——熟練使用Pandas、Numpy、Matplotlib、Scikit-learn等數(shù)據(jù)處理與挖掘算法包；

——掌握數(shù)據(jù)庫的原理和標(biāo)準(zhǔn)SQL語言的使用；

——掌握交互式數(shù)據(jù)挖掘分析工具OrangeDataming的使用；

——掌握大數(shù)據(jù)平臺下的SparkSQL查詢語句和SparkMLlib機(jī)器學(xué)習(xí)框架；

——了解至少一種深度學(xué)習(xí)算法框架，如Tensorflow、PyTorch、飛槳等；

d）工程實(shí)踐

——具備相當(dāng)?shù)墓こ虘?yīng)用能力，能夠權(quán)衡并解決工程應(yīng)用中的性能、安全、隱私、成本等

問題；

——具備相當(dāng)?shù)奈臋n撰寫能力，能夠撰寫分析報(bào)告以及應(yīng)用開發(fā)方案等。

6.3.3數(shù)據(jù)分析工程師

a）綜合能力

——熟悉大數(shù)據(jù)分析技術(shù)體系及其發(fā)展趨勢；

——熟悉典型應(yīng)用場景下大數(shù)據(jù)分析的需求場景和解決方案；

——具備良好的溝通能力和表達(dá)能力，善于進(jìn)行數(shù)據(jù)分析成果的推廣和輔助決策；

b）專業(yè)知識

——熟悉統(tǒng)計(jì)學(xué)、應(yīng)用數(shù)學(xué)相關(guān)知識，了解數(shù)據(jù)分析常用手段及其數(shù)學(xué)原理；

——掌握數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫、數(shù)據(jù)建模、數(shù)據(jù)挖掘、數(shù)據(jù)分析等知識；

——掌握數(shù)據(jù)分析常見分類、基本原理與常見數(shù)據(jù)分析方法；

——掌握基本數(shù)據(jù)分析方法和高級數(shù)據(jù)分析方法，如數(shù)據(jù)統(tǒng)計(jì)分析與特征描述、數(shù)據(jù)相關(guān)

性分析、分類分析、回歸分析、聚類分析、異常檢測、離群點(diǎn)分析等；

——了解大數(shù)據(jù)分析相關(guān)的標(biāo)準(zhǔn)、規(guī)范知識以及有關(guān)法律法規(guī)；

c）技術(shù)技能

——掌握常用于統(tǒng)計(jì)分析、交互式分析、批處理分析和實(shí)時(shí)流分析等的數(shù)據(jù)分析工具，如

SAS、SPSS、HiveSQL/SparkSQL等；

——熟悉至少一種主流編程語言、腳本語言和大數(shù)據(jù)相關(guān)編程語言，如Java、Python、

Scala等，具備編程基本技能及良好的代碼編寫習(xí)慣；

——熟悉主流NoSQL數(shù)據(jù)庫，如Hbase、Kudu、Redis、MongoDB等，熟悉至少一種主流

關(guān)系型數(shù)據(jù)庫，如Oracle、SQLServer、MySQL等；

——熟悉SQL、HQL等數(shù)據(jù)庫編程語言及相關(guān)管理工具，熟悉腳本語言開發(fā)和優(yōu)化提升；

——熟悉Hadoop、Spark、Storm、Flink等常見的大數(shù)據(jù)計(jì)算框架；

d）工程實(shí)踐

10

T/MIITEC006-2021

——具備較強(qiáng)的典型業(yè)務(wù)場景下的數(shù)據(jù)敏感性和分析能力，有能力選擇適合的數(shù)據(jù)分析方

法；

——具備較強(qiáng)的大數(shù)據(jù)項(xiàng)目分析經(jīng)驗(yàn)；

——具備一定的大數(shù)據(jù)分析環(huán)境搭建經(jīng)驗(yàn)。

6.3.4數(shù)據(jù)可視化工程師

a）綜合能力

——熟悉大數(shù)據(jù)下數(shù)據(jù)可視化相關(guān)技術(shù)和方法的應(yīng)用領(lǐng)域和發(fā)展趨勢；

——掌握常見業(yè)務(wù)場景下的數(shù)據(jù)可視化方案；

——掌握數(shù)據(jù)分析思維方法和一定的美學(xué)設(shè)計(jì)原則；

——掌握利用數(shù)據(jù)可視化技術(shù)解決具體問題的方法；

b）專業(yè)知識

——掌握數(shù)據(jù)可視化的含義、作用和基本流程，熟悉數(shù)據(jù)可視化基本工具和數(shù)據(jù)可視化科

學(xué)研究工具的類型和應(yīng)用領(lǐng)域；

——掌握OLAP方法的定義及應(yīng)用，掌握數(shù)據(jù)多維分析方法的原理；

——掌握常用的數(shù)據(jù)統(tǒng)計(jì)分析方法，掌握常用統(tǒng)計(jì)指標(biāo)的含義及用法；

——掌握商業(yè)場景數(shù)據(jù)分析與可視化理論和方法；

——掌握J(rèn)ava服務(wù)端開發(fā)框架，包括SpringBoot、JPA、SpringSecurity等；

——掌握J(rèn)avaScript面向?qū)ο蟮乃枷胍约癕VVM的前端開發(fā)理論；

c）技術(shù)技能

——精通數(shù)據(jù)庫的原理和標(biāo)準(zhǔn)SQL語言的使用；

——精通一款商業(yè)級可視化分析工具或圖表制作工具；

——精通Hive、HBase、SparkSQL、MongoDB等NoSQL數(shù)據(jù)庫應(yīng)用與查詢優(yōu)化；

——精通至少一門應(yīng)用數(shù)據(jù)開發(fā)語言，如Java語言、Python語言等；

——理解并掌握J(rèn)avaScript語言核心技術(shù)，如DOM、BOM、Ajax、JSON等；

——熟練常見前端框架及工具庫，如Webpack、Vue.js、jQuery、RequireJs；

——熟悉常見網(wǎng)頁前端數(shù)據(jù)可視化技術(shù)，如Echarts、Highcharts、D3.js等；

d）工程實(shí)踐

——具備相當(dāng)?shù)臉I(yè)務(wù)需求分析能力，能夠發(fā)現(xiàn)數(shù)據(jù)可視化分析的目標(biāo)問題；

——具備相當(dāng)?shù)臄?shù)據(jù)可視化技術(shù)應(yīng)用能力，能夠完成數(shù)據(jù)可視化分析過程；

——具備相當(dāng)?shù)奈臋n撰寫能力，能夠撰寫數(shù)據(jù)分析報(bào)告，并提出業(yè)務(wù)問題的解決方案；

——具備一定的產(chǎn)品設(shè)計(jì)能力，研究并持續(xù)改善產(chǎn)品的質(zhì)量、性能和用戶體驗(yàn)。

6.4大數(shù)據(jù)產(chǎn)品開發(fā)崗位能力要求

6.4.1數(shù)據(jù)產(chǎn)品架構(gòu)工程師

a）綜合能力

——具備較強(qiáng)的學(xué)習(xí)能力，能夠跟進(jìn)大數(shù)據(jù)產(chǎn)品架構(gòu)技術(shù)發(fā)展趨勢；

——熟悉典型的大數(shù)據(jù)業(yè)務(wù)場景，掌握大數(shù)據(jù)產(chǎn)品架構(gòu)方法；

——具有責(zé)任感和團(tuán)隊(duì)意識，能夠推動(dòng)大數(shù)據(jù)產(chǎn)品開發(fā)落地；

b）專業(yè)知識

——熟悉分布式系統(tǒng)的基礎(chǔ)知識和架構(gòu)體系；

——掌握大數(shù)據(jù)分布式架構(gòu)理論、設(shè)計(jì)原則、常見架構(gòu)等相關(guān)知識；

11

T/MIITEC006-2021

——掌握大數(shù)據(jù)相關(guān)技術(shù)，熟悉大數(shù)據(jù)典型業(yè)務(wù)流程、應(yīng)用方式，熟知大數(shù)據(jù)架構(gòu)設(shè)計(jì)中

部署架構(gòu)、安全架構(gòu)相關(guān)規(guī)范及設(shè)計(jì)實(shí)現(xiàn)的要求；

——熟悉我國現(xiàn)行的大數(shù)據(jù)標(biāo)準(zhǔn)體系，熟悉大數(shù)據(jù)架構(gòu)相關(guān)技術(shù)分類、技術(shù)標(biāo)準(zhǔn)，能夠按

照相關(guān)標(biāo)準(zhǔn)規(guī)范設(shè)計(jì)和實(shí)施大數(shù)據(jù)架構(gòu)；

——熟悉大數(shù)據(jù)主流技術(shù)，如大數(shù)據(jù)開發(fā)技術(shù)、分布式技術(shù)、數(shù)據(jù)倉庫技術(shù)、緩存技術(shù)、

大數(shù)據(jù)安全相關(guān)技術(shù)等，熟知相關(guān)技術(shù)的原理、特點(diǎn)、應(yīng)用方式；

c）技術(shù)技能

——熟悉分布式技術(shù)如分布式消息、分布式計(jì)算、分布式存儲、分布式監(jiān)控、分布式版本

控制、微服務(wù)及容器技術(shù)的使用場景和常用工具；

——熟悉大數(shù)據(jù)產(chǎn)品微服務(wù)架構(gòu)環(huán)境，如OpenStack、Docker、Kubernetes、Istio等；

——掌握基于ToGAF架構(gòu)方法展開業(yè)務(wù)架構(gòu)、應(yīng)用架構(gòu)、技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)、部署架構(gòu)、

安全架構(gòu)，且能夠根據(jù)具體業(yè)務(wù)場景及需求設(shè)計(jì)并實(shí)施架構(gòu)；

——熟悉大數(shù)據(jù)架構(gòu)所需的實(shí)時(shí)性、可靠性、一致性等核心指標(biāo)及實(shí)現(xiàn)方案；

——熟悉至少一種主流編程語言、腳本語言、大數(shù)據(jù)相關(guān)編程語言，如Java、Python、

Scala等，具備較強(qiáng)的編碼能力和良好的代碼編寫習(xí)慣；

d）工程實(shí)踐

——具備較強(qiáng)的高并發(fā)、分布式環(huán)境下的架構(gòu)需求分析與設(shè)計(jì)經(jīng)驗(yàn)；

——具備相當(dāng)?shù)拇髷?shù)據(jù)產(chǎn)品項(xiàng)目架構(gòu)開發(fā)經(jīng)驗(yàn)。

6.4.2數(shù)據(jù)開發(fā)工程師

a）綜合能力

——具備較強(qiáng)的學(xué)習(xí)能力，能夠跟進(jìn)大數(shù)據(jù)開發(fā)技術(shù)發(fā)展趨勢；

——能夠熟悉典型的大數(shù)據(jù)業(yè)務(wù)場景，進(jìn)而把握大數(shù)據(jù)產(chǎn)品開發(fā)的方向和目標(biāo)；

——具備良好的溝通協(xié)調(diào)能力，團(tuán)隊(duì)意識強(qiáng)；

b）專業(yè)知識

——熟悉大數(shù)據(jù)生命周期管理方法，包括大數(shù)據(jù)采集、預(yù)處理、存儲、分析和可視化；

——掌握Hadoop生態(tài)圈各功能組件基本概念、主要特點(diǎn)、運(yùn)行機(jī)制；

——掌握SQL、NoSQL數(shù)據(jù)庫原理及應(yīng)用場景；

——熟悉分布式存儲和大規(guī)模數(shù)據(jù)批量計(jì)算的實(shí)現(xiàn)原理；

——熟悉分布式計(jì)算框架的核心思想和適用場景；

——熟悉分布式資源管理框架在通用資源管理和調(diào)度方面的工作機(jī)制；

——掌握大數(shù)據(jù)產(chǎn)品開發(fā)過程和方法；

c）技術(shù)技能

——熟悉常見分布式計(jì)算框架，如MapReduce、Flink、Storm、Spark/SparkStreaming等；

——熟悉分布式數(shù)據(jù)存儲相關(guān)技術(shù)，如HDFS、HBase、Hive等；

——熟悉大數(shù)據(jù)采集環(huán)境，包括Flume、Kafka、Sqoop、RocketMQ、RabbitMQ等；

——熟悉分布式資源管理與集群協(xié)調(diào)工具，如YARN、ZooKeeper等；

——熟悉主流NoSQL數(shù)據(jù)庫，如HBase、Kudu、Redis、MongoDB等，熟悉至少一種主流

關(guān)系型數(shù)據(jù)庫，如Oracle、SQLServer、MySQL等；

——熟悉SQL、HQL等數(shù)據(jù)庫編程語言及相關(guān)管理工具，熟悉腳本開發(fā)和優(yōu)化提升；

——熟悉至少一種主流編程語言、腳本語言、大數(shù)據(jù)相關(guān)編程語言，如Java、Python、

Scala等，具備較強(qiáng)的編碼能力和良好的代碼編寫習(xí)慣；

——具備一定的大數(shù)據(jù)應(yīng)用工程項(xiàng)目規(guī)劃、設(shè)計(jì)、管理能力；

12

T/MIITEC006-2021

d）工程實(shí)踐

——具備相當(dāng)?shù)拇髷?shù)據(jù)開發(fā)環(huán)境搭建經(jīng)驗(yàn)和大數(shù)據(jù)項(xiàng)目開發(fā)經(jīng)驗(yàn)；

——具備一定的大數(shù)據(jù)項(xiàng)目技術(shù)管理經(jīng)驗(yàn)。

6.4.3數(shù)據(jù)測試工程師

a）綜合能力

——具備較強(qiáng)的學(xué)習(xí)能力，能夠跟進(jìn)大數(shù)據(jù)測試技術(shù)發(fā)展趨勢；

——熟悉典型的大數(shù)據(jù)業(yè)務(wù)場景；

——具有良好的邏輯思維能力、業(yè)務(wù)分析能力、溝通和表達(dá)能力；

b）專業(yè)知識

——熟悉大數(shù)據(jù)測試方案、測試計(jì)劃、測試用例、測試報(bào)告等的編寫方法，以及測試用例

執(zhí)行和測試結(jié)果分析的方法；

——熟悉大數(shù)據(jù)系統(tǒng)測試常見的測試模型、測試類型、測試方法；

——熟悉大數(shù)據(jù)生命周期管理方法，包括數(shù)據(jù)采集方法、數(shù)據(jù)清洗方法、數(shù)據(jù)存儲架構(gòu)、

數(shù)據(jù)分析算法、數(shù)據(jù)可視化方法等；

——熟悉大數(shù)據(jù)平臺架構(gòu)和運(yùn)行機(jī)制；

——熟悉數(shù)據(jù)質(zhì)量保證和質(zhì)量控制的基本方法、基本流程和工作產(chǎn)品；

——了解設(shè)計(jì)和開發(fā)測試工具和自動(dòng)化測試框架的方法；

c）技術(shù)技能

——能夠搭建大數(shù)據(jù)測試環(huán)境，包括平臺環(huán)境、架構(gòu)環(huán)境、采集環(huán)境、存儲環(huán)境、測試平

臺等；

——能夠根據(jù)測試方案和測試計(jì)劃，編寫和執(zhí)行測試用例，輸出測試報(bào)告，并不斷優(yōu)化測

試過程、提高測試效率；

——能夠選擇合適的測試方法和測試工具進(jìn)行不同類型的測試，熟悉常用的Bug管理跟蹤

工具，熟悉主流性能測試工具，如JMeter等；

——熟悉大數(shù)據(jù)自動(dòng)化測試框架，具備自動(dòng)化測試腳本編寫能力；

d）工程實(shí)踐

——具備相當(dāng)?shù)拇髷?shù)據(jù)測試環(huán)境搭建經(jīng)驗(yàn)；

——具備相當(dāng)?shù)拇髷?shù)據(jù)用例編寫和執(zhí)行經(jīng)驗(yàn)；

——具備相當(dāng)?shù)臏y試結(jié)果分析和測試報(bào)告編寫經(jīng)驗(yàn)。

6.4.4大數(shù)據(jù)產(chǎn)品經(jīng)理

a）綜合能力

——熟悉大數(shù)據(jù)產(chǎn)品技術(shù)體系及大數(shù)據(jù)產(chǎn)品發(fā)展趨勢，熟悉典型的大數(shù)據(jù)產(chǎn)品業(yè)務(wù)場景；

——具備良好的溝通和協(xié)調(diào)能力，能夠把握產(chǎn)品關(guān)鍵點(diǎn)和用戶痛點(diǎn)，并能簡明扼要的表達(dá)

產(chǎn)品的價(jià)值點(diǎn)；

——了解行業(yè)趨勢，善于捕捉市場、技術(shù)、競爭者等各種變化對產(chǎn)品發(fā)展的影響，收集用

戶體驗(yàn)與市場需求，發(fā)掘確認(rèn)創(chuàng)新或改進(jìn)產(chǎn)品的機(jī)會；

b）專業(yè)知識

——掌握大數(shù)據(jù)及其產(chǎn)品的生命周期管理方法；

——熟悉大數(shù)據(jù)產(chǎn)品技術(shù)環(huán)境，如大數(shù)據(jù)平臺構(gòu)成及運(yùn)行機(jī)制、大數(shù)據(jù)存儲環(huán)境和大數(shù)據(jù)

計(jì)算環(huán)境；

13

T/MIITEC006-2021

——熟悉大數(shù)據(jù)產(chǎn)品敏捷開發(fā)方法，如產(chǎn)品規(guī)劃方法、產(chǎn)品設(shè)計(jì)方法、產(chǎn)品實(shí)現(xiàn)方法和產(chǎn)

品測試方法，熟悉BRD/MRD/PRD/FSD等文檔撰寫；

——了解大數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)與規(guī)范知識以及有關(guān)法律法規(guī)；

c）技術(shù)技能

——掌握需求調(diào)研、需求分析、產(chǎn)品策劃、原型設(shè)計(jì)、Demo制作等所需的工具，如

XMind、Axure、Visio等；

——熟悉需求調(diào)研、需求分析，能夠完成產(chǎn)品策劃、原型設(shè)計(jì)、Demo制作、產(chǎn)品流程和

交互設(shè)計(jì)，完成BRD/MRD/PRD/FSD等文檔的撰寫和管理；

——熟悉常用大數(shù)據(jù)分析平臺及相應(yīng)數(shù)據(jù)分析工具，如Hadoop、Spark、Storm等；

——熟悉標(biāo)準(zhǔn)SQL語言，了解常用編程語言Python、Scala、R等的一種；

——了解常用的SQL和NoSQL數(shù)據(jù)庫，如Oracle、HBase、MongoDB等；

d）工程實(shí)踐

——具備相當(dāng)?shù)漠a(chǎn)品設(shè)計(jì)經(jīng)驗(yàn)，能夠開展業(yè)務(wù)調(diào)研、需求分析、產(chǎn)品設(shè)計(jì)等工作；

——具備相當(dāng)?shù)拇髷?shù)據(jù)產(chǎn)品策劃、設(shè)計(jì)、開發(fā)和應(yīng)用管理經(jīng)驗(yàn)。

6.5大數(shù)據(jù)項(xiàng)目實(shí)施與運(yùn)維崗位能力要求

6.5.1大數(shù)據(jù)解決方案工程師

a）綜合能力

——具備較強(qiáng)的分析和撰寫方案的能力；

——具備較強(qiáng)的溝通技巧和文案呈現(xiàn)能力；

——熟悉大數(shù)據(jù)行業(yè)的應(yīng)用場景，發(fā)掘整合行業(yè)生態(tài)應(yīng)用；

——熟悉大數(shù)據(jù)行業(yè)相關(guān)標(biāo)準(zhǔn)及生態(tài)系統(tǒng)的發(fā)展趨勢；

b）專業(yè)知識

——熟悉國內(nèi)外大數(shù)據(jù)安全政策法規(guī)及標(biāo)準(zhǔn)；

——熟悉大數(shù)據(jù)平臺的硬件選型標(biāo)準(zhǔn)及常用的組網(wǎng)架構(gòu)；

——熟悉數(shù)據(jù)庫范式、數(shù)據(jù)倉庫、商務(wù)智能等理論知識；

——熟悉大數(shù)據(jù)常用的架構(gòu)，了解主流的批流一體、湖倉一體方案；

——熟悉產(chǎn)品原型設(shè)計(jì)的理論及人機(jī)交互設(shè)計(jì)的知識；

——了解業(yè)務(wù)關(guān)系管理、業(yè)務(wù)營銷、財(cái)務(wù)管理等IT服務(wù)營銷相關(guān)知識；

c）技術(shù)技能

——掌握IT基礎(chǔ)架構(gòu)設(shè)計(jì)技能，包括當(dāng)前主流的服務(wù)器、存儲、網(wǎng)絡(luò)、安全等產(chǎn)品；

——熟悉常用關(guān)系型數(shù)據(jù)庫與大數(shù)據(jù)平臺的整合方案等；

——熟悉批處理及流處理的大數(shù)據(jù)集群組建方案，如Hadoop、Spark、Storm、Flink等；

——熟悉云原生環(huán)境下大數(shù)據(jù)與容器、K8S編排、存算分離的整合方案；

——熟悉常用的數(shù)據(jù)治理工具及數(shù)據(jù)安全管理工具，如Atlas、Ranger、Sentry等；

d）工程實(shí)踐

——具備政務(wù)、交通、旅游、教育等大數(shù)據(jù)行業(yè)項(xiàng)目售前支持、策劃、調(diào)研與方案編寫等

的實(shí)踐經(jīng)驗(yàn)；

——具備調(diào)研、梳理及分析客戶痛點(diǎn)的能力，完成有針對性的行業(yè)解決方案規(guī)劃及設(shè)計(jì)；

——具備較強(qiáng)的辦公軟件操作能力，能有效撰寫技術(shù)方案書，繪制網(wǎng)絡(luò)拓?fù)?、?shù)據(jù)流圖

等。

6.5.2數(shù)據(jù)實(shí)施工程師

14

T/MIITEC006-2021

a）綜合能力

——了解大數(shù)據(jù)技術(shù)體系及其發(fā)展趨勢，熟悉常見的大數(shù)據(jù)實(shí)施場景；

——具備良好的溝通能力、表達(dá)能力和項(xiàng)目管理能力，能夠有效推動(dòng)項(xiàng)目落地；

——具備較強(qiáng)的責(zé)任心和質(zhì)量意識，實(shí)施過程能夠滿足系統(tǒng)設(shè)計(jì)要求；

b）專業(yè)知識

——熟悉大數(shù)據(jù)平臺相關(guān)的基礎(chǔ)知識和技術(shù)原理；

——熟悉大數(shù)據(jù)項(xiàng)目實(shí)施的主要階段、主要內(nèi)容和關(guān)鍵活動(dòng)，如個(gè)性化定制、系統(tǒng)部署、

系統(tǒng)培訓(xùn)、系統(tǒng)驗(yàn)收和系統(tǒng)運(yùn)維；

——了解大數(shù)據(jù)項(xiàng)目生命周期的各個(gè)階段；

——了解大數(shù)據(jù)實(shí)施相關(guān)的標(biāo)準(zhǔn)、規(guī)范知識以及有關(guān)法律法規(guī)和項(xiàng)目管理知識領(lǐng)域；

c）技術(shù)技能

——熟悉主流版本的Linux和WindowsServer等服務(wù)器版操作系統(tǒng)的部署和管理；

——熟悉常見的大數(shù)據(jù)平臺及生態(tài)組件，如Hadoop、HDFS、HBase、Spark、Storm、

Flume、Kafka、Hive等；

——熟悉主流的資源管理與調(diào)度系統(tǒng)、大數(shù)據(jù)采集系統(tǒng)、大數(shù)據(jù)存儲平臺、大數(shù)據(jù)計(jì)算環(huán)

境的安裝和部署；

——熟悉常用思維導(dǎo)圖、產(chǎn)品原型工具，如XMind、Axure、Visio等；

——熟悉項(xiàng)目實(shí)施過程，能夠根據(jù)項(xiàng)目需要開展定制開發(fā)、系統(tǒng)部署、系統(tǒng)培訓(xùn)、系統(tǒng)驗(yàn)

收和系統(tǒng)運(yùn)維等活動(dòng)；

d）工程實(shí)踐

——具備相當(dāng)?shù)拇髷?shù)據(jù)項(xiàng)目部署和實(shí)施經(jīng)驗(yàn)，推動(dòng)系統(tǒng)上線與驗(yàn)收工作；

——具備相當(dāng)?shù)奈臋n撰寫能力，能夠完成項(xiàng)目需求說明書和驗(yàn)收報(bào)告等文檔的編寫。

6.5.3數(shù)據(jù)運(yùn)維工程師

a）綜合能力

——具備較強(qiáng)的學(xué)習(xí)能力，能夠跟蹤大數(shù)據(jù)運(yùn)維技術(shù)發(fā)展趨勢；

——具備服務(wù)意識，能夠與用戶進(jìn)行有效溝通，提升用戶滿意度；

——具備較強(qiáng)的預(yù)防意識和責(zé)任心，能夠發(fā)現(xiàn)大數(shù)據(jù)系統(tǒng)運(yùn)行過程中存在的問題和隱患，

并及時(shí)解決；

b）專業(yè)知識

——熟悉計(jì)算機(jī)硬件組成原理、操作系統(tǒng)原理、計(jì)算機(jī)網(wǎng)絡(luò)、服務(wù)器硬件等基礎(chǔ)知識；

——熟悉大數(shù)據(jù)平臺構(gòu)架，具備大數(shù)據(jù)平臺相關(guān)組件安裝部署及日常運(yùn)維的基礎(chǔ)知識；

——熟悉信息系統(tǒng)運(yùn)維方法論和大數(shù)據(jù)系統(tǒng)運(yùn)維相關(guān)知識，包括大數(shù)據(jù)系統(tǒng)安裝部署、安

全配置、事件處理、問題診斷、日志分析、性能調(diào)優(yōu)等；

——掌握大數(shù)據(jù)運(yùn)維平臺構(gòu)成、運(yùn)行機(jī)制和使用方法，掌握自動(dòng)化運(yùn)維方法和自動(dòng)化運(yùn)維

腳本編寫方法；

——熟悉主流IT運(yùn)維方法論和規(guī)范標(biāo)準(zhǔn)，如DevOps、ITIL等；

c）技術(shù)技能

——熟悉大數(shù)據(jù)系統(tǒng)運(yùn)維技能，包括操作系統(tǒng)安裝配置、大數(shù)據(jù)系統(tǒng)安裝部署、安全配置、

問題診斷與處理、性能調(diào)優(yōu)等；

——熟悉常見自動(dòng)化運(yùn)維語言或工具，如Python、Shell等；

——熟練常見自動(dòng)化運(yùn)維配置管理工具、自動(dòng)化運(yùn)維監(jiān)控管理工具，如Puppet、Zabbix等；

15

T/MIITEC006-2021

——熟悉Hadoop主流生態(tài)組件的使用，熟悉主流分布式開發(fā)組件的安裝部署及調(diào)優(yōu)；

——了解設(shè)計(jì)和開發(fā)自動(dòng)化運(yùn)維與監(jiān)控的工具；

d）工程實(shí)踐

——具備自動(dòng)化運(yùn)維工具的使用經(jīng)驗(yàn)；

——具備相當(dāng)?shù)南到y(tǒng)問題發(fā)現(xiàn)與處置經(jīng)驗(yàn)；

——具備一定的運(yùn)維管理經(jīng)驗(yàn)。

6.6大數(shù)據(jù)平臺建設(shè)崗位能力要求

6.6.1數(shù)據(jù)平臺架構(gòu)師

a）綜合能力

——熟悉主流大數(shù)據(jù)平臺技術(shù)體系以及發(fā)展趨勢；

——熟悉根據(jù)各類場景設(shè)計(jì)大數(shù)據(jù)平臺建設(shè)的解決方案；

——具備良好的溝通能力、組織協(xié)調(diào)能力；

——具備較強(qiáng)的建設(shè)方案文檔與項(xiàng)目文檔撰寫能力；

b）專業(yè)知識

——熟悉大數(shù)據(jù)平臺生態(tài)體系各類組件的原理、開發(fā)方法、部署方法以及調(diào)優(yōu)方法；

——掌握大數(shù)據(jù)平臺整體設(shè)計(jì)方法，包含數(shù)據(jù)采集與處理、離線計(jì)算、實(shí)時(shí)計(jì)算、作業(yè)調(diào)

度、數(shù)據(jù)能力開放、平臺安全管理等；

——熟悉元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)生命周期管理

等數(shù)據(jù)治理理論知識；

——熟悉分布式系統(tǒng)模型、遠(yuǎn)程調(diào)用RPC、分布式協(xié)調(diào)與同步機(jī)制等分布式系統(tǒng)理論知識；

——了解機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能等數(shù)據(jù)挖掘相關(guān)理論知識；

——了解Devops開發(fā)運(yùn)維一體化、AIops智能運(yùn)維等高級運(yùn)維體系建設(shè)理論知識；

——了解信息系統(tǒng)安全管理、計(jì)算機(jī)網(wǎng)絡(luò)安全等安全理論知識以及國內(nèi)外數(shù)據(jù)安全政策法