1、大數(shù)據(jù)運維工程師的崗位職責通用參考模板八篇大數(shù)據(jù)運維工程師需要負責銀行各類應(yīng)用系統(tǒng)的運維標準制定和運維管理等工作。下面是小編為大家?guī)淼拇髷?shù)據(jù)運維工程師的崗位職責模板八篇，希望大家能夠喜歡 大數(shù)據(jù)運維工程師的崗位職責1 職責： 負責公司大數(shù)據(jù)業(yè)務(wù)集群的運維工作、集群容量規(guī)劃、擴容及性能優(yōu)化; 設(shè)計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺; 參與業(yè)務(wù)架構(gòu)設(shè)計，在設(shè)計階段給出可運維性改進建議; 深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運維技及發(fā)展方向; 負責公司大數(shù)據(jù)平臺的應(yīng)用監(jiān)控、容量管理，應(yīng)急響應(yīng)等; 領(lǐng)導(dǎo)安排的其他工作。 任職要求： 1、本科及以上學(xué)歷，軟件工程

2、、計算機等相關(guān)專業(yè); 2、熟悉計算機原理、網(wǎng)絡(luò)原理等知識;至少2年以上運維或開發(fā)工作經(jīng)驗; 3、搭建，管理及調(diào)優(yōu)Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等開源項目優(yōu)先; 4、至少掌握java/python/go中的一種語言; 5、熟悉HBase/Flink/mysql/redis運維優(yōu)先; 6、熟悉zabbix/graphit/grafana加分; 7、具有很強的分析和解決問題的能力; 8、具有攻克難題的強烈興趣，以及提升技術(shù)能力的意愿; 9、善于主動學(xué)習(xí)，責任心強，能夠承受較大的工作壓力。 大數(shù)據(jù)運維工程師的崗位職責2 職

3、責： 1. 負責公司核心集群的運維工作,保證其高可用和穩(wěn)定性。 2. 負責集群容量規(guī)劃、擴容及集群性能優(yōu)化。 3. 深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的Hadoop運維技術(shù)及發(fā)展方向。 4. 設(shè)計實現(xiàn)分布式集群的運維、監(jiān)控和管理平臺。 職位要求： 1.2年以上中等規(guī)模集群環(huán)境下的Hadoop/Impala/Hive/Spark集群相關(guān)運維經(jīng)驗。 2.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關(guān)參數(shù)調(diào)優(yōu), 性能優(yōu)化等有實際經(jīng)驗。 3.有實際踩坑經(jīng)歷, 對于相關(guān)組件的版本跟進, 補丁跟蹤, bug追蹤等有相關(guān)經(jīng)驗。 4.實際處理過各種集群

4、在線版本升級, 數(shù)據(jù)遷移, 集群擴容, 穩(wěn)定性監(jiān)控等工作。 4.熟悉Kerberos安全認證系統(tǒng)，實施過集群權(quán)限管理, 資源隔離方面的方案規(guī)劃或二次開發(fā)工作。 5.有Cloudera的CM使用經(jīng)驗尤佳。 大數(shù)據(jù)運維工程師的崗位職責3 職責： 1.負責公司大數(shù)據(jù)業(yè)務(wù)集群的運維工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)確保高可用; 2.負責大數(shù)據(jù)平臺的日常部署、升級、擴容、遷移; 3.設(shè)計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺; 4.參與業(yè)務(wù)架構(gòu)設(shè)計，在設(shè)計階段給出可運維性改進建議; 5.深入

5、研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運維技及發(fā)展方向; 6.兼顧應(yīng)用系統(tǒng)的運維工作。 任職要求： 1.要求掌握java、shell語言，有Spring Cloud微服務(wù)架構(gòu)開發(fā)經(jīng)驗的優(yōu)先; 2.了解Docker，可以做簡單應(yīng)用; 3.熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等開源項目優(yōu)先; 4.熟悉Linux操作系統(tǒng)的配置、管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層面的問題; 5.掌握puppet、kerberos應(yīng)用的優(yōu)先; 6.良好的客戶服務(wù)意識，強烈的責任心和使命感，執(zhí)行力強，富有團隊合作

6、精神; 7.對大數(shù)據(jù)方向運維有很高的熱情和興趣，能主動學(xué)習(xí)了解相關(guān)知識; 大數(shù)據(jù)運維工程師的崗位職責4 職責： 1、負責公司服務(wù)器日常的維護，包括巡檢、故障排除、數(shù)據(jù)備份等業(yè)務(wù)，保證服務(wù)器高質(zhì)量、高效率運行狀態(tài); 2、負責公司大數(shù)據(jù)產(chǎn)品的現(xiàn)場實施，制定可靠的實施方案; 3、負責公司大數(shù)據(jù)環(huán)境(hadoop生態(tài))集群環(huán)境安裝、維護、部署、優(yōu)化; 【任職資格】 1、至少2年服務(wù)器、大數(shù)據(jù)集群運維經(jīng)驗; 2、精通linux運維命令，熟悉Linux的維護和管理，熟悉Shell腳本開發(fā)，能看懂Python/Scala優(yōu)先; 3、熟悉大數(shù)據(jù)項目實施：包括不限于hadoop、hive、kafka、hbase

7、、spark、Kudu、Impala等大數(shù)據(jù)生態(tài)的平臺搭建，監(jiān)控，運維，調(diào)優(yōu)、生產(chǎn)環(huán)境; 4、熟悉docker技術(shù)優(yōu)先; 5、熟練使用git版本控制，jenkins持續(xù)集成工具優(yōu)先; 6、具備強烈的進取心、自我學(xué)習(xí)能力,良好的溝通能力和團隊合作意識。 大數(shù)據(jù)運維工程師的崗位職責5 職責： 1、負責公司大數(shù)據(jù)平臺的部署、管理、優(yōu)化、監(jiān)控報警，保障平臺服務(wù)7_24穩(wěn)定可靠高效運行; 2、深入理解公司大數(shù)據(jù)平臺架構(gòu)，發(fā)現(xiàn)并解決性能瓶頸，支撐業(yè)務(wù)和數(shù)據(jù)量的快速增長; 3、開發(fā)大數(shù)據(jù)自動化運維、監(jiān)控報警、故障處理相關(guān)腳本和工具; 4、負責Hadoop/spark/Mysql等集群服務(wù)、業(yè)務(wù)監(jiān)控、持續(xù)交付

8、、應(yīng)急響應(yīng)、容量規(guī)劃等。 任職要求： 1、3年以上互聯(lián)網(wǎng)運維相關(guān)工作經(jīng)驗，2年以上大數(shù)據(jù)平臺運維相關(guān)工作經(jīng)驗; 2、具備一定的故障排查能力，有良好的技術(shù)敏感度和風(fēng)險識別能力，精通一門以上腳本語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協(xié)議; 3、熟悉Hadoop大數(shù)據(jù)生態(tài)圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等; 4、熟悉Hadoop各組件的原理和實現(xiàn)，有實際部署維護、管

9、理( 包括元數(shù)據(jù)管理)及優(yōu)化經(jīng)驗。并擁有持續(xù)調(diào)優(yōu)能力，運維管理過大規(guī)模數(shù)據(jù)平臺; 5、熟悉 Kubernetes(K8s) 集群 Docker 在大數(shù)據(jù)環(huán)境場景的使用; 6、熟悉Linux(redhat/centos)軟硬件環(huán)境、系統(tǒng)管理和優(yōu)化，熟練部署、優(yōu)化各種常用服務(wù) 7、有Java開發(fā)經(jīng)驗和閱讀源碼能力者優(yōu)先。 大數(shù)據(jù)運維工程師的崗位職責6 職責： 1、負責公司大數(shù)據(jù)集群的構(gòu)建，任務(wù)調(diào)度、監(jiān)控預(yù)警，持續(xù)完善大數(shù)據(jù)平臺，保證穩(wěn)定性、安全性; 2、負責集群容量規(guī)劃、擴容、集群性能優(yōu)化及日常巡檢和應(yīng)急值守，參與大數(shù)據(jù)基礎(chǔ)環(huán)境的架構(gòu)設(shè)計與改進; 3、深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)自動化運維技術(shù)，持續(xù)優(yōu)化

10、集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運維技術(shù)及發(fā)展方向; 任職要求： 1、熟悉Linux系統(tǒng)及基礎(chǔ)命令操作，能夠獨立編寫Shell或Python腳本，開展日常服務(wù)器的運維工作; 2、熟悉并不限于大數(shù)據(jù)生態(tài)圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs 等相關(guān)基礎(chǔ)組件的框架知識和運行原理; 3、熟悉軟硬件設(shè)備，網(wǎng)絡(luò)原理，有豐富的大數(shù)據(jù)平臺(CDH、HDP)部署、集群運維和性能優(yōu)化等經(jīng)驗; 4、具備一定的系統(tǒng)自動化運維理論體系和實際經(jīng)驗，能夠利用各種開源監(jiān)控工具、運維工具，HA、負載均衡軟件完成工作任務(wù);

11、 5、具備較強的學(xué)習(xí)能力、抗壓能力、動手能力和分析解決問題的能力; 6、熟悉JVM虛擬機調(diào)優(yōu); 7、熟悉jenkins持續(xù)集成; 8、有一定的文檔編寫能力; 9、能適應(yīng)短期出差,有公安視頻圖像偵查業(yè)務(wù)方向經(jīng)驗者優(yōu)先; 大數(shù)據(jù)運維工程師的崗位職責7 職責： 1.負責公司大數(shù)據(jù)平臺的運維保障; 2.負責大數(shù)據(jù)平臺的架構(gòu)審核、業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等; 3.為線上服務(wù)高效穩(wěn)定運行負責，支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴張; 4.負責生產(chǎn)及測試集群諸如故障定位恢復(fù)、系統(tǒng)安全、性能優(yōu)化等; 任職要求： 1.計算機相關(guān)專業(yè)本科及以上學(xué)歷，3年以上相關(guān)工作經(jīng)驗 2.精通Hadoop大數(shù)據(jù)生態(tài)圈，熟悉H

12、adoop各組件的原理，并有實際部署維護經(jīng)驗;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等; 3.具備很強故障排查能力，有很好的技術(shù)敏感度和風(fēng)險識別能力,良好的服務(wù)意識，善于團隊協(xié)作，項目管理，主動思考，自我驅(qū)動力強; 4.有相關(guān)動態(tài)編排容器技術(shù)和虛擬化技術(shù)工作經(jīng)驗者優(yōu)先; 5.深入理解Hadoop各組件的原理和實現(xiàn)，有閱讀源碼能力者優(yōu)先; 6.具備很強的ownership，故障排查能力，有很好的技術(shù)敏感度和風(fēng)險識別能力。 大數(shù)據(jù)運維工程師的崗位職責8 1、負責建設(shè)大數(shù)據(jù)平臺的規(guī)劃、架構(gòu)設(shè)計和技術(shù)選型; 2、開發(fā)和使用Hadoop大數(shù)據(jù)自動化運維與監(jiān)控工具; 3、基于大數(shù)據(jù)應(yīng)用需求，負責優(yōu)化平臺的性能，消除性能瓶頸，解決業(yè)務(wù)的疑難問題; 4、熟悉Hadoop、Hive、Hbase、Storm、Spark等技術(shù)框架; 熟悉java、scala、sqllite等相關(guān)技術(shù);具備軟件設(shè)計、編碼開發(fā)測試、文檔