大數(shù)據(jù)技術(shù)專業(yè)調(diào)研報(bào)告及周邊地區(qū)的人才交流中心和人才交流會(huì)、相關(guān)通過(guò)調(diào)研了解到，就業(yè)市場(chǎng)招聘相關(guān)專業(yè)畢業(yè)生崗工作內(nèi)容技能要求位大數(shù)據(jù)助理工程師1．在項(xiàng)目經(jīng)理指導(dǎo)下分析業(yè)務(wù)需求，確定開(kāi)發(fā)的技術(shù)架構(gòu)和技術(shù)路線；2．完成相應(yīng)模塊軟件的設(shè)計(jì)、開(kāi)發(fā)、編程、測(cè)試任務(wù)；3．負(fù)責(zé)大數(shù)據(jù)數(shù)據(jù)分析和挖掘平臺(tái)的規(guī)劃、開(kāi)發(fā)、運(yùn)營(yíng)和優(yōu)化；4．根據(jù)項(xiàng)目設(shè)計(jì)開(kāi)發(fā)數(shù)據(jù)模型、數(shù)據(jù)挖掘和處理算法；5．通過(guò)數(shù)據(jù)探索和模型的輸出進(jìn)行分析，為業(yè)務(wù)部門的工作開(kāi)展提供數(shù)據(jù)支持；6．整合外部的第三方數(shù)據(jù)并生成動(dòng)態(tài)數(shù)據(jù)庫(kù)，最終為企業(yè)決策提供清晰、準(zhǔn)確的數(shù)據(jù)支撐。1．對(duì)于大數(shù)據(jù)理論、行業(yè)應(yīng)用有深刻認(rèn)識(shí)與研究，了解大數(shù)據(jù)技術(shù)，如Hadoop、Spark、storm；2．能夠依據(jù)業(yè)務(wù)類型快速進(jìn)行產(chǎn)品分析設(shè)計(jì)，對(duì)產(chǎn)品提出系統(tǒng)改進(jìn)建議；4．具備需求調(diào)研、產(chǎn)品策劃、原型設(shè)計(jì)、數(shù)據(jù)分析等產(chǎn)品相關(guān)工作能力；MindManager等工具軟件的使用，至少熟練一種數(shù)據(jù)庫(kù)操作，如MYSQL、SQLSERVER等；6．較強(qiáng)的歸納總結(jié)能力，較強(qiáng)的邏輯分析推理能力、溝通表達(dá)能力。數(shù)據(jù)分析工程師1．運(yùn)用算法來(lái)解決分析問(wèn)題，并且從事數(shù)據(jù)挖掘工作，能夠讓數(shù)據(jù)道出真相；2．幫助開(kāi)發(fā)數(shù)據(jù)產(chǎn)品，推動(dòng)數(shù)據(jù)解決方案的不斷更新；3．運(yùn)用算法解決分析問(wèn)題，并且從事數(shù)據(jù)挖掘工作；4．為公司項(xiàng)目提供數(shù)據(jù)支持、數(shù)據(jù)決策分析、支持公司戰(zhàn)略決策的數(shù)據(jù)分析。1．對(duì)基于Hadoop、Spark的數(shù)據(jù)分析和處理有一定的經(jīng)驗(yàn)；Java)、熟悉主流MYSQL、oracle數(shù)據(jù)庫(kù)，對(duì)主流分布式存儲(chǔ)和運(yùn)算有一定的了解和項(xiàng)目經(jīng)驗(yàn)；3．熟練使用SPSS、SAS或其它數(shù)據(jù)挖掘軟件，具備一定數(shù)據(jù)建模和分析理論知識(shí)和經(jīng)驗(yàn)，熟悉常用數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理算法。大數(shù)據(jù)處理工程師1．熟悉智能推薦各類算法，并參與公司平臺(tái)建設(shè)和應(yīng)用；2．負(fù)責(zé)Hadoop、HBase等大數(shù)據(jù)平臺(tái)的規(guī)劃、部署、建設(shè)、維護(hù)、優(yōu)化等工作；3．根據(jù)需求將數(shù)據(jù)在非關(guān)系型和關(guān)系型數(shù)據(jù)庫(kù)之間轉(zhuǎn)化；4．負(fù)責(zé)與外圍各業(yè)務(wù)數(shù)據(jù)對(duì)接，利用ETL工具將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)；5．開(kāi)發(fā)各種Hadoop大數(shù)據(jù)自動(dòng)化運(yùn)維與監(jiān)控工具；6．負(fù)責(zé)利用大數(shù)據(jù)處理對(duì)海量數(shù)據(jù)進(jìn)行1．精通SQL，熟悉Hadoop、Hive、Spark、Hadoop、Hbase等大數(shù)據(jù)主流技術(shù)平臺(tái)及開(kāi)源框架，具有相關(guān)系統(tǒng)的布署、運(yùn)維、開(kāi)發(fā)經(jīng)驗(yàn)；2．具有扎實(shí)數(shù)據(jù)結(jié)構(gòu)和算法功底，掌握J(rèn)ava/Python等至少一門高級(jí)編程語(yǔ)言；3．熟悉Shell和Linux開(kāi)發(fā)環(huán)境，擁有Java、Python開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；4．熟練掌握MySQL等關(guān)系型數(shù)據(jù)庫(kù)；5．精通java后臺(tái)程序設(shè)計(jì)，有實(shí)際系統(tǒng)的問(wèn)題排查與調(diào)優(yōu)經(jīng)驗(yàn)；6．對(duì)數(shù)據(jù)結(jié)構(gòu)、算法有深刻理解，有hadoop等系統(tǒng)源代碼閱讀經(jīng)驗(yàn)。大數(shù)據(jù)運(yùn)維工程師1．參與項(xiàng)目技術(shù)平臺(tái)安裝部署、日常運(yùn)行維護(hù)與故障處理、大數(shù)據(jù)組件補(bǔ)丁升級(jí)管理；2．平臺(tái)的自動(dòng)化部署，運(yùn)維，監(jiān)控，告警處理，收集Hadoop的各項(xiàng)metrics指標(biāo)，確保集群的正常運(yùn)行；3．能夠針對(duì)hadoop生態(tài)系統(tǒng)的批量部署1．掌握數(shù)據(jù)倉(cāng)庫(kù)理論知識(shí)，具有較強(qiáng)的數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)和ETL設(shè)計(jì)能力；2．熟悉hadoop平臺(tái)的運(yùn)維，調(diào)優(yōu)，保障線上集群的穩(wěn)定可靠；3．能熟練編寫linux下的shell腳本，能開(kāi)發(fā)相關(guān)安全管理工具；4．對(duì)運(yùn)維的網(wǎng)絡(luò)和存儲(chǔ)能有一定理解；場(chǎng)景進(jìn)行運(yùn)維調(diào)優(yōu)，完善運(yùn)維工具，合理使用，監(jiān)控報(bào)警、提高數(shù)據(jù)平臺(tái)品質(zhì)；4．負(fù)責(zé)任務(wù)調(diào)度平臺(tái)配置及運(yùn)維管理，協(xié)助管理大數(shù)據(jù)平臺(tái)運(yùn)維工作。5．有spark、HBase、及Hive等平臺(tái)的運(yùn)維計(jì)算經(jīng)驗(yàn)；6．科學(xué)合理的選擇阿里云相關(guān)服務(wù)，快速部署相關(guān)服務(wù)，利用開(kāi)源軟件搭建云服務(wù)，并進(jìn)行相關(guān)測(cè)試。大數(shù)據(jù)可視化工程師1．負(fù)責(zé)大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)工作，如個(gè)性化推薦系統(tǒng)、精準(zhǔn)營(yíng)銷、用戶畫像等數(shù)據(jù)產(chǎn)品的設(shè)計(jì)和開(kāi)發(fā)工作；2．配合需求人員，完成功能模塊，支撐日常業(yè)務(wù)數(shù)據(jù)需求，負(fù)責(zé)系統(tǒng)優(yōu)化，問(wèn)題跟進(jìn)并及時(shí)解決；3．負(fù)責(zé)收集到的高質(zhì)量數(shù)據(jù)中，利用圖形化的工具及手段的應(yīng)用，一目了然地揭示數(shù)據(jù)中復(fù)雜信息，幫助企業(yè)更好的進(jìn)行大數(shù)據(jù)應(yīng)用開(kāi)發(fā)，發(fā)現(xiàn)大數(shù)據(jù)背后巨大財(cái)富。1．有較強(qiáng)編程能力，熟悉C/C和python，能夠設(shè)計(jì)搭建大數(shù)據(jù)平臺(tái)；2．較強(qiáng)邏輯思維能力及軟件、算法實(shí)現(xiàn)能力，進(jìn)行抽取、清洗、加工等數(shù)據(jù)處理；3．能夠自主設(shè)計(jì)基于云架構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)模型，基于大數(shù)據(jù)平臺(tái)進(jìn)行研發(fā)、運(yùn)維、管理等；4．熟悉數(shù)據(jù)庫(kù)，應(yīng)用服務(wù)器，和相關(guān)開(kāi)發(fā)語(yǔ)言。有良好的數(shù)據(jù)庫(kù)設(shè)計(jì)能力和sql編zookeeper等相關(guān)開(kāi)源項(xiàng)目。大數(shù)據(jù)開(kāi)發(fā)工程師1．負(fù)責(zé)集群的日常運(yùn)作、系統(tǒng)的監(jiān)測(cè)和配置、Hadoop與其他系統(tǒng)的集成；MySQL/Redis/HBafka/Hadoop/hive搭建、開(kāi)發(fā)大數(shù)據(jù)分析平臺(tái)的后臺(tái)服務(wù)，支持?jǐn)?shù)據(jù)接入、落地、統(tǒng)計(jì)、分析業(yè)務(wù)；3．構(gòu)建基于spark/storm的實(shí)時(shí)數(shù)據(jù)處理平臺(tái)，支撐上層業(yè)務(wù)使用，如：數(shù)據(jù)監(jiān)4．構(gòu)建基于hive的即席查詢數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái)；5．負(fù)責(zé)數(shù)據(jù)平臺(tái)的設(shè)計(jì)、開(kāi)發(fā)、維護(hù)與優(yōu)化，不斷創(chuàng)新，滿足上層數(shù)據(jù)運(yùn)營(yíng)體系各項(xiàng)需求。1．熟悉Linux的Shell命令，靈活運(yùn)用Shell做文本處理和系統(tǒng)操作；2．熟悉分布式計(jì)算各種范式，分布式算法實(shí)現(xiàn)，有較好的分布式架構(gòu)設(shè)計(jì)能力；3．能夠使用SQL操作復(fù)雜的數(shù)據(jù)模型并有SQL優(yōu)化的經(jīng)驗(yàn)；4．熟練Golang，Scala，具有豐富海量數(shù)據(jù)ETL加工處理經(jīng)驗(yàn)，從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)；文件系統(tǒng)，熟練編寫MapReduce的優(yōu)先考慮；6．熟悉hadoop、hbase、hive的原理并具備管理，配置，運(yùn)維；Bashshell腳本語(yǔ)言中的一種；8、熟悉分布系統(tǒng)設(shè)計(jì)范型，有大規(guī)模系統(tǒng)設(shè)計(jì)和工程實(shí)現(xiàn)經(jīng)驗(yàn)。大數(shù)據(jù)架構(gòu)工程師1．負(fù)責(zé)公司數(shù)據(jù)中心整體架構(gòu)設(shè)計(jì)和研發(fā)，負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)選型、設(shè)計(jì)及搭建工作。2．負(fù)責(zé)海量數(shù)據(jù)存儲(chǔ)與處理、高性能計(jì)算項(xiàng)目的架構(gòu)設(shè)計(jì)，撰寫相關(guān)文檔。3．負(fù)責(zé)實(shí)時(shí)數(shù)據(jù)收集、監(jiān)控，靈活的業(yè)務(wù)數(shù)據(jù)報(bào)表，及挖掘和模型工作。4．參與企業(yè)級(jí)大數(shù)據(jù)產(chǎn)品和應(yīng)用規(guī)劃，研究跟進(jìn)大數(shù)據(jù)架構(gòu)領(lǐng)域新技術(shù)；1．熟悉Linux操作系統(tǒng)，了解網(wǎng)絡(luò)、數(shù)據(jù)存儲(chǔ)等原理；2．熟悉分布式系統(tǒng)或分布式數(shù)據(jù)庫(kù)系統(tǒng)的理論及工作機(jī)制；3．熟悉一種以上常用編程語(yǔ)言，如java、scala、python、shell等；4．熟悉Hadoop底層文件系統(tǒng),Hadoop分布式計(jì)算框架和Hbase/HIVE等數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)能力和數(shù)據(jù)建模能力；5．制定大數(shù)據(jù)產(chǎn)品總體架構(gòu)，攻克技術(shù)難關(guān)和主導(dǎo)關(guān)鍵技術(shù)決策。5．精通一種以上大數(shù)據(jù)技術(shù)，如flume、spark、elasticsearch等；6．具有基于大數(shù)據(jù)技術(shù)平臺(tái)的架構(gòu)設(shè)計(jì)與平臺(tái)調(diào)優(yōu)經(jīng)驗(yàn)；7．了解云計(jì)算平臺(tái)或信息安全理論。大數(shù)據(jù)系統(tǒng)研發(fā)師1．負(fù)責(zé)大數(shù)據(jù)產(chǎn)品的研發(fā)管理，打造完備的大數(shù)據(jù)技術(shù)體系；2．負(fù)責(zé)大數(shù)據(jù)核心產(chǎn)品的設(shè)計(jì)規(guī)劃，包括系統(tǒng)架構(gòu)、技術(shù)選型、關(guān)鍵技術(shù)研發(fā)；3．負(fù)責(zé)數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)挖掘等大數(shù)據(jù)相關(guān)技術(shù)的研究及應(yīng)用；4．負(fù)責(zé)/參與大數(shù)據(jù)新計(jì)算框架的選型，技術(shù)難題攻關(guān)，系統(tǒng)重構(gòu)優(yōu)化，根據(jù)業(yè)務(wù)規(guī)劃及技術(shù)規(guī)劃制定設(shè)計(jì)方案；5．負(fù)責(zé)/參與大數(shù)據(jù)監(jiān)控、運(yùn)維系統(tǒng)等的如Hadoop、MapReduce、Storm等數(shù)據(jù)存儲(chǔ)架構(gòu)平臺(tái)、計(jì)算框架、數(shù)據(jù)展示系統(tǒng)設(shè)計(jì)與搭建；6．大數(shù)據(jù)生態(tài)的技術(shù)研究探索，跟蹤業(yè)界大數(shù)據(jù)技術(shù)發(fā)展演進(jìn)趨勢(shì)，快速學(xué)習(xí)吸納，為己所用；7．以大數(shù)據(jù)技術(shù)為核心，研發(fā)各種基于大數(shù)據(jù)技術(shù)的應(yīng)用程序及行業(yè)解決方案。1．嚴(yán)密的數(shù)學(xué)思維、突出的分析和歸納能力，優(yōu)秀的解決問(wèn)題、抗壓能力，具有較強(qiáng)的數(shù)據(jù)分析能力；2．精通Linux操作系統(tǒng)，至少熟練使用Python、Scala、C++等語(yǔ)言中的一種編程；3．熟悉hadoop、Hbase、Spark工作原理，熟悉分布式計(jì)算實(shí)施過(guò)程中的問(wèn)題；4．精通常見(jiàn)的數(shù)據(jù)存儲(chǔ)相關(guān)技術(shù)，包括等；5．負(fù)責(zé)大數(shù)據(jù)平臺(tái)的性能參數(shù)調(diào)整和優(yōu)化；6．根據(jù)業(yè)務(wù)需求，編制各類分析圖表、撰寫項(xiàng)目分析文檔和分析報(bào)告；7．能夠根據(jù)數(shù)據(jù)工程理論提升企業(yè)數(shù)據(jù)管