工作經(jīng) 能夠熟練使用Linux常用的操作命令，熟悉 熟悉Hadoop系統(tǒng)架構(gòu),能夠快速對Hadoop群搭建,并能用CDHHadoop能熟練編寫MapReduce熟悉MapReduce工作原的Spark源碼,熟讀Spark官網(wǎng)；熟悉hive和hbase系統(tǒng)架構(gòu)，能對hivesql化hbase熟悉Kafka搭建及原理，并能使用kafka接收Flume的數(shù)據(jù)，Spark到kafka消息隊列中，進用熟悉掌握J(rèn)avaSE和JavaEE相關(guān)知識，具備良好的面象編程思想，并熟悉常用的設(shè)計模式，能夠熟悉使用常見的javaEESpring,SpringMVC,Struts2,Hibernate,Mybatis框架獨項目經(jīng) 項描： 隨著互聯(lián)網(wǎng)的不斷展人們的活水不斷提高，在的學(xué)習(xí)作余們業(yè)添不此據(jù)也增大根據(jù)公司要求項的求主分為一、產(chǎn)品務(wù)部門對用戶端的作數(shù)據(jù)化察；、技對于運行戶端頁面報表，分析報表，業(yè)務(wù)報表，技術(shù)分析5大模塊 1.通過Flume收集服務(wù)器上的日志將收集到的數(shù)據(jù)打入到hdfs中和kafkasparkstreaming從kafka及運用sparksql,sparkcore進行離線處理； 主要完成業(yè)務(wù)報表模塊技術(shù)分析報表模塊業(yè)務(wù)報表主要從hdfs本模塊項目的調(diào)試；技術(shù)分析報表模塊從kafka中實時獲取到數(shù)據(jù)，運用Sparkstreaming進行實時計算，結(jié)果輸出到mysql數(shù) 項描： 隨著互聯(lián)網(wǎng)的不斷展人們的活水不斷提高，人消費觀也漸升始求高質(zhì)活潮們增多數(shù)據(jù)量逐漸增大，據(jù)務(wù)需求加實功能項目包括分析模、面跳化塊信模點塊 1.通過Flume收集nginx服務(wù)器日志將收集到的數(shù)據(jù)打入到kafka中和HDFS運用sparkstreamingkafka以及運用sparksql從hive中獲取數(shù)據(jù)進行離線處理；通過jquery和echarts 主要負(fù)責(zé)點擊流量模塊，從kafka中實時獲取到數(shù)據(jù)，運用Sparkstreaming進行實時計算，結(jié)果輸出到mysql數(shù)據(jù)庫中的 項描： 隨互網(wǎng)不發(fā)，生水的高消費觀也漸升始求高質(zhì)活潮們增多數(shù)量漸大根需項主以功用戶基信分模、覽分模域息、用戶覽度析塊外分模單據(jù)以及事分模。 1.通過Flume收集nginx服務(wù)器日志日志數(shù)據(jù)直接保存到中通過ETL數(shù)