從職場角度解讀大數(shù)據(jù)工程師及崗位現(xiàn)狀手機微信關(guān)注公眾號ID：datadw學習數(shù)據(jù)挖掘，探討大數(shù)據(jù)，關(guān)注你想了解的，共享你須要的大數(shù)據(jù)是眼下特別時髦的技術(shù)名詞，與此同時自然也催生出了一些與大數(shù)據(jù)處理相關(guān)的職業(yè)，通過對數(shù)據(jù)的挖掘分析來影響企業(yè)的商業(yè)決策。這群人在國外被叫做數(shù)據(jù)科學家（DataScientist），這個頭銜最早由和JeffHammerbacher于2008年提出，他們后來分別成為了領英（LinkedIn）和Facebook數(shù)據(jù)科學團隊的負責人。而數(shù)據(jù)科學家這個職位目前也已經(jīng)在美國傳統(tǒng)的電信、零售、金融、制造、物流、醫(yī)療、教化等行業(yè)里起先創(chuàng)建價值。不過在國內(nèi)，大數(shù)據(jù)的應用才剛剛萌芽，人才市場還不那么成熟，“你很難期望有一個全才來完成整個鏈條上的全部環(huán)節(jié)。更多公司會依據(jù)自己已有的資源和短板，聘請能和現(xiàn)有團隊互補的人才?！鳖I英（LinkedIn）中國商務分析及戰(zhàn)略總監(jiān)王昱堯?qū)Α兜谝回斀?jīng)周刊》說。于是每家公司對大數(shù)據(jù)工作的要求不盡相同：有的強調(diào)數(shù)據(jù)庫編程、有的突出應用數(shù)學和統(tǒng)計學學問、有的則要求有詢問公司或投行相關(guān)的閱歷、有些是希望能找到懂得產(chǎn)品和市場的應用型人才。正因為如此，很多公司會針對自己的業(yè)務類型和團隊分工，給這群與大數(shù)據(jù)打交道的人一些新的頭銜和定義：數(shù)據(jù)挖掘工程師、大數(shù)據(jù)專家、數(shù)據(jù)探討員、用戶分析專家等都是常常在國內(nèi)公司里出現(xiàn)的Title，我們將其統(tǒng)稱為“大數(shù)據(jù)工程師”。王昱堯認為，在一個成熟的數(shù)據(jù)驅(qū)動型公司，“大數(shù)據(jù)工程師”往往是一個團隊，它意味著從數(shù)據(jù)的收集、整理呈現(xiàn)、分析和商業(yè)洞察、以至于市場轉(zhuǎn)化的全過程。這個團隊中可能包括數(shù)據(jù)工程師、分析師、產(chǎn)品專員、市場專員和商業(yè)決策者等角色，共同完成從原始數(shù)據(jù)到商業(yè)價值的轉(zhuǎn)換—概括來講，這是一個支持企業(yè)做出商業(yè)決策、發(fā)掘商業(yè)模式的重要群體。由于國內(nèi)的大數(shù)據(jù)工作還處在一個有待開發(fā)的階段，因此能從其中挖掘出多少價值完全取決于工程師的個人實力。已經(jīng)身處這個行業(yè)的專家給出了一些人才需求的大體框架，包括要有計算機編碼實力、數(shù)學及統(tǒng)計學相關(guān)背景，當然假如能對一些特定領域或行業(yè)有比較深化的了解，對于其快速推斷并抓準關(guān)鍵因素則更有幫助。雖然對于一些大公司來說，擁有碩博學歷的公司人是比較好的選擇，不過阿里巴巴[微博]集團探討員薛貴榮強調(diào)，學歷并不是最主要的因素，能有大規(guī)模處理數(shù)據(jù)的閱歷并且有喜愛在數(shù)據(jù)海洋中尋寶的新奇心會更適合這個工作。除此之外，一個優(yōu)秀的大數(shù)據(jù)工程師要具備肯定的邏輯分析實力，并能快速定位某個商業(yè)問題的關(guān)鍵屬性和確定因素?！八弥朗裁词窍嚓P(guān)的，哪個是重要的，運用什么樣的數(shù)據(jù)是最有價值的，如何快速找到每個業(yè)務最核心的需求。”聯(lián)合國[微博]百度[微博]大數(shù)據(jù)聯(lián)合試驗室數(shù)據(jù)科學家沈志勇說。學習實力能幫助大數(shù)據(jù)工程師快速適應不同的項目，并在短時間內(nèi)成為這個領域的數(shù)據(jù)專家；溝通實力則能讓他們的工作開展地更順當，因為大數(shù)據(jù)工程師的工作主要分為兩種方式：由市場部驅(qū)動和由數(shù)據(jù)分析部門驅(qū)動，前者須要常常向產(chǎn)品經(jīng)理了解開發(fā)需求，后者則須要找運營部了解數(shù)據(jù)模型實際轉(zhuǎn)化的狀況。你可以將以上這些要求看做是成為大數(shù)據(jù)工程師的努力方向，因為依據(jù)萬寶瑞華管理合伙人顏莉萍的視察，這是一個很大的人才缺口。目前國內(nèi)的大數(shù)據(jù)應用多集中在互聯(lián)網(wǎng)領域，有超過56%的企業(yè)在籌備發(fā)展大數(shù)據(jù)探討，“將來5年，94%的公司都會須要數(shù)據(jù)科學家?！鳖伬蚱颊f。因此她也建議一些原本從事與數(shù)據(jù)工作相關(guān)的公司人可以考慮轉(zhuǎn)型。本期《第一財經(jīng)周刊》采訪了BAT這3家國內(nèi)互聯(lián)網(wǎng)公司，以及相關(guān)領域的人力資源專家，他們從職場角度為我們解讀如何成為大數(shù)據(jù)工程師以及這類崗位的職場現(xiàn)狀。A大數(shù)據(jù)工程師做什么？用阿里巴巴集團探討員薛貴榮的話來說，大數(shù)據(jù)工程師就是一群“玩數(shù)據(jù)”的人，玩出數(shù)據(jù)的商業(yè)價值，讓數(shù)據(jù)變成生產(chǎn)力。大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的最大區(qū)分在于，它是在線的、實時的，規(guī)模海量且形式不規(guī)整，無章法可循，因此“會玩”這些數(shù)據(jù)的人就很重要。沈志勇認為假如把大數(shù)據(jù)想象成一座不停累積的礦山，那么大數(shù)據(jù)工程師的工作就是，“第一步，定位并抽取信息所在的數(shù)據(jù)集，相當于探礦和采礦。其次步，把它變成干脆可以做推斷的信息，相當于冶煉。最終是應用，把數(shù)據(jù)可視化等?！币虼朔治鰵v史、預料將來、優(yōu)化選擇，這是大數(shù)據(jù)工程師在“玩數(shù)據(jù)”時最重要的三大任務。通過這三個工作方向，他們幫助企業(yè)做出更好的商業(yè)決策。找出過去事務的特征大數(shù)據(jù)工程師一個很重要的工作，就是通過分析數(shù)據(jù)來找出過去事務的特征。比如，騰訊的數(shù)據(jù)團隊正在搭建一個數(shù)據(jù)倉庫，把公司全部網(wǎng)絡平臺上數(shù)量浩大、不規(guī)整的數(shù)據(jù)信息進行梳理，總結(jié)出可供查詢的特征，來支持公司各類業(yè)務對數(shù)據(jù)的需求，包括廣告投放、嬉戲開發(fā)、社交網(wǎng)絡等。找出過去事務的特征，最大的作用是可以幫助企業(yè)更好地相識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，并預料他的行為?！澳憧梢灾浪鞘裁礃拥娜恕⑺哪昙o、愛好愛好，是不是互聯(lián)網(wǎng)付費用戶、喜愛玩什么類型的嬉戲，平常喜愛在網(wǎng)上做什么事情。”騰訊云計算有限公司北京研發(fā)中心總經(jīng)理鄭立峰對《第一財經(jīng)周刊》說。下一步到了業(yè)務層面，就可以針對各類人群舉薦相關(guān)服務，比如手游，或是基于不同特征和需求衍生出新的業(yè)務模式，比如微信的電影票業(yè)務。預料將來可能發(fā)生的事情通過引入關(guān)鍵因素，大數(shù)據(jù)工程師可以預料將來的消費趨勢。在阿里媽媽的營銷平臺上，工程師正試圖通過引入氣象數(shù)據(jù)來幫助淘寶賣家做生意?！氨热缃衲晗奶觳粺?，很可能某些產(chǎn)品就沒有去年暢銷，除了空調(diào)、電扇，背心、游泳衣等都可能會受其影響。那么我們就會建立氣象數(shù)據(jù)和銷售數(shù)據(jù)之間的關(guān)系，找到與之相關(guān)的品類，提前警示賣家周轉(zhuǎn)庫存?！毖F榮說。在百度，沈志勇支持“百度預料”部分產(chǎn)品的模型研發(fā)，試圖用大數(shù)據(jù)為更廣泛的人群服務。已經(jīng)上線的包括世界杯預料、高考預料、景點預料等。以百度景點預料為例，大數(shù)據(jù)工程師須要收集全部可能影響一段時間內(nèi)景點人流量的關(guān)鍵因素進行預料，并為全國各個景點將來的擁擠度分級—在接下來的若干天時間里，它原委是暢通、擁擠，還是一般擁擠？找出最優(yōu)化的結(jié)果依據(jù)不同企業(yè)的業(yè)務性質(zhì)，大數(shù)據(jù)工程師可以通過數(shù)據(jù)分析來達到不同的目的。以騰訊來說，鄭立峰認為能反映大數(shù)據(jù)工程師工作的最簡潔干脆的例子就是選項測試（ABTest），即幫助產(chǎn)品經(jīng)理在A、B兩個備選方案中做出選擇。在過去，決策者只能依據(jù)閱歷進行推斷，但如今大數(shù)據(jù)工程師可以通過大范圍地實時測試—比如，在社交網(wǎng)絡產(chǎn)品的例子中，讓一半用戶看到A界面，另一半運用B界面，視察統(tǒng)計一段時間內(nèi)的點擊率和轉(zhuǎn)化率，以此幫助市場部做出最終選擇。作為電商的阿里巴巴，則希望通過大數(shù)據(jù)鎖定精準的人群，幫助賣家做更好的營銷?！拔覀兏谂蔚氖悄隳苷业竭@樣一批人，比起現(xiàn)有的用戶，這些人對產(chǎn)品更感愛好?！毖F榮說。一個淘寶的實例是，某人參賣家原來推廣的目標人群是產(chǎn)婦，但工程師通過挖掘數(shù)據(jù)之間的關(guān)聯(lián)性后發(fā)覺，針對孕婦群體投放的營銷轉(zhuǎn)化率更高。B須要具備的實力數(shù)學及統(tǒng)計學相關(guān)的背景就我們采訪過的BAT三家互聯(lián)網(wǎng)大公司來說，對于大數(shù)據(jù)工程師的要求都是希望是統(tǒng)計學和數(shù)學背景的碩士或博士學歷。沈志勇認為，缺乏理論背景的數(shù)據(jù)工作者，更簡潔進入一個技能上的危急區(qū)域（DangerZone）—一堆數(shù)字，依據(jù)不同的數(shù)據(jù)模型和算法總能捯飭出一些結(jié)果來，但假如你不知道那代表什么，就并不是真正有意義的結(jié)果，并且那樣的結(jié)果還簡潔誤導你。“只有具備肯定的理論學問，才能理解模型、復用模型甚至創(chuàng)新模型，來解決實際問題?！鄙蛑居抡f。計算機編碼實力實際開發(fā)實力和大規(guī)模的數(shù)據(jù)處理實力是作為大數(shù)據(jù)工程師的一些必備要素。“因為很多數(shù)據(jù)的價值來自于挖掘的過程，你必需親自動手才能發(fā)覺金子的價值?！编嵙⒎逭f。舉例來說，現(xiàn)在人們在社交網(wǎng)絡上所產(chǎn)生的很多記錄都是非結(jié)構(gòu)化的數(shù)據(jù)，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就須要大數(shù)據(jù)工程師親自挖掘。即使在某些團隊中，大數(shù)據(jù)工程師的職責以商業(yè)分析為主，但也要熟識計算機處理大數(shù)據(jù)的方式。對特定應用領域或行業(yè)的學問在顏莉萍看來，大數(shù)據(jù)工程師這個角色很重要的一點是，不能脫離市場，因為大數(shù)據(jù)只有和特定領域的應用結(jié)合起來才能產(chǎn)生價值。所以，在某個或多個垂直行業(yè)的經(jīng)驗能為應聘者積累對行業(yè)的認知，對于之后成為大數(shù)據(jù)工程師有很大幫助，因此這也是應聘這個崗位時較有勸服力的加分項?！八荒苤皇嵌脭?shù)據(jù)，還要有商業(yè)頭腦，不論對零售、醫(yī)藥、嬉戲還是旅游等行業(yè)，能就其中某些領域有肯定的理解，最好還是與公司的業(yè)務方向一樣的，”就此薛貴榮還打了個比方，“過去我們說一些奢侈品店員勢利，看人一眼就知道買得起買不起，但這群人恰恰是有敏銳度的，我們認為他們是這個行業(yè)的專家。又比如對醫(yī)療行業(yè)了解的人，他在考慮醫(yī)療保險業(yè)務時，不僅會和人們醫(yī)院看病的記錄相關(guān)，也會考慮飲食數(shù)據(jù)，這些都是基于對該領域的了解?！盋大數(shù)據(jù)工程師的職業(yè)發(fā)展如何成為大數(shù)據(jù)工程師由于目前大數(shù)據(jù)人才匱乏，對于公司來說，很難聘請到合適的人才—既要有高學歷，同時最好還有大規(guī)模數(shù)據(jù)處理閱歷。因此很多企業(yè)會通過內(nèi)部挖掘。今年8月，阿里巴巴舉辦了一個大數(shù)據(jù)競賽，把天貓[微博]平臺上的數(shù)據(jù)拿出來，去除敏感問題后，放到云計算平臺上交予7000多支隊伍進行競賽，競賽分為內(nèi)部賽和外部賽?！巴ㄟ^這個方式來激勵內(nèi)部員工，同時也發(fā)覺外部人才，讓各行業(yè)的大數(shù)據(jù)工程師涌現(xiàn)出來?！鳖伬蚱冀ㄗh，目前長期從事數(shù)據(jù)庫管理、挖掘、編程工作的人，包括傳統(tǒng)的量化分析師、Hadoop方面的工程師，以及任何在工作中須要通過數(shù)據(jù)來進行推斷決策的管理者，比如某些領域的運營經(jīng)理等，都可以嘗試該職位，而各個領域的達人只要學會運用數(shù)據(jù)，也可以成為大數(shù)據(jù)工程師。薪酬待遇作為IT類職業(yè)中的“大熊貓”，大數(shù)據(jù)工程師的收入待遇可以說達到了同類的頂級。依據(jù)顏莉萍的視察，國內(nèi)IT、通訊、行業(yè)聘請中，有10％都是和大數(shù)據(jù)相關(guān)的，且比例還在上升。顏莉萍表示，“大數(shù)據(jù)時代的到來很突然，在國內(nèi)發(fā)展勢頭激進，而人才卻特別有限，現(xiàn)在完全是供不應求的狀況?！痹诿绹?，大數(shù)據(jù)工程師平均每年薪酬高達17.5萬美元，而據(jù)了解，在國內(nèi)頂尖互聯(lián)網(wǎng)類公司，同一個級別大數(shù)據(jù)工程師的薪酬可能要比其他職位高20％至30％，且頗受企業(yè)重視。職業(yè)發(fā)展路徑由于大數(shù)據(jù)