大數(shù)據(jù)采集與預(yù)處理主講教師：龍霄漢《大數(shù)據(jù)導論》課程Introductiontobigdata大數(shù)據(jù)挑戰(zhàn)大數(shù)據(jù)面臨的挑戰(zhàn)011大數(shù)據(jù)面臨的挑戰(zhàn)大數(shù)據(jù)面臨的挑戰(zhàn)大數(shù)據(jù)越來越火，大數(shù)據(jù)發(fā)展到現(xiàn)在，有了一定的技術(shù)和商業(yè)積累，但是發(fā)展到至今，還有很多難題等待我們解決，最主要的挑戰(zhàn)，屬于成本、業(yè)務(wù)、安全等三方面的挑戰(zhàn)。大數(shù)據(jù)挑戰(zhàn)成本業(yè)務(wù)安全其它成本大數(shù)據(jù)項目涉及大量成本。如果由企業(yè)自己運維，需要考慮機房軟硬件成本、運維管理人員成本等。此外，盡管可以使用開源大數(shù)據(jù)平臺和系統(tǒng)，但是二次開發(fā)和維護都需要投入成本。如果選擇基于云的大數(shù)據(jù)解決方案，則需要向云服務(wù)提供商支付費用?？偟膩碚f，大數(shù)據(jù)的巨大體量使得信息管理成本顯著增加。圖片來自互聯(lián)網(wǎng)業(yè)務(wù)在實際生產(chǎn)中，有些行業(yè)的數(shù)據(jù)涉及上百個參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實體和多空間之間的交互動態(tài)性，難以用傳統(tǒng)的方法描述與度量。如何對跨業(yè)務(wù)平臺的數(shù)據(jù)進行關(guān)聯(lián)，并全面實時地給出分析結(jié)果，也是大數(shù)據(jù)技術(shù)需要面臨的一個挑戰(zhàn)。圖片來自互聯(lián)網(wǎng)業(yè)務(wù)企業(yè)、組織、政府需要大量既精通業(yè)務(wù)又能進行大數(shù)據(jù)分析的人才。研究表明，在美國對擁有深厚海量數(shù)據(jù)分析（包括機器學習和高級統(tǒng)計分析）技能人才的需求，可能超出預(yù)測供應(yīng)量的50%～60%。因此，如何培養(yǎng)大量大數(shù)據(jù)分析人才是當務(wù)之急，這對現(xiàn)有人才培養(yǎng)機制提出了新的挑戰(zhàn)。圖片來自互聯(lián)網(wǎng)業(yè)務(wù)必須對大數(shù)據(jù)進行清理，準備，驗證，檢查是否合規(guī)并不斷維護。這些任務(wù)的問題在于，如此快速的組織認為很難發(fā)揮大部分數(shù)據(jù)準備活動來保證理想的數(shù)據(jù)質(zhì)量。公司一次又一次地存儲了大部分接近的大數(shù)據(jù)而沒有做很多事情。這會使數(shù)據(jù)受到污染。此外，不準確的信息可能會增加因錯誤數(shù)據(jù)而導致業(yè)務(wù)決策的危險。圖片來自互聯(lián)網(wǎng)安全通過對大量用戶數(shù)據(jù)的分析，可以有效提升用戶服務(wù)。但是，搜集的用戶數(shù)據(jù)，無論是對用戶隱私還是數(shù)據(jù)本身，都成為了具有爭議的灰色地帶。例如，華爾街一位股票炒家利用電腦程序分析全球3.4億微博賬戶的留言，以此判斷民眾情緒。這對提供數(shù)據(jù)的眾多微博用戶而言，成為了被利用的對象。因此，如何在挖掘數(shù)據(jù)價值和個人隱私保護之間尋求平衡，防止數(shù)據(jù)竊取、非法添加或篡改等情況的出現(xiàn)，是大數(shù)據(jù)需要解決的另一個難題。圖片來自互聯(lián)網(wǎng)安全大數(shù)據(jù)的發(fā)展需要加大信息的開放程度，設(shè)計出新的信息收集設(shè)備，并為海量數(shù)據(jù)的存續(xù)和分析提供支持。若企業(yè)不了解大數(shù)據(jù)內(nèi)涵，則更增加了其風險成本。因此，企業(yè)需要關(guān)注完整的數(shù)據(jù)生命周期，包括數(shù)據(jù)質(zhì)量、數(shù)據(jù)保留度、數(shù)據(jù)整合、數(shù)據(jù)安全性和信息隱私等內(nèi)容。圖片來自互聯(lián)網(wǎng)總結(jié)建立一個良性發(fā)展的數(shù)據(jù)共享生態(tài)系統(tǒng)，是我國大數(shù)據(jù)發(fā)展需要邁過去的一道坎。同時，開放與隱私如何平衡，也是大數(shù)據(jù)開放過程中面臨的最大難題。如何在推動數(shù)據(jù)全面開放、應(yīng)用和共享的同時有效地保護公民、企業(yè)隱私