數(shù)據(jù)處理流程主講：吳夢雪大01大數(shù)據(jù)處理的基本流程02數(shù)據(jù)收集03數(shù)據(jù)預(yù)處理04數(shù)據(jù)處理與分析目錄05數(shù)據(jù)可視化與應(yīng)用分析大數(shù)據(jù)處理流程1大數(shù)據(jù)處理流程大數(shù)據(jù)處理的基本流程包括：數(shù)據(jù)收集數(shù)據(jù)預(yù)處理數(shù)據(jù)存儲數(shù)據(jù)處理與分析數(shù)據(jù)展示/數(shù)據(jù)可視化數(shù)據(jù)應(yīng)用數(shù)據(jù)質(zhì)量其中數(shù)據(jù)質(zhì)量貫穿于整個大數(shù)據(jù)流程，每一個數(shù)據(jù)處理環(huán)節(jié)都會對大數(shù)據(jù)質(zhì)量產(chǎn)生影響作用。通常，一個好的大數(shù)據(jù)產(chǎn)品要有大量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)處理、精確的數(shù)據(jù)分析與預(yù)測、優(yōu)秀的可視化圖表以及簡練易懂的結(jié)果解釋。數(shù)據(jù)收集2數(shù)據(jù)收集在數(shù)據(jù)收集過程中，數(shù)據(jù)源會影響大數(shù)據(jù)質(zhì)量的真實性、完整性、一致性、準(zhǔn)確性和安全性。對于Web數(shù)據(jù)，多采用網(wǎng)絡(luò)爬蟲方式進(jìn)行收集，這需要對爬蟲軟件進(jìn)行時間設(shè)置以保障收集到的數(shù)據(jù)時效性質(zhì)量。例如：可以利用易海聚采集軟件的增值A(chǔ)PI設(shè)置，靈活控制采集任務(wù)的啟動和停止。數(shù)據(jù)預(yù)處理3數(shù)據(jù)預(yù)處理大數(shù)據(jù)采集過程中通常有一個或多個數(shù)據(jù)源，這些數(shù)據(jù)源包括同構(gòu)或異構(gòu)的數(shù)據(jù)庫、文件系統(tǒng)、服務(wù)接口等，易受到噪聲數(shù)據(jù)、數(shù)據(jù)值缺失、數(shù)據(jù)沖突等影響，因此需首先對收集到的大數(shù)據(jù)集合進(jìn)行預(yù)處理，以保證大數(shù)據(jù)分析與預(yù)測結(jié)果的準(zhǔn)確性與價值性。大數(shù)據(jù)的預(yù)處理環(huán)節(jié)主要包括：數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)歸約數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)預(yù)處理數(shù)據(jù)清理技術(shù)包括對數(shù)據(jù)的不一致檢測、噪聲數(shù)據(jù)的識別、數(shù)據(jù)過濾與修正等，數(shù)據(jù)清理有利于提高大數(shù)據(jù)的一致性、準(zhǔn)確性、真實性和可用性等方面的質(zhì)量。數(shù)據(jù)集成則是將多個數(shù)據(jù)源的數(shù)據(jù)進(jìn)行集成，從而形成集中、統(tǒng)一的數(shù)據(jù)庫、數(shù)據(jù)立方體等，這一過程有利于提高大數(shù)據(jù)的完整性、一致性、安全性和可用性等方面質(zhì)量。數(shù)據(jù)歸約是在不損害分析結(jié)果準(zhǔn)確性的前提下降低數(shù)據(jù)集規(guī)模，使之簡化，包括維歸約、數(shù)據(jù)歸約、數(shù)據(jù)抽樣等技術(shù)，這一過程有利于提高大數(shù)據(jù)的價值密度，即提高大數(shù)據(jù)存儲的價值性。數(shù)據(jù)預(yù)處理數(shù)據(jù)轉(zhuǎn)換處理包括基于規(guī)則或元數(shù)據(jù)的轉(zhuǎn)換、基于模型與學(xué)習(xí)的轉(zhuǎn)換等技術(shù)，可通過轉(zhuǎn)換實現(xiàn)數(shù)據(jù)統(tǒng)一，這一過程有利于提高大數(shù)據(jù)的一致性和可用性?？傊?，數(shù)據(jù)預(yù)處理環(huán)節(jié)有利于提高大數(shù)據(jù)的一致性、準(zhǔn)確性、真實性、可用性、完整性、安全性和價值性等方面質(zhì)量，而大數(shù)據(jù)預(yù)處理中的相關(guān)技術(shù)是影響大數(shù)據(jù)過程質(zhì)量的關(guān)鍵因素。數(shù)據(jù)處理與分析4數(shù)據(jù)處理與分析數(shù)據(jù)處理大數(shù)據(jù)的分布式處理技術(shù)與存儲形式、業(yè)務(wù)數(shù)據(jù)類型等相關(guān)，針對大數(shù)據(jù)處理的主要計算模型有MapReduce分布式計算框架、分布式內(nèi)存計算系統(tǒng)、分布式流計算系統(tǒng)等。MapReduce是一個批處理的分布式計算框架，可對海量數(shù)據(jù)進(jìn)行并行分析與處理，它適合對各種結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的處理。分布式內(nèi)存計算系統(tǒng)可有效減少數(shù)據(jù)讀寫和移動的開銷，提高大數(shù)據(jù)處理性能。分布式流計算系統(tǒng)則是對數(shù)據(jù)流進(jìn)行實時處理，以保障大數(shù)據(jù)的時效性和價值性。數(shù)據(jù)處理與分析總之，無論哪種大數(shù)據(jù)分布式處理與計算系統(tǒng)，都有利于提高大數(shù)據(jù)的價值性、可用性、時效性和準(zhǔn)確性。大數(shù)據(jù)的類型和存儲形式?jīng)Q定了其所采用的數(shù)據(jù)處理系統(tǒng)，而數(shù)據(jù)處理系統(tǒng)的性能與優(yōu)劣直接影響大數(shù)據(jù)質(zhì)量的價值性、可用性、時效性和準(zhǔn)確性。因此在進(jìn)行大數(shù)據(jù)處理時，要根據(jù)大數(shù)據(jù)類型選擇合適的存儲形式和數(shù)據(jù)處理系統(tǒng)，以實現(xiàn)大數(shù)據(jù)質(zhì)量的最優(yōu)化。數(shù)據(jù)處理與分析數(shù)據(jù)分析大數(shù)據(jù)分析技術(shù)主要包括已有數(shù)據(jù)的分布式統(tǒng)計分析技術(shù)和未知數(shù)據(jù)的分布式挖掘、深度學(xué)習(xí)技術(shù)。分布式統(tǒng)計分析可由數(shù)據(jù)處理技術(shù)完成，分布式挖掘和深度學(xué)習(xí)技術(shù)則在大數(shù)據(jù)分析階段完成，包括聚類與分類、關(guān)聯(lián)分析、深度學(xué)習(xí)等，可挖掘大數(shù)據(jù)集合中的數(shù)據(jù)關(guān)聯(lián)性，形成對事物的描述模式或?qū)傩砸?guī)則，可通過構(gòu)建機(jī)器學(xué)習(xí)模型和海量訓(xùn)練數(shù)據(jù)提升數(shù)據(jù)分析與預(yù)測的準(zhǔn)確性。數(shù)據(jù)處理與分析數(shù)據(jù)分析是大數(shù)據(jù)處理與應(yīng)用的關(guān)鍵環(huán)節(jié)，它決定了大數(shù)據(jù)集合的價值性和可用性，以及分析預(yù)測結(jié)果的準(zhǔn)確性。在數(shù)據(jù)分析環(huán)節(jié)，應(yīng)根據(jù)大數(shù)據(jù)應(yīng)用情境與決策需求，選擇合適的數(shù)據(jù)分析技術(shù)，提高大數(shù)據(jù)分析結(jié)果的可用性、價值性和準(zhǔn)確性質(zhì)量。數(shù)據(jù)可視化與應(yīng)用環(huán)節(jié)5數(shù)據(jù)可視化與應(yīng)用環(huán)節(jié)數(shù)據(jù)可視化數(shù)據(jù)可視化是指將大數(shù)據(jù)分析與預(yù)測結(jié)果以計算機(jī)圖形或圖像的直觀方式顯示給用戶的過程，并可與用戶進(jìn)行交互式處理。數(shù)據(jù)可視化技術(shù)有利于發(fā)現(xiàn)大量業(yè)務(wù)數(shù)據(jù)中隱含的規(guī)律性信息，以支持管理決策。數(shù)據(jù)可視化環(huán)節(jié)可大大提高大數(shù)據(jù)分析結(jié)果的直觀性，便于用戶理解與使用，所以數(shù)據(jù)可視化是影響大數(shù)據(jù)可用性和易于理解性質(zhì)量的關(guān)鍵因素。數(shù)據(jù)可視化與應(yīng)用環(huán)節(jié)數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用是指將經(jīng)過分析處理后挖掘得到的大數(shù)據(jù)結(jié)果應(yīng)用于管理決策、戰(zhàn)略規(guī)劃等的過程，它是對大數(shù)據(jù)分析結(jié)果的檢驗與驗證，大數(shù)據(jù)應(yīng)用過程直接體現(xiàn)了大數(shù)據(jù)分析處理結(jié)果的價值性和可用性。大數(shù)據(jù)應(yīng)用對大數(shù)據(jù)的分析處理具有引導(dǎo)作用。在大數(shù)據(jù)收集、處理等一系列操作之前，通