目錄項目一大數(shù)據(jù)概述項目二大數(shù)據(jù)思維項目三數(shù)據(jù)庫基礎(chǔ)知識項目四大數(shù)據(jù)分析技術(shù)及相關(guān)應(yīng)用項目五數(shù)據(jù)可視化概論項目六大數(shù)據(jù)安全項目七大數(shù)據(jù)與新一代信息技術(shù)的融合應(yīng)用項目四大數(shù)據(jù)分析技術(shù)及相關(guān)應(yīng)用

1大數(shù)據(jù)分析技術(shù)之初體驗

2大數(shù)據(jù)分析生命周期

3大數(shù)據(jù)處理和分析工具

4大數(shù)據(jù)實際使用案例任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗傳統(tǒng)方式下數(shù)據(jù)處理和分析首先明確：所有業(yè)務(wù)分析都是基于數(shù)據(jù)進行的。傳統(tǒng)方式：企業(yè)自己創(chuàng)建和存儲的結(jié)構(gòu)化數(shù)據(jù)，如CRM系統(tǒng)中的客戶數(shù)據(jù)，ERP系統(tǒng)中的運營數(shù)據(jù)，以及會計數(shù)據(jù)庫中的財務(wù)數(shù)據(jù)。任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗大數(shù)據(jù)時代下數(shù)據(jù)以及大數(shù)據(jù)處理和分析大數(shù)據(jù)時代：得益于社交媒體和網(wǎng)絡(luò)服務(wù)（如Facebook，Twitter），數(shù)據(jù)傳感器以及網(wǎng)絡(luò)設(shè)備，機器和人類產(chǎn)生的網(wǎng)上交易，以及其他來源的非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)的普及，企業(yè)現(xiàn)有數(shù)據(jù)的體積和類型以及為追求最大商業(yè)價值而產(chǎn)生的近實時分析的需求正在迅速增加。我們稱這些為大數(shù)據(jù)。大數(shù)據(jù)分析通常是指對規(guī)模巨大的數(shù)據(jù)進行的分析。通過多個學科技術(shù)的融合，實現(xiàn)數(shù)據(jù)的采集、管理和分析，從而發(fā)現(xiàn)新的知識規(guī)律。

任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗大數(shù)據(jù)下：數(shù)據(jù)處理和分析傳統(tǒng)的數(shù)據(jù)管理和業(yè)務(wù)分析工具及技術(shù)：解決不了大數(shù)據(jù)問題，面臨大數(shù)據(jù)的壓力，故大數(shù)據(jù)分析見解的新方法開始不斷涌現(xiàn)。新方法：采取一種完全不同于傳統(tǒng)工具和技術(shù)的方式進行數(shù)據(jù)處理、分析和應(yīng)用。新方法包括：開源框架Hadoop，NoSQL數(shù)據(jù)庫（如Cassandra和Accumulo）以及大規(guī)模并行分析數(shù)據(jù)庫（如EMC的Greenplum，惠普的Vertica和TeradataASTERData）。這意味著，企業(yè)也需要從技術(shù)和文化兩個角度重新思考他們對待業(yè)務(wù)分析的方式。任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗傳統(tǒng)方式下數(shù)據(jù)處理和分析傳統(tǒng)的數(shù)據(jù)管理和業(yè)務(wù)分析工具及技術(shù)都面臨大數(shù)據(jù)的壓力，與此同時，幫助企業(yè)獲得來自大數(shù)據(jù)分析見解的新方法不斷涌現(xiàn)。這些新方法采取一種完全不同于傳統(tǒng)工具和技術(shù)的方式進行數(shù)據(jù)處理、分析和應(yīng)用。大數(shù)據(jù)性質(zhì)的變化具體來說，大數(shù)據(jù)性質(zhì)的變化體現(xiàn)在以下幾點：１．體積２．類型３．速度任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗傳統(tǒng)方式下數(shù)據(jù)處理和分析傳統(tǒng)上：為了特定分析目的進行的數(shù)據(jù)處理都是基于相當靜態(tài)的藍圖。通過常規(guī)的業(yè)務(wù)流程，企業(yè)通過CRM、ERP和財務(wù)系統(tǒng)等應(yīng)用程序，創(chuàng)建基于穩(wěn)定數(shù)據(jù)模型的結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)集成工具用于從企業(yè)應(yīng)用程序和事務(wù)型數(shù)據(jù)庫中提取、轉(zhuǎn)換和加載數(shù)據(jù)到一個臨時區(qū)域，在這個臨時區(qū)域進行數(shù)據(jù)質(zhì)量檢查和數(shù)據(jù)標準化，數(shù)據(jù)最終被模式化到整齊的行和表。這種模型化和清洗過的數(shù)據(jù)被加載到企業(yè)級數(shù)據(jù)倉庫。這個過程會周期性發(fā)生，如每天或每周，有時會更頻繁。傳統(tǒng)的數(shù)據(jù)處理/分析如圖4-1所示。任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗圖4-1傳統(tǒng)的數(shù)據(jù)處理/分析任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗大數(shù)據(jù)性質(zhì)的變化Web、移動設(shè)備和其他技術(shù)的出現(xiàn)導致數(shù)據(jù)性質(zhì)的根本性變化。大數(shù)據(jù)具有重要而獨特的特性，這種特性使得它與“傳統(tǒng)”企業(yè)數(shù)據(jù)區(qū)分開來。不再集中化、高度結(jié)構(gòu)化并且易于管理，與以往任何時候相比，現(xiàn)在的數(shù)據(jù)都是高度分散的、結(jié)構(gòu)松散（如果存在結(jié)構(gòu)的話）并且體積越來越大。具體來說：任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗1.體積通過Web、移動設(shè)備、IT基礎(chǔ)設(shè)施和其他來源產(chǎn)生的企業(yè)內(nèi)部和防火墻外的數(shù)據(jù)量每年都在成倍增加。

2.類型數(shù)據(jù)類型的多樣性增加，包括非結(jié)構(gòu)化文本數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)（如社交媒體數(shù)據(jù)，基于位置的數(shù)據(jù)和日志文件數(shù)據(jù)）。

3.速度得益于數(shù)字化交易、移動計算以及互聯(lián)網(wǎng)和移動設(shè)備的高用戶量，新數(shù)據(jù)被創(chuàng)建的速度以及實時分析的需求正在增加。廣義地說，大數(shù)據(jù)由多個來源產(chǎn)生，包括：任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗傳統(tǒng)方式下數(shù)據(jù)處理和分析（1）社交網(wǎng)絡(luò)和媒體目前有超過7億facebook用戶，2.5億推ter用戶和1.56億面向公眾開放的博客。facebook上的每個更新、Tweet和博客上文章的發(fā)布及評論都會創(chuàng)建多個新的數(shù)據(jù)點（包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的），這些數(shù)據(jù)點有時被稱為“數(shù)據(jù)廢氣”（2）移動設(shè)備全球有超過50億正在使用中的移動電話。每次呼叫、短信和即時消息都被記錄為數(shù)據(jù)。移動設(shè)備（尤其是智能手機和平板電腦）讓使用社交媒體等應(yīng)用程序更容易，而社會媒體的使用會產(chǎn)生大量數(shù)據(jù)。移動設(shè)備也收集和傳送位置數(shù)據(jù)。任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗傳統(tǒng)方式下數(shù)據(jù)處理和分析（3）網(wǎng)上交易數(shù)十億的網(wǎng)上購物、股票交易等每天都在發(fā)生，包括無數(shù)的自動交易。每次交易都產(chǎn)生了大量數(shù)據(jù)點，這些數(shù)據(jù)點會被零售商、銀行、信用卡、信貸機構(gòu)和其他機構(gòu)收集。（4）網(wǎng)絡(luò)設(shè)備和傳感器各種類型的電子設(shè)備（包括服務(wù)器和其他IT硬件、智能電表和溫度傳感器）都會創(chuàng)建半結(jié)構(gòu)化的日志數(shù)據(jù)記錄每一個動作。任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)既有聯(lián)系又有區(qū)別傳統(tǒng)數(shù)據(jù)大數(shù)據(jù)千兆字節(jié)--百萬兆字節(jié)拍字節(jié)（PB）--艾字節(jié)（EB）集中化分布式結(jié)構(gòu)化半結(jié)構(gòu)化和非結(jié)構(gòu)化穩(wěn)定的數(shù)據(jù)模型平面模式已知的復(fù)雜的內(nèi)部關(guān)系不復(fù)雜的內(nèi)部關(guān)系任務(wù)1大數(shù)據(jù)分析技術(shù)之初體驗小結(jié)：

大數(shù)據(jù)是所有行業(yè)新的權(quán)威的競爭優(yōu)勢。認為大數(shù)據(jù)是曇花一現(xiàn)的企業(yè)和技術(shù)供應(yīng)商