第7章大數(shù)據(jù)與數(shù)據(jù)可視化目錄頁(yè)contents7.1大數(shù)據(jù)基礎(chǔ)7.2數(shù)據(jù)獲取和清洗7.3數(shù)據(jù)處理與分析基礎(chǔ)7.4數(shù)據(jù)可視化12347.5綜合練習(xí)5選題背景及意義ONE7.1大數(shù)據(jù)基礎(chǔ)7.1.1大數(shù)據(jù)基本概念7.1.1大數(shù)據(jù)基本概念

圖靈獎(jiǎng)得主，關(guān)系型數(shù)據(jù)庫(kù)鼻祖吉姆·格雷(JimGray)提出：大數(shù)據(jù)不僅僅是一種工具和技術(shù)，更是一種思維方式，是繼實(shí)驗(yàn)歸納、模型推演、仿真模擬之后，發(fā)展和分離出來(lái)的一個(gè)獨(dú)特的科學(xué)研究范式。7.1.1大數(shù)據(jù)基本概念1.大數(shù)據(jù)定義研究機(jī)構(gòu)Gartner定義麥肯錫全球研究所學(xué)者弗里蒙特·賴德（FremontRider）定義7.1.1大數(shù)據(jù)基本概念大數(shù)據(jù)的意義

價(jià)值涌現(xiàn)質(zhì)量涌現(xiàn)隱私涌現(xiàn)安全涌現(xiàn)7.1.1大數(shù)據(jù)基本概念2.大數(shù)據(jù)特征（1）Volume（2）Variety（3）Value（4）Velocity（5）Veracity（6）完備性（7）置信度高（8）多維度7.1.1大數(shù)據(jù)基本概念3.大數(shù)據(jù)的研究目標(biāo)（1）實(shí)現(xiàn)從數(shù)據(jù)到智慧的升華（2）提供決策支持（3）商業(yè)應(yīng)用（4）提供數(shù)據(jù)生態(tài)系統(tǒng)7.1.2大數(shù)據(jù)支撐技術(shù)7.1.2大數(shù)據(jù)支撐技術(shù)1.統(tǒng)計(jì)學(xué)簡(jiǎn)介（1）分析對(duì)象從隨機(jī)樣本變成全體數(shù)據(jù)（2）追求目標(biāo)從精確性變成混雜性（3）思維方式從關(guān)注因果關(guān)系轉(zhuǎn)化為關(guān)注相關(guān)關(guān)系7.1.2大數(shù)據(jù)支撐技術(shù)7.1.2大數(shù)據(jù)支撐技術(shù)2.機(jī)器學(xué)習(xí)簡(jiǎn)介機(jī)器學(xué)習(xí)深度學(xué)習(xí)7.1.2大數(shù)據(jù)支撐技術(shù)7.1.2大數(shù)據(jù)支撐技術(shù)3.數(shù)據(jù)可視化簡(jiǎn)介查爾斯·約瑟夫·米納德繪制的《1812－1813對(duì)俄戰(zhàn)爭(zhēng)中法軍人力持續(xù)損失示意圖》，堪稱數(shù)據(jù)可視化的杰作。圖中用帶狀圖展示了拿破侖軍隊(duì)的人數(shù)變化，帶寬表示士兵數(shù)量，一毫米代表一萬(wàn)人。顏色區(qū)分行軍方向，黃色代表向莫斯科進(jìn)軍，黑色代表撤退。圖中還包含溫度線圖，示意當(dāng)時(shí)下降的溫度。通過(guò)這張圖，觀眾可以直觀地感受到拿破侖的40萬(wàn)大軍如何在長(zhǎng)途跋涉和嚴(yán)寒中逐步潰散。7.1.2大數(shù)據(jù)支撐技術(shù)7.1.2大數(shù)據(jù)支撐技術(shù)3.數(shù)據(jù)可視化簡(jiǎn)介約翰·斯諾醫(yī)生通過(guò)一系列細(xì)致的調(diào)查和分析，確定了1854年倫敦霍亂爆發(fā)的源頭。他首先在地圖上標(biāo)記了所有霍亂病例的居住地，發(fā)現(xiàn)大多數(shù)病例都集中在布羅德街的一個(gè)水泵附近。進(jìn)一步調(diào)查發(fā)現(xiàn)，這個(gè)水泵的水源來(lái)自被污染的河流。斯諾還注意到，一些沒(méi)有飲用這個(gè)水泵水的人，如一家啤酒廠的工人，幾乎沒(méi)有感染霍亂。這些發(fā)現(xiàn)讓他確信霍亂是通過(guò)被污染的水傳播的。7.1.2大數(shù)據(jù)支撐技術(shù)7.1.2大數(shù)據(jù)支撐技術(shù)3.數(shù)據(jù)可視化簡(jiǎn)介南丁格爾玫瑰圖，又稱雞冠花圖，是弗羅倫斯·南丁格爾在19世紀(jì)克里米亞戰(zhàn)爭(zhēng)期間發(fā)明的一種數(shù)據(jù)可視化工具。7.1.2大數(shù)據(jù)支撐技術(shù)7.1.2大數(shù)據(jù)支撐技術(shù)3.數(shù)據(jù)可視化簡(jiǎn)介7.1.2大數(shù)據(jù)支撐技術(shù)7.1.2大數(shù)據(jù)支撐技術(shù)3.數(shù)據(jù)可視化簡(jiǎn)介7.1.2大數(shù)據(jù)支撐技術(shù)7.1.2大數(shù)據(jù)支撐技術(shù)4.大數(shù)據(jù)分析與計(jì)算工具（1）數(shù)據(jù)科學(xué)語(yǔ)言工具（2）NoSQL數(shù)據(jù)庫(kù)工具（3）傳統(tǒng)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)工具：（4）大數(shù)據(jù)計(jì)算支持工具（5）大數(shù)據(jù)管理、存儲(chǔ)和查詢工具（6）數(shù)據(jù)采集、聚合或傳遞工具（7）數(shù)據(jù)挖掘工具（8）數(shù)據(jù)可視化工具（9）統(tǒng)計(jì)分析工具TWO7.2數(shù)據(jù)獲取和清洗7.2.1數(shù)據(jù)獲取概述1.數(shù)據(jù)來(lái)源2.常用數(shù)據(jù)集（1）政府開(kāi)放數(shù)據(jù)（2）企業(yè)或公益組織（3）大數(shù)據(jù)競(jìng)賽機(jī)構(gòu)（4）機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典數(shù)據(jù)集（5）統(tǒng)計(jì)學(xué)領(lǐng)域經(jīng)典數(shù)據(jù)集（6）其他7.2.2網(wǎng)頁(yè)信息爬取1.網(wǎng)絡(luò)爬蟲概述2.HTTP架構(gòu)簡(jiǎn)述3.Python網(wǎng)頁(yè)爬取和處理4.API利用和數(shù)據(jù)存儲(chǔ)5.法律和倫理考量7.2.3數(shù)據(jù)清洗和加工1、數(shù)據(jù)清洗（1）數(shù)據(jù)審查（DataAuditing）（2）數(shù)據(jù)清洗（DataCleaning）（3）數(shù)據(jù)驗(yàn)證（DataValidation）（4）數(shù)據(jù)維護(hù)（DataMaintenance）（5）文檔記錄（Documentation）（6）反饋循環(huán)（FeedbackLoop）7.2.3數(shù)據(jù)清洗和加工2