第十三章項目實戰(zhàn)：數(shù)據(jù)分析13.1數(shù)據(jù)清洗13.2

數(shù)據(jù)存儲13.3

NumPy13.4案例剖析13.1數(shù)據(jù)清洗第十三章項目實戰(zhàn)：數(shù)據(jù)分析簡介大數(shù)據(jù)時代，數(shù)據(jù)便是掘金的黃金地帶。企業(yè)大量的歷史數(shù)據(jù)能否發(fā)揮其應(yīng)有的價值，取決于企業(yè)采用什么樣的分析手段，去發(fā)掘數(shù)據(jù)本身所蘊含的規(guī)律。數(shù)據(jù)分析人次炙手可熱，已成為大數(shù)據(jù)時代企業(yè)爭搶的焦點。本章，將以Python技術(shù)為基礎(chǔ)，通過實際案例的講解來使大家對數(shù)據(jù)分析的流程達(dá)到定性的認(rèn)識。同時，通過課程實驗，提高大家的動手能力，為使大家成為數(shù)據(jù)分析人才做好啟蒙教育。13.1數(shù)據(jù)清洗第十三章項目實戰(zhàn)：數(shù)據(jù)分析編碼問題通常，源數(shù)據(jù)分布在不同的業(yè)務(wù)流程之中。而不同的業(yè)務(wù)流程中對數(shù)據(jù)的要求、理解和規(guī)格各不相同。導(dǎo)致對同一數(shù)據(jù)對象的描述千差萬別。因此，在清洗數(shù)據(jù)的過程中，首先要對數(shù)據(jù)的編碼格式做統(tǒng)一要求。對于數(shù)據(jù)項的約定可從以下幾個方面進(jìn)行：◎命名規(guī)則：對于同一數(shù)據(jù)對象，其名稱應(yīng)當(dāng)是唯一的。比如頁面訪問量這個字段，可能稱作訪問深度、分為PV數(shù)、頁面瀏覽量等?！驍?shù)據(jù)類型：同一個數(shù)據(jù)對象的類型必須一致，而且表示方法唯一，如普通日期和時間戳的區(qū)分?！蛴嫈?shù)方法：對于數(shù)值類型的數(shù)據(jù)，單位務(wù)必統(tǒng)一。如：重量單位，千克、公斤、克、斤等，在數(shù)據(jù)表中必須用唯一單位?！蚣s束條件：數(shù)據(jù)表之間的關(guān)系約定不能產(chǎn)生二義性。比如：表的主鍵、唯一性、外鍵約束等。13.1數(shù)據(jù)清洗第十三章項目實戰(zhàn)：數(shù)據(jù)分析缺失值分析數(shù)據(jù)的缺失，主要包括記錄的缺失和記錄中某各字段信息的缺失。兩者都會造成最終分析結(jié)果的不準(zhǔn)確。下面，從缺失值產(chǎn)生的原因及處理方法進(jìn)行介紹。1產(chǎn)生原因缺失值產(chǎn)生的原因主要包括三大類，具體如下：①出于信息安全的需求。由于某種原因無法獲取，或者獲取成本過高。②人為的信息遺漏?？赡苁怯捎趥€人主觀認(rèn)識不到位，導(dǎo)致的因人為因素產(chǎn)生的遺漏。也可能是由于數(shù)據(jù)獲取設(shè)備的故障所引起的非人為原因產(chǎn)生的丟失。③字段值的缺失。某些情況下，缺失值不一定意味者著數(shù)據(jù)的錯誤。比如兒童的手機號碼、個人收入等字段值。2數(shù)據(jù)值的缺失，通常會給數(shù)據(jù)分析帶來如下影響：①數(shù)據(jù)挖掘建模將丟失大量的有用信息。13.1數(shù)據(jù)清洗第十三章項目實戰(zhàn)：數(shù)據(jù)分析缺失值分析②數(shù)據(jù)挖掘模型表現(xiàn)出來的不確定性更加顯著，數(shù)據(jù)背后蘊含的規(guī)律更難發(fā)掘。③字段的空值會導(dǎo)致數(shù)據(jù)分析過程陷入混亂，致使分析產(chǎn)生不可靠的結(jié)果。3應(yīng)對策略生活中我們所采集到的數(shù)據(jù)常錯綜復(fù)雜，其值的缺失也是很常見。那么我們該如何處理這些缺失值呢？常用的有三大類方法，即刪除法、填補法和插值法?！騽h除法：當(dāng)數(shù)據(jù)中的某個變量大部分值都是缺失值，可以考慮刪除改變量；當(dāng)缺失值是隨機分布的，且缺失的數(shù)量并不是很多是，也可以刪除這些缺失的觀測?！蛱嫜a法：對于連續(xù)型變量，如果變量的分布近似或就是正態(tài)分布的話，可以用均值替代那些缺失值；如果變量是有偏的，可以使用中位數(shù)來代替那些缺失值；對于離散型變量，我們一般用眾數(shù)去替換那些存在缺失的觀測。◎插補法：插補法是基于蒙特卡洛模擬法，結(jié)合線性模型、廣義線性模型、決策樹等方法計算出來的預(yù)測值替換缺失值。13.1數(shù)據(jù)清洗第十三章項目實戰(zhàn)：數(shù)據(jù)分析去除異常值異常值，是指數(shù)據(jù)樣本中的個別值，其數(shù)值明顯偏離對應(yīng)字段的所有觀察值。異常值又稱離群點。異常值的分析是檢驗數(shù)據(jù)集中是否存在錄入錯誤以及不合常理的數(shù)據(jù)。去除異常值的方法主要包括：◎統(tǒng)計分析法通常對變量的取值做一個簡單的量化統(tǒng)計，尤其是數(shù)值型字段。進(jìn)而查看那些取值超出合法取值范圍。最常用的統(tǒng)計方法是求最大值、平均值、最小值。用最小值和最大值確定正常取值范圍。用平均值替代空白字段值，將超出合理取值的記錄剔除采樣數(shù)據(jù)。比如：個人信息中的年齡字段取值超過150就屬于異常取值，可考慮用平均取值替代?！?δ分析法通常，如果數(shù)據(jù)服從正態(tài)分布，在3δ思想的指導(dǎo)下，異常值被認(rèn)定為與平均值偏差超過3倍標(biāo)準(zhǔn)差的數(shù)值。因為，在正態(tài)分布下，距離大于3倍標(biāo)準(zhǔn)差的數(shù)值的概率小與等于0.003，屬于小概率事件。相反，若數(shù)據(jù)字段值不服從正態(tài)分布，可用遠(yuǎn)離平均值多少倍標(biāo)準(zhǔn)差約定異常數(shù)值。13.1數(shù)據(jù)清洗第十三章項目實戰(zhàn)：數(shù)據(jù)分析去除重復(fù)值與冗余信息由于各種各樣的原因，在獲取的數(shù)據(jù)源中，經(jīng)常存在重復(fù)的字段、重復(fù)的記錄以及獲取了與分析主題無關(guān)的數(shù)據(jù)項。這時，為了提高數(shù)據(jù)的質(zhì)量，我們需要對源數(shù)據(jù)做去重處理和冗余處理。對于重復(fù)數(shù)據(jù)的處理，我們通常采用的方法是“排序合并”。具體做法是：現(xiàn)將數(shù)據(jù)庫表中的記錄按照指定的規(guī)則排序，然后通過比較鄰近記錄是否相似來檢測記錄是否有重復(fù)。這項工作包括排序和相似度計算兩個步驟。常用的排序方法有：插入排序、冒泡排序、快速排序、希爾排序等。常用的相似度計算方法有：基本的字段匹配算法、標(biāo)準(zhǔn)的歐氏距離法、相關(guān)系數(shù)、信息熵等。另外，需要注意的是，對重復(fù)的數(shù)據(jù)項，盡量通過具體分析主題確定相關(guān)提取規(guī)則。在數(shù)據(jù)清洗階段，對重復(fù)的數(shù)據(jù)切勿輕易的進(jìn)行刪除。尤其是不能將與分析主題相關(guān)的重要業(yè)務(wù)數(shù)據(jù)過濾掉。對于與分析主題無關(guān)的數(shù)據(jù)項，也即我們通常說的冗余信息，同樣，也不可直接剔除出數(shù)據(jù)源。而需要根據(jù)制定的提取規(guī)則通過子表的形式，生成新的和分析主題相關(guān)的數(shù)據(jù)表。第十一章項目實戰(zhàn)：爬蟲程序11.1數(shù)據(jù)清洗11.2

數(shù)據(jù)存儲11.3

NumPy11.4案例剖析13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析CSV文件存取數(shù)據(jù)存取是數(shù)據(jù)分析的基礎(chǔ)，尤其是面對海量數(shù)據(jù)，數(shù)據(jù)的存取方式顯得尤為重要。本節(jié)，以Pandas庫對象為基礎(chǔ)重點介紹python數(shù)據(jù)分析中常見的幾種數(shù)據(jù)存取方法。CSV（Comma-SeparatedValue，逗號分隔值）是一種常見的文件格式。通常，數(shù)據(jù)庫的轉(zhuǎn)存文件就是CSV格式的，文件中的各個字段對應(yīng)于數(shù)據(jù)庫表中的列。在Pandas中我們可以使用read_csv()函數(shù)將.csv數(shù)據(jù)讀入程序。比如，讀取學(xué)生成績數(shù)據(jù)，首先創(chuàng)建一個stuscore.csv文件，然后使用pandas對象的read_csv()函數(shù)讀取并顯示數(shù)據(jù)。13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析CSV文件存取13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析CSV文件存取13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析JSON文件的存取JavaScriptObjectNotation簡稱Json是一種與平臺無關(guān)的數(shù)據(jù)格式，被廣泛的用于應(yīng)用或系統(tǒng)間的數(shù)據(jù)交換。Pandas提供的read_json()函數(shù)，可以用來創(chuàng)建pandasSeries或者pandasDataFrame數(shù)據(jù)結(jié)構(gòu)。同時，pandas也提供了to_json()函數(shù)用以完成數(shù)據(jù)框或序列到j(luò)son格式的轉(zhuǎn)換。關(guān)于pandas對json數(shù)據(jù)的存取比較簡單，這里通過一個簡單的示例來說明兩者之間的轉(zhuǎn)換關(guān)系。13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析JSON文件的存取13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析XLSX文件的存取使用pandas讀取Excel電子表格中的數(shù)據(jù)，需借助第三方庫xlrd完成Excel表數(shù)據(jù)的讀寫操作。用read_excel()函數(shù)完成Excel電子表格中數(shù)據(jù)的讀取，用to_excel()函數(shù)完成數(shù)據(jù)pandasDataFrame中的數(shù)據(jù)寫入Excel。為了完成Excel電子表格中數(shù)據(jù)的存取，我們先來完成Python第三方庫openpyxl、xlsxwriter、xlrd、的安裝。這里，還是使用pipinstall命令完成。示例Excel數(shù)據(jù)圖13.6：13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析XLSX文件的存取首先，我們用pandas的數(shù)據(jù)框來創(chuàng)建如圖13.6的Excel數(shù)據(jù)表，然后，將創(chuàng)建的Excel表的數(shù)據(jù)輸出。13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析XLSX文件的存取df_out寫入的excel文件通常位于Python的安裝目錄下，如下圖所示：13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析MySQL數(shù)據(jù)庫文件的存取大數(shù)據(jù)時代，海量的數(shù)據(jù)通常是保存在指定的數(shù)據(jù)庫中，MySQL作為一種開源的關(guān)系型數(shù)據(jù)庫，收到中小企業(yè)的青睞。本節(jié)，我們將以MySQL數(shù)據(jù)為對象，講解Pandas對象是如何對其數(shù)據(jù)進(jìn)行存取的。同樣，我們以學(xué)生成績單為例，MySQL數(shù)據(jù)源示例。13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析MySQL數(shù)據(jù)庫文件的存取嘗試第三方庫mysql.connector.python的安裝。同樣，我們采用pipinstall命令完成。在DOS下輸入如下命令：

pipinstallmysql.connector.python13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析MySQL數(shù)據(jù)庫文件的存取13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析MySQL數(shù)據(jù)庫文件的存取為了完成pandas數(shù)據(jù)框中的數(shù)據(jù)寫入MySQL的任務(wù)，首先需要安裝支撐這一任務(wù)的鏈接器第三方Python庫sqlalchemy。依舊使用pipinstall命令完成安裝。13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析MySQL數(shù)據(jù)庫文件的存取13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析MySQL數(shù)據(jù)庫文件的存取然后，通過win+R鍵打開運行對話框，輸入CMD進(jìn)入DOS，進(jìn)入MySQL控制臺，查看scores表中的內(nèi)容。13.2數(shù)據(jù)存儲第十三章項目實戰(zhàn)：數(shù)據(jù)分析MySQL數(shù)據(jù)庫文件的存取另外，我們也可以將pandas中的數(shù)據(jù)重新建一個表單獨存放，很簡單，只需將上面示例代碼中的表名更改一下就OK。df.to_sql(name='newscore',con=conn,if_exists='append',index=False,index_label=False)第十一章項目實戰(zhàn)：爬蟲程序11.1數(shù)據(jù)清洗11.2

數(shù)據(jù)存儲11.3

NumPy11.4案例剖析13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析簡介NumPy（NumericalPython的縮寫）是一個開源的Python科學(xué)計算庫。使用NumPy，就可以很方便地使用數(shù)組和矩陣。NumPy包含很多實用的數(shù)學(xué)函數(shù)，涵蓋線性代數(shù)運算、傅里葉變換和隨機數(shù)生成等功能。NumPy已成為Python科學(xué)計算生態(tài)系統(tǒng)的重要組成部分，其在保留Python語言優(yōu)勢的同時大大增強了科學(xué)計算和數(shù)據(jù)處理的能力。更重要的是，NumPy與SciPy、Matplotlib等其它眾多Python科學(xué)計算庫很好地結(jié)合在一起，共同構(gòu)建了一個完整的科學(xué)計算生態(tài)系統(tǒng)。一句話，NumPy是使用Python進(jìn)行數(shù)據(jù)分析的一個必備工具。13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作

Numpy中的ndarray是一個多維數(shù)組對象，該對象由描述數(shù)據(jù)的元數(shù)據(jù)和數(shù)據(jù)本身兩部分組成。通常，大部分的操作僅僅是針對修改描述數(shù)據(jù)的元數(shù)據(jù)部分，而不改變實際數(shù)據(jù)本身。Numpy中的數(shù)組一般是同質(zhì)的，亦即數(shù)據(jù)的類型是一致的，這樣的規(guī)定最大的好處在于方便估算數(shù)組所需的存儲空間。與Python類似，Numpy數(shù)組的下標(biāo)也是從零開始的。ndarray中的每個元素在內(nèi)存中使用相同大小的塊。ndarray中的每個元素是數(shù)據(jù)類型對象的對象(稱為dtype)。從ndarray對象提取的任何元素(通過切片)由一個數(shù)組標(biāo)量類型的Python對象表示。13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作通常，ndarray對象是使用NumPy中的數(shù)組函數(shù)創(chuàng)建的，定義如下：numpy.array(object,dtype=None,copy=True,order=None,subok=False,ndmin=0)其參數(shù)的含義如下表。13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作創(chuàng)建數(shù)組最簡單的辦法就是使用array函數(shù)，我們可以通過array函數(shù)傳遞Python的序列對象創(chuàng)建數(shù)組。13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作數(shù)組的元素類型可以通過dtype屬性獲得，我們可以通過dtype參數(shù)在創(chuàng)建時指定元素類型。13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作然而，通過創(chuàng)建Python序列，借助array函數(shù)將序列轉(zhuǎn)換為數(shù)組效率不高。為此Numpy專門提供了很多用來創(chuàng)建數(shù)組的內(nèi)置函數(shù)。舉例如下：arange()函數(shù):通過指定開始值、終止值和步長來創(chuàng)建一維數(shù)組,數(shù)組不包含終止值；linspace()函數(shù):通過指定開始值、終值和元素個數(shù)來創(chuàng)建一維數(shù)組，可以通過endpoint關(guān)鍵字指定是否包括終值，缺省設(shè)置是包括終值;logspace()函數(shù)和linspace()函數(shù)類似，不過它創(chuàng)建等比數(shù)列。13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作多維數(shù)組：多維數(shù)組有多個軸，因此它的下標(biāo)需要用多個值來表示，NumPy采用組元(tuple)作為數(shù)組的下標(biāo)。其基本屬性包括：軸（axis）：每一個線性的數(shù)組稱為是一個軸，也就是維度（dimensions），用ndarray.shape表示。比如，二維數(shù)組相當(dāng)于兩個一維數(shù)組的嵌套，其中第一個一維數(shù)組中每個元素又是一個一維數(shù)組，因而，一維數(shù)組就是ndarray中的軸，第一個軸（也就是第0軸）相當(dāng)于一個容器數(shù)組，第二個軸（也就是第1軸）是容器數(shù)組里的數(shù)組。秩（rank）：維數(shù)，一維數(shù)組的秩為1，二維數(shù)組的秩為2，以此類推，即軸的個數(shù)。用ndarray.ndim表示。如下圖所示，a為一個5x5的數(shù)組邏輯結(jié)構(gòu)示意圖，可以看成由5個一維數(shù)組構(gòu)成，每個一維數(shù)組包含5個元素；第一維被稱為第0軸（列），第二維被稱為第1軸（行）；秩為2，維度為（5，5），元素總個數(shù)為25。13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作5*5的二維數(shù)組13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作代碼實現(xiàn)：13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作13.3NumPy第十三章項目實戰(zhàn)：數(shù)據(jù)分析基本操作多維數(shù)組的存取，以二維為例。第十一章項目實戰(zhàn)：爬蟲程序11.1數(shù)據(jù)清洗11.2

數(shù)據(jù)存儲11.3

NumPy11.4案例剖析13.4案例剖析第十三章項目實戰(zhàn)：數(shù)據(jù)分析數(shù)據(jù)分析概述數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。它數(shù)據(jù)挖掘的基礎(chǔ)，做好數(shù)據(jù)的分析，才能保障數(shù)據(jù)挖掘的可靠性。數(shù)據(jù)分析有極廣泛的應(yīng)用范圍。通常數(shù)據(jù)分析可劃歸三類：◎探索性分析：源數(shù)據(jù)可能雜亂無章，看不出規(guī)律，通過作圖、造表、用各種形式的方程擬合，計算某些特征量等手段探索規(guī)律性的可能形式，即往什么方向和用何種方式去尋找和揭示隱含在數(shù)據(jù)中的規(guī)律性。◎假設(shè)模型分析：在探索性分析的基礎(chǔ)上提出一類或幾類可能的模型，然后通過進(jìn)一步的分析從中挑選一定的模型?！蚶碚撏茢喾治觯和ǔＪ褂脭?shù)理統(tǒng)計方法對所定模型或估計的可靠程度和精確程度作出推斷。這三種分析方法，逐次遞進(jìn)，探索性分析是其它分析的基礎(chǔ)。通常，我們把探索性分析稱為數(shù)據(jù)分析，而后兩者統(tǒng)稱數(shù)據(jù)挖掘。13.4案例剖析第十三章項目實戰(zhàn)：數(shù)據(jù)分析思路解析以房天下西安站二手房源數(shù)據(jù)為分析對象，使用用Numpy+Pandas庫對數(shù)據(jù)進(jìn)行探索性分析?！叭瞬判抡笔构爬系奈靼采鷻C盎然，煥發(fā)活力。伴隨人口的大量涌入，住房這個古老的話題，炙手可熱。如何在茫茫房海中尋找中意的她呢？本節(jié)課，我們將以房天下西安二手房數(shù)據(jù)包為分析對象，首先通過Pandas對象將其從Excel電子表格中導(dǎo)入到數(shù)據(jù)框中。然后，對房源數(shù)據(jù)進(jìn)行清洗。最后，對各關(guān)鍵字段字段進(jìn)行相應(yīng)的可視化處理，通過直觀可視的圖像，幫你尋找中意的她。13.4案例剖析第十三章項目實戰(zhàn)：數(shù)據(jù)分析代碼實現(xiàn)13.4案例剖析第十三章項目實戰(zhàn)：數(shù)據(jù)分析代碼解析13.4案例剖析第十三章項目實戰(zhàn)：數(shù)據(jù)分析代碼解析查看數(shù)據(jù)源是否有重復(fù)數(shù)據(jù)，這里，我們我們假定以title字段為關(guān)鍵字，若標(biāo)題內(nèi)容相同，則認(rèn)為是同一記錄。13.4案例剖析第十三章項目實戰(zhàn)：數(shù)據(jù)分析代碼解析通過使用drop_duplicates()清洗掉數(shù)據(jù)源中的重復(fù)記錄。這里，drop_duplicates函數(shù)通過subset參數(shù)選擇以哪個列為去重基準(zhǔn)。keep