項(xiàng)目六

數(shù)據(jù)分析庫scipy任務(wù)一scipy簡介任務(wù)二相關(guān)性分析任務(wù)三假設(shè)檢驗(yàn)任務(wù)四T檢驗(yàn)任務(wù)五方差分析任務(wù)一scipy簡介任務(wù)引入到了月底，小明收到會計(jì)發(fā)過來的月底匯總，要求出具統(tǒng)計(jì)報(bào)表。那么，在Python中，使用什么模塊庫才能做到數(shù)據(jù)分析呢？怎么實(shí)現(xiàn)所需要求呢？知識準(zhǔn)備Scipy模塊是python常用的數(shù)據(jù)分析工具，Scipy的stats模塊包含了多種概率分布的隨機(jī)變量，用于數(shù)據(jù)統(tǒng)計(jì)分析，Scipy中常用的子模塊見表。一、linalg模塊linalg模塊用于進(jìn)行線性代數(shù)計(jì)算，線性代數(shù)的基本操作對象是矩陣，與numpy相同，linalg的基本數(shù)據(jù)類型為數(shù)組、矩陣，該模塊包含各種相關(guān)函數(shù)。特殊矩陣函數(shù)二、stats模塊scipy的stats中包含一些比較基本的數(shù)據(jù)統(tǒng)計(jì)分析函數(shù)，比如：t檢驗(yàn)，正態(tài)性檢驗(yàn)，卡方檢驗(yàn)之類，statsmodels提供了更為系統(tǒng)的統(tǒng)計(jì)模型，包括線性模型，時序分析，還包含數(shù)據(jù)集，做圖工具等等。1．概率分布設(shè)X是一個隨機(jī)變量，x是任意實(shí)數(shù)，函數(shù)在scipy.stats中，binom函數(shù)實(shí)現(xiàn)二項(xiàng)分布，poisson.pmf函數(shù)泊松分布，norm函數(shù)可以實(shí)現(xiàn)正態(tài)分布，正態(tài)分布函數(shù)見表。案例——繪制概率密度曲線2．?dāng)?shù)據(jù)分析在實(shí)際應(yīng)用中，數(shù)據(jù)分析可幫助人們做出判斷，以便采取適當(dāng)行動。在數(shù)據(jù)分析過程中，選擇適合的分析方法和工具是很重要的，下面介紹幾種常用的數(shù)據(jù)統(tǒng)計(jì)分析方法。（1）相關(guān)性分析（2）回歸分析（3）假設(shè)檢驗(yàn)（4）方差分析運(yùn)行結(jié)果（5）單變量統(tǒng)計(jì)分析使用describe函數(shù)可以查看數(shù)據(jù)的統(tǒng)計(jì)特性信息，包含以下值：nobs--觀測次數(shù)minmax--最小值和最大值mean--數(shù)學(xué)平均數(shù)variance--方差skewness--偏度kurtosis--峰度任務(wù)二相關(guān)性分析任務(wù)引入小明對不同產(chǎn)品銷售進(jìn)行分析，查找相關(guān)性。相關(guān)性分析是數(shù)據(jù)分析中經(jīng)常使用的分析方法之一，通過對不同特征或數(shù)據(jù)間的關(guān)系進(jìn)行分析，發(fā)現(xiàn)業(yè)務(wù)運(yùn)營中的關(guān)鍵影響及驅(qū)動因素，并對業(yè)務(wù)的發(fā)展進(jìn)行預(yù)測。那么，如何實(shí)現(xiàn)相關(guān)性分析？知識準(zhǔn)備相關(guān)分析的方法很多，初級的方法可以快速發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系，如正相關(guān)，負(fù)相關(guān)或不相關(guān)。中級的方法可以對數(shù)據(jù)間關(guān)系的強(qiáng)弱進(jìn)行度量，如完全相關(guān)，不完全相關(guān)等。高級的方法可以將數(shù)據(jù)間的關(guān)系轉(zhuǎn)化為模型，并通過模型對未來的業(yè)務(wù)發(fā)展進(jìn)行預(yù)測。數(shù)據(jù)的相關(guān)性關(guān)系主要分類如下，相關(guān)性的方向和強(qiáng)弱如圖所示。正相關(guān)：兩個變量值同時增長。負(fù)相關(guān)：一個變量值增加另一個變量值下降，不相關(guān)：隨機(jī)分布的離散的點(diǎn)線性相關(guān)：線性正相關(guān)是由左下到右上的圖形，線性負(fù)相關(guān)則是從左上到右下的圖形非線性相關(guān)：例如指數(shù)相關(guān)、U形相關(guān)。一、圖表相關(guān)性分析最簡單的相關(guān)分析方法是將數(shù)據(jù)進(jìn)行可視化處理，簡單的說就是繪制圖表。單純從數(shù)據(jù)的角度很難發(fā)現(xiàn)其中的趨勢和聯(lián)系，而將數(shù)據(jù)點(diǎn)繪制成圖表后趨勢和聯(lián)系就會變的清晰起來。1．折線圖對于有明顯時間維度的數(shù)據(jù)，可以選擇使用折線圖。案例——健康女性的數(shù)據(jù)的相關(guān)性分析表是對20位25~34周歲的健康女性的測量數(shù)據(jù)，試?yán)眠@些數(shù)據(jù)對身體脂肪與三頭肌皮褶厚度的關(guān)系進(jìn)行相關(guān)性分析。相關(guān)性的方向和強(qiáng)弱測量數(shù)據(jù)運(yùn)行結(jié)果案例——健康女性的多組數(shù)據(jù)的相關(guān)性分析表是對20位25~34周歲的健康女性的測量數(shù)據(jù)，試?yán)眠@些數(shù)據(jù)對身體脂肪與大腿圍長、三頭肌皮褶厚度的關(guān)系進(jìn)行相關(guān)性分析。2．散點(diǎn)圖比折線圖更直觀的是散點(diǎn)圖，散點(diǎn)圖去除了時間維度的影響，只關(guān)注數(shù)據(jù)間的關(guān)系。圖的橫軸是一個變量，縱軸是另一變量，散點(diǎn)圖可以直觀地看到相關(guān)性的方向和強(qiáng)弱。通過觀察散點(diǎn)圖上數(shù)據(jù)點(diǎn)的分布情況，可以推斷出變量間的相關(guān)性。運(yùn)行結(jié)果案例——健康女性的數(shù)據(jù)的相關(guān)性判斷表是對20位25~34周歲的健康女性的測量數(shù)據(jù)，試?yán)眠@些數(shù)據(jù)對大腿圍長、三頭肌皮褶厚度的關(guān)系進(jìn)行相關(guān)性分析判斷。二、相關(guān)系數(shù)分析協(xié)方差用來衡量兩個變量的總體誤差，如果兩個變量的變化趨勢一致，協(xié)方差就是正值，說明兩個變量正相關(guān)。如果兩個變量的變化趨勢相反，協(xié)方差就是負(fù)值，說明兩個變量負(fù)相關(guān)。如果兩個變量相互獨(dú)立，那么協(xié)方差就是0，說明兩個變量不相關(guān)。協(xié)方差的計(jì)算公式：

運(yùn)行結(jié)果協(xié)方差矩陣計(jì)算的是不同維度之間的協(xié)方差，而不是不同樣本之間的。協(xié)方差矩陣是一個對稱的矩陣，而且對角線是各個維度上的方差。協(xié)方差矩陣的定義：協(xié)方差通過數(shù)字衡量變量間的相關(guān)性，正值表示正相關(guān)，負(fù)值表示負(fù)相關(guān)。但無法對相關(guān)的密切程度進(jìn)行度量。當(dāng)面對多個變量時，無法通過協(xié)方差來說明那兩組數(shù)據(jù)的相關(guān)性最高。要衡量和對比相關(guān)性的密切程度，就需要使用下一個方法：相關(guān)系數(shù)。1．正態(tài)分布的相關(guān)分析皮爾森相關(guān)系數(shù)（Pearsoncorrelationcoefficient）是反應(yīng)兩變量之間線性相關(guān)程度的統(tǒng)計(jì)量，用它來分析正態(tài)分布的兩個連續(xù)型變量之間的相關(guān)性。常用于分析自變量之間，以及自變量和因變量之間的相關(guān)性。皮爾森相關(guān)系數(shù)在-1和+1之間變化，0表示沒有相關(guān)性.-1或+1的相關(guān)性暗示著一種精確的線性關(guān)系。案例——男子的體能數(shù)據(jù)的相關(guān)性分析Linnerud曾經(jīng)對男子的體能數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，他對某健身俱樂部的20名中年男子進(jìn)行體能指標(biāo)測量。被測數(shù)據(jù)分為兩組，第一組是身體特征指標(biāo)X，包括體重、腰圍、脈搏；第二組是訓(xùn)練結(jié)果指標(biāo)Y，包括單杠、彎曲、跳高。表就是測量數(shù)據(jù)。2．非正態(tài)分布的相關(guān)分析斯皮爾曼等級相關(guān)系數(shù)(Spearman’scorrelationcoefficientforrankeddata)，它主要用于評價順序變量間的線性相關(guān)關(guān)系，常用于計(jì)算類型變量的相關(guān)性。案例——葡萄球菌存活時間相關(guān)性分析實(shí)驗(yàn)室現(xiàn)有的菌種金黃色葡萄球菌，金黃色葡萄球菌暴露在空氣中的存活時間約為6小時。分別滴相同含量稀釋的金黃色葡萄球菌菌液，將樣品都放在通風(fēng)的室溫環(huán)境中，經(jīng)過0、2、4、6、8、24、48小時取出試驗(yàn)樣品，通過緩沖液將細(xì)菌洗下來，在瓊脂培養(yǎng)基中培養(yǎng)12小時，記每次分別記錄細(xì)菌樹齡，實(shí)驗(yàn)數(shù)據(jù)如表，試通過斯皮爾曼等級相關(guān)系數(shù)檢驗(yàn)溫度與葡萄球菌數(shù)量的非相關(guān)性。運(yùn)行結(jié)果運(yùn)行結(jié)果任務(wù)三假設(shè)檢驗(yàn)任務(wù)引入小白發(fā)現(xiàn)銷售數(shù)據(jù)涉及30個省100多個縣區(qū)，數(shù)據(jù)太多，分析十分吃力，本著-積極探索傳的精神，小白查找大樣本觀測數(shù)據(jù)分析方法，最終選擇樣本進(jìn)行假設(shè)檢驗(yàn)。假設(shè)檢驗(yàn)(hypothesistesting)，又稱統(tǒng)計(jì)假設(shè)檢驗(yàn)，是用來判斷樣本與樣本、樣本與總體的差異是由抽樣誤差引起還是本質(zhì)差別造成的統(tǒng)計(jì)推斷方法。那么，如何進(jìn)行假設(shè)檢驗(yàn)？知識準(zhǔn)備顯著性檢驗(yàn)是假設(shè)檢驗(yàn)中最常用的一種方法，也是一種最基本的統(tǒng)計(jì)推斷形式，其基本原理是先對總體的特征做出某種假設(shè)，然后通過抽樣研究的統(tǒng)計(jì)推理，對此假設(shè)應(yīng)該被拒絕還是接受做出推斷。對假設(shè)檢驗(yàn)問題做出判斷可依據(jù)兩種規(guī)則（1）P值規(guī)則P值是檢驗(yàn)統(tǒng)計(jì)量超過(大于或小于)具體樣本觀測值的概率。如果P值小于所給定的顯著性水平，則認(rèn)為原假設(shè)不太可能成立；如果P值大于所給定的標(biāo)準(zhǔn)，則認(rèn)為沒有充分的證據(jù)否定原假設(shè)。（2）臨界值規(guī)則根據(jù)所提出的顯著性水平標(biāo)準(zhǔn)（它是概率密度曲線的尾部面積）查表得到相應(yīng)的檢驗(yàn)統(tǒng)計(jì)量的數(shù)值，稱作臨界值，直接用檢驗(yàn)統(tǒng)計(jì)量的觀測值與臨界值作比較，觀測值落在臨界值所劃定的尾部（稱之為拒絕域）內(nèi)，便拒絕原假設(shè)；觀測值落在臨界值所劃定的尾部之外（稱之為不能拒絕域）的范圍內(nèi)，則認(rèn)為拒絕原假設(shè)的證據(jù)不足。一、正態(tài)性檢驗(yàn)利用觀測數(shù)據(jù)判斷總體是否服從正態(tài)分布的檢驗(yàn)稱為正態(tài)性檢驗(yàn)，它是統(tǒng)計(jì)判決中重要的一種特殊的擬合優(yōu)度假設(shè)檢驗(yàn)。正態(tài)性檢驗(yàn)是數(shù)據(jù)分析的第一步，數(shù)據(jù)是否符合正態(tài)性決定了后續(xù)使用不同的分析和預(yù)測方法，當(dāng)數(shù)據(jù)不符合正態(tài)性分布時，可以通過不同的轉(zhuǎn)換方法把非正太態(tài)數(shù)據(jù)轉(zhuǎn)換成正態(tài)分布后再使用相應(yīng)的統(tǒng)計(jì)方法進(jìn)行下一步操作。常用的正態(tài)性檢驗(yàn)方法有正態(tài)概率紙法、夏皮羅維爾克檢驗(yàn)法(Shapiro-Wilktest)，科爾莫戈羅夫檢驗(yàn)法，偏度-峰度檢驗(yàn)法等等。1．偏度-峰度檢驗(yàn)法正態(tài)性檢驗(yàn)基于偏度和峰度，偏度系數(shù)和峰度系數(shù)同時也是分布特征分析統(tǒng)計(jì)量。案例——某公司在全國有40個銷售點(diǎn)，試分析各銷售點(diǎn)銷售額是否符合正態(tài)分布。

運(yùn)行結(jié)果2．夏皮羅維爾克檢驗(yàn)法夏皮羅維爾克檢驗(yàn)法(Shapiro-Wilk)用于檢驗(yàn)參數(shù)提供的一組小樣本數(shù)據(jù)是否符合正態(tài)分布，統(tǒng)計(jì)量越大則表示數(shù)據(jù)越符合正態(tài)分布，但是在非正態(tài)分布的小樣本數(shù)據(jù)中也經(jīng)常會出現(xiàn)較大的W值。需要查表來估計(jì)其概率。案例——已知某市小學(xué)生比賽分?jǐn)?shù)，抽取繪畫、鋼琴、笛子、書法、古箏中的40組樣本，試通過夏皮羅維爾克檢驗(yàn)法測試?yán)L畫成績是否符合正態(tài)分布。3．科爾莫戈羅夫檢驗(yàn)科爾莫戈羅夫檢驗(yàn)(Kolmogorov-Smirnovtest)，檢驗(yàn)樣本數(shù)據(jù)是否服從某一分布，僅適用于連續(xù)分布的檢驗(yàn)。kstest函數(shù)使用科爾莫戈羅夫檢驗(yàn)法檢驗(yàn)數(shù)據(jù)是否符合正態(tài)分布。

運(yùn)行結(jié)果案例——使用科爾莫戈羅夫檢驗(yàn)檢驗(yàn)數(shù)據(jù)是否符合正態(tài)分布二、方差齊性檢驗(yàn)方差反映了一組數(shù)據(jù)與其平均值的偏離程度，計(jì)算公式如下：方差齊性檢驗(yàn)用以檢驗(yàn)兩組或多組數(shù)據(jù)與其均值偏離程度是否存在差異，也是很多檢驗(yàn)和算法的先決條件。當(dāng)不確定兩總體方差是否相等時，應(yīng)先利用levene函數(shù)進(jìn)行檢驗(yàn)，檢驗(yàn)兩總體是否具有方差齊性。運(yùn)行結(jié)果案例——為了考查染整工藝對布的縮水率是否有影響，選用5種不同的染整工藝分別用A1、A2、A3、A4、A5表示，每種工藝處理4塊布樣，測得縮水率的百分?jǐn)?shù)見表，試對其進(jìn)行方差齊性分析。三、卡方檢驗(yàn)卡方檢驗(yàn)是一種非參數(shù)檢驗(yàn)方法。相對來說，非參數(shù)檢驗(yàn)對數(shù)據(jù)分布的要求比較寬松，并且也不要求太大數(shù)據(jù)量?？ǚ綑z驗(yàn)是一種對計(jì)數(shù)資料的假設(shè)檢驗(yàn)方法，主要是比較理論頻數(shù)和實(shí)際頻數(shù)的吻合程度，常用于特征選擇。比如，檢驗(yàn)?zāi)腥撕团嗽谑欠窕加懈哐獕荷嫌袩o區(qū)別，如果有區(qū)別，則說明性別與是否患有高血壓有關(guān)，在后續(xù)分析時就需要把性別這個分類變量放入模型訓(xùn)練?？ǚ綑z驗(yàn)就是統(tǒng)計(jì)樣本的實(shí)際觀測值與理論推斷值之間的偏離程度，實(shí)際觀測值與理論推斷值之間的偏離程度就決定卡方值的大小，卡方值越大，越不符合；卡方值越小，偏差越小，越趨于符合，若兩個值完全相等時，卡方值就為0，表明理論值完全符合。基本數(shù)據(jù)有R行C列,故通稱RC列聯(lián)表(contingencytable),簡稱RC表，它是觀測數(shù)據(jù)按兩個或更多屬性（定性變量）分類時所列出的頻數(shù)表。案例——為了研究不同性別NBA比賽觀看人次之間的關(guān)系，2020年在10城市調(diào)查了1000個樣本，調(diào)查數(shù)據(jù)見表。試對其進(jìn)行卡方檢驗(yàn)。原假設(shè)是沒有顯著差異的。任務(wù)四T檢驗(yàn)任務(wù)引入小白完成樣本檢驗(yàn)后，還需要對結(jié)果進(jìn)行檢驗(yàn)。T檢驗(yàn)是用t分布理論來推斷差異發(fā)生的概率，從而判定兩總體均數(shù)的差異是否有統(tǒng)計(jì)學(xué)意義，主要用于樣本含量較小(如n<60)，總體標(biāo)準(zhǔn)差σ未知，呈正態(tài)分布的計(jì)量數(shù)據(jù)。那么，樣本是否適用T檢驗(yàn)？如何進(jìn)行T檢驗(yàn)？知識準(zhǔn)備T檢驗(yàn)主要用于檢驗(yàn)定量數(shù)據(jù)，無論哪種t檢驗(yàn)，都有以下的基本前提條件：樣本數(shù)據(jù)符合正態(tài)分布，各個樣本之間是獨(dú)立的。T檢驗(yàn)步驟如下：提出原假設(shè)和備擇假設(shè)構(gòu)造t統(tǒng)計(jì)量計(jì)算t統(tǒng)計(jì)量對于得到的p值進(jìn)行分析，p大于0.05則接受原假設(shè)，反之接受備擇假設(shè)一、單樣本T檢驗(yàn)單樣本T檢驗(yàn)用于檢驗(yàn)數(shù)據(jù)是否來自一致均值的總體，T檢驗(yàn)主要是以均值為核心的檢驗(yàn)。案例——對不同年齡段消費(fèi)水平進(jìn)行單樣本T檢驗(yàn)從淘寶雙十二消費(fèi)信息中抽取不同年齡段消費(fèi)水平樣本，見表。其中，整體消費(fèi)水平為3000。二、兩獨(dú)立樣本T檢驗(yàn)獨(dú)立樣本T檢驗(yàn)用于分析定類數(shù)據(jù)與定量數(shù)據(jù)之間的關(guān)系，如男女生的身高是否有顯著差異。案例——為了考查氣溫對樹木落葉是否有影響，選用10天不同的溫度分別測得兩個區(qū)環(huán)衛(wèi)工人清掃落葉的車數(shù)見表，試對其進(jìn)行獨(dú)立樣本T檢驗(yàn)。三、配對樣本T檢驗(yàn)配對樣本T檢驗(yàn)用于分析配對定量數(shù)據(jù)之間的差異對比關(guān)系，要求樣本量相同且前后順序要一一對應(yīng)。配對樣本T檢驗(yàn)可視為單樣本T檢驗(yàn)的擴(kuò)展，檢驗(yàn)的對象由一群來自正態(tài)分布獨(dú)立樣本更改為二群配對樣本觀測值之差。配對樣本t檢驗(yàn)可以通過差值轉(zhuǎn)化為單樣本t檢驗(yàn)，它常用于比較同一受試對象處理的前后差異，或者按照某一條件進(jìn)行兩兩配對分別給與不同處理的受試對象之間是否存在差異。案例——在某市普查某種疾病，為此要抽驗(yàn)12個人的血，可用兩種檢測方法進(jìn)行檢測，兩種方法檢測指標(biāo)見表，試對其進(jìn)行配對樣本T檢驗(yàn)。任務(wù)五方差分析任務(wù)引入小白需要分析形成銷售額差異額單因素。在工程實(shí)踐中，影響一個事務(wù)的因素是很多的。比如在化工生產(chǎn)中，原料成分、原料劑量、催化劑、反應(yīng)溫度、壓力、反應(yīng)時間、設(shè)備型號以及操作人員等因素都會對產(chǎn)品的質(zhì)量和數(shù)量產(chǎn)生影響。有的因素影響大些，有的因素影響小些。為了保證優(yōu)質(zhì)、高產(chǎn)、低能耗，必須找出對產(chǎn)品的質(zhì)量和產(chǎn)量有顯著影響的因素，并研究出最優(yōu)工藝條件。為此需要做科學(xué)試驗(yàn)，以取得一系列試驗(yàn)數(shù)據(jù)。如何利用試驗(yàn)數(shù)據(jù)進(jìn)行分析、推斷某個因素的影響是否顯著？在最優(yōu)工藝條件中如何選用顯著性因素？就是方差分析要完成的工作。方差分析已廣泛應(yīng)用于氣象預(yù)報(bào)、農(nóng)業(yè)、工業(yè)、醫(yī)學(xué)等許多領(lǐng)域中，同時它的思想也滲透到了數(shù)理統(tǒng)計(jì)的許多方法中。知識準(zhǔn)備方差分析(AnalysisofVariance，簡稱ANOVA)，又稱F檢驗(yàn)，聯(lián)合假設(shè)檢驗(yàn)、差比率檢驗(yàn)、方差齊性檢驗(yàn)，它是一種在零假設(shè)之下，統(tǒng)計(jì)值服從F-分布的檢驗(yàn)。用于兩個及兩個以上樣本均數(shù)差別的顯著性檢驗(yàn)，方差分析主要是考慮各組之間的均數(shù)差別。試驗(yàn)樣本的分組方式不同，采用的方差分析方法也不同，一般常用的有單因素方差分析與雙因素方差分析。一、單因素方差分析單因素方差分析（One-wayAnova），是檢驗(yàn)由單一因素影響的多組樣本某因變量的均值是否有顯著差異。當(dāng)因變量Y是數(shù)值型，自變量X是分類值，通常的做法是按X的類別把實(shí)例成分幾組，分析Y值在X的不同分組中是否存在差異。f_oneway函數(shù)用來對數(shù)據(jù)進(jìn)行單因素的方差分析，返回的是統(tǒng)計(jì)量和P值。案例——試檢驗(yàn)不同配比油漆對空氣污染效果是否有顯著影響某油漆公司為了比較五種不同配比的油漆空氣污染的效果，選取了條件基本相同的20套房間，隨機(jī)分