數(shù)據(jù)挖掘-數(shù)據(jù)的

統(tǒng)計(jì)分析基礎(chǔ)張洪祥當(dāng)前第1頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)在統(tǒng)計(jì)學(xué)中,數(shù)據(jù)按變量值是否連續(xù)可分為連續(xù)數(shù)據(jù)與離散數(shù)據(jù)兩種.連續(xù)數(shù)據(jù)又稱連續(xù)變量：在一定區(qū)間內(nèi)可以任意取值的數(shù)據(jù)叫連續(xù)數(shù)據(jù)，其數(shù)值是連續(xù)不斷的，相鄰兩個(gè)數(shù)值可作無(wú)限分割,即可取無(wú)限個(gè)數(shù)值。所謂離散型數(shù)據(jù)，又稱計(jì)數(shù)型：就是數(shù)據(jù)可以經(jīng)過(guò)觀測(cè)而知的，間斷性的、可一個(gè)一個(gè)計(jì)算的當(dāng)前第2頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)統(tǒng)計(jì)學(xué)的分類

1、描述性統(tǒng)計(jì)學(xué)（descriptivestatistics):

用局部數(shù)據(jù)或者不完整數(shù)據(jù)中指標(biāo)性數(shù)字來(lái)表示所有數(shù)據(jù)。2、推論統(tǒng)計(jì)學(xué)（inferentialstatistics):用（樣本）數(shù)據(jù)來(lái)對(duì)（總體）事物做結(jié)論。當(dāng)前第3頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)數(shù)據(jù)的中心（集中）趨勢(shì)度量：數(shù)據(jù)的度量散布：數(shù)據(jù)的基本統(tǒng)計(jì)描述當(dāng)前第4頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)中心趨勢(shì)度量：均值（mean)當(dāng)前第5頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)當(dāng)前第6頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)中心趨勢(shì)度量：中位數(shù)（median)當(dāng)前第7頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)中心趨勢(shì)度量：眾數(shù)（mode)、

中列數(shù)（midrange)當(dāng)前第8頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)當(dāng)前第9頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)數(shù)據(jù)的度量散布-極差、分位數(shù)設(shè)X1,X2,…,X是某數(shù)值屬性X上的觀測(cè)的集合。極差：是該集合中最大值Max()與最小值Min()之差。分位數(shù)：把數(shù)據(jù)劃分成基本上大小相等連貫集合的每一間隔上的點(diǎn)。當(dāng)前第10頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)當(dāng)前第11頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)離群點(diǎn)：挑選落在第3個(gè)四分位數(shù)之上或第1個(gè)四分位之下到少1.5*IQR處的值。五數(shù)概括（fiver-numbersummary)：Minimum、Q1、Median、Q3、Maximum.數(shù)據(jù)的度量散布-離群點(diǎn)、五數(shù)概括當(dāng)前第12頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)當(dāng)前第13頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)數(shù)據(jù)的標(biāo)準(zhǔn)得分某觀測(cè)值xi的標(biāo)準(zhǔn)得分定義為當(dāng)前第14頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)數(shù)據(jù)的標(biāo)準(zhǔn)得分在我們的例子中，張穎的標(biāo)準(zhǔn)得分為(90-78.53)/9.43＝1.22，而劉疏的標(biāo)準(zhǔn)得分為(82-70.19)/7＝1.69。顯然如果兩個(gè)班級(jí)平均水平差不多，劉疏的成績(jī)應(yīng)該優(yōu)于張穎的成績(jī)；這是在標(biāo)準(zhǔn)化之前的數(shù)據(jù)中不易看到的。當(dāng)前第15頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)總體(population)是根據(jù)研究目的確定的具有相同性質(zhì)的個(gè)體所構(gòu)成的全體。樣本（sample）是從總體中隨機(jī)抽取的部分觀察單位抽樣(sampling)指從總體抽取部分個(gè)體的過(guò)程樣本含量(samplesize):樣本所包含觀察單位的數(shù)目

樣本與總體當(dāng)前第16頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)樣本的選取應(yīng)注意什么問(wèn)題？一是要留意樣本在總體中是否具有代表性，二是樣本容量必須足夠大，三是注意樣本避免遺漏某一群體一般地，如果從總體中按一定規(guī)則抽取n個(gè)個(gè)體進(jìn)行觀察（或試驗(yàn)），則稱這n個(gè)個(gè)體為總體的一個(gè)樣本（Sample），樣本中所含個(gè)體的數(shù)目n稱為樣本容量（SampleSize），抽取一個(gè)樣本的過(guò)程稱為抽樣（Sampling）．17當(dāng)前第17頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)一般地，如果從總體中按一定規(guī)則抽取n個(gè)個(gè)體進(jìn)行觀察（或試驗(yàn)），則稱這n個(gè)個(gè)體為總體的一個(gè)樣本（Sample），樣本中所含個(gè)體的數(shù)目n稱為樣本容量（SampleSize），抽取一個(gè)樣本的過(guò)程稱為抽樣（Sampling）．當(dāng)前第18頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)抽樣的過(guò)程及方法概率抽樣法（probabilitysampling）：調(diào)查者用客觀、隨機(jī)的方法抽取樣本。19當(dāng)前第19頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)概率抽樣1、單純隨機(jī)：?jiǎn)渭冸S機(jī)抽樣是指將所有的有限總體中的觀察對(duì)象統(tǒng)一編號(hào)，再按照隨機(jī)數(shù)字表或抽簽等方法抽取一部分樣本。（抽簽法）抽簽法隨機(jī)數(shù)字表法20當(dāng)前第20頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)概率抽樣2、系統(tǒng)隨機(jī)（先確定間隔大小再抽簽決定第一個(gè)調(diào)查對(duì)象）

系統(tǒng)抽樣（systematicsampling）：又稱等距抽樣或機(jī)械抽樣，是指按照一定的順序，機(jī)械地每隔若干個(gè)單位抽取一個(gè)單位的方法稱為系統(tǒng)抽樣確定抽樣間隔(H)=N/n隨機(jī)確定K21當(dāng)前第21頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)概率抽樣3、分層抽樣（stratifiedsampling）又稱分類抽樣：當(dāng)研究的變量在總體中的不同層次有不同的分布時(shí)，需要采用分層抽樣。（先分層再抽簽）指先按照與研究目的明顯有關(guān)的某種特征將總體分為若干層,再?gòu)拿恳粚觾?nèi)隨機(jī)抽取一定數(shù)量的觀察單位，合起來(lái)組成樣本。22當(dāng)前第22頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)概率抽樣4、整群抽樣（clustersampling）是指將總體中所有的個(gè)體按某種屬性分成若干個(gè)群體，再?gòu)乃械娜后w中隨機(jī)抽取部分群體構(gòu)成樣本（以群為單位抽簽）適用范圍：無(wú)法進(jìn)行其他方法的概率抽樣；總體中的個(gè)體不明確優(yōu)點(diǎn):易于實(shí)施，節(jié)省人力、物力缺點(diǎn)：群間差異大時(shí)，可加大抽樣誤差23當(dāng)前第23頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)非概率抽樣1.方便抽樣（accidentalsampling）：指用最容易找到的人或物作為研究對(duì)象；優(yōu)點(diǎn)是簡(jiǎn)便易行，缺點(diǎn)是樣本的代表性差2.配額抽樣(quotasampling)：是根據(jù)總體內(nèi)有層次性的特點(diǎn)，利用總體內(nèi)各層的構(gòu)成比抽取與總體相似的樣本24當(dāng)前第24頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)非概率抽樣3.主觀抽樣(purposivesampling)：指研究者依據(jù)自己的專業(yè)知識(shí)和經(jīng)驗(yàn)以及對(duì)調(diào)查總體的了解,有意識(shí)選取研究對(duì)象4.網(wǎng)絡(luò)抽樣（networksampling）:利用社會(huì)網(wǎng)絡(luò)的優(yōu)勢(shì)和朋友間具有共性的特點(diǎn)來(lái)進(jìn)行抽樣25當(dāng)前第25頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)樣本量估計(jì)檢驗(yàn)水準(zhǔn)，α（犯假陽(yáng)性錯(cuò)誤的概率），如錯(cuò)誤地把無(wú)效的治療方案判為有效的危險(xiǎn)性，一般錯(cuò)誤定為0.05，也可定為0.01。α越小，所需樣本含量越大檢驗(yàn)效能（1-β），（β）二類錯(cuò)誤出現(xiàn)概率，犯假陰性錯(cuò)誤的概率，如錯(cuò)誤地把有效的治療方案判為無(wú)效的危險(xiǎn)性一般情況β=0.2或0.1或0.05，即80%、90%或95%把握度，把握度高，樣本數(shù)就大。26當(dāng)前第26頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)總體標(biāo)準(zhǔn)差（σ）:σ越大，觀察值的變異程度大，所需的樣本越大容許誤差的δ：既預(yù)計(jì)樣本統(tǒng)計(jì)量和相應(yīng)總體參數(shù)的最大相應(yīng)誤差控制在什么范圍，常取可信區(qū)間長(zhǎng)度之半。在其他條件確定的情況下，容許的誤差越小，樣本含量大；容許的誤差越大，樣本含量越小。27當(dāng)前第27頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)總體均值(populationmean)

:樣本均值（samplemean):當(dāng)前第28頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)總體方差(populationvariance)

:樣本方差（samplevariance):當(dāng)前第29頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)兩個(gè)均值一樣，但右邊的要“胖”些，方差為左邊的一倍當(dāng)前第30頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)標(biāo)準(zhǔn)差（Standarddeviation)當(dāng)前第31頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)如何用圖來(lái)表示數(shù)據(jù)？當(dāng)前第32頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)當(dāng)前第33頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)直方圖當(dāng)前第34頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)當(dāng)前第35頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)盒型圖當(dāng)前第36頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)莖葉圖其中莖葉圖中莖的單位為10cm，而葉子單位為1cm。比如，由于第一行莖為150cm，因此葉子中的九個(gè)數(shù)字001223344代表九個(gè)數(shù)目150、150、151、152、152、153、153、154、154cm等。每行左邊有一個(gè)頻數(shù)（比如第一行有9個(gè)數(shù)目，第二行有17個(gè)等等）；可以看出最長(zhǎng)的一行為從165cm到169cm的一段（有35個(gè)數(shù)）。當(dāng)前第37頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)散點(diǎn)圖當(dāng)前第38頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)當(dāng)前第39頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)當(dāng)前第40頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)餅圖當(dāng)前第41頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)條形圖當(dāng)前第42頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)數(shù)據(jù)的可視化：旨在通過(guò)圖形表示清晰有效地表達(dá)數(shù)據(jù)數(shù)據(jù)的可視化-基于像素的可視化技術(shù)當(dāng)前第43頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)當(dāng)前第44頁(yè)\共有52頁(yè)\編于星期日\(chéng)2點(diǎn)