1、用身高和體重?cái)?shù)據(jù)進(jìn)行性別分類的實(shí)驗(yàn)報(bào)告（二）一、 基本要求1、試驗(yàn)非參數(shù)估計(jì)，體會(huì)與參數(shù)估計(jì)在適用情況、估計(jì)結(jié)果方面的異同。2、試驗(yàn)直接設(shè)計(jì)線性分類器的方法，與基于概率密度估計(jì)的貝葉斯分類器進(jìn)行比較。3、體會(huì)留一法估計(jì)錯(cuò)誤率的方法和結(jié)果。二、具體做法1、在第一次實(shí)驗(yàn)中，挑選一次用身高作為特征，并且先驗(yàn)概率分別為男生0.5，女生0.5的情況。改用Parzen窗法或者kn近鄰法估計(jì)概率密度函數(shù)，得出貝葉斯分類器，對(duì)測(cè)試樣本進(jìn)行測(cè)試，比較與參數(shù)估計(jì)基礎(chǔ)上得到的分類器和分類性能的差別。2、同時(shí)采用身高和體重?cái)?shù)據(jù)作為特征，用Fisher線性判別方法求分類器，將該分類器應(yīng)用到訓(xùn)練和測(cè)試樣本，考察訓(xùn)練和測(cè)試

2、錯(cuò)誤情況。將訓(xùn)練樣本和求得的決策邊界畫到圖上，同時(shí)把以往用Bayes方法求得的分類器也畫到圖上，比較結(jié)果的異同。3、選擇上述或以前實(shí)驗(yàn)的任意一種方法，用留一法在訓(xùn)練集上估計(jì)錯(cuò)誤率，與在測(cè)試集上得到的錯(cuò)誤率進(jìn)行比較。三、原理簡(jiǎn)述及程序框圖1、挑選身高(身高與體重)為特征，選擇先驗(yàn)概率為男生0.5女生0.5的一組用Parzen窗法來(lái)求概率密度函數(shù)，再用貝葉斯分類器進(jìn)行分類。以身高為例本次實(shí)驗(yàn)我們組選用的是正態(tài)函數(shù)窗，即，窗寬為（h是調(diào)節(jié)的參量，N是樣本個(gè)數(shù)） ，（d表示維度）。因?yàn)閰^(qū)域是一維的，所以體積為。Parzen公式為。故女生的條件概率密度為 男生的條件概率密度為根據(jù)貝葉斯決策規(guī)則知 如果，

3、否則，。流程圖如下： 2、要求是同時(shí)采用身高和體重?cái)?shù)據(jù)作為特征，用Fisher線性判別方法求分類器，將該分類器應(yīng)用到訓(xùn)練和測(cè)試樣本，考察訓(xùn)練和測(cè)試錯(cuò)誤情況。將訓(xùn)練樣本和求得的決策邊界畫到圖上，同時(shí)把以往用Bayes方法求得的分類器也畫到圖上，比較結(jié)果的異同。說(shuō)明，取男生和女生的先驗(yàn)概率分別為0.5,0.5。在設(shè)計(jì)貝葉斯分類器時(shí)，首先求各類樣本均值向量，及，然后求各個(gè)樣本的來(lái)內(nèi)離散度矩陣，及，再求出樣本的總類內(nèi)離散度，及，根據(jù)公式求出把二維X空間投影到一維Y空間的最好的投影方向。再求出一維Y空間中各類樣本均值，其中,本次實(shí)驗(yàn)的分界閾值我們用如下方法得到：,最后，將測(cè)試樣本中的值代入，求出y，并將

4、其與y0來(lái)進(jìn)行比較來(lái)分類。根據(jù)課本對(duì)Fisher線性判別法的介紹，得到的算法流程圖如下： 3、選擇上述或以前實(shí)驗(yàn)的任意一種方法，用留一法在訓(xùn)練集上估計(jì)錯(cuò)誤率，與在測(cè)試集上得到的錯(cuò)誤率進(jìn)行比較。這里我們選擇Fisher線性判別法，用留一法來(lái)估計(jì)它在訓(xùn)練集上的錯(cuò)誤率，并將結(jié)果與Fisher線性判別法對(duì)測(cè)試集進(jìn)行判別時(shí)得到的錯(cuò)誤率進(jìn)行比較。具體流程圖如下：四、實(shí)驗(yàn)結(jié)果及分析總結(jié)1、得到結(jié)果如下表以身高作為特征h=4 估計(jì)方法女生先驗(yàn)概率男生先驗(yàn)概率男生錯(cuò)誤個(gè)數(shù)女生錯(cuò)誤個(gè)數(shù)總錯(cuò)誤男生錯(cuò)誤率女生錯(cuò)誤率總錯(cuò)誤率Parzen窗法0.250.752283016%8.8%10%0.50.53443813.6%8

5、%12.67%0.750.258028232%4%27.33%最大似然Bayes0.250.75 206.667%0.50.5279%0.750.256020%以身高與體重作為特征h=7 估計(jì)方法女生先驗(yàn)概率男生先驗(yàn)概率男生錯(cuò)誤個(gè)數(shù)女生錯(cuò)誤個(gè)數(shù)總錯(cuò)誤男生錯(cuò)誤率女生錯(cuò)誤率總錯(cuò)誤率Parzen窗法0.250.757222914%8.8%9.67%0.50.53824015.2%4%13.33%0.750.252464818.4%4%16%最大似然Bayes0.250.7586143.2%12%4.67%0.50.52933211.6%6%10.67%0.750.25916023.6%2%20%分析

6、：通過(guò)比較可知，在用最大似然估計(jì)這種參數(shù)估計(jì)方法和Parzen這種非參數(shù)估計(jì)方法來(lái)進(jìn)行分類時(shí)，最大似然估計(jì)判別的錯(cuò)誤率低。2、得到結(jié)果如下（1）、用Fisher線性判別方法求分類器，將分類器應(yīng)用到訓(xùn)練和測(cè)試樣本上，比較其錯(cuò)誤率判別對(duì)象男生錯(cuò)誤個(gè)數(shù)女生錯(cuò)誤個(gè)數(shù)總錯(cuò)誤男生錯(cuò)誤率女生錯(cuò)誤率總錯(cuò)誤率測(cè)試樣本2722910.8%4%9.67%訓(xùn)練樣本841216%8%12%分析：用訓(xùn)練樣本得到的分類器測(cè)試測(cè)試樣本時(shí)錯(cuò)誤率低，測(cè)試結(jié)果較好，但測(cè)試訓(xùn)練樣本時(shí)，其錯(cuò)誤率較高，測(cè)試結(jié)果不好。（2）、將訓(xùn)練樣本和求得的決策邊界畫到圖上先驗(yàn)概略為0.5,0.5從圖中我們可以直觀的比較出對(duì)訓(xùn)練樣本Fisher判別比最

7、大似然Bayes判別效果更好。3、留一法測(cè)試結(jié)果如下：判別對(duì)象男生錯(cuò)誤個(gè)數(shù)女生錯(cuò)誤個(gè)數(shù)錯(cuò)誤率測(cè)試樣本81328%訓(xùn)練樣本8412%分析：用留一法在訓(xùn)練樣本機(jī)上估計(jì)錯(cuò)誤率時(shí)，錯(cuò)誤率小于它在測(cè)試樣本集上得到的錯(cuò)誤率，且留一法在測(cè)試樣本集上女生錯(cuò)誤個(gè)數(shù)遠(yuǎn)低于男生錯(cuò)誤個(gè)數(shù)。五、體會(huì)這次實(shí)驗(yàn)，我們組用了接近三天的時(shí)間，首先，我們對(duì)題目要求進(jìn)行認(rèn)真分析，在確保對(duì)題目完全理解的基礎(chǔ)上，開始一步一步分析，求解。對(duì)每個(gè)小題，及其每一問(wèn)，我們都經(jīng)過(guò)查書，查資料，編代碼這幾個(gè)步驟，仔細(xì)分析每一步算法，得出流程圖。經(jīng)過(guò)第一次作業(yè)的編程，本次編程我們都覺(jué)得輕松了很多，但還會(huì)出現(xiàn)一些細(xì)節(jié)上的錯(cuò)誤，不過(guò)，這些在我們經(jīng)過(guò)不斷

8、的調(diào)試之后都會(huì)被發(fā)現(xiàn)并解決?？傮w而言，本次試驗(yàn)，讓我們對(duì)Parzen窗法求類條件概率密度，以及Fisher線性判別法都有了更大的了解。代碼:%特征是身高，先驗(yàn)概率為0.5、0.5時(shí)用Parzen窗法，貝葉斯分類器。clc;clear all;FH FW=textread(C:UsersxuydDesktophomeworkFEMALE.txt,%f%f);MH MW=textread(C:UsersxuydDesktophomeworkMALE.txt,%f%f);FA=FH FW;MA=MH MW;N1=max(size(FA);h1=4;hn1=h1/(sqrt(N1);VN1=h1/(s

9、qrt(N1);N2=max(size(MA);h2=4;hn2=h2/(sqrt(N2);VN2=h2/(sqrt(N2);tH tW=textread(C:UsersxuydDesktophomeworktest2.txt,%f%f%*s);X=tH tW;M N=size(X);s=zeros(M,1);A=X(:,1) X(:,2) s;error=0;errorgirl=0;errorboy=0;errorrate=0;errorgirlrate=0;errorboyrate=0;girl=0;boy=0;bad=0;for k=1:M %測(cè)試集 x=A(k); p=0.5;%p為屬

10、于女生的先驗(yàn)概率，則1-p為男生的先驗(yàn)概率 for i=1:N1 pp(i)=1/sqrt(2*pi)*exp(-0.5*(abs(x-FA(i)2/(hn12);%pp（i）是窗函數(shù) end p1=sum(1/VN1*pp); y1=1/N1*p1;%是女生的條件概率密度函數(shù) for j=1:N2 qq(j)=1/sqrt(2*pi)*exp(-0.5*(abs(x-MA(j)2/(hn22); end q1=sum(1/VN2*qq); y2=1/N2*q1;%男生的概率密度函數(shù)，即其條件概率 g=p*y1-(1-p)*y2;%g為判別函數(shù) if g0 if k=50 s(k,1)=0;%

11、判為女生 girl=girl+1; else errorboy=errorboy+1; end elseif g0 if k0 if k=50 s(k,1)=0;%判為女生 girl=girl+1; else errorboy=errorboy+1; end elseif g0 if ky0 errorgirl=errorgirl+1; else if y(k)y0 boy=boy+1; else if y(k)y0 errorboy=errorboy+1; else bad=bad+1; end endenderrorgirlerrorboybadgirl=errorboy+girlboy=

12、boy+errorgirlerror=errorgirl+errorboyerrorgirlrate=errorgirl/50errorboyrate=errorboy/250errorrate=error/l3%畫圖filename,pathname,filterindex = uigetfile(*.txt, 請(qǐng)讀入男生訓(xùn)練集);fileAddrs = pathname,filename;A1 A2=textread(fileAddrs,%f%f);filename,pathname,filterindex = uigetfile(*.txt, 請(qǐng)讀入女生訓(xùn)練集);fileAddrs =

13、pathname,filename;B1 B2=textread(fileAddrs,%f%f);AA=A1 A2;BB=B1 B2;A=AA;B=BB;k1,l1=size(A);k2,l2=size(B);w,y0=fisher(AA,BB);for i=1:l1 x=A(1,i); y=A(2,i);%x是身高，y是體重 plot(x,y,R.); hold onendfor i=1:l2 x=B(1,i); y=B(2,i); plot(x,y,G.); hold onenda1=min(A(1,:);%男生身高最小值a2=max(A(1,:);%男生身高最大值b1=min(B(1,:

14、);%女生身高最小值b2=max(B(1,:);%女生身高最大值a3=min(A(2,:);%男生體重最小值a4=max(A(2,:);%男生體重最大值b3=min(B(2,:);%女生體重最小值b4=max(B(2,:);%女生體重最大值if a1b2 b=a2;else b=b2;%b是所有人中身高最大值endif a3b4 d=a4;else d=b4;%d為所有人中體重最大值endx=a:0.01:b;y=(y0-x*w(1,1)/w(2,1);plot(x,y,B);hold on;%身高體重相關(guān),判別測(cè)試樣本%手動(dòng)先驗(yàn)概率P1=0.5;P2=0.5;FA=A;MA=B;a=cov(

15、FA)*(length(FA)-1)/length(FA);b=cov(MA)*(length(MA)-1)/length(MA);W1=-1/2*inv(a);W2=-1/2*inv(b);Ave1=(sum(FA)/length(FA);Ave2=(sum(MA)/length(MA);w1=inv(a)*Ave1;w2=inv(b)*Ave2;w10=-1/2*Ave1*inv(a)*Ave1-1/2*log(det(a)+log(P1);w20=-1/2*Ave2*inv(b)*Ave2-1/2*log(det(b)+log(P2); syms x ; syms y ; h=x y;

16、h1=h*W1*h+w1*h+w10; h2=h*W2*h+w2*h+w20 ; h=h1-h2; ezplot(h,130,200,30,100)%功能：應(yīng)用Fisher準(zhǔn)則判斷一個(gè)身高體重二維數(shù)據(jù)的性別vector=x;y;yy=(w.)*vector;if yyy0 value=2;%表示樣本是男生else value=1;%表示樣本是女生end%功能：使用留一法求訓(xùn)練樣本錯(cuò)誤率A1 A2=textread(C:UsersAdministratorDesktop模式識(shí)別homeworkMALE.txt,%f%f);B1 B2=textread(C:UsersAdministratorDe

17、sktop模式識(shí)別homeworkFEMALE.txt,%f%f);AA=A1 A2;BB=B1 B2;A=AA;B=BB;m1=2;m2=2;n1=50;n2=50;tempA=zeros(m1,n1-1);count=0;for i=1:n1 for j=1:(i-1) tempA(:,j)=A(:,j); end for j=(i+1):n1 tempA(:,j-1)=A(:,j); end w,y0=fisher(tempA.),BB); flag=classify_CH(A(1,i),A(2,i),w,y0); if flag=1 count=count+1; endendtempB

18、=zeros(m2,n2-1);for i=1:n2 for j=1:(i-1) tempB(:,j)=B(:,j); end for j=(i+1):n2 tempB(:,j-1)=B(:,j); end w,y0=fisher(AA,(tempB.); flag=classify_CH(B(1,i),B(2,i),w,y0); if flag=2 count=count+1; endenderror_ratio=count/(n1+n2)%使用留一法求測(cè)試樣本錯(cuò)誤率T1 T2=textread(C:UsersAdministratorDesktop模式識(shí)別homeworktest2.txt,