數(shù)值實驗03：奇異值分解與主成分分析主成分分析，也簡稱為PCA。它是一種對數(shù)據(jù)進(jìn)行分析的技術(shù)，屬于多元統(tǒng)計分析的范疇，最重要的應(yīng)用是對原有數(shù)據(jù)進(jìn)行簡化。這種方法可以有效的找出數(shù)據(jù)中最“主要”的元素和結(jié)構(gòu)，去除噪音和冗余，將原有的復(fù)雜數(shù)據(jù)降維，揭示隱藏在復(fù)雜數(shù)據(jù)背后的簡單結(jié)構(gòu)。它的優(yōu)點是簡單，而且無參數(shù)限制，可以方便地應(yīng)用于許多實際課題?；締栴}1、從代數(shù)的角度來看，PCA的目標(biāo)就是使用另一組基去重新描述得到的數(shù)據(jù)空間，或者說它是線性變換Z=PX，而新的基要怎樣揭示原有的數(shù)據(jù)間的關(guān)系？PCA適用的前提條件是什么？答：主成分分析在統(tǒng)計學(xué)中指的是一種簡化數(shù)據(jù)集的技術(shù)，是一個線性變換。它把數(shù)據(jù)變換到一個新的坐標(biāo)系中，使得任何數(shù)據(jù)投影的第一大方差在第一個坐標(biāo)（稱為第一主成分）上，第二大方差在第二個坐標(biāo)（第二主成分）上，依次類推。主成分分析經(jīng)常用減少數(shù)據(jù)集的維數(shù)，同時保持?jǐn)?shù)據(jù)集的對方差貢獻(xiàn)最大的特征。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能保留住數(shù)據(jù)的最重要方面。PCA適用的前提條件為盡量不改變數(shù)據(jù)特性：（1）滿足線性要求。由于PCA的目標(biāo)是使用另一組新的基去重新描述得到的數(shù)據(jù)空間，它是線性變換Z=PX，這使得它能進(jìn)行的主元分析之間的關(guān)系也是線性的。（2）符合正態(tài)分布或指數(shù)分布。如果數(shù)據(jù)不滿足正態(tài)分布或指數(shù)分布，方差和協(xié)方差就不能很好地反映噪聲和冗余，PCA將失效。（3）本身具有較高的信噪比。在進(jìn)行數(shù)據(jù)處理時把具有較高方差的一維向量當(dāng)作主元，方差較小的當(dāng)作噪聲，這樣可以很方便的取出數(shù)據(jù)中的主要成分，去除次要部分的噪聲。主要成分能夠很好的還原數(shù)據(jù)的信息。（4）主元正交。主元正交能夠使用一系列的線性變換對數(shù)據(jù)進(jìn)行處理，提高PCA的性能及效率。2、對于一組具有m個觀測變量，n個采樣點的數(shù)據(jù)X,將每個觀測變量的采樣值寫為行向量，可以得到一個mxn的矩陣X=（七,氣,L,x）t，這m個觀測變量的12m協(xié)方差矩陣如下：八1C=——XXTxn—1證明協(xié)方差矩陣是m階的對稱半正定矩陣。為什么該矩陣對角線上的元素對應(yīng)的是觀測變量的方差？答：因為°Xn-I*'t，而Gj=X"?*Xjj,勺=寫*Xjj，所以，CX為對稱矩陣。對CX求特征值，由于X矩陣和它的轉(zhuǎn)置矩陣的特征值相等，設(shè)為入。所以CX矩陣的特征值為入220。所以該矩陣為半正定矩陣。綜上所述，矩陣cx為對稱半正定矩陣，主對角元素是觀測變量的方差。3、對于新定義的Z=PX，推導(dǎo)該變量的協(xié)方差矩陣Cz與Cx的關(guān)系。答：尋找一組正交基組成矩陣p，z=px，使得cz為對角矩陣。則有II111Cz=yZZT=^7^PX（PX）T=^—=P^~^XXTpT=PCXPT所以，七=「實驗問題4、對矩陣X進(jìn)行奇異值分解結(jié)果如何？它與CX的特征值分解有何關(guān)系？討論數(shù)據(jù)的中心化與歸一化對計算結(jié)果的影響。答：對矩陣X進(jìn)行奇異值分解，將X分解成三個矩陣：其中U是m*m的矩陣，V是n*n矩陣，A是m*n矩陣。U是矩陣XXt的特征值矩陣，V是矩陣XtX的特征值矩陣。A是偽對角矩陣，對角線上的值就是奇異值。Cx矩陣的特征值乘上（n-1）等于X矩陣特征值的平方。Cx矩陣的特征向量和X矩陣分解出來的U矩陣的列向量線性相關(guān)。中心化與歸一化:中心化：每個維度數(shù)據(jù)都減去該維度數(shù)據(jù)的平均值;歸一化：每個維度數(shù)據(jù)都除以該維度數(shù)據(jù)的標(biāo)準(zhǔn)差。中心化和歸一化也稱為數(shù)據(jù)的標(biāo)準(zhǔn)化。數(shù)據(jù)標(biāo)準(zhǔn)化處理主要包括數(shù)據(jù)同趨化處理和無量綱化處理兩個方面。原始數(shù)據(jù)通過標(biāo)準(zhǔn)化處理后，它們之間的可比性增強(qiáng)、影響因素減少，從而更利于分析。5、隨機(jī)生成若十個的矩陣X，分別計算矩陣X的奇異值分解與矩陣CX的特征值分解，它們有何關(guān)系？分析和關(guān)注數(shù)據(jù)的中心化與歸一化對計算結(jié)果產(chǎn)生的差異。答：設(shè)矩陣X為原矩陣，矩陣B為PCA分解后得到的酉矩陣，矩陣C為PCA分解后得到的對角矩陣，矩陣U為SVD分解后的左矩陣，矩陣V為SVD分解后的右矩陣，矩陣S為SVD分解后中間的對角矩陣。第一組數(shù)據(jù):X=[6227586703353571]C蒐[23.333333333333322.33333333333332126.666666666666722.3333333333333343230213232.66666666666672626.6666666666667302641.3333333333333]B=[0.411786479069834-0.292084005692979-0.853173755189085-0.1311997436360580.5271317727355930.3773760987778180.236520081252328-0.7237248271327010.4963008950263320.578830945694059-0.05772348176911890.6444440686013290.553398058746110-0.6612329014776110.4613250418884680.209047469025914][0296066^81826180,069260腌的鴕1699,0-89^066299^0929*0-I98^9^g09I62S9*0262992^18698626*0-Zll崩殲96986元9CT092906S902Sg08gg0,0-/^810^^9^18^81262992^18698626*0-096261829^029090,08I0299g9IS2000g,0-殲河計l脫崩崩9Z,02608621608^6699*0^6gS0I900869I2I,09g2099gg6I99S92,06620202099^91*0-919^609210^6109*0]=9[2999999999999'Lf2999999999999?跳9gggggggggggggtl91ggggggggggggg?驅(qū)2999999999999,^g既能既既既能￡tlggggggggggggg?驅(qū)Iggggggggggggg號殲g]X°[I9II6ffI9g866￡8]=X[062282^62222^9*100gSI0999g2229S9T00?3fW?-W000^I69909SIg00g,90000浙6浙99ZZ9Zl"2l]=S[^1692069^2^0602*069^8881^092^19^*0119盈團(tuán)067源199P0II9^289086gg99,0-6案10929頃殲殲9P96II692I8^gS2290,0-690^699^60^8829,0-Sgg9S096800g96^*0-Z^lZZXl^ZLZZL,0-ZZ源獎1200空9008I822286092g22g,0-g699g2S22IgI2S9*0-8909g9g^266IIgI,0-98068I992g2Ig98,0-086269900^80262,0^869062^98211^,0-]=A[61獎20692929既"0I98092g^I68S^g,0-^8gg6S89^029869*0-8^08g^8299988S^*0-719弘1691E6殲6"028901099219^908*006Z9Z6Z元忠殲690*088088gS6S0^69Ig,0-gg289^II222gg89,0-266811^0962^1*0006既l獎言9弱89頃0-LZ^^\^ZLLZ\L*0-g/2^96926869Ig,0弱跳9府9元99跳"0-19861616^982602,0[1^90^9916^9888*000620I2SI0S02g^I'f18122269291999^,0-]=0000n^220^08IgI29I09,0-9006I68^8I98m,0-團(tuán)舞跳團(tuán)了為舞輪,0I2^82820^98^09^*00008811^0^62009*9^1]=3g90g0IS9266^6^9*080口赤盈1912沛"0-云元的§殲29699E,0崩l四跳l招6丸沛P-四的8質(zhì)鴕空9沈"0^921089^6^89189,08262^992020^289*096g829S229IS89g,0898^9^60162^2^*06192226099918^*0-^9821290^1102,0-gS0g99I0^9898I^-0]=9[沈2999999999999^82999999999999,922999999999999TS2999999999999^802既能能既既能如赤2999999999999*0^TOC\o"1-5"\h\z2999999999999,92既能既既能能如赤9SLZ2999999999999TS2999999999999*0^ZZ6Z]Xq[g892f6f1fI￡98L9]=X:gf廉序三毒[999992^2929^6^9*00000076沛6908玨09"E0000I09998899S22Sg70000沛元6617906*,02]=S[8096066^81826180,0262992^18698626*0-9^6261829^029090,096gS0I900869I2I,0[8I922I9SgSg9gI9*09獎*能99ZZ6頃7*0-丸0獎I頃6玨9殲9*0-^099g92g96g^SI9*069860g69^9gI699*029X)66空9舞0獎9*019沛9舞809162空*01摭脫殲96926口9CT0-22906S902Sg08gg0*02^8I0^g9^I8^8I,0610799891弘0008,0殲案計1源2曙Z9Z,0-2608621608^6699*09g2099gg6I99S92,0-8620202099^^91,0^19^609210^6109-0]=A71弱6饋9脫0弱都cro6^282828292^92,0-22061006626900^*0922992^0006^626*0290809916^1912^0*0元2計0赤60團(tuán)盈7*0gS9S098I929SI9g,0-22g^62999ISI90I,0-獎能29案0殲曙99*062822060626^9190,0-8000890g999Ig^9'01268990969^9999-0]=n[92969^622990^1'0000092697既頃60166E000000.115401392950555]U=[0.6058128466080450.03318110003523370.3678249005496530.7046947225719420.207658307698303-0.6592272331643090.569609399743436-0.4447950247274920.592819716874282-0.350339490735921-0.715166553126011-0.1198491794125050.4882966367011240.6645153955220880.169666660099798-0.539628490862994]V=[0.418586401553023-0.701149405212855-0.3481656092226150.4603864078784210.4747910935448680.3582157725783960.5823070756479290.5542322143442120.6816839458012550.422652352034503-0.487595313404139-0.3448518489190010.366968445458451-0.4488161774774000.549499762103062-0.601621318040727]S=[20.971465903068500004.1861575030973400003.2136426461021000000.588391178427778]備用一、652362292824324228.333333333333321.333333333333313.333333333333328.666666666666721.333333333333332.333333333333312.66666666666672313.333333333333312.66666666666679.3333333333333313.333333333333328.66666666666672313.333333333333336.66666666666670.537587183261060-0.2780984014127280.5523911741630780.5731712573322750.5186406286795220.823965609752008-0.2013797055422340.1074187433581040.2770152628577040.06483262874453510.565951746447693-0.7737944785837880.604379403041026-0.489426892730425-0.577934966579514-0.24734192579655788.01372404221760004.2244286951390600001.960537764342380.5037677278860780.1819236327721010.479092200368461-0.6954081763436550.631179306148087-0.702407403864479-0.3252634587350880.04939843012150780.5043802176082380.687961359340669-0.4736271211713190.2190596134173830.3056654313401900.01538827116677540.6635900059892130.6826273867530880.537587183261060-0.2780984014127280.552391174163079-0.5731712573322730.5186406286795220.823965609752009-0.201379705542234-0.1074187433581040.2770152628577040.06483262874453560.5659517464476920.7737944785837890.604379403041026-0.489426892730425-0.5779349665795150.2473419257965556.115875120937560003.5599559106001802.425203763197462510514.666666666666732.666666666666728.666666666666724.666666666666723.333333333333332.333333333333323.333333333333363.666666666666744.333333333333332.333333333333344.333333333333351.333333333333316.2493437444917000000二、31933748550619.666666666666714.666666666666732.666666666666728.66666666666670.3650519355593676.115875120937560003.5599559106001802.425203763197462510514.666666666666732.666666666666728.666666666666724.666666666666723.333333333333332.333333333333323.333333333333363.666666666666744.333333333333332.333333333333344.333333333333351.3333333333333136.4031569020380019.651109343565800003.2334269980623900000.04564008966686500.4111180510244020.6329236182705130.4699839053323610.1333061177881650.656695729056676-0.6945331138617710.4229040036334020.3150570204662680.4753631409444510.4521277759535300.219304302115233-0.8445414322355890.09100257011711730.279451257682395-0.8471446390890140.06509407060939690.3650519355593670.3497286704955920.6332937346416860.58597439111392320.228926583141200.142722919391759-0.5891325692238720.657340657371483-0.44772340158450600-0.5739909623060170.5976176679720030.380649531338749-0.4104795152139860.7189587107864170.416492251837620-0.148149384479331-0.53636213160695607.6781070603826100003.1145274110508600000.370027389527544三、115937833177779222.666666666666724.666666666666737.666666666666717.666666666666724.666666666666733.333333333333343.66666666666671737.666666666666743.66666666666677345.333333333333317.66666666666671745.333333333333347.66666666666670.3586901617333580.2871319563149020.763925655113692-0.4531161010134060.4145085653783190.512762152761915-0.630381610928482-0.4097275296171660.7024560207320140.07163071254942990.06166455393493940.7054233216622560.453959861707013-0.805915166365173-0.123426499789682-0.359426053217087147.297012629784000TOC\o"1-5"\h\z026.526873251110500002.4981468665587600000.344633919213220-0.398222546817333-0.683256081382107-0.244364505993554-0.561129146160856-0.5213382612314090.292129854443466-0.7297848966895480.332085184979511-0.455991484012894-0.4221408849349770.4489563166832900.642111412049503-0.6014124932941170.5192478682320440.454024469037215-0.403170492176334-0.3586901617333580.2871319563149020.763925655113692-0.453116101013407-0.4145085653783190.512762152761915-0.630381610928483-0.409727529617165-0.7024560207320140.07163071254942970.06166455393494000.705423321662256-0.453959861707013-0.805915166365173-0.123426499789683-0.359426053217087TOC\o"1-5"\h\z21.021204482363800008.9207970357660100002.7375975963746600001.01680959753517從上面的數(shù)據(jù)可以看出，PCA對角矩陣中的特征值乘上4-1=3之后得到的值等于SVD對角矩陣中的特征值的平方。并且矩陣B和矩陣V為相似矩陣。矩陣歸一化和中心化的影響：原矩陣：X=[910152518]歸一化矩陣：Z=[0.5625000000000000.3703703703703700.1111111111111110.22727272727272700.2592592592592590.7777777777777780.04545454545454550.3125000000000000.18518518518518500.3636363636363640.1250000000000000.1851851851851850.1111111111111110.363636363636364]歸一化后的C^[0.1432291666666670.09645061728395060.02546296296296300.09564393939393940.09645061728395060.09099222679469590.08779149519890260.07687991021324350.02546296296296300.08779149519890260.2098765432098770.03367003367003370.09564393939393940.07687991021324350.03367003367003370.106060606060606]B=[0.5147692932946590.4941383448508530.5533170668569170.4297442196863560.5088001353738780.04076155723355100.148132736643049-0.8470641121131630.530521136734373-0.7998564051219010.002769142402916370.2806588436409780.4412281953847820.338224071859802-0.8196885065132070.137959809735346]C=[0.34678351874221800000.17543441067107000000.027490402736960200000.000450210581596442]U=[0.6247483261189180.3873996125236430.627205641789769-0.2573405372948960.553537196455310-0.8217719281922530.01149110457685520.1347420672662680.4073962178310060.392791135913755-0.3402940806081350.7509616394647830.3705596076868030.142574758633152-0.700486242638464-0.593023641371865]V=[0.5147692932946580.4941383448508540.5533170668569160.4297442196863590.5088001353738770.04076155723355160.148132736643051-0.8470641121131650.530521136734373-0.7998564051219010.002769142402915660.2806588436409780.4412281953847810.338224071859802-0.8196885065132070.137959809735344]S=[1.0199757625682400000.72546759542601900

0II9g808609^0g2g,00000源弟092102117770000292669128998^9*S]=S[61^21928110^889,0-12^9008228982^*0-2^69^9829999^62,0209992^62682909*0-Z9Z源能頃IR沛Z*0-g9S898I889S26S60,0128986^2^20^99900*0-76能6源孫0^999*0690^8229^9919^900*0Z92計19E9Z卵鴕9*0-^2^682^81292992*0-S9^0282^ggg92060,06629S89699^S90g,0-gIgS8gg69890SS9*0gg8I09^II96S029,0-^92289^8^6911^'0-]=A[000000000000009*0-^992181^2^90^89,0-奕頃獎89玨盈況"02960^9^61211012*0-000000000000009*0-26092069002^102*08^29^89112^8162*09^66g099Ig069I^*0-000000000000009*0-I22I0I0I8SI6SgI,009E99G9案99H）舞CT008099IS69Ig2W8*0000000000000009*0-^0g^Ig/SI82I09I,0-^69^2212999128*0-I8I989I^g9I28SS,0-]二[91-9/006^9892^122*986^6IgI9^0982^g0*02^98IggSg9^9*18/gI0gS9I890Sg7]=[21^21928110^889,0-^2^9008228982^*0-2^69^9829999^62,0209992^62682909,0ISS898I889S26S60,09g6986g/g20^99900*0-S6gg6g8Sg0Sg999,0-Z9821989離節(jié)鴕9*0-死￡68赤8言以99Z,0-99^0282^ggg92060*0-I089289699^S90g,0-SIgS8gg69890SS9*0Sg8I09^II96S029，0-992289^8^6911^,08/gI0gS9I890Sg7]=[21^21928110^889,0-^2^9008228982^*0-2^69^9829999^62,0209992^62682909,0ISS898I889S26S60,09g6986g/g20^99900*0-S6gg6g8Sg0Sg999,0-Z9821989離節(jié)鴕9*0-死￡68赤8言以99Z,0-99^0282^ggg92060*0-I089289699^S90g,0-SIgS8gg69890SS9*0Sg8I09^II96S029，0-992289^8^6911^,09[I680190991290926*0-086Z9GI孫質(zhì)168"。-9290S9I99S99ggg,0680190991290926*0-ggggg/is^gosg^i,o88I^02g/96I2^99,0-086299ISg0^I68^*0-ggggg/is^gosg^i*ooooooooooooooo,i2I908Ig998g^SI9*09290S9I99S99ggg,0881^02^29612^99,0-2I908Ig998g^SI9*0l]X°陽身矛叩出[60殲殲19源府拓Z,09I9IS2^0^g^06g*0-8291999682190^2,0-6死英元16腭ZCHG,0-22286^826182202*0-8291999682190^2,0-92922269692^992*0^6669090I0899g,1-92計6展偵99膘"106282gS^8I0890I,0090169^8209120*1-288882229992091*0-§四言赤0殲昨06如CHZ浙760弱8浙丸如I218^1962^88922*1]=M備用：矩陣歸一化和中心化的影響:原矩陣：X=[041031029425151379]歸一化矩陣：Z=[00.2857142857142860.3703703703703700.1428571428571430.7692307692307690.1428571428571430.3333333333333330.1904761904761900.1538461538461540.3571428571428570.03703703703703700.2380952380952380.07692307692307690.2142857142857140.2592592592592590.428571428571429歸一化后的Cx=[0.2071005917159760.06043956043956040.09401709401709400.07203907203907210.06043956043956040.09183673469387750.07407407407407410.08163265306122450.09401709401709400.07407407407407410.1056241426611800.07877718988830100.07203907203907210.08163265306122450.07877718988830100.0990173847316704]B=[0.641533338425768-0.7420657032556540.1873808057874080.05159361745839260.4038305523513690.4772683056566630.3103085079473120.7161316075266610.4813360964074980.198341515187375-0.853126039258663-0.03394358241544900.4400811549828840.4268654352609110.375197314298491-0.695227626430109]C=[0.36510360428197900000.10165929590489500000.023385644381069400000.0134303092347603]U=[0.3406568019707490.4903647541716850.655840248291623-0.4619187372882680.760051278024566-0.6432201201984830.09227236347732490.008703027253759530.3492654886265230.299267018036235-0.745220554634226-0.4828034748433700.4292885003104100.506210960720618-0.07749648127333270.743946330146066]V=[0.641533338425768-0.742065703255654-0.187380805787408-0.0515936174583929

0.4038305523513690.477268305656663-0.310308507947311-0.7161316075266620.4813360964074970.4400811549828840.1983415151873740.4268654352609120.853126039258663-0.3751973142984910.03394358241545030.695227626430108]TOC\o"1-5"\h\zS=[1.0465709784080300000.55224803097402300000.26487154083292600000.200726001565021]0.4038305523513690.477268305656663-0.310308507947311-0.7161316075266620.4813360964074970.4400811549828840.1983415151873740.4268654352609120.853126039258663-0.3751973142984910.03394358241545030.695227626430108]W=[-0.7106195041520290.3872983346207420.806225774829855-0.8555277382080451.47590204708498-1.161895003862230.558156305651438-0.475293187893358-0.2733151939046261.16189500386223-1.42639944777590-0.0950586375786717-0.491967349028327-0.3872983346207420.06201736729460421.42587956368008]中心化后的C蒐[1-0.7056967961720460.203403465210950-0.256345570292959-0.705696796172046-0.672538245981366-0.1472642081021450.203403465210950-0.6725382459813661.00000000000000-0.243671839571301-0.256345570292959-0.147264208102145-0.2436718395713011.00000000000000]B=[-0.5403172028315730.07554581992129450.689188027129422-0.4768333175000880.641074597585313W=[-0.7106195041520290.3872983346207420.806225774829855-0.8555277382080451.47590204708498-1.161895003862230.558156305651438-0.475293187893358-0.2733151939046261.16189500386223-1.42639944777590-0.0950586375786717-0.491967349028327-0.3872983346207420.06201736729460421.42587956368008]中心化后的C蒐[1-0.7056967961720460.203403465210950-0.256345570292959-0.705696796172046-0.672538245981366-0.1472642081021450.203403465210950-0.6725382459813661.00000000000000-0.243671839571301-0.256345570292959-0.147264208102145-0.2436718395713011.00000000000000]B=[-0.5403172028315730.07554581992129450.689188027129422-0.4768333175000880.6410745975853130.349477215060613-0.00843003586488852-0.683240785506562-0.5226045922951990.0748446964757021-0.724512734678981-0.4431297877703700.154806720677959-0.930890313976548-0.00548589507340027-0.33082927248480