1766年，德國(guó)有一位名叫約翰·提丟斯的中學(xué)教師發(fā)現(xiàn)如下數(shù)列的每一項(xiàng)與當(dāng)時(shí)已知的六大行星(即水星、金星、地球、火星、木星、土星)到太陽(yáng)的距離比例(地球到太陽(yáng)的距離定為1個(gè)單位)有著一定的聯(lián)系(0+4)/10=0.4；(3+4)/10=0.7；(6+4)/10=1.0；(12+4)/10=1.6；

(24+4)/10=2.8；(48+4)/10=5.2；

(96+4)/10=10；(3*2?+4)/10？1781年，英籍德國(guó)人赫歇爾在接近19.6的位置上(即數(shù)列中的第八項(xiàng))發(fā)現(xiàn)了天王星，從此，人們就對(duì)這一定則深信不疑了。根據(jù)這一定則，在數(shù)列的第五項(xiàng)即2.8的位置上也應(yīng)該對(duì)應(yīng)一顆行星，只是還沒(méi)有被發(fā)現(xiàn)。于是，許多天文學(xué)家和天文愛(ài)好者便以極大的熱情，踏上了尋找這顆新行星的征程。1801年新年的晚上，意大利神父皮亞齊還在聚精會(huì)神地觀察著星空。突然，他從望遠(yuǎn)鏡里發(fā)現(xiàn)了一顆非常小的星星，正好在提丟斯——波得定則中2.8的位置上。這顆行星在幾天的觀測(cè)期內(nèi)不斷變動(dòng)位置。可是，當(dāng)皮亞齊再想進(jìn)一步觀察這顆小行星時(shí)，他卻病倒了。等到他恢復(fù)健康，再想尋找這顆小行星時(shí)，它卻不知所蹤。高斯根據(jù)皮亞齊的觀測(cè)資料，利用最小二乘方法，只用了一個(gè)小時(shí)就算出了谷神星的軌道形狀，并指出它將于何時(shí)出現(xiàn)在哪一片天空里。1801年12月31日夜，德國(guó)天文愛(ài)好者奧伯斯，在高斯預(yù)言的時(shí)間里，用望遠(yuǎn)鏡對(duì)準(zhǔn)了這片天空。不出所料，谷神星再一次奇跡般地出現(xiàn)了！高谷神星谷神星斯的計(jì)算方法成功了。高斯從筆尖上尋找到的這顆行星，在隱藏了整整一年后，成為人類的最好的新年禮物。這一禮物向人們顯示了數(shù)學(xué)在科學(xué)研究中的巨大作用。無(wú)解的方程組稱為不相容方程組。方程個(gè)數(shù)多于未知數(shù)個(gè)數(shù)的方程組稱為超定方程組。定義:一個(gè)方程組若至少存在一個(gè)解能夠嚴(yán)格滿足該方程組,則稱為相容方程(consistentequation)。定理:線性方程Ax=b相容的充分必要rank([A,b])=rank(A)

Thehardestquantitiestocomputeareonesthatdonotexist.

當(dāng)方程組不相容時(shí),如何尋求次佳(next-best)解。我們希望殘差r=Ax-b盡可能小,小的標(biāo)準(zhǔn)是什么呢？最小二乘解

(least-squares)別稱：擬合(fitting)、回歸(regression)多變量函數(shù)極值點(diǎn):幾何解釋？滿足插值條件(1,2),(-1,1)和(1,3)的一次多項(xiàng)式。最小二乘解：正規(guī)方程：不相容方程的最小二乘解總是存在的。證明:即證明正規(guī)方程是相容方程。

rank([ATA,b])=rank(ATA)rank([ATA,b])=rank(ATA)相容

不相容唯一解不唯一解(最小范數(shù)解)最小二乘解參考:張賢達(dá),矩陣分析與應(yīng)用,

清華大學(xué)唯一解不唯一解(最小范數(shù)二乘解)例1:美國(guó)奧勒岡州波特蘭市47套房產(chǎn)的售價(jià)和居住面積數(shù)據(jù)如下:Ref：求擬合(fitting)函數(shù):

x

x1

x2··········xmyy1

y2··········ym離散數(shù)據(jù)的擬合求擬合函數(shù):正規(guī)方程：

x

x1

x2··········xmy

y1

y2··········ym離散數(shù)據(jù)的擬合求擬合函數(shù):正規(guī)方程：最小二乘擬合的步驟:給定的離散觀測(cè)數(shù)據(jù)(x1,y1),…,(xm,ym)1.選取模型:確定模型類型(或擬合函數(shù)),如y=a+bx。2.將數(shù)據(jù)代入模型,每個(gè)觀測(cè)數(shù)據(jù)對(duì)應(yīng)一個(gè)參數(shù)作為未知數(shù)的方程。3.求解最小二乘解(即確定模型的參數(shù))。觀測(cè)數(shù)據(jù)(也許數(shù)據(jù)背后沒(méi)有規(guī)律)發(fā)現(xiàn)規(guī)律解釋規(guī)律背后的機(jī)理報(bào)道稱，胡立德教授與其團(tuán)隊(duì)使用一架高速攝影機(jī)拍攝包括老鼠、山羊、牛、大象、狗等哺乳動(dòng)物的排尿過(guò)程，并通過(guò)流體動(dòng)力學(xué)建模發(fā)現(xiàn)，只要體重超過(guò)3公斤的哺乳動(dòng)物，它們的排尿時(shí)間都在21秒左右。例.從20世紀(jì)70年代早期開始,英特爾公司CPU上的晶體管的數(shù)量:CPUyeartransistors400419712,250800819722,500808019745,0008086197829,0002861982120,0003861985275,00048619891,180,000Pentium19933,100,000Pentium

II19977,500,000Pentium

III199924,000,000Pentium

4200042,000,000Itanium2002220,000,000Itanium

22003410,000,000指數(shù)函數(shù)刻畫增長(zhǎng)或衰減的規(guī)律,如放射性原子核、血液中藥物和酒精的衰變規(guī)律和。摩爾定律是由英特爾（Intel）創(chuàng)始人之一戈登·摩爾（GordonMoore）提出來(lái)的。其內(nèi)容為：當(dāng)價(jià)格不變時(shí)，集成電路上可容納的晶體管數(shù)目，約每隔18(或24)個(gè)月便會(huì)增加一倍，性能也將提升一倍。線性化改變了原最小二乘問(wèn)題。對(duì)于原非線性最小二乘問(wèn)題可以考慮最速下降法和共軛梯度法等優(yōu)化方法。網(wǎng)絡(luò)科學(xué)領(lǐng)軍人物艾伯特-拉斯洛·巴拉巴西寫過(guò)的兩本書《鏈接》和《爆發(fā)》。他在這兩本書里總結(jié)出的是，世界是由兩個(gè)法則構(gòu)成的，一個(gè)是高斯法則，也就是正態(tài)分布，簡(jiǎn)單說(shuō)就是“中間多，兩頭少”，比如一個(gè)班里，成績(jī)中間的學(xué)生最多，成績(jī)特別好和成績(jī)特別差的學(xué)生不會(huì)太多。另一個(gè)是冪律法則，可以理解為二八法則，比如20%的人口占據(jù)了80%的社會(huì)財(cái)富。冪律行星規(guī)律探秘行星軌道半長(zhǎng)軸(1010米)周期(年)水星5.790.241金星10.80.615地球15.01火星22.81.88木星77.811.9土星14329.5天王星28784海王星450165冥王星590248

開普勒大膽猜測(cè)：“繞以太陽(yáng)為焦點(diǎn)的橢圓軌道運(yùn)行的所有行星,其各自橢圓軌道半長(zhǎng)軸的立方與周期的平方之比是一個(gè)常量?行星軌道半長(zhǎng)軸(1010米)周期(年)水星5.790.241金星10.80.615地球15.01火星22.81.88木星77.811.9土星14329.46天王星28784.01海王星450164.8冥王星590247.7線性化改變了原最小二乘問(wèn)題,對(duì)于原非線性最小二乘問(wèn)題可以考慮最速下降法和

共軛梯度法等優(yōu)化方法。

生物界的牛頓定律物種面積曲線冪律MaxKleiber在1930年發(fā)現(xiàn)了一條在整個(gè)生物界都普遍適用的定律：一個(gè)動(dòng)物的能耗n與它體重的關(guān)系為n=v^(3/4)。如何選擇最佳的模型?若無(wú)必要，勿增實(shí)體奧卡姆剃刀原理:當(dāng)兩個(gè)假說(shuō)具有完全相同的解釋力和預(yù)測(cè)力時(shí)，我們以那個(gè)較為簡(jiǎn)單的假說(shuō)作為討論依據(jù)。

主要函數(shù)1.多項(xiàng)式曲線擬合函數(shù)：polyfit()調(diào)用格式： p=polyfit(x,y,n)

說(shuō)明：x,y為數(shù)據(jù)點(diǎn)，n為多項(xiàng)式階數(shù)，返回p為冪次從高到低的多項(xiàng)式系數(shù)向量p。2.多項(xiàng)式曲線求值函數(shù)：polyval()調(diào)用格式： y=polyval(p,x)說(shuō)明：y=polyval(p,x)為返回對(duì)應(yīng)自變量x在給定系數(shù)P的多項(xiàng)式的值。x=[1245];y=[1223];plot(x,y,'o')p=polyfit(x,y,1)xnew=linspace(min(x),max(x));ynew=polyval(p,xnew);holdon,plot(xnew,ynew,'r')研究美國(guó)人口增長(zhǎng)的規(guī)律并預(yù)測(cè)2020年的人口。Year19001910192019301940

1950Population75.99591.972105.711123.203131.669150.697Year196019701980199020002010Population179.323

203.212

226.505249.633281.422308.746loadcensus,plot(x,y,'o')P=polyfit(x,y,3);polyval(P,2010)Curve

FittingTool嚴(yán)格滿足插值條件vs

追求最小殘差平方和適定方程組求解vs

不相容方程組求解尋找數(shù)據(jù)的規(guī)律(或壓縮數(shù)據(jù))思考:插值與(最小二乘)擬合的異同？vs

預(yù)測(cè)的能力作業(yè)5研究飲酒后人體血液中酒精含量的變化規(guī)律Ref:時(shí)間0.250.50.7511.522.533.544.55酒精含量306875827768686858515041時(shí)間678910111213141516酒精含量3835282518151210774體重約70kg的某人在短時(shí)間內(nèi)喝下2瓶啤酒后，隔一定時(shí)間測(cè)量他的血液中酒精含量(毫克／百毫升)，數(shù)據(jù)如下：作業(yè)6Sunspots

Ref:C.Moler,NumericalComputingwithMatlabForcenturies,peoplehavenotedthatthefaceofthesunisnotconstantoruniforminappearance,butthatdarkerregionsappearatrandomlocationsonacyclicalbasis.Thisactivityiscorrelatedwithweatherandothereconomicallysignificantterrestrialphenomena.In1848,RudolfWolferproposedarulethatcombinedthenumberandsizeofthesesunspotsintoasingleindex.Usingarchivalrecords,astronomershaveappliedWolfer’sruletodeterminesunspotactivitybacktotheyear1700.

微信:狗熊會(huì)(北京大學(xué)王漢生教