1、首先畫出散點(diǎn)圖，以觀察x，y之間的大致關(guān)系,x=0.241 0.615 1 1.88 11.9 29.5 84 165 248; y=5.79 10.8 15.0 22.8 77.8 143 287 450 590; plot(x,y,o),是否可以大膽猜測(cè)：“繞以太陽(yáng)為焦點(diǎn)的橢圓軌道運(yùn)行的所有行星, 其各自橢圓軌道半長(zhǎng)軸的立方與周期的平方之比是一個(gè)常量?,行星 半長(zhǎng)軸 (a) 周期 (T) c,2.99,2.98,海王星 450 165,天王星 287 84,已知一組(二維)數(shù)據(jù), 即平面上n個(gè)點(diǎn)(xi,yi),i=1, ,n。尋求一條直線y=ax+b, 使直線在某種準(zhǔn)則下與所有數(shù)據(jù)點(diǎn)最為接

2、近, 即離散數(shù)據(jù)與直線擬合地最好。,觀察散點(diǎn)圖可發(fā)現(xiàn)這些離散數(shù)據(jù)點(diǎn)落在直線,附近，按最小二乘法(least squares)，使殘差平方和最小,分別對(duì)S求關(guān)于a,b的偏導(dǎo)數(shù)，并令其為0，得到如下方程組,整理得到,無(wú)解的方程組稱為不相容方程組。方程個(gè)數(shù)多于未知數(shù)個(gè)數(shù)的方程組稱為超定方程組。超定方程組通常是不相容方程組。,定義: 一個(gè)方程組若至少存在一個(gè)解能夠嚴(yán)格滿足該方程組,則稱為相容方程(consistent equation)。,定理: 線性方程Ax=b相容的充分必要rank(A,b)=rank(A),The hardest quantities to compute are ones th

3、at do not exist.,當(dāng)方程組不相容時(shí), 如何尋求次佳(next-best)解。,我們希望殘差r=Ax-b盡可能小,小的標(biāo)準(zhǔn)是什么呢？,例如:,最小二乘解 (least-squares),多變量函數(shù)極值點(diǎn):,最小二乘解,例1: 美國(guó)奧勒岡州波特蘭市47套房產(chǎn)的售價(jià)和居住面積數(shù)據(jù)如下:,求擬合(fitting)函數(shù):,求擬合(fitting)函數(shù):,回顧:,最小二乘解：,正規(guī)方程：,例2: 美國(guó)奧勒岡州波特蘭市47套房產(chǎn)的售價(jià)和居住面積數(shù)據(jù)如下:,離散數(shù)據(jù)的擬合,求擬合函數(shù):,正規(guī)方程：,離散數(shù)據(jù)的擬合,求擬合函數(shù):,正規(guī)方程：,總結(jié):,給定的離散觀測(cè)數(shù)據(jù)(x1,y1), ,(xm,

4、ym),1. 選取模型: 確定模型類型(或擬合函數(shù))。,2. 將數(shù)據(jù)代入模型, 每對(duì)觀測(cè)數(shù)據(jù)對(duì)應(yīng)一個(gè)參數(shù)作為未知數(shù)的方程。,3. 求解最小二乘解(即確定模型的參數(shù))。,壓縮的概念:,最小二乘擬合是數(shù)據(jù)壓縮的典型例子, 輸入大量的噪聲觀測(cè)數(shù)據(jù), 而輸出是盡可能好地?cái)M合數(shù)據(jù)的模型(相對(duì)少的模型參數(shù))。最小二乘擬合用合理的模型來(lái)代替大量的噪聲數(shù)據(jù)。,線性模型,牛頓第二定律 物體加速度的大小跟物體受到的作用力成正比,胡克定律 在彈性極限內(nèi), 彈性物體的應(yīng)力與應(yīng)變成正比,to be continued,外部氣溫在不同時(shí)間尺度下服從周期規(guī)律,包括由地球自轉(zhuǎn)以及地球繞太陽(yáng)公轉(zhuǎn)所確定的每天的周期以及每年的周期

5、。,外部氣溫在不同時(shí)間尺度下服從周期規(guī)律。,外部氣溫在不同時(shí)間尺度下服從周期規(guī)律。,例3.華盛頓地區(qū)在2011年1月1日的溫度記錄。,例4. 從20世紀(jì)70年代早期開始, 英特爾公司CPU上的晶體管的數(shù)量:,指數(shù)函數(shù)刻畫增長(zhǎng)或衰減的規(guī)律,如放射性原子核、血液中藥物和酒精的衰變規(guī)律和。,線性化改變了原最小二乘問(wèn)題。,對(duì)于原非線性最小二乘問(wèn)題可以考慮最速下降法和 Gauss-Newton等優(yōu)化方法。,庫(kù)茲韋爾定律 這個(gè)模式，他稱之為“加速循環(huán)規(guī)則”(Law of Accelerating Returns，也被稱為庫(kù)茲韋爾定律)，大意是，技術(shù)的力量正以指數(shù)級(jí)的速度迅速向外擴(kuò)充。人類正處于加速變化的浪

6、尖上，這超過(guò)了我們歷史的任何時(shí)刻。他說(shuō)，更多的、更加超乎我們想象的極端事物將會(huì)出現(xiàn)。,正在發(fā)生的那些庫(kù)茲韋爾定律,推薦書單,1 凱文.凱利, 失控 2 凱文.凱利, 必然 3 庫(kù)茲韋爾, 奇點(diǎn)臨近 4 邁爾-舍恩伯格, 大數(shù)據(jù)時(shí)代 5 涂子沛, 大數(shù)據(jù),例5.生物界的牛頓定律,生物體的一些常見(jiàn)計(jì)量值與其質(zhì)量滿足如下規(guī)律Y=cMb ,其中M為質(zhì)量,Y為生物體的一些計(jì)量值, c為常數(shù)。如Kleiber定律, 對(duì)不同物種的成年哺乳動(dòng)物, 靜息能耗與身體質(zhì)量的0.75次方成正比。,例6. Gamma correction,例7. 2002年美國(guó)疾病控制中心收集了221歲男孩的平均身高與體重。,線性化改變了原最小二乘問(wèn)題,對(duì)于原非線性最小二乘問(wèn)題可以考慮最速下降法和 Gauss-Newton等優(yōu)化方法。,線性化,如何選擇最佳的模型?,Reference: ,在所有可能選擇的模型中，我們應(yīng)該選擇能夠很好地解釋已知數(shù)據(jù)并且十分簡(jiǎn)單的模型。