目錄TOC\o"1-3"\h\u7107 427008 414 622463 728300 816570 1030177 1017674 1230371 12967 1314593 1331761 1324731 1426622 1414399 1517394 1623650 173495 1717038 1824679 1919744 1985 2322023 2313488 2312386“天下沒有免費(fèi)的午餐” 254470 2524625 254814 26120 2716680 2921376 312802 335659 3510574 3713851 3720277 3819796 407907 413554 4232649 4329081 4432143 4419888 4629168 4613624 4620856 4810205 4819180 5014329 5121339 5227144 5331286 5324830 5327355 5517939 5828594 604079 6111033 6311374 637331 6526964 6532132 657065 695404 7016962 7228403 742276 7526039 7528474 7721233 8018042 8129064 8331310 8512631 852717 8627732 891157 9012833 9131795 9217663 9322145 9331610 9326754 945188 9425695 9513849 961592 9725513谷歌＋終極算法= 9818655 9911216 101算法就是一系列指令，告訴計(jì)算機(jī)該做什么。計(jì)算機(jī)是由幾十億個(gè)微小開關(guān)（稱為晶體管）組成的，而算法能在一秒內(nèi)打開并關(guān)閉這些開關(guān)幾十億次。最簡單的算法是觸動(dòng)開關(guān)。一個(gè)晶體管的狀態(tài)就是一個(gè)比特信息：如果開關(guān)打開，信息就是1；如果開關(guān)關(guān)閉，信息就是0。銀行的計(jì)算機(jī)的某個(gè)比特信息會(huì)顯示你的賬戶是否已透支。美國社會(huì)保障總署的計(jì)算機(jī)的某個(gè)比特信息表明你是活著還是已死亡。第二簡單的算法是：把兩個(gè)比特結(jié)合起來?？藙诘孪戕r(nóng)以信息論之父他晶體管的回應(yīng)（這是他在麻省理工學(xué)院的碩士論文——有史以來最有意義的碩士論文）。如果晶體管只有在和晶體管都打開時(shí)才打開，那么這時(shí)它就是在做小型的邏輯運(yùn)算。如果晶體管在和晶體管其中一個(gè)打開時(shí)才打開，就是另外一種小型邏輯運(yùn)算。如果晶體管在晶體管任何關(guān)閉的時(shí)候打開，或者反過來，這又是第三種運(yùn)算。信不信由你，所有算法，無論多復(fù)雜，都能分解為這三種邏輯運(yùn)算：且，或，非。利用不同的符號(hào)來代替且或非運(yùn)算，簡單的算法就可以用圖表來表示。例如，如果發(fā)燒可由感冒或者瘧疾引起，那么你應(yīng)該用泰諾來治療發(fā)燒和頭疼，可以用圖1–1表示。圖算法是一套嚴(yán)格的標(biāo)準(zhǔn)。人們常說，你沒法真正了解某樣?xùn)|西，直到你能用一種算法來將其表達(dá)出來（理查德費(fèi)曼曾說，如果我無法創(chuàng)造某樣?xùn)|西，那么也就無法理解它）。方程式對(duì)物理學(xué)家和工程師來說就是謀生工具，而這也僅僅是一種特殊算法。例如，牛頓第二定律，力除以質(zhì)量，要弄明白這一點(diǎn)，只需一個(gè)運(yùn)算步驟。在科學(xué)的任何領(lǐng)域，如果某個(gè)理論無法用算法表示，那么它就不是很嚴(yán)謹(jǐn)（用計(jì)算機(jī)來解決這個(gè)問題，因?yàn)槟隳茏層?jì)算機(jī)替你做的事實(shí)在太有限）論及設(shè)備都有關(guān)。設(shè)計(jì)算法并沒有那么簡單。這個(gè)過程充滿陷阱，什么事都不能想當(dāng)然。如果你的一些構(gòu)建已經(jīng)出錯(cuò)，就得找其他方法。設(shè)計(jì)算法最重要的一點(diǎn)就是，你得用一種計(jì)算機(jī)能理解的語言來將算法記錄下來，比如v或者yhon（從這個(gè)角度看，就是一個(gè)程序）。接下來，你得對(duì)其進(jìn)行糾錯(cuò)：找出每個(gè)誤差并修正，直到計(jì)算機(jī)能夠運(yùn)行程序，而不至于搞砸。一旦你有了能完成你心愿的程序，就輕松多了。計(jì)算機(jī)會(huì)以飛快的速度，按我們的要求辦事，而且毫無怨言。世界上的每個(gè)人都能享用你的創(chuàng)作成果。如果你愿意，這個(gè)成果可以一文不收；當(dāng)然，如果你解決的問題足夠有意義，這個(gè)成果也可以讓你成為億萬富翁。程序員（創(chuàng)造算法并將其編碼的人）是一個(gè)小神靈，能任意創(chuàng)造不同的世界。甚至你也可以說《圣經(jīng)創(chuàng)世記》里的神也是程序員：語言（而不是統(tǒng)治權(quán)）上利用筆記本電腦，你就可以成為一個(gè)神。你完全可以想象一個(gè)世界，并實(shí)現(xiàn)它。然而，不可避免地，在這個(gè)伊甸園里也會(huì)有狡猾的人存在，人們稱之為復(fù)雜性怪獸。和九頭蛇一樣，這個(gè)復(fù)雜性怪獸有很多頭，其中沒用，必須忽略。接著是邪惡的同類——為日后埋下隱患。有些學(xué)習(xí)算法學(xué)習(xí)知識(shí)，有的則學(xué)習(xí)技能。所有人都會(huì)死是知識(shí)，騎單車是技能。在機(jī)器學(xué)習(xí)中，知識(shí)往往以統(tǒng)計(jì)模型的形式出現(xiàn)，因?yàn)槎鄶?shù)知識(shí)都是可以統(tǒng)計(jì)的：所有人都會(huì)死，但只有4一只鹿跳到你面前，那么立刻剎車（很遺憾，在寫這本書時(shí)，谷歌的自動(dòng)駕駛汽車仍會(huì)把被風(fēng)吹起的塑料袋和鹿弄混）。通常，這些程序都很簡單，復(fù)雜的是它們的核心知識(shí)。如果你能判斷哪些郵件是垃圾郵件，那么你也就能判斷該刪除哪些郵件。如果你能在象棋游戲中判斷這盤棋自己的優(yōu)勢在哪里，那么你也就懂得該怎么走（能讓你處于最有利地位的一步）。機(jī)器學(xué)習(xí)專家在計(jì)算機(jī)科學(xué)家中就是一種精英式的神職。許多計(jì)算機(jī)科學(xué)家，尤其是更老的那一代，并不如他們想的那樣能很好地理解機(jī)器學(xué)習(xí)。這是因?yàn)椋?jì)算機(jī)科學(xué)通常需要的是準(zhǔn)確思維，但機(jī)器學(xué)習(xí)需要的是統(tǒng)計(jì)思維。例如，如果有條規(guī)定是垃圾郵件標(biāo)記的正確率是99司，但想趕上谷歌卻困難得多。說到底，瀏覽器只是一個(gè)標(biāo)準(zhǔn)的軟件，而搜索引擎則需要不同的思維模式。之所以說機(jī)器學(xué)習(xí)研究者是超級(jí)計(jì)算機(jī)迷的另外一個(gè)原因，就是當(dāng)今世界急需他們，但他們寥寥無幾。按照計(jì)算機(jī)科學(xué)嚴(yán)格的標(biāo)準(zhǔn)，這樣的人數(shù)量就更少了。蒂姆奧萊利認(rèn)為，數(shù)據(jù)科學(xué)家是硅谷最熱門的職業(yè)。根據(jù)麥肯錫全球研究院估計(jì)，截至2018年，僅美國就需要再培養(yǎng)萬19萬機(jī)器學(xué)習(xí)專家才夠用，另外還需要150萬有數(shù)據(jù)頭腦的經(jīng)理。機(jī)器學(xué)習(xí)的應(yīng)用爆發(fā)得如此突然，連教育都無法跟上其步伐，同時(shí)，人才奇缺也是因?yàn)檫@門學(xué)科在人們看來很難而令人望而生畏。教科書很可能會(huì)讓你感到數(shù)學(xué)很難，然而，這個(gè)困難表面看起來很大，其實(shí)并不是。機(jī)器學(xué)習(xí)所有的重要觀點(diǎn)可以不用通過數(shù)學(xué)表示出來。當(dāng)你讀這本書時(shí)，甚至可能會(huì)發(fā)現(xiàn)，你發(fā)明了自己的學(xué)習(xí)算法，而且看不到一個(gè)方程式的影子?；仡欉^去，我們看到，從計(jì)算機(jī)到互聯(lián)網(wǎng)再到機(jī)器學(xué)習(xí)的進(jìn)步是必然的：計(jì)算機(jī)使互聯(lián)網(wǎng)成為可能，這個(gè)過程產(chǎn)生大量數(shù)據(jù)以及無限選擇這個(gè)問題。單單互聯(lián)網(wǎng)還不足以把一個(gè)尺寸滿足所有的需求轉(zhuǎn)向追求無限多樣化的長尾效應(yīng)。網(wǎng)飛公司的庫存里可能有10萬種不同名字的（數(shù)字多功能光盤），但如果顧客不懂得如何找到自己喜歡的，他們就會(huì)默認(rèn)選擇最流行的幫助它了解顧客的喜好，并推薦，長尾效應(yīng)也才得以真正實(shí)現(xiàn)。買到什么產(chǎn)品，全球最大的婚戀網(wǎng)站默契網(wǎng)（h.o）決定你的約會(huì)對(duì)象是誰。最好的選擇權(quán)仍在你手里——從算法給你展示的所有選項(xiàng)中挑選，但99.9的選擇由算法做出。當(dāng)下，一家公司的成敗取決于學(xué)習(xí)算法對(duì)其產(chǎn)品的喜愛程度，而整個(gè)經(jīng)濟(jì)體的成功——是否每個(gè)人都能得到自己需要的物美價(jià)廉的產(chǎn)品，則取決于學(xué)習(xí)算法的好用程度。性循環(huán)（如果你在競爭，就會(huì)變成惡性循環(huán)）。把搜索引擎從谷歌轉(zhuǎn)換到必應(yīng)，可能會(huì)比把應(yīng)用系統(tǒng)從ndo切換到要簡單，但在實(shí)際入搜索行業(yè)，沒有什么數(shù)據(jù)資源，而谷歌卻擁有十余年的機(jī)器學(xué)習(xí)經(jīng)驗(yàn)。普適的傳感器源源不斷地輸出。數(shù)據(jù)是新型石油是目前的流行說法，既然是石油，提煉石油就是一筆大生意。和其他公司一樣，已制定么數(shù)據(jù)，而我卻沒有？有個(gè)好消息，那就是之前缺乏數(shù)據(jù)的學(xué)科現(xiàn)在擁有很多數(shù)據(jù)。用不著讓50名睡眼惺忪的本科生到實(shí)驗(yàn)室完成任務(wù)并付給他們報(bào)酬，心理學(xué)家通過在亞馬遜土耳其機(jī)器人”3]上發(fā)布實(shí)驗(yàn)任務(wù)，就可以找到滿足他們數(shù)量要求的實(shí)驗(yàn)對(duì)象（這個(gè)網(wǎng)站對(duì)更多樣化的樣本也有幫助）回想起來越來越困難，但也只是10年前，研究社交網(wǎng)絡(luò)的社會(huì)學(xué)家哀嘆說，他們無法得到成員超過幾百人的社交網(wǎng)絡(luò)。現(xiàn)在有了臉書，有超過10億用戶。大部分用戶會(huì)發(fā)布有關(guān)他們生活的很多細(xì)節(jié)，就像地球社會(huì)生活的實(shí)時(shí)直播。在神經(jīng)科學(xué)領(lǐng)域，神經(jīng)連接組學(xué)和功能性磁共振成像讓人們對(duì)大腦有了十分詳細(xì)的了解。在分子生物學(xué)領(lǐng)域，基因和蛋白質(zhì)的數(shù)據(jù)庫數(shù)量以指數(shù)級(jí)速度增長。甚至更為年長的學(xué)科，如物理學(xué)和解剖學(xué)也在不斷進(jìn)步，因?yàn)榱Ｗ蛹铀倨骱蛿?shù)字巡天領(lǐng)域的數(shù)據(jù)在源源不斷輸出。如果你不將大數(shù)據(jù)變成知識(shí)，它將毫無用處，可是世界上沒有那么多科學(xué)家來完成這件事。埃德溫但史隆數(shù)字巡天計(jì)劃中，多達(dá)5億的天體肯定不是這樣被辨認(rèn)出來的。這就像在沙灘上用手來數(shù)沙粒的數(shù)目。你可以記錄規(guī)則，把星系從星星及干擾物（如鳥、飛機(jī)、超人）區(qū)分開來，但得出的星系并不是那么準(zhǔn)確。相比之下，天體圖像目錄編輯和分析工具（）項(xiàng)目使用了學(xué)習(xí)算法。底片包括標(biāo)記了正確類別的天體，從這些底片出發(fā)，學(xué)習(xí)算法可以明白每個(gè)分類的特點(diǎn)，并將其應(yīng)用到?jīng)]有標(biāo)記的底片當(dāng)中。甚至更理想的是，學(xué)習(xí)算法能夠?qū)⒛切?duì)人類來說難以標(biāo)記的天體進(jìn)行分類，這些天體正是該項(xiàng)調(diào)查計(jì)劃的主要內(nèi)容。在生物學(xué)領(lǐng)域，學(xué)習(xí)算法的研究成果包括：成各自的特有形狀；不同條件如何對(duì)基因的表達(dá)造成影響。用不著在實(shí)驗(yàn)室對(duì)新藥進(jìn)行測試，機(jī)器學(xué)習(xí)就可以預(yù)測這些藥物是否有效，只有最有效的藥品才會(huì)受到測試。學(xué)習(xí)算法還會(huì)剔除那些可能產(chǎn)生嚴(yán)重副作用（甚至導(dǎo)致癌癥）的藥物，備選藥物無須在經(jīng)過人體試驗(yàn)被證明無效后才被禁止使用，從而避免了代價(jià)昂貴的失敗。10億個(gè)比爾·在2012年的美國總統(tǒng)選舉中，機(jī)器學(xué)習(xí)決定了誰能當(dāng)上總統(tǒng)。通常決定總統(tǒng)選舉的因素包括經(jīng)濟(jì)、候選人的親民度等，但這些因素沒有起到作用，而選舉的結(jié)果主要受到幾個(gè)搖擺州的影響。米特類別作為目標(biāo)。尼爾紐豪斯（羅姆尼的民意調(diào)查專家）說道：如果我們能在俄亥俄州贏得無黨派人士，那么這場競賽我們就贏了。尼獲得了7無黨派人士的支持，但他仍失去了這個(gè)州，在競選中失利。相比之下，奧巴馬總統(tǒng)雇用了拉伊德賈尼（機(jī)器學(xué)習(xí)專家，他是奧巴馬競選中的首席科學(xué)家）。賈尼研究的是如何整合最偉大的分析運(yùn)合起來。之后著手對(duì)每個(gè)選民做四種預(yù)測：（1）支持奧巴馬的可能性有多大；（2）會(huì)不會(huì)參加民意調(diào)查；（3）會(huì)不會(huì)回應(yīng)競選宣傳并照做；（4）對(duì)特定問題進(jìn)行對(duì)話之后，他們會(huì)不會(huì)改變選舉決定?；谶@些選民的例子，奧巴馬團(tuán)隊(duì)每個(gè)晚上進(jìn)行66000場選舉模擬，并用這些在政界、商界以及戰(zhàn)爭中，最糟糕的事情莫過于，你不明白對(duì)手的行動(dòng)，而知道該怎么做時(shí)，為時(shí)已晚。這就是發(fā)生在羅姆尼競選中的事情，他們能看到對(duì)手的團(tuán)隊(duì)在特定鎮(zhèn)的特定電臺(tái)花錢做宣傳，卻不知道這是為什么，他們能預(yù)測的實(shí)在太少。最后，奧巴馬除了北卡羅來納州以外，贏得了每個(gè)州，而且與最可靠的民意調(diào)查專家的預(yù)測相比，他贏得了更多。反過來，最可靠的民意調(diào)查專家（例如內(nèi)特希爾）最復(fù)雜的預(yù)測技術(shù)，預(yù)測結(jié)果卻沒有奧巴馬競選團(tuán)隊(duì)的結(jié)果準(zhǔn)確，因?yàn)樗麄兊馁Y源比較少。但他們比那些所謂的權(quán)威人士要準(zhǔn)確很多，因?yàn)槟切┤说念A(yù)測只是基于他們自己的專業(yè)知識(shí)。也許你會(huì)認(rèn)為，2012年的美國總統(tǒng)競選只是機(jī)緣巧合：大多數(shù)選舉結(jié)果并不那么接近，機(jī)器學(xué)習(xí)無法成為決定因素。但未來機(jī)器學(xué)習(xí)會(huì)讓更多的選舉結(jié)果更接近。在政界，正如在所有領(lǐng)域那樣，學(xué)習(xí)就像一場掰手腕比賽。在卡爾羅夫（前直銷商和數(shù)據(jù)挖掘工程師）黨是領(lǐng)先的。到了2012年，共和黨開始掉隊(duì)，但現(xiàn)在他們又追上來了。我們不知道下一輪選舉誰會(huì)領(lǐng)先，但我們知道兩個(gè)黨派為了贏得選舉都政治家最偉大的才能之一，就是能夠了解其選民個(gè)人或者選民團(tuán)體，然后直接與他們對(duì)話，比爾作用就是，讓每位選民都覺得克林頓對(duì)待他們親力親為、非常用心。盡管他們心目中的這些小小克林頓與真的克林頓相差太遠(yuǎn)了，但優(yōu)勢在于小克林頓的數(shù)量眾多，哪怕比爾克林頓根本無法了解美國的每位選民是怎么想的（雖然他確實(shí)想知道）。學(xué)習(xí)算法是最強(qiáng)大的政治家推銷商。你身上獲取的信息數(shù)量仍像19世紀(jì)時(shí)一樣有限：每兩年會(huì)有100比特左右的信息，數(shù)量正好對(duì)應(yīng)一張選票。這些信息會(huì)由民意信息來補(bǔ)充，或就可以每天詢問選民上千次想要什么，然后根據(jù)詢問結(jié)果來辦事，不用在現(xiàn)實(shí)中糾纏選民。美國國家安全局已經(jīng)對(duì)數(shù)據(jù)產(chǎn)生無限大的胃口，也因此聲名狼藉。據(jù)估計(jì)，每天美國國家安全局竊聽著全球10億多個(gè)通話，還有其他通專門編寫程序來找出有嫌疑的通話又很困難。過去，美國國家安全局利用關(guān)鍵詞配對(duì)方法，但要應(yīng)付這個(gè)方法也很容易（作結(jié)婚，把炸彈稱作結(jié)婚蛋糕）。21世紀(jì)，這些事就可以交給機(jī)器學(xué)習(xí)。保密是安全局的標(biāo)志，但安全局局長已經(jīng)向美國國會(huì)證明，通話記錄挖掘已經(jīng)阻止了幾十起恐怖威脅。止911事件的發(fā)生。有一個(gè)進(jìn)一步的轉(zhuǎn)折：一旦確定的程序部署下來，壞人可能會(huì)改變其活動(dòng)，以擾亂該程序。這與自然世界不同，自然世學(xué)會(huì)巧妙地回避對(duì)手對(duì)你的學(xué)習(xí)算法的損害。正如博弈論那樣，把各種措施的成本和利益考慮在內(nèi)，這也有助于找到隱私與安全之間的平衡點(diǎn)。部高級(jí)研究計(jì)劃局（）的領(lǐng)頭狗（phog）能為士兵搬運(yùn)設(shè)備。遙控飛機(jī)在學(xué)習(xí)算法的作用下可自主飛行。雖然它們?nèi)允艿饺祟愶w少許多士兵的傷亡?？萍汲绷鞅加慷鴣聿⒀该拖蚯?。機(jī)器學(xué)習(xí)不同尋常的一點(diǎn)就是，在經(jīng)歷所有這些變革以及繁榮和破產(chǎn)之后，它開始逐漸強(qiáng)大。它遇到的第一個(gè)大的打擊是在金融領(lǐng)域，預(yù)測股票的起伏波動(dòng)，起于20世紀(jì)80年代。接下來的一波是挖掘企業(yè)數(shù)據(jù)庫，在20世紀(jì)90年代中開始發(fā)展壯大，尤其是在直接營銷、客戶關(guān)系管理、資信評(píng)分以及詐騙偵查等領(lǐng)域。接著是網(wǎng)絡(luò)和電子商務(wù)，在這些領(lǐng)域中，自動(dòng)個(gè)性化很快流行起來。當(dāng)互聯(lián)網(wǎng)泡沫暫時(shí)削弱這種趨勢時(shí)，將機(jī)器學(xué)習(xí)應(yīng)用到網(wǎng)頁搜索和廣告投放的做法開始騰飛起來。不管怎樣，911恐怖襲擊后機(jī)器學(xué)習(xí)被應(yīng)用到打擊恐怖主義的戰(zhàn)爭中。網(wǎng)絡(luò)2.0大規(guī)模建模，由分子生物學(xué)家和天文學(xué)家打頭陣。人們勉強(qiáng)留意到了房地產(chǎn)泡沫，而其主要影響就是使人才從華爾街轉(zhuǎn)移到硅谷，并受到歡迎。2011年，大數(shù)據(jù)的概念流行起來，機(jī)器學(xué)習(xí)被明確歸入全球經(jīng)濟(jì)未來的中心。當(dāng)今，似乎沒有哪個(gè)人類鉆研的領(lǐng)域不受到機(jī)器學(xué)習(xí)的影響，甚至包括看起來沒有多大關(guān)系的領(lǐng)域（如音樂、體育、品酒）。亞馬遜“土耳其機(jī)器人”（AmazonMechanicalTurk）是一個(gè)Web服務(wù)應(yīng)用程序接口，開發(fā)商通過它可以將人的智能整合到遠(yuǎn)程過程調(diào)用。——我將該學(xué)習(xí)算法稱為終極算法。如果這種算法成為可能，它的發(fā)明將成為人類最偉大的科學(xué)成就之一。實(shí)際上，終極算法是我們最不愿意發(fā)明的東西，因?yàn)橐坏?duì)其放松，它會(huì)繼續(xù)發(fā)明一切有可能發(fā)明的東西。我們要做的，就是為它提供足夠、適當(dāng)?shù)臄?shù)據(jù)，通過這些數(shù)據(jù)，它會(huì)發(fā)現(xiàn)相應(yīng)的知識(shí)：給它視頻流，它就會(huì)觀看；給它圖書館，它就會(huì)閱讀；給它物理實(shí)驗(yàn)結(jié)果，它就會(huì)發(fā)現(xiàn)物理定律；給它它就會(huì)發(fā)現(xiàn)的結(jié)構(gòu)。2000年4月，麻省理工學(xué)院的神經(jīng)系統(tǒng)科學(xué)家團(tuán)隊(duì)在《自然》雜志上發(fā)布了一項(xiàng)非同尋常的實(shí)驗(yàn)結(jié)果。他們對(duì)雪貂的大腦進(jìn)行重新布線，改變了雪貂從眼睛到聽覺皮層（大腦負(fù)責(zé)處理聲音的部分）域相連的神經(jīng)元彼此相互接近。相反，大腦被重新布線的雪貂在聽覺皮層中形成了這張視網(wǎng)膜圖。如果視覺信息重新導(dǎo)入軀體感覺皮層（感知觸覺），軀體感覺皮層也會(huì)學(xué)會(huì)看。其他哺乳動(dòng)物也有這樣的能力。對(duì)于天生看不見的人，視覺皮層可以負(fù)責(zé)大腦的其他功能。對(duì)于聽不見的人，聽覺皮層也可以這么做。盲人可以借助舌頭來學(xué)會(huì)看，方法是將頭戴式攝像機(jī)的視頻圖像發(fā)送至舌頭上的一組電極上，高電壓與高像素對(duì)應(yīng)，低電壓與低像素對(duì)應(yīng)。本像蝙蝠那樣，用回聲定位來導(dǎo)航。通過在顯微鏡下觀察皮層可以得出相同的結(jié)論。同樣的布線模式不斷重復(fù)，隨處可見。皮質(zhì)是一個(gè)6層的柱狀物，反饋回路達(dá)到大腦一個(gè)叫丘腦的結(jié)構(gòu)，以及短程序抑制連接和遠(yuǎn)程興奮性連接反復(fù)出現(xiàn)的模式。雖然表現(xiàn)出一定數(shù)量的變異，但這看起來更像是來自同一算法（是不同算法）能做的事情，只是因?yàn)樾∧X更加高效。然而，關(guān)于大腦是終極算法這個(gè)觀點(diǎn)的最重要論據(jù)，就是大腦負(fù)責(zé)我們能感知以及想象的一切。如果某物存在，但大腦無法對(duì)其進(jìn)行學(xué)習(xí)，那么我們就不知道它的存在。我們可能只是沒看見它，或者認(rèn)為它是隨機(jī)出現(xiàn)的。不管怎樣，如果我們將大腦放入計(jì)算機(jī)中運(yùn)行，那個(gè)算法就能掌握我們能學(xué)會(huì)的一切。因此發(fā)明終極算法的一種途徑（可以說是最流行的一種）就是對(duì)人腦進(jìn)行逆向解析。杰夫霍金斯（fkn）在他的著作《人工智能的未來》（nngn）中對(duì)此進(jìn)行了嘗試。雷庫茲韋爾（yu）把他的希望放在奇點(diǎn)上——人工智能的崛起遠(yuǎn)遠(yuǎn)超過人類的多樣性。這樣做的同時(shí)，他還在《如何創(chuàng)造思維》（owoaeand）一書中對(duì)此進(jìn)行了嘗試。雖然如此，我們會(huì)看到，這僅僅是幾個(gè)可能途徑中的一個(gè)。這甚至不一定是最有可能的一個(gè)，因?yàn)榇竽X非常復(fù)雜，而我們還處于解密大腦的初級(jí)階段。另一方面，如果我們找不到終極算法，奇點(diǎn)也不會(huì)很快發(fā)生。生物多樣性源于單一機(jī)制：自然選擇。值得注意的是，計(jì)算機(jī)科學(xué)家對(duì)該機(jī)制非常熟悉：我們通過反復(fù)研究嘗試許多備選方法來解決問題，選擇并改進(jìn)最優(yōu)方案，并盡可能多地嘗試這些步驟。進(jìn)化論是一種算法。套用查爾斯巴貝奇（維多利亞時(shí)期的計(jì)算機(jī)先驅(qū)人物）的觀點(diǎn)，上帝創(chuàng)造的不是物種，而是創(chuàng)造物種的算法。達(dá)爾文在《物種起源》的總結(jié)部分提到的無限形體，美麗至極掩飾了最美的統(tǒng)一性：所有這些形體都被編碼在中，所有這些形體都通過改變和連接這些染色體來表現(xiàn)。只通過該算法的一個(gè)描述，誰會(huì)猜出它產(chǎn)生了你和我？如果進(jìn)化論這個(gè)算法能學(xué)習(xí)我們，可以想象它還可以學(xué)習(xí)能學(xué)習(xí)到的一切，條件是我們將進(jìn)化論這個(gè)算法運(yùn)用到足夠強(qiáng)的計(jì)算機(jī)上。的確，在機(jī)器學(xué)習(xí)領(lǐng)域，通過模仿自然選擇來使程序進(jìn)化是許多人正在努力做的事情。因此，進(jìn)化論是另外一個(gè)有希望通往終極算法的途徑。利用足夠多的數(shù)據(jù)，一種簡單的算法能掌握什么？關(guān)于這個(gè)問題，最經(jīng)典的例子就是進(jìn)化論。輸入進(jìn)化論這個(gè)算法的信息是所有存在過的、活著的生物的經(jīng)歷以及命運(yùn)（對(duì)現(xiàn)在的算法來說是大數(shù)據(jù)）。此外，這個(gè)進(jìn)化論算法已經(jīng)在地球上最強(qiáng)大的計(jì)算機(jī)運(yùn)行了300多萬年——這臺(tái)強(qiáng)大的計(jì)算機(jī)就是地球自己。運(yùn)行這個(gè)算法的真正計(jì)算機(jī)應(yīng)該比地球這臺(tái)計(jì)算機(jī)運(yùn)轉(zhuǎn)得更快、數(shù)據(jù)密集性更低。哪一個(gè)模型更適合終極包含這兩個(gè)方面。在1959年的一篇著名文章中，物理學(xué)家、諾貝爾物理學(xué)獎(jiǎng)得主尤金維格納驚嘆數(shù)學(xué)在自然科學(xué)中不可思議的有效性出規(guī)律，是什么神奇的力量讓這些規(guī)律可以運(yùn)用到超出其預(yù)測范圍的領(lǐng)域？這些規(guī)律都是基于數(shù)據(jù)得來的，而為什么這些規(guī)律比數(shù)據(jù)還要準(zhǔn)確好幾個(gè)數(shù)量級(jí)？最重要的是，為什么簡潔、抽象的數(shù)學(xué)語言能夠如此精確地解釋我們無限復(fù)雜的世界？維格納覺得這是一個(gè)很大的謎，覺得既幸運(yùn)又無法理解。數(shù)學(xué)就是如此，而且終極算法就是其邏輯的延伸。物理規(guī)律之美多大程度滲透到更高的領(lǐng)域（如生物學(xué)、社會(huì)學(xué)），這一點(diǎn)有待觀察。但對(duì)混沌的研究提供了許多誘人的例子，這些例子和擁有相似行為的不同系統(tǒng)相關(guān)，而普適性理論可以解釋這些例子。曼德布洛特集合（ndbot）就是很完美的例子，能解釋一個(gè)很簡單的重復(fù)程序如何產(chǎn)生無數(shù)種類的形式。如果世界上的山峰、河流、云朵以及樹木都是這些重復(fù)程序的產(chǎn)物（分形幾何學(xué)表明它們就是），也許那些程序只是單個(gè)程序的不同參數(shù)化，而該單個(gè)程序可以從那些程序推導(dǎo)中得出。不僅物理學(xué)家和數(shù)學(xué)家在尋找不同領(lǐng)域之間意想不到的聯(lián)系，生物學(xué)家也在尋找。在《論契合：知識(shí)的統(tǒng)合》（onn）一書中，著名生物學(xué)家愛德華威爾遜慷慨激昂地闡釋了知識(shí)（從科學(xué)到人文學(xué)）個(gè)模式，那么終極算法就存在，反之則不存在。將這些圖案堆起來，堆得越緊密越好。如果圖案堆到屏幕頂部，那么游戲就結(jié)束了。當(dāng)時(shí)我完全沒有意識(shí)到，這就是我接觸NP完全問題[4]的開始，這是理論計(jì)算機(jī)科學(xué)最重要的一個(gè)問題。后來我才知道，俄羅斯方塊完全不是簡單用來消遣的游戲，掌握這個(gè)游戲（徹底掌握它），弄明白蛋白質(zhì)如何折疊成特定形狀；通過來重新構(gòu)建一系列物種的進(jìn)化史；在命題邏輯中證明定理；利用交易成本來發(fā)現(xiàn)市場中的套利機(jī)會(huì)；從二維視圖中推出三維形狀；將數(shù)據(jù)壓縮到磁盤上；在政治活動(dòng)中組成穩(wěn)定聯(lián)盟；在剪切流中模擬湍流；按照給定回報(bào)率找出最安全的投資組合、到達(dá)幾個(gè)城市的捷徑、微芯片上元件的最佳布局方案、生態(tài)系統(tǒng)中傳感器的最佳布局、自旋玻璃門最低的能量狀態(tài)；安排好航班、課程、工廠工作；最優(yōu)化資源分配、城市交通流、社會(huì)福利，以及提高你的俄羅斯方塊分?jǐn)?shù)（最重要的）——這些都是完全問題，意思是，如果你能有效解決其中的一個(gè)問題，就能有效解決所有類問題，包括相互間的問題。誰會(huì)猜到，這些表面上看起來迥然不同的問題，會(huì)是同一個(gè)問題？如果它們真的是同一個(gè)問題，就可以說一種算法能學(xué)會(huì)解決所有問題（或更準(zhǔn)確地說，所有能有效解決的例子）。在計(jì)算機(jī)科學(xué)中，和是兩類最重要的問題（很遺憾，名字不是很有助于記憶）。如果我們能有效解決它，那么這個(gè)問題就屬于我們能有效找到其解決方案，那么這個(gè)問題屬于。著名的的問題就是，能有效找到的問題是否可以得到有效解決。因?yàn)橥耆珕栴}，回答這個(gè)問題需要的只是證明某個(gè)完全問題可被有效解決（或者無法被有效解決）。在計(jì)算機(jī)科學(xué)領(lǐng)域并不是最難的一類問題，但可以說，它是最難的現(xiàn)實(shí)類問題：如果在宇宙滅亡之前，你無法找到問題的解決方法，那你努力解決這個(gè)問題的意義在哪里？人類擅長給出難題的近似解，而相反，我們感興趣的問題（如俄羅斯方塊問題）往往涉及問題。人工智能的其中一個(gè)定義是，人工智能包括找到完全問題的所有啟發(fā)性解決方案。為了找到解決方案，我們常常把問題變成可滿足性問題，也就是典型的完全問題：給定的邏輯公式是否永遠(yuǎn)都是對(duì)的，或者它是不是自相矛盾？如果我們發(fā)明一種學(xué)習(xí)算法，能夠?qū)W習(xí)解決可滿足性問題，那么有充分理由認(rèn)為，這個(gè)算法就是終極算法。拋開完全問題，計(jì)算機(jī)的存在本身就明顯預(yù)示著終極算法的存在。如果你穿越回到20世紀(jì)早期，告訴人們很快會(huì)有一種機(jī)器發(fā)明出來，能夠解決人類所有領(lǐng)域的難題——所有難題都通過同一臺(tái)機(jī)器解決，那么沒有人會(huì)相信你。人們會(huì)說，每臺(tái)機(jī)器只能解決一個(gè)問題：縫紉機(jī)不會(huì)打字，打字機(jī)不會(huì)縫紉。1936年，艾倫們知道的圖靈機(jī)。每一個(gè)可以想得到的、可以用邏輯推理解決的難題，都可以通過圖靈機(jī)解決。此外，一臺(tái)所謂的萬能圖靈機(jī)可以通過閱讀紙帶上的具體要求來模仿所有東西，換句話說，我們能夠?qū)D靈機(jī)進(jìn)行編程，用它來做所有事情。盡管機(jī)器學(xué)習(xí)成功了，知識(shí)工程師們還是覺得不信服。他們相信，機(jī)器學(xué)習(xí)的局限性很快會(huì)變得明顯，鐘擺會(huì)擺回來，局勢會(huì)扭轉(zhuǎn)。馬文明斯基是麻省理工學(xué)院的教授、人工智能的先驅(qū)人物，也是該陣營的重要成員。明斯基不僅懷疑機(jī)器學(xué)習(xí)能替代知識(shí)工程，他也懷疑人工智能的所有統(tǒng)一思想。明斯基在其《意識(shí)社會(huì)》（heSoyofnd）一書中提到了關(guān)于智能的理論，這個(gè)理論可以被不客氣地歸納為意識(shí)就是一個(gè)接一個(gè)該死的東西?！兑庾R(shí)社會(huì)》包含的就是一長串分散的觀點(diǎn)，每個(gè)觀點(diǎn)都毫不相關(guān)。這種實(shí)現(xiàn)人工智能的方法根本沒什么用，它只是由計(jì)算機(jī)進(jìn)行的收集活動(dòng)。沒有機(jī)器學(xué)習(xí)，需要建立智能代理的觀點(diǎn)將會(huì)變得無限多。如果一個(gè)機(jī)器人掌握了人類所有的技能，但就是沒有學(xué)習(xí)能力，那么人類不久就會(huì)把它扔在一邊。明斯基是y項(xiàng)目（ycpo）的狂熱支持者，這是人工智能歷史上最臭名昭著的失敗項(xiàng)目。y項(xiàng)目的目標(biāo)是通過將所有必要知識(shí)輸入計(jì)算機(jī)中，來解決人工智能問題。20世紀(jì)80年代這個(gè)項(xiàng)目剛開始時(shí)，它的領(lǐng)導(dǎo)者道格萊納特（ougn）就信心滿滿地預(yù)測，10目就會(huì)取得成功。30年后，y項(xiàng)目不停擴(kuò)大，但仍無法做常理性推理。具有諷刺意味的是，萊納特終于支持通過挖掘網(wǎng)頁來將y填滿，這并非因?yàn)閥可以閱讀，而是因?yàn)閯e無他法。（pobbconx–eg）只能通過正面例子掌握，后面緊跟的是更有力的結(jié)果（上下文無關(guān)語法是語言學(xué)家研究的內(nèi)容，而概率類型模擬每個(gè)規(guī)則被使用的概率）。另外，語言學(xué)習(xí)不會(huì)發(fā)生在一個(gè)真空當(dāng)中，孩子需要從父母和周圍環(huán)境獲取各種語言學(xué)習(xí)線索。如果我們能從幾年時(shí)間里學(xué)習(xí)的例子中學(xué)習(xí)語言，部分也只是因?yàn)檎Z言結(jié)構(gòu)與世界結(jié)構(gòu)存在相似性。對(duì)這個(gè)共同結(jié)構(gòu)，我們感興趣，而且從霍寧和其他人那里知道，有這個(gè)共同結(jié)構(gòu)就足夠了。最后，事實(shí)勝于雄辯。統(tǒng)計(jì)學(xué)語言算法起作用了，而手工設(shè)計(jì)的語言系統(tǒng)卻沒起作用。第一件令人大開眼界的事發(fā)生于20世紀(jì)70年代，當(dāng)時(shí)五角大樓的研究機(jī)構(gòu)組織了第一個(gè)大型語音識(shí)別項(xiàng)目。讓所有人驚訝的是，一種簡單的序列學(xué)習(xí)算法——地打敗了一個(gè)復(fù)雜的知識(shí)系統(tǒng)?，F(xiàn)在像這樣的學(xué)習(xí)算法幾乎用于每一個(gè)語音識(shí)別器中，包括（蘋果公司產(chǎn)品上的一項(xiàng)智能語音控制功能）。弗雷德賈里尼克（語音研究組的領(lǐng)導(dǎo)）說過一句著名的俏皮話：每開除一名語言學(xué)家，我的語音識(shí)別系統(tǒng)的錯(cuò)誤率就降低一個(gè)百分點(diǎn)。20世紀(jì)80年代，陷入知識(shí)工程學(xué)的泥潭里，計(jì)算機(jī)語言學(xué)差點(diǎn)走向盡頭。自那以后，基于學(xué)習(xí)算法的浪潮已經(jīng)席卷這個(gè)領(lǐng)域，在計(jì)算機(jī)語言學(xué)會(huì)議中，幾乎每篇文章都會(huì)提到學(xué)習(xí)。統(tǒng)計(jì)分析軟件以近乎人類水平的精確度來分析文章，而手編程序已經(jīng)遠(yuǎn)遠(yuǎn)落在后面。機(jī)器翻譯、拼寫糾正、詞性標(biāo)注、詞義消歧、問題回答、對(duì)話、概括——邊緣》游戲中戰(zhàn)勝人類。另外一個(gè)可能會(huì)反對(duì)終極算法的觀點(diǎn)來自心理學(xué)家杰瑞當(dāng)看電視時(shí)，你的高級(jí)腦知道，那只是光線在光滑表面的閃爍，但視覺系統(tǒng)仍然會(huì)看見三維形狀。即使我們相信心理模塊理論，這個(gè)理論也并沒有暗指不同的模塊會(huì)使用不同的學(xué)習(xí)算法。同種算法對(duì)諸如視覺及語言之類的信息都起作用，這個(gè)說法才足夠有力。無論你的算法有多聰明，總有它無法掌握的東西。除了人工智能和認(rèn)知科學(xué)，反對(duì)機(jī)器學(xué)習(xí)的常見觀點(diǎn)幾乎都可以用這句話概況。納西姆塔勒布（mb）在《黑天鵝》（heakSan）一書中強(qiáng)調(diào)了這個(gè)觀點(diǎn)。有些事真的無法預(yù)料。如果你只見過白天鵝，會(huì)覺得看到黑天鵝的概率是0。2008年的金融危機(jī)就是一只黑天鵝。另外一個(gè)反對(duì)機(jī)器學(xué)習(xí)的觀點(diǎn)與以上觀點(diǎn)相關(guān)，就是我們常聽到的數(shù)據(jù)無法代替人類的直覺。實(shí)際上，這句話可以反過來：人類直覺無法代替數(shù)據(jù)。直覺就是你在不知道事實(shí)的情況下依靠的東西，而因?yàn)槟悴怀Ｓ盟?，所以直覺非常寶貴。但如果證據(jù)擺在你面前，為什么還要拒絕證據(jù)？統(tǒng)計(jì)分析在棒球界打敗球探（正如邁克爾劉易斯在《魔球：逆境中制勝的智慧》一書中明確記錄的那樣），統(tǒng)計(jì)分析能做很多事情，我們每天都能看到新的例子。因?yàn)榇罅繑?shù)據(jù)的涌入，證據(jù)與直覺的界限正在迅速改變，而正如所有革命一樣，要拋棄所有墨守成規(guī)的方法。如果我是公司領(lǐng)域的專家，我就不想被某人用數(shù)據(jù)推翻。行業(yè)里有句話：多聽聽顧客的話，而不是勒時(shí)期、牛頓時(shí)期。對(duì)于布拉赫時(shí)期，我們收集了很多數(shù)據(jù)，就像第谷布拉赫日復(fù)一日、年復(fù)一年耐心記錄行星的位置那樣。對(duì)于開普勒時(shí)機(jī)器學(xué)習(xí)的工作內(nèi)容是開普勒的數(shù)百萬倍。如果（但愿如此）法中，或者發(fā)生在未來手足無措的科學(xué)家身上，或者至少是發(fā)生在兩種可能都存在的情況下（重要的觀點(diǎn)，還是只按了一下按鈕。學(xué)習(xí)算法就沒有那樣的志向，要拿諾貝爾獎(jiǎng)）。本書將會(huì)提到那些算法是怎樣的，并推測它們會(huì)發(fā)現(xiàn)什意的專家，而是來自機(jī)器學(xué)習(xí)實(shí)踐人員。假設(shè)我是持反對(duì)觀的機(jī)器學(xué)習(xí)實(shí)踐者，可能會(huì)說：終極算法和我日常生活看到的不一樣。我嘗試用許多學(xué)習(xí)算法的數(shù)百種變形來解決所有給定的問題，而且對(duì)各類不同問題都會(huì)有更好的算法，那么單個(gè)算法（我們說的終極算法）替所有這些算法？”終極算法會(huì)復(fù)雜到什么程度？它包含幾千行代碼？還是幾百萬行？我們現(xiàn)在還不知道，但機(jī)器學(xué)習(xí)有一段可喜的歷史：簡單的算法意外地將精心設(shè)計(jì)的算法打敗了。在《人工科學(xué)》（heSnsofhea）一書的著名章節(jié)中，人工智能先驅(qū)人物、諾貝爾獎(jiǎng)得主赫伯特西蒙（bton）讓我們想象螞蟻費(fèi)力地穿過沙灘回家。螞蟻的路線非常復(fù)雜，這不是因?yàn)槲浵伇旧韽?fù)雜，而是因?yàn)樯碁┻@個(gè)環(huán)境對(duì)螞蟻來說意味著要爬很多山丘，繞很多卵石。如果我們通過對(duì)每條可能的路線進(jìn)行編程，模仿螞蟻，那么我們注定會(huì)失敗。同樣，在機(jī)器學(xué)習(xí)中，復(fù)雜性存在于數(shù)據(jù)中。終極算法需要做的就是消化復(fù)雜性，因此，如果終極算法變得非常簡單，那么我們也不用感到驚訝。雖然人類的手很簡單（四個(gè)手指，一個(gè)大拇指），正如以賽亞伯林明確提出的那樣，有些思想家就是狐貍——他們知道許多微小的事情；而有些思想家則是刺猬——習(xí)算法也是同樣的情況。我希望終極算法是一只刺猬，但即使它是只狐貍，我們也沒法很快抓住它。當(dāng)今學(xué)習(xí)算法最大的問題，不是它們數(shù)量太多，而是盡管它們有用，卻不能完成我們讓它們做的所有事情。我們利用機(jī)器學(xué)習(xí)來發(fā)現(xiàn)深刻的真理之前，得先找到關(guān)于機(jī)器學(xué)習(xí)的深刻真理。假設(shè)你被診斷患有癌癥，而且傳統(tǒng)療法（手術(shù)、化療、放療）都失敗了，那么接下來發(fā)生的事情就會(huì)決定你是活下去，還是走到生命盡頭。第一步就是要對(duì)腫瘤進(jìn)行基因排序。諸如在劍橋、馬薩諸塞州的基礎(chǔ)醫(yī)學(xué)公司會(huì)為你做這些工作：把腫瘤樣本郵寄給他們，然后他們會(huì)發(fā)給你一個(gè)列表，列表是已知的、和癌癥相關(guān)的基因變異。這個(gè)步驟十分有必要，因?yàn)槊糠N癌癥都不一樣，單種藥不可能治療所有癌癥。當(dāng)癌癥擴(kuò)散到全身時(shí)會(huì)變異，通過自然選擇，最能抵抗你所服用藥物的變異細(xì)胞最有可能繼續(xù)會(huì)生長。對(duì)你有用的藥物可能只對(duì)5的病人有用，或者你需要結(jié)合其他藥物一起服用，這些藥可能你之前從未服用過。也有可能要設(shè)計(jì)一種新藥，專門治療你的癌癥，或者需要一系列的藥來避開癌癥的適應(yīng)性。這些藥物可能會(huì)有副作用，而且對(duì)你來說會(huì)致命，但對(duì)其他很多人來說可能沒有問題。即使了解你的病歷和癌癥基因，也沒有哪個(gè)醫(yī)生可以記錄你所有的病情，以便預(yù)測最好的療法。對(duì)機(jī)器來說，這是一個(gè)完美的任務(wù)，但當(dāng)今的學(xué)習(xí)算法還無法完成這個(gè)任務(wù)。終極算法就是一個(gè)完整包：將終極算法應(yīng)用于大量的患者及藥物數(shù)據(jù)中，同時(shí)參考從生物醫(yī)學(xué)文獻(xiàn)中挖掘的知識(shí)，這就是我們將來治療癌癥的方法。習(xí)算法得出的結(jié)論，就會(huì)知道用這些信息來做什么——為了回答這些問題，我們得首先明白什么是科學(xué)理論，什么不是。理論是關(guān)于世界是什么的一系列約束條件，而不是對(duì)世界的完整描述。為了獲得對(duì)世界的完整描述，你必須將理論和數(shù)據(jù)結(jié)合起來。例如，想想牛頓第二定律。定律說明力等于質(zhì)量與加速度的乘積，或者寫成a。定律并沒有說明是哪個(gè)東西的質(zhì)量或者加速度，或者作用力是什么。定律只要求，如果某物體的質(zhì)量是，加速度是a，那么作用在它之上的所有力的總和就肯定是a學(xué)以及弦理論，這些理論其實(shí)都是對(duì)牛頓定律的完善。不像特定領(lǐng)域的理論只在該領(lǐng)域中才有權(quán)威，終極算法在所有領(lǐng)域中都有權(quán)威。在領(lǐng)域中，終極算法不如領(lǐng)域的主流理論有權(quán)威，卻在所有領(lǐng)域中比該主流理論有權(quán)威——當(dāng)我們考慮到整個(gè)世界時(shí)——終極算法普遍比所有其他理論有權(quán)威得多。終極算法是所有理論的起源。為了獲得理論，我們要給終極算法添加的就是推導(dǎo)理論所需要的最少量的數(shù)據(jù)（在物理學(xué)中，需要添加的僅僅是大約幾百個(gè)重要實(shí)驗(yàn)的結(jié)果）。結(jié)果就是，在同樣的情況下，終極算法很有可能成為萬有理論的最佳出發(fā)點(diǎn)。請(qǐng)史蒂芬一個(gè)更加極端的候選項(xiàng)就是普通的或非門：這是一個(gè)邏輯開關(guān)，只有輸入的是兩個(gè)0時(shí)，才會(huì)輸出1。本書前面提到，計(jì)算機(jī)是由晶體管組成的邏輯門構(gòu)成的，所有的運(yùn)算都可以簡化為且或非邏輯門的結(jié)合?；蚍情T只是一個(gè)或門后面接著一個(gè)非門：對(duì)于分離（或）的否定，就像只要我不挨餓或生病，我就開心這句話的意思一樣。且或非都可以通過或非門得以執(zhí)行，所以或非門可以做所有事情，而實(shí)際上這也是一些微型處理器使用的東西。那么為什么或非門不是終極算法？當(dāng)然或非門的簡潔無與倫比，但遺憾的是，或非門不是終極算法，就像樂高磚不是萬能玩具一樣。對(duì)于玩具來說，或非門當(dāng)然可以是一種萬能建筑材料，但一堆樂高磚不會(huì)自發(fā)地將自己組裝成玩具。這個(gè)道理同樣適用于其他簡單的運(yùn)算格式，如網(wǎng)（i是對(duì)離散并行系統(tǒng)的數(shù)學(xué)表示）或細(xì)胞自動(dòng)機(jī)。好了，是時(shí)候坦白了：終極算法就是等式0。這個(gè)等式不僅適合做恤圖案，還適合做郵票圖案。??？0表達(dá)的是某未知數(shù)（可能很復(fù)雜）的某函數(shù)（可能很復(fù)雜）等于0。每個(gè)等式都可以簡化為這種形式，例如，a等于–a0，那么如果你把–a當(dāng)作的一個(gè)函數(shù)，則0。一般情況，可以是所有輸入的數(shù)據(jù)，可以是所有算法，所以可以肯定的是，終極算法和這個(gè)函數(shù)同樣通用，那么這個(gè)函數(shù)就一定是終極算法了。當(dāng)然，我只是開玩笑，這個(gè)函數(shù)不是終極算法，但它指出了機(jī)器學(xué)習(xí)中的真正危機(jī)：想到一個(gè)非常通用的學(xué)習(xí)算法，里面卻沒有足夠的東西可以拿來用。那么為了可以拿來用，一種學(xué)習(xí)算法至少要有多少內(nèi)容呢？物理定律夠了嗎？畢竟，世界上的一切都遵守物理定律（每個(gè)學(xué)派對(duì)其中心問題的解決方法都是一個(gè)輝煌、來之不易的進(jìn)步，但真正的終極算法應(yīng)該把5個(gè)學(xué)派的5個(gè)問題都解決，而不是只解決一個(gè)。例如，為了治愈癌癥，我們要了解細(xì)胞的代謝網(wǎng)絡(luò)：哪些基因調(diào)節(jié)哪些別的基因，由此產(chǎn)生的蛋白質(zhì)控制哪些化學(xué)反應(yīng)，以及將新微粒加入混合物中將會(huì)對(duì)網(wǎng)絡(luò)產(chǎn)生什么影響。從零開始努力學(xué)習(xí)這些東西顯得有點(diǎn)愚蠢，因?yàn)檫@種做法忽略了過去幾十年生物學(xué)家苦心積累的知識(shí)。符號(hào)學(xué)派懂得如何將這些知識(shí)與來自我們通過逆向演繹得到的知識(shí)都是純定性的。我們要了解的不僅是誰和誰交互，還有可以交互的程度，以及反向傳播如何做到這些。即便如此，如果沒有某個(gè)基礎(chǔ)結(jié)構(gòu)，逆向演繹和反向傳播將會(huì)迷失在太空中。有了這個(gè)基礎(chǔ)結(jié)構(gòu)，它們找到的交互和參數(shù)才能構(gòu)成整體?；蚓幊炭梢哉业竭@個(gè)基礎(chǔ)結(jié)構(gòu)。這時(shí)，有了新陳代謝的完整知識(shí)，以及給定病人的相關(guān)數(shù)據(jù)，我們就可以為他找到治療方法。但實(shí)際上，我們擁有的知識(shí)總是非常不完整的，甚至在有些地方會(huì)出錯(cuò)。即使如此，我們還是要繼續(xù)進(jìn)行，這也就是概率推理的目標(biāo)。在情形最困難的例子中，病人的癌癥看起來與之前的癌癥病例有很大不同，而我們掌握的知識(shí)對(duì)此也束手無策?；谙嗨菩缘乃惴〞?huì)扭轉(zhuǎn)大局，方法就是從看似有很大差別的情形中找到相似點(diǎn)，把重點(diǎn)放在相似點(diǎn)上，然后忽略其他不同點(diǎn)。我們對(duì)終極算法的追尋之旅將讓我們了解這5個(gè)學(xué)派。學(xué)派與學(xué)派相遇、談判、沖突的地方，也是這個(gè)旅程最艱難的部分。每個(gè)學(xué)派都有是我們要做的事情。圖NP完全問題（non–determinsticpolynomialcompleteness），即多項(xiàng)式復(fù)雜程度的非確定性問題。——察及實(shí)驗(yàn)。法國人是理性主義者，盎格魯–撒克遜人（法國人就這樣稱呼他們）是經(jīng)驗(yàn)主義者。評(píng)論員、律師、數(shù)學(xué)家是理性主義者，記者、域，理論家和知識(shí)工程師屬于理性主義者，黑客和計(jì)算機(jī)學(xué)習(xí)者屬于經(jīng)驗(yàn)主義者。休謨的問題也正是我們開啟尋找終極算法之旅的開始。首先，我們會(huì)通過日常生活中的例子來解釋這個(gè)問題，并通過現(xiàn)在人人皆知的天下沒有免費(fèi)的午餐這個(gè)定理來體現(xiàn)這個(gè)問題。然后我們會(huì)看到符號(hào)學(xué)者對(duì)休謨的回答。這把我們引向機(jī)器學(xué)習(xí)中最重要的問題：不真實(shí)存在說，魔法石就是知識(shí)。在接下來的4章中，我們還會(huì)研究其他學(xué)派的煉金術(shù)。表3–1你沒有任何依據(jù)選擇這個(gè)而不是另外一個(gè)。對(duì)于她會(huì)說什么這個(gè)問題，回答是或否的可能性都一樣。時(shí)鐘嘀嗒作響，最后你準(zhǔn)備拋硬幣來決定。自休謨提出歸納問題，哲學(xué)家就已經(jīng)對(duì)此進(jìn)行辯論，但還沒有人能給出一個(gè)滿意的答案。伯特蘭羅素喜歡用歸納主義者火雞闡述這個(gè)問題。故事的主人公是一只火雞，它來到農(nóng)場的第一個(gè)早晨，主人在早上9點(diǎn)喂它們，但作為實(shí)實(shí)在在的歸納法優(yōu)越論者，它不想過早下結(jié)論：主人每天都9點(diǎn)喂它們。首先它在不同情況下觀察了很多天，收集了許多觀察數(shù)據(jù)。主人連續(xù)多天都是9點(diǎn)喂它們，最終它得出結(jié)論，認(rèn)為主人每天早上9點(diǎn)喂火雞，那么主人一直會(huì)在早上9點(diǎn)給它喂食。接下來是平安夜那天的早晨，主人沒有喂它，因?yàn)樗辉琢?。如果我們只是假設(shè)未來和昨天一樣，那么會(huì)怎樣呢？這當(dāng)然是一個(gè)有風(fēng)險(xiǎn)的假設(shè)（這對(duì)歸納主義者火雞就不會(huì)奏效）。另外，沒有這樣的假設(shè)，所有知識(shí)將不復(fù)存在，生活也是如此。雖然有很多不確定性，但我們還是寧可活下來。遺憾的是，雖然有那樣的假設(shè)，但我們還是尚未走出困境。這個(gè)假設(shè)還得應(yīng)付這些微不足道的例子：如果我是一名醫(yī)生，患者和患者但如果患者的癥狀和其他人都不一樣，我就仍然不知道如何做診斷。這屬于機(jī)器學(xué)習(xí)問題：將某結(jié)果推廣到我們沒有見過的事件中。也許這也不是什么大問題？有了足夠的數(shù)據(jù)，大多數(shù)事件不就變得微不足道了嗎？不是的。我們?cè)谇懊娴恼鹿?jié)中了解到，為什么記憶不能當(dāng)作通用學(xué)習(xí)算法，我們現(xiàn)在可以用更量化的方式來解釋這個(gè)問題。假設(shè)你現(xiàn)在有一個(gè)數(shù)據(jù)庫，含有1萬億條記錄，每條記錄有1000個(gè)布爾字段（也就是說，每個(gè)字段回答一個(gè)是或否的問題）可能的答案有兩個(gè)，兩個(gè)問題就是2乘以2（是—是、是—否、否—是、否—否），三個(gè)問題就是2的三次方（22223），如果是1000個(gè)問題，就是2的1000次方（21000）。你的數(shù)據(jù)庫中1萬億條記錄，可能性就是分子是1、分母是無限大的數(shù)乘以1，然后再乘以21000，分子是1、個(gè)包含1萬億封過去郵件的數(shù)據(jù)庫，而且每封郵件都已經(jīng)被分為垃圾郵件或非垃圾郵件，但那樣做并不會(huì)讓你省事，因?yàn)槊糠庑锣]件和之前郵件一模一樣的概率幾乎是0。你沒有選擇，只能以大概的概率來區(qū)分垃圾郵件和非垃圾郵件，而根據(jù)休謨的觀點(diǎn)，這根本做不到?！疤煜聸]有免費(fèi)的午餐”休謨提出爆炸性問題之后的250年，大衛(wèi)沃爾珀特（vdop）賦予了這個(gè)問題優(yōu)雅的數(shù)學(xué)形式。沃爾珀特原來是一名物理學(xué)家，后來成為機(jī)器學(xué)習(xí)者。他的研究結(jié)果被人們稱為天下沒有免費(fèi)的午餐定理，規(guī)定怎樣才算是好的學(xué)習(xí)算法。這個(gè)規(guī)定要求很低：沒有哪個(gè)學(xué)習(xí)算法可以比得上隨意猜測。好吧，那我們就不用找終極算法，可以回家了：終極算法只是用拋硬幣來做決定的算法。說真的，如果沒有哪個(gè)學(xué)習(xí)算法可以比拋硬幣更管用，那會(huì)怎樣？而且如果真的是那樣，為什么這個(gè)世界——從垃圾郵件過濾（隨時(shí)都在進(jìn)行）到自動(dòng)駕駛汽車——到處都是非常成功的學(xué)習(xí)算法呢？用學(xué)習(xí)算法來代替神，用準(zhǔn)確的預(yù)測來代替永生，你就遵守天下沒有免費(fèi)的午餐這個(gè)定理了。選擇你最喜歡的學(xué)習(xí)算法（在本書中你會(huì)看到很多算法）。如果存在學(xué)習(xí)算法比隨機(jī)猜測好用的領(lǐng)域，我（一個(gè)喜歡唱反調(diào)的人）域。我要做的就是把所有未知例子的標(biāo)簽翻過來。因?yàn)榻?jīng)過觀察的標(biāo)簽表明，你的學(xué)習(xí)算法絕無可能區(qū)分世界和反物質(zhì)世界。在這兩個(gè)世硬幣的作用一樣。數(shù)學(xué)家認(rèn)為機(jī)器學(xué)習(xí)這個(gè)問題是一個(gè)不適定問題（–podpob）：這個(gè)問題沒有唯一解。下面是一個(gè)簡單的不適定問題：哪兩個(gè)數(shù)相加的得數(shù)是1000？假設(shè)這兩個(gè)數(shù)都是正數(shù)，答案就有500種……1和999，2和998等等。解決不適定問題的唯一辦法就是引入附加假設(shè)。如果我告訴你，第二個(gè)數(shù)是第一個(gè)數(shù)的三倍，那么答案就是250和750。湯姆米切爾（omh）是典型的符號(hào)學(xué)者，稱機(jī)器學(xué)習(xí)體現(xiàn)無偏見學(xué)習(xí)的無用性。在日常生活中，偏見是一個(gè)貶義詞：預(yù)設(shè)觀念不太好。但在機(jī)器學(xué)習(xí)中，預(yù)設(shè)觀念是必不可少的；沒有這些觀念，你就無法進(jìn)行學(xué)習(xí)。實(shí)際上，預(yù)設(shè)觀念對(duì)人類認(rèn)知來說，也是必不可少的，這些觀念是直線布入人腦的。對(duì)于它們，我們也覺得是理所當(dāng)然的。超出那些觀念的偏見才值得質(zhì)疑。機(jī)器學(xué)習(xí)不可避免地含有投機(jī)的因素。在《警探哈里》（第一集）中，克林特伊斯特伍德追逐一名銀行搶劫犯，同時(shí)不斷向他開槍。最后，搶劫犯躺在一把裝有子彈的槍旁邊，不確定要不要把它拿起來。哈里開了6槍還是只開了5槍？哈里同情地說（可以這么說）：你得問自己一個(gè)問題：我足夠走運(yùn)嗎？你真的走運(yùn)嗎，小子？”這也是機(jī)器學(xué)習(xí)算法每天運(yùn)作時(shí)必須問自己的問題：今天我幸運(yùn)嗎？”分，主要靠沒有誤差的部分，而計(jì)算結(jié)果才是最重要的。我們一旦掌握新的知識(shí)，基于前面的步驟，就可以得出更多的知識(shí)。唯一的問題就是，從哪里開始。牛頓法則是機(jī)器學(xué)習(xí)的第一個(gè)不成文規(guī)則。我們歸納自己能力范圍內(nèi)、應(yīng)用最廣泛的規(guī)則，只有在數(shù)據(jù)的迫使下，才縮小規(guī)則的應(yīng)用范圍。乍一看，這看起來可能過于自信甚至近乎荒謬，但這種做法已經(jīng)為科學(xué)服務(wù)了300然而，牛頓法則僅僅是第一步。還得弄明白我們見到的哪些是真實(shí)的——況下，算法就只包括看看每個(gè)已知的因素（時(shí)間、約會(huì)方式、天氣、晚間電視節(jié)目），四個(gè)因素，每個(gè)因素有兩種可能的值，那么總共有24種可能（總共有6對(duì)因素組合，即12乘以因素的兩種可能）。數(shù)字太多，我們遇到尷尬：取民主的做法：對(duì)每個(gè)選項(xiàng)進(jìn)行選擇，然后選最后贏的預(yù)測。如果所有兩個(gè)因素組合的預(yù)測都失敗了，你可以嘗試任意個(gè)數(shù)因素的組合，機(jī)器學(xué)習(xí)者和心理學(xué)家稱之為合取概念（onunveonp）。字典對(duì)詞的定義就屬于合取概念：椅子是有靠背、若干條腿的坐具。把任意一個(gè)描述去掉，就不再是椅子。托爾斯泰在寫《安娜·卡列尼娜》的開篇時(shí)，出現(xiàn)在他腦海里的就是合取概念：所有幸福的家庭都是相似的，每個(gè)不幸的家庭各有各的不幸。這樣的。為了感到幸福，你需要健康、愛、朋友、錢、你喜歡的工作等。把這些東西的任意一個(gè)拿走，痛苦也會(huì)隨之而來。約會(huì)的例子有點(diǎn)欺騙性，因?yàn)樗。?個(gè)變量，4個(gè)例子）每個(gè)會(huì)員都填寫了一份問卷，問卷包含50個(gè)是或否的問題，這樣就有100種特點(diǎn)，這100種特點(diǎn)涵蓋了每對(duì)可能配對(duì)成功的情侶的特點(diǎn)，每對(duì)情侶中的一方都有50個(gè)特點(diǎn)。這些情侶出去約會(huì)之后，會(huì)匯報(bào)結(jié)果，在此基礎(chǔ)上，你能找到佳偶這個(gè)定義的合取概念嗎？總共有3100種可能的定義（每個(gè)問題有三種選擇，分別為是、否、與該品質(zhì)無關(guān)）。即使由世界上最快速的計(jì)算機(jī)來做這項(xiàng)工作，這些情侶也會(huì)老得去世了（你的公司也破產(chǎn)了）。等你計(jì)算出來，除非你走運(yùn)，可以找出很短的一條關(guān)于佳偶的定義。規(guī)則太多，而時(shí)間太少，我們得做點(diǎn)更精明的事。雖然合取概念的用途有很多，但并不能讓你走很遠(yuǎn)。正如魯?shù)聛喌录妨终f的那樣，問題在于編部落歌謠的方法有很多種，而每種方法都是正確的。真正的概念是分離的。椅子可能有四條腿或三條腿，而有些則一條也沒有。你可以以無數(shù)種方法來贏一盤棋。包含偉哥的郵件有可能是垃圾郵件，但包含免費(fèi)一詞的郵件也有可能是垃圾郵件。此外，所有規(guī)則都會(huì)有例外。所有的鳥都會(huì)飛，除了企鵝、鴕鳥、食火雞或者幾維鳥（或斷了翅膀的鳥，或被鎖在籠子里的鳥）。含的正面例子，因此下一個(gè)規(guī)則會(huì)盡可能多地包含剩下的正面例子，以此類推，直到所有的例子都被包含在內(nèi)。這是一個(gè)分而治之也是科學(xué)家的戰(zhàn)術(shù)手冊(cè)中最古老的策略。為了找到單個(gè)規(guī)則，我們也可以對(duì)算法進(jìn)行改良，方法就是保留某數(shù)n的假設(shè)，不止一個(gè)數(shù)，然后在每個(gè)步驟中將這些數(shù)以所有可能的方法延伸開來，最后保留n的最佳結(jié)果。通過該方法發(fā)現(xiàn)規(guī)則的創(chuàng)意來自理夏德米哈爾斯基（ydhk），他是波蘭的一位計(jì)算機(jī)科學(xué)家。米哈爾斯基的故鄉(xiāng)——卡爾魯茲之前曾屬于波蘭、俄羅斯、德國以及烏克蘭，這讓米哈爾斯基比多數(shù)人更能理解合取概念。1970年移民美國之后，他和湯姆米切爾、杰米·卡博內(nèi)爾一起創(chuàng)立了機(jī)器學(xué)習(xí)的符號(hào)學(xué)派。他個(gè)性傲慢，如果你在一場機(jī)器學(xué)習(xí)會(huì)議中做報(bào)告，那么很有可能他會(huì)舉手指出你只是重新發(fā)現(xiàn)了他之前的舊觀點(diǎn)。無用規(guī)則集的一個(gè)例子就是，只包含了你看到的正面例子，除此之外，沒有其他的例子。這個(gè)規(guī)則集看起來100會(huì)預(yù)測每個(gè)新例子都是負(fù)面例子，然后把每個(gè)正面例子弄錯(cuò)。如果正面例子總體上比負(fù)面例子多，這種做法的效果會(huì)比拋硬幣更糟糕。想象一下，郵件過濾器僅因?yàn)槟撤忄]件和之前垃圾郵件一模一樣就將其過濾，這樣會(huì)有什么后果？對(duì)分類好的數(shù)據(jù)進(jìn)行學(xué)習(xí)很容易，這樣的數(shù)據(jù)看起來也很棒，但還不如沒有垃圾郵件過濾器。很遺憾，我們分而治之的算法有可能就像那樣對(duì)規(guī)則集進(jìn)行簡單的學(xué)習(xí)。在《博聞強(qiáng)識(shí)的富內(nèi)斯》的故事中，豪爾赫路易斯博爾赫斯講述了和一位擁有完美記憶力的少年相遇的故事。擁有完美記憶力看起來非常幸運(yùn)，但其實(shí)這是一個(gè)可怕的詛咒。富內(nèi)斯能記住過去任意時(shí)刻天空中云朵的形狀，但他沒有辦法理解，下午1514看到的狗的側(cè)面和下午1515每個(gè)細(xì)節(jié)看起來都一致，才能說它們是一樣的。自由的規(guī)則算法和富內(nèi)斯一樣，發(fā)揮不了作用。學(xué)習(xí)就意味著將細(xì)節(jié)遺忘，只記住重要部分。計(jì)算機(jī)就是最大的白癡專家：它們可以毫無差錯(cuò)地將所有東西記住，但那不是我們想讓它們做的。人類對(duì)過擬合也沒有免疫。你甚至可以說，過擬合是我們的萬惡之源。想想一個(gè)白人小女孩，在商場看到拉美裔嬰兒時(shí)脫口而出看，媽媽，那是小女傭（真實(shí)例子）。小女孩并非生來就是偏執(zhí)狂。那是因?yàn)樵谒虝旱娜松啔v里，她對(duì)見過的僅僅幾個(gè)拉美裔女傭進(jìn)行了籠統(tǒng)的概括。這個(gè)世界有許多從事其他職業(yè)的拉美裔，但她還沒有見過他們。我們的信仰建立在自己的經(jīng)歷之上，這會(huì)讓我們對(duì)世界的理解不完施加一個(gè)力，就犯了過擬合的錯(cuò)誤。伽利略的天才之處在于，無須到外太空親眼見證，他憑直覺就知道，不受外力影響的物體會(huì)一直保持運(yùn)動(dòng)。的數(shù)量也會(huì)隨著屬性的增多而呈指數(shù)級(jí)增長。指數(shù)級(jí)增長是一件恐怖的事。大腸桿菌每15種新的屬性可能會(huì)是實(shí)例數(shù)量的兩倍，方法就是引用之前的每個(gè)實(shí)例，然后為了那個(gè)新屬性，對(duì)該實(shí)例以是或非來進(jìn)行擴(kuò)展。反過來，可望的問題上。幸運(yùn)的是，在學(xué)習(xí)過程中，會(huì)發(fā)生一些事，把其中一個(gè)指數(shù)消除，只剩下一個(gè)普通的單一指數(shù)難解型問題。假設(shè)你有一個(gè)袋子，裝滿概念的定義，每個(gè)定義寫在一張紙上，你隨機(jī)取出紙片，然后看看這個(gè)概念和數(shù)據(jù)的匹配程度。和連續(xù)拋1000一個(gè)不恰當(dāng)?shù)亩x更沒有可能讓你的數(shù)據(jù)中所有1000個(gè)例子都準(zhǔn)確無誤。一把椅子有四條腿，而且是紅色的，或者有椅面但沒有椅腿可能會(huì)隨機(jī)定義準(zhǔn)確匹配了1000個(gè)例子，那么這個(gè)概念不太有可能是錯(cuò)誤的定義，或者至少它和正確的定義非常接近。而且如果一個(gè)定義和100萬個(gè)例子相匹配，那么實(shí)際上它就是正確的定義。其他的定義怎么能使那么多例子準(zhǔn)確無誤？義越多，越有可能偶然得到能夠和所有例子匹配的定義。如果你每組拋1000次硬幣，然后重復(fù)100萬組，實(shí)際上至少會(huì)有一組出現(xiàn)1000次硬幣都是正面朝上的情況，而100萬也僅僅是假設(shè)的一個(gè)小數(shù)目。例如，如果例子只有13個(gè)屬性，那大概就是可能的合取概念的數(shù)目（注意你不需要明確地嘗試一個(gè)又一個(gè)概念，如果你找到的最好的那個(gè)概念利用了合取概念學(xué)習(xí)算法，并且和所有的例子匹配，效果也是一樣的）。念），那么該數(shù)據(jù)的指數(shù)報(bào)酬會(huì)將其取消，你毫無影響，只要你有許多例子，且屬性不太多。另外，如果算法做了一個(gè)雙指數(shù)的假設(shè)（例如，所有可能的規(guī)則集），那么數(shù)據(jù)只會(huì)取消其中的一個(gè)指數(shù)，而且你仍會(huì)處于麻煩之中。你甚至可以提前弄明白自己需要多少例子，這是為了保證算法選擇的假設(shè)和準(zhǔn)確的那個(gè)非常接近，只要它對(duì)所有數(shù)據(jù)都擬合。換句話說，是為了假設(shè)能夠盡可能準(zhǔn)確。哈佛大學(xué)的萊斯利得了圖靈獎(jiǎng)（計(jì)算機(jī)科學(xué)領(lǐng)域的諾貝爾獎(jiǎng)），因?yàn)樗l(fā)明了這種分析方法，他在自己的書中將這種方法取名為可能近似正確（pobbyppoxyo），非常恰當(dāng)。愛因斯坦的廣義相對(duì)論也只是在亞瑟明太陽使來自遙遠(yuǎn)星球的光線變彎了。但是你也不必等待新數(shù)據(jù)的到來，以決定能否信任學(xué)習(xí)算法。你可以利用自己擁有的數(shù)據(jù)，將其分成一個(gè)訓(xùn)練集和一個(gè)測試集，然后前者交給學(xué)習(xí)算法，把后者隱藏起來不讓學(xué)習(xí)算法發(fā)現(xiàn)，用來驗(yàn)證其準(zhǔn)確度。留存數(shù)據(jù)的準(zhǔn)確度就是機(jī)器學(xué)習(xí)中的黃金標(biāo)準(zhǔn)。你可以寫一篇關(guān)于你發(fā)明的偉大的新型學(xué)習(xí)算法的文章，但如果你的算法的留存數(shù)據(jù)不如之前的算法的留存數(shù)據(jù)準(zhǔn)確，那么這篇文章也沒有什么出版價(jià)值。即使測試集準(zhǔn)確度也會(huì)出問題。據(jù)說，在早期軍事應(yīng)用中，一種簡單的學(xué)習(xí)算法探測到坦克的訓(xùn)練集和測試集的準(zhǔn)確度都為100都由100張圖片組成。驚訝？還是懷疑？結(jié)果是這樣的——所有有坦克的圖片都比沒有坦克的圖片亮，所以學(xué)習(xí)算法就都挑了較亮的圖片。目前我們有更大的數(shù)據(jù)集，但并不意味數(shù)據(jù)收集的質(zhì)量會(huì)更好，所以得當(dāng)心。在機(jī)器學(xué)習(xí)從新生領(lǐng)域成長為成熟領(lǐng)域的過程中，務(wù)實(shí)的經(jīng)驗(yàn)評(píng)價(jià)會(huì)起到重要的作用。追溯至20世紀(jì)80年代，每個(gè)學(xué)派的研究人員很多時(shí)候都相信自己華而不實(shí)的理論，假裝自己的研究范式從根本上說是更好的，所以與其他學(xué)派的交流也很少。雷穆尼、裘德沙弗里克等符號(hào)學(xué)者開始系統(tǒng)地對(duì)不同算法的相同數(shù)據(jù)集進(jìn)行比較，令人驚訝的是，真正的贏家還沒有出現(xiàn)。如今競爭在繼續(xù)，但異花授粉的情況也很多。利用加州大學(xué)歐文分校的機(jī)器學(xué)習(xí)小組維護(hù)的普通實(shí)驗(yàn)框架和大型數(shù)據(jù)集存儲(chǔ)庫，我們會(huì)取得重大進(jìn)步。而且正如我們看到的，創(chuàng)造通用學(xué)習(xí)算法的最大希望在于綜合不同研究范式的觀點(diǎn)。當(dāng)然，知道你何時(shí)過擬合這一點(diǎn)還不足夠，我們需要第一時(shí)間避免過擬合。這就意味著不再對(duì)數(shù)據(jù)進(jìn)行完全擬合，即便我們能做到。有一個(gè)方法就是運(yùn)用統(tǒng)計(jì)顯著性檢驗(yàn)來確保我們看到的模型真實(shí)可靠。例如，擁有300個(gè)正面例子、100個(gè)反面例子的規(guī)則，和擁有3個(gè)正面例子、1個(gè)負(fù)面例子的規(guī)則一樣，它們訓(xùn)練數(shù)據(jù)的準(zhǔn)確率都達(dá)到75，但第一個(gè)規(guī)則幾乎可以肯定比拋硬幣好用，而第二個(gè)則不然，因?yàn)閽?以很容易得出3次正面朝上。在構(gòu)建規(guī)則時(shí)，如果某一時(shí)刻無法找到能提高該規(guī)則準(zhǔn)確度的條件，那么我們只能停下，即便它還包括一些負(fù)面例子。這樣做會(huì)降低規(guī)則的訓(xùn)練集準(zhǔn)確度，也可能讓它變成一個(gè)更能準(zhǔn)確概括的規(guī)則，這是我們關(guān)心的。雖然如此，我們還沒有大功告成。如果我嘗試了一條規(guī)則，400個(gè)例子中的準(zhǔn)確率是75，可能會(huì)相信這個(gè)規(guī)則。但如果我嘗試了100萬條規(guī)則，其中最佳的規(guī)則中，400個(gè)例子中的準(zhǔn)確率是75遇到的問題。voyn基金連續(xù)10年獲得高于市場平均水平的收益。哇！這個(gè)基金的經(jīng)理一定是個(gè)天才，不是嗎？如果你有1000種基金可以選擇，很有可能你選的那個(gè)會(huì)比voyn基金的收益還要高，即使那些基金都由玩飛鏢的猴子秘密經(jīng)營?？茖W(xué)文獻(xiàn)也被這個(gè)問題困擾著。顯著性檢驗(yàn)是決定一項(xiàng)研究結(jié)果是否值得出版的黃金標(biāo)準(zhǔn)，但如果幾個(gè)組找一個(gè)結(jié)果，而只有一個(gè)組找到了，那么很有可能它并沒有找到。雖然你閱讀他們看起來很可靠的文章，但是絕不會(huì)猜到那樣的結(jié)果。有一個(gè)解決方法：出版有肯定結(jié)果的文章，同時(shí)發(fā)表有否定結(jié)果的文章，那樣你就會(huì)知道所有嘗試失敗的例子，但這種做法沒有流行起來。在機(jī)器學(xué)習(xí)中，我們可以把自己嘗試了多少條規(guī)則記錄下來，然后相應(yīng)地調(diào)整顯著性檢驗(yàn)，不過那樣做，這些檢驗(yàn)可能會(huì)把可靠的規(guī)則連同不可靠的一起丟棄。更好的方法就是認(rèn)識(shí)到有些錯(cuò)誤的假設(shè)會(huì)不可避免成立，但要控制它們的數(shù)量，方法就是否定低顯著性的假設(shè)，然后對(duì)剩下的假設(shè)做進(jìn)一步的數(shù)據(jù)檢測。對(duì)較簡單假設(shè)的偏好就是眾人皆知的奧卡姆剃刀原理（so），但在機(jī)器學(xué)習(xí)背景下，這有點(diǎn)誤導(dǎo)性。如無必要，勿增實(shí)體，因?yàn)樘甑冻３?huì)被替換，僅意味著挑選能夠擬合數(shù)據(jù)的最簡原理。奧卡姆可能對(duì)這樣的想法感到迷惑，也就是我們會(huì)偏向那些不那么能完整解釋論據(jù)的理論，因?yàn)檫@個(gè)理論的概括性更好。簡單的理論更受歡迎，因?yàn)樗鼈儗?duì)于我們來說，花費(fèi)的認(rèn)知成本更低；對(duì)于我們的算法來說，花費(fèi)的計(jì)算成本更低，這不是因?yàn)槲覀兿胱屵@些理論更準(zhǔn)確。相反，即使是我們最復(fù)雜的模型，也往往是在事實(shí)過分簡化之后得到的。甚至在那些能夠完美擬合數(shù)據(jù)的理論中，我們由天下沒有免費(fèi)的午餐這個(gè)定理，知道沒有什么能夠保證最簡單的理論最擅長概括，而實(shí)際上，有些最佳的學(xué)習(xí)算法，比如推進(jìn)和支持向量機(jī)，能了解那些看起來過于復(fù)雜的模型（在第七章和第九章中我們會(huì)了解它們?yōu)槭裁从羞@樣的功能）。為偏差和方差。某座鐘如果總是慢一個(gè)小時(shí)，那么它的偏差會(huì)很高，但方差會(huì)很低。但如果這座鐘走得時(shí)快時(shí)慢，最后平均下來準(zhǔn)點(diǎn)了，鏢都打到靶心，你的偏差和方差都很低，效果圖3–1所示。圖迪，從外地來，從來沒有玩過飛鏢，射的鏢都位于中心上方，偏離中心，他的偏差和方差都高（見圖3–1b）問題的關(guān)鍵在于認(rèn)識(shí)到，歸納僅僅是逆向演繹，就和減法是加法的逆運(yùn)算，或者積分是微分的逆運(yùn)算一樣。這個(gè)觀點(diǎn)由威廉姆斯坦利杰文斯于19世紀(jì)末首次提出。史蒂夫馬格爾頓和雷邦坦（一個(gè)英國—澳大利亞研究組）在此基礎(chǔ)上于1988年設(shè)計(jì)出第一個(gè)實(shí)用算法。在數(shù)學(xué)這數(shù)，加法就不可逆了（341）。同樣，將其用到乘法中就有了有理數(shù)，而將其運(yùn)用到平方運(yùn)算中就有了復(fù)數(shù)。讓我們來看看能否將這種方法運(yùn)用到演繹中。演繹推理的一個(gè)典型例子就是：到加強(qiáng)）。通常，我們以越多的規(guī)則和事實(shí)作為開頭，也就有越多的機(jī)會(huì)運(yùn)用“逆向演繹歸納新的規(guī)則。我們歸納的規(guī)則越多，我們能歸納的而不是大的漏洞要修補(bǔ)，歸納的步驟就不會(huì)有那么大的風(fēng)險(xiǎn)，所以過擬合的可能性也會(huì)降低（例如，給定相同數(shù)量的例子，“所有哲學(xué)家都是人類”這個(gè)歸納，就比所有人都會(huì)死這個(gè)歸納風(fēng)險(xiǎn)要?。?。逆運(yùn)算往往比較困難，因?yàn)槟孢\(yùn)算的結(jié)果不止一個(gè)。例如，一個(gè)整數(shù)有兩個(gè)平方根：一個(gè)正數(shù)，一個(gè)負(fù)數(shù)［22（–2）2］。最為人所知的是，對(duì)一個(gè)函數(shù)的導(dǎo)數(shù)積分，只會(huì)將函數(shù)恢復(fù)為一個(gè)常數(shù)。函數(shù)的導(dǎo)數(shù)告訴我們?cè)摵瘮?shù)在每個(gè)點(diǎn)上下浮動(dòng)的幅度。把所有幅度值加起來會(huì)重新得到函數(shù)，除非我們不知道它從哪里開始變化。我們可以在不改變導(dǎo)數(shù)的情況下，上下“滑動(dòng)積分過的函數(shù)。為了簡便，我們可以假設(shè)附加常量為0，來“取締函數(shù)。逆向演繹存在類似的問題，而牛頓定律就是一個(gè)解決方法。例如，我們由所有希臘的哲學(xué)家都是人類”和“所有希臘哲學(xué)家都會(huì)死”可以歸納出所有人類都會(huì)死，或只能歸納出“所有希臘人都會(huì)死”人都會(huì)死，直到遇到例外（據(jù)雷·庫茲韋爾說，這個(gè)意外很快就會(huì)出現(xiàn)）。更廣泛地說，逆向演繹是在生物學(xué)中發(fā)現(xiàn)新知識(shí)的重要方法，這也是治愈癌癥要邁出的第一步。根據(jù)中心法則的觀點(diǎn)，在活細(xì)胞中進(jìn)行的任何活動(dòng)都最終由細(xì)胞的基因控制，通過發(fā)起蛋白質(zhì)的合成來完成。一個(gè)細(xì)胞就像一臺(tái)微型計(jì)算機(jī)，而就是計(jì)算機(jī)運(yùn)行的程序：改變障可自行產(chǎn)生，比如當(dāng)輻射或者細(xì)胞復(fù)制誤差將某基因變成另外一個(gè)基因時(shí)，當(dāng)基因偶然被復(fù)制兩次時(shí)……很多時(shí)候，變異會(huì)導(dǎo)致細(xì)胞悄無聲息地死去，但有時(shí)候細(xì)胞開始生長，然后不可控制地分裂，這樣癌細(xì)胞就產(chǎn)生了。如果溫度高，那么基因A如果我們知道的是第一條和第三條規(guī)則，不知道第二條，但我們有微陣列數(shù)據(jù)，數(shù)據(jù)顯示在高溫條件下，基因和基因們就可以通過逆向演繹來歸納出第二條規(guī)則。一旦我們有了這條規(guī)則，而且也許利用微陣列實(shí)驗(yàn)證實(shí)了這條規(guī)則，那么我們就能用它作為進(jìn)一步歸納推理的基礎(chǔ)。同理，我們也可以將化學(xué)反應(yīng)的順序拼湊起來，因?yàn)榈鞍踪|(zhì)就是按照這些順序發(fā)揮作用的。20這些可以組成一些決策樹，如圖3–2圖決策樹的原理就像玩一個(gè)有實(shí)例的20問游戲。從“根部開始，每個(gè)節(jié)點(diǎn)都會(huì)問每個(gè)屬性的值，然后根據(jù)答案，我們沿著這個(gè)或另外一個(gè)分支繼續(xù)下去。當(dāng)?shù)竭_(dá)“樹葉部分時(shí)，我們讀取預(yù)測的概念。從根部”到“樹葉的每條路線都對(duì)應(yīng)一個(gè)規(guī)則。這讓人想起那些煩人的電話語音提示菜單，如果你撥打客戶服務(wù)電話，就得通過這些菜單，這些菜單與決策樹相似并非偶然——頭的計(jì)算機(jī)在和你玩20問游戲，目的是弄明白你想要做什么，每個(gè)選項(xiàng)就是一個(gè)問題。利用“分而治之算法的一個(gè)變體，我們就可以掌握決策樹了。首先，我們選一個(gè)屬性，在決策樹的根部”進(jìn)行測試。然后我們關(guān)注每個(gè)分支上的例子，為那些例子選擇下一個(gè)測試（例如，我們看看支持削減稅收的人是否反對(duì)墮胎或者支持墮胎合法）節(jié)點(diǎn)上重復(fù)這個(gè)步驟，一直到分支上的所有例子都有同一個(gè)類別，此時(shí)我們就可以用該類別來命名該分支了。有一個(gè)突出的問題，那就是如何挑選最佳屬性以便在節(jié)點(diǎn)處進(jìn)行測試。準(zhǔn)確度（準(zhǔn)確預(yù)測例子的數(shù)量）不是在嘗試預(yù)測某個(gè)特殊類別，而是在嘗試慢慢分離每個(gè)類別，直到每個(gè)分支都變得“純粹。這使人想起信息論中熵的概念。一組對(duì)象的熵，就是用來衡量混亂度的單位。如果150人的組里面有50個(gè)共和黨人、50個(gè)民主黨人、50個(gè)獨(dú)立人士，那么這個(gè)組的政治熵會(huì)達(dá)到最大。另一方面，如果這個(gè)組全部是共和黨人，那么熵就變成零（這就是黨派聯(lián)合的目的）得無限寬。一個(gè)簡單的方法就是通過熵來選擇幾個(gè)臨界值，然后使這些臨界值起作用。例如，患者的體溫是高于還是低于100華氏度？這個(gè)體溫?cái)?shù)和其他癥狀一起，也許是所有醫(yī)生都要知道的，通過體溫可以斷定患者是否感染疾病。決策樹可應(yīng)用在許多不同的領(lǐng)域。在機(jī)器學(xué)習(xí)領(lǐng)域，決策樹源于心理學(xué)方面的知識(shí)。厄爾·亨特及其同事于20世紀(jì)60的是為了模擬人類如何掌握新的概念。另外，亨特其中的一個(gè)研究生羅斯·預(yù)測王車大戰(zhàn)騎士的后果。據(jù)調(diào)查，決策樹已經(jīng)由一開始這些微不足道的用途，發(fā)展成為機(jī)器學(xué)習(xí)算法中應(yīng)用最為廣泛的方法。要知道原因并不困難：決策樹易于理解，可以快速掌握，而且通常無須太多調(diào)整就可以做到準(zhǔn)確無誤。昆蘭是符號(hào)學(xué)派中最卓越的研究者。作為一個(gè)沉穩(wěn)、務(wù)實(shí)的澳大利亞人，因?yàn)閷?duì)決策樹年復(fù)一年不斷地改進(jìn)，并寫了和決策樹有關(guān)、邏輯清晰的論文，使決策樹成為分類活動(dòng)中的“黃金標(biāo)準(zhǔn)。無論你想預(yù)測什么，人們利用決策樹來預(yù)測的可能性會(huì)很大。微軟的n的各個(gè)部位在哪里，然后利用這些部位的動(dòng)作來控制box游戲機(jī)。在2002年的一場正面交鋒中，決策樹準(zhǔn)確預(yù)測了3的最高法院裁決，而一個(gè)專家小組的準(zhǔn)確率卻不到60%。數(shù)千個(gè)決策樹使用者不可能會(huì)出錯(cuò)，你仔細(xì)想想，然后畫一棵樹來預(yù)測朋友的答復(fù)（如果你想約她出去的話）。如圖3–3所示。圖符號(hào)學(xué)機(jī)器學(xué)習(xí)者和許多其他計(jì)算機(jī)科學(xué)家、心理學(xué)家、哲學(xué)家一樣，都相信符號(hào)操縱的力量。心理學(xué)家大衛(wèi)·應(yīng)該經(jīng)過三個(gè)不同水平的研究：該系統(tǒng)解決所解決問題的基本屬性，用來解決問題的算法和表示方法，以及這些算法和表示方法如何實(shí)現(xiàn)。例如，加法可以由一組公理來定義，和加法如何進(jìn)行無關(guān)；數(shù)字可以以不同方式進(jìn)行表達(dá)（例如，羅馬數(shù)字和阿拉伯?dāng)?shù)字），還可以用不同算法進(jìn)行相加；而這些運(yùn)算可以通過算盤、袖珍計(jì)算器，或者效率更低的方式——你的大腦來進(jìn)行。根據(jù)馬爾的水平理論，學(xué)習(xí)是我們能夠研究的認(rèn)知能力的典型例子，而且對(duì)我們來說受益匪淺。很容易：每條從“根部到葉子”的路線是一條規(guī)則，而且路線不會(huì)崩潰。另外，最壞的情況是，把一個(gè)規(guī)則集轉(zhuǎn)化成一棵決策樹，需要把每條規(guī)則變成一棵迷你決策樹，然后用規(guī)則2決策樹的副本來代替規(guī)則1決策樹的每片葉子，用規(guī)則3決策樹的副本來代替規(guī)則2片葉子，以此類推，這樣會(huì)引起大范圍崩潰。赫布律，就如它為人們所知的那樣，是聯(lián)結(jié)主義的奠基石。確實(shí)，聯(lián)結(jié)主義相信知識(shí)儲(chǔ)存在神經(jīng)元之間的聯(lián)結(jié)關(guān)系中，它也因此而得名。唐納德赫布（ondbb）是加拿大的心理學(xué)家，他在1949年出版的《行為的組織》（heganaonofhao）一書中這樣說道：當(dāng)A細(xì)胞的軸突和細(xì)胞足夠近，并且重復(fù)或不斷地對(duì)其放電時(shí)，、中的一個(gè)細(xì)胞或者兩個(gè)細(xì)胞都會(huì)經(jīng)歷生長過程或者代謝改變，這樣細(xì)胞赫布律是心理學(xué)和神經(jīng)科學(xué)思想的融合，其中摻雜了合理的猜想。通過連接來進(jìn)行學(xué)習(xí)，是英國經(jīng)驗(yàn)主義者最喜愛的話題，從洛克和休謨到約翰穆勒都是如此。威廉詹姆斯（m）在其著作《心理學(xué)原理》（npsofhoog）中，闡明了連接的主要原理，這和赫布律十分相似，只是大腦活動(dòng)被神經(jīng)元取代，放電效率被興奮的傳播取代。差不多同時(shí)，偉大的西班牙神經(jīng)學(xué)科學(xué)家圣地亞哥拉蒙卡哈爾第一次對(duì)腦部進(jìn)行詳細(xì)觀察，利用當(dāng)時(shí)發(fā)明的高爾基染色法來對(duì)單個(gè)神經(jīng)元進(jìn)行染色，把他所看到的編成目錄，就像植物學(xué)家對(duì)樹木的新品種進(jìn)行分類一樣。赫布時(shí)期，神經(jīng)學(xué)科學(xué)家對(duì)神經(jīng)元如何發(fā)揮功能有了徹底了解，但赫布是第一個(gè)提出這種機(jī)制的人，通過這個(gè)機(jī)制可以對(duì)連接進(jìn)行編碼。在符號(hào)學(xué)派中，符號(hào)和它們代表的概念之間有一一對(duì)應(yīng)的關(guān)系。相反，符號(hào)學(xué)派的代表方式卻是分散式的：每個(gè)概念由許多神經(jīng)元來表示，而每個(gè)神經(jīng)元又會(huì)和其他神經(jīng)元一起代表許多不同的概念?；ハ嗉ぐl(fā)的神經(jīng)元會(huì)形成赫布所稱的細(xì)胞集表示出來。每個(gè)細(xì)胞集都可以包含來自不同大腦區(qū)域的神經(jīng)元，也可以和其他集合相互重疊。腿的細(xì)胞集中包含腳的細(xì)胞集，包含腳的圖片的細(xì)胞集，以及腳的聲音的細(xì)胞集。如果你問一個(gè)符號(hào)學(xué)派系統(tǒng)，紐約在聯(lián)結(jié)學(xué)派體系中，答案就是這個(gè)概念通過這里一點(diǎn)、那里一點(diǎn)地被儲(chǔ)存起來。你走在大街上碰到熟人，你認(rèn)出他只需要0.1秒。以神經(jīng)轉(zhuǎn)換的速度，這些時(shí)間勉強(qiáng)夠用來進(jìn)行100個(gè)處理步驟，但在那些處理步驟中，你的大腦能夠?yàn)g覽整個(gè)記憶庫，找到最佳搭配，然后使其適應(yīng)新的背景（不同的服裝、不同的燈光等）而且會(huì)涉及很多信息，并符合分散的概念表達(dá)方式。第一個(gè)正式的神經(jīng)元模型是由沃倫麥卡洛克（nuoh）和沃爾特皮茨（r）于1943年提出的。這個(gè)模型看起來很像組成計(jì)算機(jī)的邏輯門。當(dāng)或門至少一個(gè)輸入開關(guān)打開時(shí)，或門開通，當(dāng)所有輸入開關(guān)打開時(shí)，且門開通。當(dāng)其輸入的活躍信息超過某個(gè)界限值時(shí)，一個(gè)麥卡洛克—皮茨神經(jīng)元會(huì)打開。另外，如果界限值只有一個(gè)，神經(jīng)元就相當(dāng)于一道或門；如果界限值等于輸入信息的數(shù)量，神經(jīng)元就相當(dāng)于一道且門。另外，一個(gè)麥卡洛克—皮茨神經(jīng)元會(huì)阻止另外一個(gè)麥卡洛克—皮茨神經(jīng)元打開，這就模擬了抑制性突觸和非門。因此神經(jīng)元的一個(gè)網(wǎng)絡(luò)就可以完成計(jì)算機(jī)的所有計(jì)算。在早些年，計(jì)算機(jī)常常被稱為電腦，這不只是一個(gè)類比那么簡單。麥卡洛克—皮茨神經(jīng)元做不了的事情就是學(xué)習(xí)。為此我們需要對(duì)神經(jīng)元之間的連接給予不同的權(quán)重，這就是所謂的感知器。感知器于20世紀(jì)50年代由康奈爾大學(xué)的心理學(xué)家弗蘭克羅森布拉特（nkonb）發(fā)明。作為富有魅力的演講者和活躍人物，羅森布拉特在早期機(jī)器學(xué)習(xí)領(lǐng)域形成的過程中，比任何人付出的都要多。感知器這個(gè)名稱源于他的興趣，他喜歡將自己的模型應(yīng)用到諸如演講和字符識(shí)別的感知任務(wù)中。他沒有將感知器應(yīng)用于軟件中，因?yàn)樵谀莻€(gè)年代這個(gè)過程會(huì)非常緩慢，他構(gòu)建了自己的裝置。權(quán)值是由可變電阻器來實(shí)現(xiàn)的，這些電阻器和調(diào)光燈開關(guān)中的那些電阻器一樣，而且權(quán)值學(xué)習(xí)由電動(dòng)機(jī)來實(shí)現(xiàn)，電動(dòng)機(jī)會(huì)打開電阻器上的開關(guān)。在感知器中，一個(gè)正權(quán)值代表一個(gè)興奮性連接，一個(gè)負(fù)權(quán)值代表一個(gè)抑制性連接。如果其輸入量的加權(quán)和高于界限值，那么會(huì)輸出1；如果加權(quán)和小于界限值，那么輸入0。通過改變權(quán)值和界限值，我們可以改變感知器計(jì)算的函數(shù)。當(dāng)然，這種做法忽略了神經(jīng)元發(fā)揮作用的很多（見圖4–1）圖圖但數(shù)學(xué)就是這樣發(fā)揮作用的。在n維概念中，我們有n個(gè)輸入量，而感知器有n個(gè)權(quán)值。為了確認(rèn)感知器是否放電，我們把每個(gè)權(quán)值乘以相應(yīng)的輸入量，然后將得數(shù)相加，和界限值進(jìn)行對(duì)比。如果所有的輸入量都有一個(gè)權(quán)值1，而且界限值是輸入量數(shù)值的一半，當(dāng)感知器超過一半的輸入量放電時(shí)，那么感知器放電。換句話說，感知器就像一個(gè)微型社會(huì)，少數(shù)服從多數(shù)（可能也沒有那么小，因?yàn)樗袛?shù)千個(gè)成員）也最大。如果有個(gè)朋友推薦了一部電影，你去看了，覺得喜歡，下次可能還會(huì)再聽他的建議。另一方面，如果他滔滔不絕地講你不喜歡的電影，你會(huì)開始忽略他的建議（甚至你們的友情都可能變淡）。但是感知器卻碰壁了。知識(shí)工程師被羅森布拉特的觀點(diǎn)激怒，羨慕其不斷增長的被關(guān)注度，而神經(jīng)網(wǎng)絡(luò)，特別是感知器獲得的資金也變得越來越多。馬文明斯基就是其中一個(gè)，他是羅森布拉特之前在布朗士科學(xué)高中的同學(xué)，那時(shí)他還是麻省理工學(xué)院人工智能研究小組的領(lǐng)導(dǎo)（具有諷刺意味的是，他的博士論文和神經(jīng)網(wǎng)絡(luò)相關(guān)，但對(duì)于神經(jīng)網(wǎng)絡(luò)，他越來越不抱幻想）。1969年，明斯基和他的同事西摩爾派普特一起出版了《感知器》（po）一書，該書詳細(xì)介紹了同名算法的缺點(diǎn)，還一一列舉了該算法無法學(xué)習(xí)的內(nèi)容。最簡單的一個(gè)（所以也是最受批評(píng)的一個(gè)）就是排斥或功能（xuv–Runon，）。如果它其中的一個(gè)輸入量是對(duì)的，那么這就是對(duì)的，但如果兩個(gè)都是對(duì)的，則是錯(cuò)的。例如，耐克的兩大忠實(shí)消費(fèi)人群被認(rèn)為是年輕男性和中年婦女。換句話說，如果你是年輕的女性，那么有可能購買耐克的鞋子。年輕挺好的，做女人也挺好的，但兩個(gè)加起來就不一定好了。如果你既不年輕，也不是女性，那么你也不是耐克做廣告的對(duì)象。的問題就在于，沒有能夠區(qū)分正面例子和負(fù)面例子的直線。圖4–3展示了兩種不可行的備選方法：圖如果機(jī)器學(xué)習(xí)的歷史是一部好萊塢電影，電影中的反面人物就是馬文態(tài)（在1988年的一篇文章中，西摩爾派普特甚至半開玩笑地將自己比作故事里的獵人，故事里皇后派他去殺死森林中的白雪公主）王子就是名叫約翰霍普菲爾德的加州理工學(xué)院的物理學(xué)家。1982年，霍普菲爾德發(fā)現(xiàn)了大腦和自旋玻璃（png）驚人的相似之處，自旋玻璃是深受統(tǒng)計(jì)物理學(xué)家喜愛的特殊材料。這引起聯(lián)結(jié)學(xué)派的復(fù)興，在第一個(gè)解決贊譽(yù)分配問題的算法發(fā)明出來的幾年，聯(lián)結(jié)學(xué)派復(fù)興達(dá)到頂峰，并進(jìn)入一個(gè)新時(shí)代，機(jī)器學(xué)習(xí)代替知識(shí)工程學(xué)成為人工智能領(lǐng)域的主導(dǎo)范式。指上或指下。比如在鐵這樣的材料中，電子自旋就趨向于往上：如果一個(gè)自旋向下的電子被多個(gè)自旋向上的電子包圍，這個(gè)電子可能會(huì)翻轉(zhuǎn)向上。如果一塊鐵中的大部分自旋都向上，那么這塊鐵就會(huì)變成一塊磁鐵。在普通磁鐵中，每對(duì)相鄰電子自旋的交互力都一樣，但在自旋玻璃中，這種力就可能不一樣。這種力甚至?xí)窍喾吹?，使得附近的電子自旋指向相反的方向。?dāng)普通磁鐵所有的自旋都排成一行時(shí)，能量是最低的，但在自旋玻璃中卻沒那么簡單。的確，找到自旋玻璃的最低能量狀態(tài)就是一個(gè)—化為—玻璃可能會(huì)陷入局部最小值的困境，而不是在全局最小值中得到發(fā)展。處于最小值狀態(tài)中的能量會(huì)比在其他狀態(tài)下低，通過翻轉(zhuǎn)一圈，最低能量狀態(tài)就可以轉(zhuǎn)變?yōu)槠渌麪顟B(tài)?；羝辗茽柕伦⒁獾阶孕ＡШ蜕窠?jīng)網(wǎng)絡(luò)之間有趣的相似點(diǎn)：一個(gè)電子的自旋對(duì)其相鄰電子的活動(dòng)所做的反應(yīng)和一個(gè)神經(jīng)元的反應(yīng)十分相似。在電子的情況中，如果相鄰電子的加權(quán)和超過界限值，電子就會(huì)向上翻，反之則向下翻。受到這一點(diǎn)的啟發(fā)，他確定了一種神經(jīng)網(wǎng)絡(luò)，和自旋玻璃一樣隨著時(shí)間的推移而演變，他還提出網(wǎng)絡(luò)的最低值狀態(tài)就是它的記憶。每個(gè)這樣的狀態(tài)都具備原始狀態(tài)的吸引盆（bn ofon），原始狀態(tài)就收斂于該盆中，這樣這個(gè)網(wǎng)絡(luò)就可以進(jìn)行模式識(shí)別了。例如，如果其中的一個(gè)記憶是由數(shù)字9形成的黑白像素模式，而網(wǎng)絡(luò)看到一個(gè)扭曲了的9，它會(huì)收斂成理想的9，然后據(jù)此重新識(shí)別它。突然間，大量的物理理論能夠應(yīng)用于機(jī)器學(xué)習(xí)中，而隨之也涌入大批的統(tǒng)計(jì)物理學(xué)家，幫助自旋玻璃打破之前就陷入的局部最小值困境。一臺(tái)玻爾茲曼機(jī)器擁有混合的感官和隱藏神經(jīng)元（分別類似于視網(wǎng)膜和大腦）。它通過清醒和睡眠兩種交替狀態(tài)進(jìn)行學(xué)習(xí)，就像人類