終極算法機(jī)器學(xué)習(xí)和人工智能如何重塑世界目錄\h第一章機(jī)器學(xué)習(xí)革命\h學(xué)習(xí)算法入門\h為何商業(yè)擁護(hù)機(jī)器學(xué)習(xí)\h給科學(xué)方法增壓\h10億個(gè)比爾·克林頓\h學(xué)習(xí)算法與國(guó)家安全\h我們將走向何方\h第二章終極算法\h來(lái)自神經(jīng)科學(xué)的論證\h來(lái)自進(jìn)化論的論證\h來(lái)自物理學(xué)的論證\h來(lái)自統(tǒng)計(jì)學(xué)的論證\h來(lái)自計(jì)算機(jī)科學(xué)的論證\h機(jī)器學(xué)習(xí)算法與知識(shí)工程師\h天鵝咬了機(jī)器人\h終極算法是狐貍，還是刺猬\h我們正面臨什么危機(jī)\h新的萬(wàn)有理論\h未達(dá)標(biāo)準(zhǔn)的終極算法候選項(xiàng)\h機(jī)器學(xué)習(xí)的五大學(xué)派\h第三章符號(hào)學(xué)派：休謨的歸納問(wèn)題\h約不約\h“天下沒(méi)有免費(fèi)的午餐”定理\h對(duì)知識(shí)泵進(jìn)行預(yù)設(shè)\h如何征服世界\h在無(wú)知與幻覺(jué)之間\h你能信任的準(zhǔn)確度\h歸納是逆向的演繹\h掌握治愈癌癥的方法\h20問(wèn)游戲\h符號(hào)學(xué)派\h第四章聯(lián)結(jié)學(xué)派：大腦如何學(xué)習(xí)\h感知器的興盛與衰亡\h物理學(xué)家用玻璃制作大腦\h世界上最重要的曲線\h攀登超空間里的高峰\h感知器的復(fù)仇\h一個(gè)完整的細(xì)胞模型\h大腦的更深處\h第五章進(jìn)化學(xué)派：自然的學(xué)習(xí)算法\h達(dá)爾文的算法\h探索：利用困境\h程序的適者生存法則\h性有何用\h先天與后天\h誰(shuí)學(xué)得最快，誰(shuí)就會(huì)贏\h第六章貝葉斯學(xué)派：在貝葉斯教堂里\h統(tǒng)治世界的定理\h所有模型都是錯(cuò)的，但有些卻有用\h從《尤金·奧涅金》到Siri\h所有東西都有關(guān)聯(lián)，但不是直接關(guān)聯(lián)\h推理問(wèn)題\h掌握貝葉斯學(xué)派的方法\h馬爾可夫權(quán)衡證據(jù)\h邏輯與概率：一對(duì)不幸的組合\h第七章類推學(xué)派：像什么就是什么\h完美另一半\h維數(shù)災(zāi)難\h空中蛇災(zāi)\h爬上梯子\h起床啦\h第八章無(wú)師自通\h物以類聚，人以群分\h發(fā)現(xiàn)數(shù)據(jù)的形狀\h擁護(hù)享樂(lè)主義的機(jī)器人\h熟能生巧\h學(xué)會(huì)關(guān)聯(lián)\h第九章解開迷惑\h萬(wàn)里挑一\h終極算法之城\h馬爾科夫邏輯網(wǎng)絡(luò)\h從休謨到你的家用機(jī)器人\h行星尺度機(jī)器學(xué)習(xí)\h醫(yī)生馬上來(lái)看你\h第十章建立在機(jī)器學(xué)習(xí)之上的世界\h性、謊言和機(jī)器學(xué)習(xí)\h數(shù)碼鏡子\h充滿模型的社會(huì)\h分享與否？方式、地點(diǎn)如何？\h神經(jīng)網(wǎng)絡(luò)搶了我的工作\h戰(zhàn)爭(zhēng)不屬于人類\h谷歌＋終極算法=天網(wǎng)？\h進(jìn)化的第二部分第一章

機(jī)器學(xué)習(xí)革命我們生活在算法的時(shí)代。一兩代人以前，提到“算法”這個(gè)詞，可能多數(shù)人會(huì)腦中一片空白。當(dāng)今，文明社會(huì)的每個(gè)角落都存在算法，日常生活的每分每秒也都和算法有關(guān)。算法不僅存在于你的手機(jī)或筆記本電腦，還存在于你的汽車、房子、家電以及玩具當(dāng)中。當(dāng)人們進(jìn)出銀行時(shí)，銀行系統(tǒng)就是由各種算法交織而成的龐大集合體。算法安排航班，也駕駛飛機(jī)。算法能經(jīng)營(yíng)工廠、進(jìn)行交易、運(yùn)輸貨物、處理現(xiàn)金收益，還能保存記錄。如果所有算法都突然停止運(yùn)轉(zhuǎn)，那么就是人類的世界末日。算法就是一系列指令，告訴計(jì)算機(jī)該做什么。計(jì)算機(jī)是由幾十億個(gè)微小開關(guān)（稱為晶體管）組成的，而算法能在一秒內(nèi)打開并關(guān)閉這些開關(guān)幾十億次。最簡(jiǎn)單的算法是觸動(dòng)開關(guān)。一個(gè)晶體管的狀態(tài)就是一個(gè)比特信息：如果開關(guān)打開，信息就是1；如果開關(guān)關(guān)閉，信息就是0。銀行的計(jì)算機(jī)的某個(gè)比特信息會(huì)顯示你的賬戶是否已透支。美國(guó)社會(huì)保障總署的計(jì)算機(jī)的某個(gè)比特信息表明你是活著還是已死亡。第二簡(jiǎn)單的算法是：把兩個(gè)比特結(jié)合起來(lái)。克勞德·香農(nóng)以“信息論之父”而為人所知，他第一個(gè)意識(shí)到晶體管的活動(dòng)就是在運(yùn)算，因?yàn)榫w管開了又關(guān)，是對(duì)其他晶體管的回應(yīng)（這是他在麻省理工學(xué)院的碩士論文——有史以來(lái)最有意義的碩士論文）。如果A晶體管只有在B和C晶體管都打開時(shí)才打開，那么這時(shí)它就是在做小型的邏輯運(yùn)算。如果A晶體管在B和C晶體管其中一個(gè)打開時(shí)才打開，就是另外一種小型邏輯運(yùn)算。如果A晶體管在B晶體管任何關(guān)閉的時(shí)候打開，或者反過(guò)來(lái)，這又是第三種運(yùn)算。信不信由你，所有算法，無(wú)論多復(fù)雜，都能分解為這三種邏輯運(yùn)算：且，或，非。利用不同的符號(hào)來(lái)代替“且”“或”“非”運(yùn)算，簡(jiǎn)單的算法就可以用圖表來(lái)表示。例如，如果發(fā)燒可由感冒或者瘧疾引起，那么你應(yīng)該用泰諾來(lái)治療發(fā)燒和頭疼，可以用圖1–1表示。圖1–1通過(guò)結(jié)合許多這樣的邏輯運(yùn)算，我們可以進(jìn)行極其復(fù)雜的邏輯推理。人們往往認(rèn)為計(jì)算機(jī)只和數(shù)字有關(guān)，其實(shí)并非如此，它完全關(guān)乎邏輯。數(shù)字和算術(shù)都是由邏輯構(gòu)成的，而計(jì)算機(jī)的所有其他部分也是如此。想把兩個(gè)數(shù)相加？可以由晶體管的組合體來(lái)完成。想贏得《危險(xiǎn)邊緣》智力比賽？也可以由晶體管的組合體來(lái)完成（當(dāng)然，這個(gè)組合體龐大得多）。即便如此，為了做不同的事而制造新的計(jì)算機(jī)代價(jià)過(guò)于昂貴。當(dāng)然，現(xiàn)代計(jì)算機(jī)是各種晶體管的大集合，能做許多不同的事，這取決于哪些晶體管被激活。米開朗琪羅說(shuō)過(guò)，他所做的一切，就是從大理石石塊中看出雕像，然后將多余的石頭刻掉，直到雕像的形狀顯現(xiàn)出來(lái)。同樣，算法排除計(jì)算機(jī)中多余的晶體管，直到出現(xiàn)想要的功能，無(wú)論是客機(jī)的自動(dòng)駕駛儀，還是皮克斯的新電影，原理都是這樣。一種算法不僅是簡(jiǎn)單的一套指令，這些指令必須精確且不能模糊，這樣計(jì)算機(jī)才能夠執(zhí)行。例如，食譜并不算一種算法，因?yàn)槭匙V沒(méi)有明確給出做事的順序，或者具體每一步是怎樣的。一勺白糖到底是幾克？每個(gè)嘗試新食譜的人都知道，跟著食譜做，可能會(huì)做出很美味的食物，也可能會(huì)做得一塌糊涂。相比之下，算法總能得出同樣的結(jié)果。即便食譜明確指出需要半盎司白糖，計(jì)算機(jī)也不知道如何執(zhí)行，因?yàn)橛?jì)算機(jī)不知道什么是白糖、什么是盎司。如果我們想對(duì)廚用機(jī)器人編程，讓它來(lái)做蛋糕，我們要通過(guò)視頻教它如何辨認(rèn)白糖、如何拿起勺子等（我們現(xiàn)在仍在努力）。計(jì)算機(jī)必須知道如何執(zhí)行算法，直到打開及關(guān)閉指定的晶體管。因此，食譜離算法還很遠(yuǎn)。另一方面，下面是玩井字棋的算法：如果你或?qū)κ钟袃闪＿B子，占據(jù)剩下的角落。否則，如果兩邊有兩個(gè)連子的走法，就那樣走。否則，如果正中央是空的，走正中央。否則，如果你的對(duì)手走到角落，占據(jù)他的對(duì)角。否則，如果有空白的角落，占據(jù)它。否則，占據(jù)任意空白的角落。這個(gè)算法有很大的優(yōu)點(diǎn)，那就是它絕對(duì)不會(huì)輸。當(dāng)然，它仍忽略了許多細(xì)節(jié)，比如在計(jì)算機(jī)的記憶中，棋盤如何表示，而棋的走法又如何改變這種表示方法。例如，每個(gè)角落我們有兩個(gè)比特，如果中間是空的，值就是00；如果有一個(gè)圈，值就變成01；如果有一個(gè)叉，值就變成10。即便如此，這也足夠精確、清晰，能讓有能力的編程員來(lái)填補(bǔ)被忽略的空白。它還有一個(gè)好處，就是不用我們自己指定算法，細(xì)到單個(gè)晶體管。在構(gòu)建數(shù)據(jù)存儲(chǔ)塊時(shí)，我們可以使用之前存在的算法，而且有很多這樣的算法供選擇。算法是一套嚴(yán)格的標(biāo)準(zhǔn)。人們常說(shuō)，你沒(méi)法真正了解某樣?xùn)|西，直到你能用一種算法來(lái)將其表達(dá)出來(lái)（理查德·費(fèi)曼曾說(shuō)，“如果我無(wú)法創(chuàng)造某樣?xùn)|西，那么也就無(wú)法理解它”）。方程式對(duì)物理學(xué)家和工程師來(lái)說(shuō)就是謀生工具，而這也僅僅是一種特殊算法。例如，牛頓第二定律，可以說(shuō)是有史以來(lái)最重要的等式，告訴你用物體的質(zhì)量乘以其加速度，可以算出作用在物體上的力。該定律還隱含地告訴你，加速度等于作用力除以質(zhì)量，要弄明白這一點(diǎn)，只需一個(gè)運(yùn)算步驟。在科學(xué)的任何領(lǐng)域，如果某個(gè)理論無(wú)法用算法表示，那么它就不是很嚴(yán)謹(jǐn)（更別提你無(wú)法用計(jì)算機(jī)來(lái)解決這個(gè)問(wèn)題，因?yàn)槟隳茏層?jì)算機(jī)替你做的事實(shí)在太有限）?？茖W(xué)家提出理論，工程師制造設(shè)備，計(jì)算機(jī)科學(xué)家提出算法，這和理論及設(shè)備都有關(guān)。設(shè)計(jì)算法并沒(méi)有那么簡(jiǎn)單。這個(gè)過(guò)程充滿陷阱，什么事都不能想當(dāng)然。如果你的一些構(gòu)建已經(jīng)出錯(cuò)，就得找其他方法。設(shè)計(jì)算法最重要的一點(diǎn)就是，你得用一種計(jì)算機(jī)能理解的語(yǔ)言來(lái)將算法記錄下來(lái)，比如Java或者Python（從這個(gè)角度看，就是一個(gè)程序）。接下來(lái)，你得對(duì)其進(jìn)行糾錯(cuò)：找出每個(gè)誤差并修正，直到計(jì)算機(jī)能夠運(yùn)行程序，而不至于搞砸。一旦你有了能完成你心愿的程序，就輕松多了。計(jì)算機(jī)會(huì)以飛快的速度，按我們的要求辦事，而且毫無(wú)怨言。世界上的每個(gè)人都能享用你的創(chuàng)作成果。如果你愿意，這個(gè)成果可以一文不收；當(dāng)然，如果你解決的問(wèn)題足夠有意義，這個(gè)成果也可以讓你成為億萬(wàn)富翁。程序員（創(chuàng)造算法并將其編碼的人）是一個(gè)“小神靈”，能任意創(chuàng)造不同的世界。甚至你也可以說(shuō)《圣經(jīng)·創(chuàng)世記》里的神也是“程序員”：語(yǔ)言（而不是統(tǒng)治權(quán)）才是他創(chuàng)造世界的工具。語(yǔ)言構(gòu)成了這個(gè)世界。當(dāng)今時(shí)代，坐在沙發(fā)上利用筆記本電腦，你就可以成為一個(gè)“神”。你完全可以想象一個(gè)世界，并實(shí)現(xiàn)它。有朝一日，計(jì)算機(jī)科學(xué)家會(huì)互相依賴各自的成果，然后為新事物創(chuàng)造算法。這些算法會(huì)與其他算法相結(jié)合，目的是利用其他算法的成果，反過(guò)來(lái)產(chǎn)生能服務(wù)更多算法的成果。每一秒鐘，數(shù)十億計(jì)算機(jī)里的數(shù)十億晶體管會(huì)打開關(guān)閉數(shù)十億次。算法形成新型生態(tài)系統(tǒng)，它將生生不息，具有無(wú)可比擬的生命多樣性。然而，不可避免地，在這個(gè)“伊甸園”里也會(huì)有狡猾的人存在，人們稱之為“復(fù)雜性怪獸”。和九頭蛇一樣，這個(gè)復(fù)雜性怪獸有很多頭，其中一個(gè)就是空間復(fù)雜性，即為了儲(chǔ)存在計(jì)算機(jī)內(nèi)存中，一個(gè)算法所需信息的比特?cái)?shù)量。如果計(jì)算機(jī)無(wú)法提供該算法所需的內(nèi)存，那么這個(gè)算法就沒(méi)用，必須忽略。接著是邪惡的同類——時(shí)間復(fù)雜性：該算法運(yùn)行多長(zhǎng)時(shí)間，也就是說(shuō)，在產(chǎn)生想要的結(jié)果之前，算法利用及重新利用晶體管的步驟有多少。如果算法運(yùn)行時(shí)間太久，我們等不了，那么這個(gè)算法也沒(méi)用。復(fù)雜怪獸最恐怖的一面就是人類的復(fù)雜性。當(dāng)算法變得很復(fù)雜以致人類大腦已無(wú)法理解，當(dāng)算法不同部分的交互過(guò)多且過(guò)于深入時(shí)，誤差就會(huì)悄然潛入。我們找不到這些誤差，也就無(wú)法糾正它們，算法也就不會(huì)做我們想做的事。即便我們讓它運(yùn)行起來(lái)，它也會(huì)停下來(lái)。對(duì)使用它的人來(lái)說(shuō)，它沒(méi)必要那么復(fù)雜，而且它和其他算法也合作得不好，這為日后埋下隱患。每位計(jì)算機(jī)科學(xué)家每天都在和“復(fù)雜性怪獸”做斗爭(zhēng)。如果科學(xué)家輸了這場(chǎng)斗爭(zhēng)，復(fù)雜性就會(huì)滲入我們的生活。你可能已經(jīng)注意到，很多這樣的斗爭(zhēng)科學(xué)家已經(jīng)輸了。即便如此，我們也會(huì)繼續(xù)構(gòu)建我們的算法之塔，并迎接越來(lái)越大的挑戰(zhàn)。每一代新的算法都要在之前的基礎(chǔ)上構(gòu)建，除了這代算法的復(fù)雜性，它們還面臨之前算法的復(fù)雜性。塔會(huì)變得越來(lái)越高，會(huì)覆蓋整個(gè)世界，但它也會(huì)變得越來(lái)越脆弱，像一座紙片做的房子，隨時(shí)都會(huì)倒塌。算法里的微小誤差可能導(dǎo)致價(jià)值10億美元的火箭爆炸，或者可能導(dǎo)致停電，造成數(shù)百萬(wàn)美元的損失。算法以意想不到的方式進(jìn)行交互，股票市場(chǎng)就會(huì)崩潰。如果程序員是“小神”，復(fù)雜性怪獸就是魔鬼。慢慢地，魔鬼會(huì)贏得戰(zhàn)爭(zhēng)。總得有個(gè)更好的方法來(lái)與魔鬼做斗爭(zhēng)。學(xué)習(xí)算法入門每個(gè)算法都會(huì)有輸入和輸出：數(shù)據(jù)輸入計(jì)算機(jī)，算法會(huì)利用數(shù)據(jù)完成接下來(lái)的事，然后結(jié)果就出來(lái)了。機(jī)器學(xué)習(xí)則顛倒了這個(gè)順序：輸入數(shù)據(jù)和想要的結(jié)果，輸出的則是算法，即把數(shù)據(jù)轉(zhuǎn)換成結(jié)果的算法。學(xué)習(xí)算法能夠制作其他算法。通過(guò)機(jī)器學(xué)習(xí)，計(jì)算機(jī)就會(huì)自己編寫程序，就用不到我們了。哇！計(jì)算機(jī)會(huì)自己編寫程序。現(xiàn)在看來(lái)這是一個(gè)強(qiáng)大的想法，甚至可能有點(diǎn)嚇人。如果計(jì)算機(jī)開始自己編程，那么我們將如何控制它們？我們會(huì)看到，人類可以很好地控制它們。可能會(huì)有人當(dāng)即反對(duì)，這聽(tīng)起來(lái)太美好了，不像真的。當(dāng)然，編寫算法需要智力、創(chuàng)造力、問(wèn)題解決能力，這些都是計(jì)算機(jī)沒(méi)有的。如何把機(jī)器學(xué)習(xí)與魔法區(qū)分開來(lái)？的確，今天為止，人們能編寫許多計(jì)算機(jī)無(wú)法學(xué)習(xí)的程序?？闪钊烁鼮轶@訝的是，計(jì)算機(jī)卻能學(xué)習(xí)人們無(wú)法編寫出來(lái)的程序。我們會(huì)開車、會(huì)辨認(rèn)字跡，但這些技能都是潛意識(shí)發(fā)揮出來(lái)的，無(wú)法向計(jì)算機(jī)解釋這些事情是如何完成的。但是，如果我們把關(guān)于這些事情的足夠多的例子交給學(xué)習(xí)算法，該算法會(huì)很樂(lè)意弄明白怎樣獨(dú)立完成這些事情，這時(shí)我們就可以放手讓算法去做了。郵局正是通過(guò)這種方法來(lái)識(shí)別郵政編碼，自動(dòng)駕駛汽車也是這樣才得以實(shí)現(xiàn)在路上跑。解釋機(jī)器學(xué)習(xí)的力量的最好方法，也許就是將其與其他低技術(shù)含量的活動(dòng)進(jìn)行類比。工業(yè)社會(huì)，商品由工廠制造，這也意味著工程師必須弄明白商品如何通過(guò)零件組裝起來(lái)、這些零件如何生產(chǎn)等，細(xì)到生產(chǎn)原料。這是一項(xiàng)大工程。計(jì)算機(jī)是人類發(fā)明的最復(fù)雜的產(chǎn)品，計(jì)算機(jī)設(shè)計(jì)、工廠生產(chǎn)、程序運(yùn)行都涉及大量的工作。還有另外一種方法能讓我們得到一些想要的東西：讓自然規(guī)律去塑造它們。在農(nóng)業(yè)當(dāng)中，我們播種，確保種子有足夠的水分和營(yíng)養(yǎng)，然后收割成熟的作物。為什么技術(shù)不能這樣？完全可以，而這也是機(jī)器學(xué)習(xí)的承諾。學(xué)習(xí)算法是種子，數(shù)據(jù)是土壤，被掌握的程序是成熟的作物。機(jī)器學(xué)習(xí)專家就像農(nóng)民，播下種子，灌溉，施肥，留意作物的生長(zhǎng)狀況，事事親力親為，而不是退居一旁。一旦我們這樣看待機(jī)器學(xué)習(xí)，隨即也會(huì)發(fā)生兩件事：第一，我們掌握的數(shù)據(jù)越多，我們能學(xué)的也越多。沒(méi)有數(shù)據(jù)？什么也學(xué)不到。大數(shù)據(jù)？很多東西可以學(xué)習(xí)。這也是機(jī)器學(xué)習(xí)無(wú)處不在的原因，因?yàn)橛酗w速增長(zhǎng)的數(shù)據(jù)。如果你在超市購(gòu)買機(jī)器學(xué)習(xí)，其包裝上可能會(huì)寫著“只需添加數(shù)據(jù)”。第二，機(jī)器學(xué)習(xí)是一把劍，利用這把劍可以殺死復(fù)雜性怪獸。只要有足夠的數(shù)據(jù)，一段只有幾百行代碼的程序可以輕易生成擁有上百萬(wàn)行代碼的程序，而且它可以為解決不同問(wèn)題不停產(chǎn)生不同的程序。這可以顯著降低程序員工作的復(fù)雜度。當(dāng)然，就像對(duì)付九頭蛇，我們砍掉它的頭，會(huì)立即長(zhǎng)出新頭，但長(zhǎng)出的頭會(huì)變小，而且頭的生長(zhǎng)也需要時(shí)間，因此我們?nèi)杂锌赡軇俪?。我們可以把機(jī)器學(xué)習(xí)當(dāng)作逆運(yùn)算，正如開平方是平方的逆運(yùn)算、整合是分化的逆運(yùn)算。正如我們會(huì)問(wèn)“什么數(shù)的平方是16”，或者“導(dǎo)數(shù)為x+1的函數(shù)是什么”，我們也會(huì)問(wèn)“什么算法會(huì)得出該結(jié)果”。我們很快會(huì)看到，怎樣將這個(gè)觀點(diǎn)運(yùn)用到具體的學(xué)習(xí)算法中。有些學(xué)習(xí)算法學(xué)習(xí)知識(shí)，有的則學(xué)習(xí)技能?！八腥硕紩?huì)死”是知識(shí)，騎單車是技能。在機(jī)器學(xué)習(xí)中，知識(shí)往往以統(tǒng)計(jì)模型的形式出現(xiàn)，因?yàn)槎鄶?shù)知識(shí)都是可以統(tǒng)計(jì)的：所有人都會(huì)死，但只有4%是美國(guó)人。技能往往以程序的形式出現(xiàn)：如果馬路向左彎曲，那么向左轉(zhuǎn)動(dòng)車頭；如果一只鹿跳到你面前，那么立刻剎車（很遺憾，在寫這本書時(shí)，谷歌的自動(dòng)駕駛汽車仍會(huì)把被風(fēng)吹起的塑料袋和鹿弄混）。通常，這些程序都很簡(jiǎn)單，復(fù)雜的是它們的核心知識(shí)。如果你能判斷哪些郵件是垃圾郵件，那么你也就能判斷該刪除哪些郵件。如果你能在象棋游戲中判斷這盤棋自己的優(yōu)勢(shì)在哪里，那么你也就懂得該怎么走（能讓你處于最有利地位的一步）。機(jī)器學(xué)習(xí)有許多不同的形式，也會(huì)涉及許多不同的名字：模式識(shí)別、統(tǒng)計(jì)建模、數(shù)據(jù)挖掘、知識(shí)發(fā)現(xiàn)、預(yù)測(cè)分析、數(shù)據(jù)科學(xué)、適應(yīng)系統(tǒng)、自組織系統(tǒng)等。這些概念供不同群體使用，擁有不同的聯(lián)系。有些有很長(zhǎng)的半衰期，有些則較短。在本書中，我用“機(jī)器學(xué)習(xí)”一詞泛指所有這些概念。機(jī)器學(xué)習(xí)有時(shí)會(huì)和人工智能（AI）混淆。嚴(yán)格來(lái)講，機(jī)器學(xué)習(xí)是人工智能的子域，但機(jī)器學(xué)習(xí)發(fā)展得如此壯大且成功，現(xiàn)已超越以前它引以為傲的母領(lǐng)域。人工智能的目標(biāo)是教會(huì)計(jì)算機(jī)完成現(xiàn)在人類做得更好的事，而機(jī)器學(xué)習(xí)可以說(shuō)就是其中最重要的事：沒(méi)有學(xué)習(xí)，計(jì)算機(jī)就永遠(yuǎn)無(wú)法跟上人類的步伐；有了學(xué)習(xí)，一切都與時(shí)俱進(jìn)。在信息處理這個(gè)生態(tài)系統(tǒng)中，學(xué)習(xí)算法是頂級(jí)掠食者。數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)爬蟲、索引器等相當(dāng)于食草動(dòng)物，耐心地對(duì)無(wú)限領(lǐng)域中的數(shù)據(jù)進(jìn)行蠶食。統(tǒng)計(jì)算法、線上分析處理等則相當(dāng)于食肉動(dòng)物。食草動(dòng)物有必要存在，因?yàn)闆](méi)有它們，其他動(dòng)物無(wú)法存活，但頂級(jí)掠食者有更為刺激的生活。數(shù)據(jù)爬蟲就像一頭牛，網(wǎng)頁(yè)相當(dāng)于它的草原，每個(gè)網(wǎng)頁(yè)就是一根草。當(dāng)網(wǎng)絡(luò)爬蟲進(jìn)行破壞行動(dòng)時(shí)，網(wǎng)站的副本就會(huì)保存在其硬盤當(dāng)中。索引器接著做一個(gè)頁(yè)面的列表，每個(gè)詞都會(huì)出現(xiàn)在頁(yè)面當(dāng)中，這很像一本書后的索引。數(shù)據(jù)庫(kù)就像大象，又大又重，永遠(yuǎn)不會(huì)被忽略。在這些動(dòng)物當(dāng)中，耐心的野獸飛快運(yùn)轉(zhuǎn)統(tǒng)計(jì)和分析算法，壓縮并進(jìn)行選擇，將數(shù)據(jù)變?yōu)樾畔?。學(xué)習(xí)算法將這些信息吞下、消化，然后將其變成知識(shí)。機(jī)器學(xué)習(xí)專家在計(jì)算機(jī)科學(xué)家中就是一種精英式的“神職”。許多計(jì)算機(jī)科學(xué)家，尤其是更老的那一代，并不如他們想的那樣能很好地理解機(jī)器學(xué)習(xí)。這是因?yàn)?，?jì)算機(jī)科學(xué)通常需要的是準(zhǔn)確思維，但機(jī)器學(xué)習(xí)需要的是統(tǒng)計(jì)思維。例如，如果有條規(guī)定是“垃圾郵件標(biāo)記的正確率是99%”，這并不意味存在缺陷，而可能意味這是你的最好水平，已經(jīng)很好用了。這種思維上的差別很大程度上也解釋了為什么微軟能趕上網(wǎng)景公司，但想趕上谷歌卻困難得多。說(shuō)到底，瀏覽器只是一個(gè)標(biāo)準(zhǔn)的軟件，而搜索引擎則需要不同的思維模式。之所以說(shuō)機(jī)器學(xué)習(xí)研究者是超級(jí)計(jì)算機(jī)迷的另外一個(gè)原因，就是當(dāng)今世界急需他們，但他們寥寥無(wú)幾。按照計(jì)算機(jī)科學(xué)嚴(yán)格的標(biāo)準(zhǔn)，這樣的人數(shù)量就更少了。蒂姆·奧萊利認(rèn)為，“數(shù)據(jù)科學(xué)家”是硅谷最熱門的職業(yè)。根據(jù)麥肯錫全球研究院估計(jì)，截至2018年，僅美國(guó)就需要再培養(yǎng)14萬(wàn)~19萬(wàn)機(jī)器學(xué)習(xí)專家才夠用，另外還需要150萬(wàn)有數(shù)據(jù)頭腦的經(jīng)理。機(jī)器學(xué)習(xí)的應(yīng)用爆發(fā)得如此突然，連教育都無(wú)法跟上其步伐，同時(shí)，人才奇缺也是因?yàn)檫@門學(xué)科在人們看來(lái)很難而令人望而生畏。教科書很可能會(huì)讓你感到數(shù)學(xué)很難，然而，這個(gè)困難表面看起來(lái)很大，其實(shí)并不是。機(jī)器學(xué)習(xí)所有的重要觀點(diǎn)可以不用通過(guò)數(shù)學(xué)表示出來(lái)。當(dāng)你讀這本書時(shí)，甚至可能會(huì)發(fā)現(xiàn)，你發(fā)明了自己的學(xué)習(xí)算法，而且看不到一個(gè)方程式的影子。工業(yè)革命使手工業(yè)自動(dòng)化，信息革命解放了腦力勞動(dòng)，而機(jī)器學(xué)習(xí)則使自動(dòng)化本身自動(dòng)化。沒(méi)有機(jī)器學(xué)習(xí)，程序員會(huì)成為阻撓進(jìn)步的障礙。有了機(jī)器學(xué)習(xí)，進(jìn)步的步伐就會(huì)加快。如果你是一個(gè)懶惰又不那么聰明的計(jì)算機(jī)科學(xué)家，機(jī)器學(xué)習(xí)就是理想的職業(yè)，因?yàn)閷W(xué)習(xí)算法會(huì)完成所有事情，功勞卻是你的。從另一方面講，學(xué)習(xí)算法會(huì)讓我們失業(yè)，這也只是我們應(yīng)受的懲罰。將自動(dòng)化帶入新的高度，機(jī)器學(xué)習(xí)革命會(huì)帶來(lái)廣泛的經(jīng)濟(jì)及社會(huì)變革，正如互聯(lián)網(wǎng)、個(gè)人計(jì)算機(jī)、汽車以及蒸汽機(jī)在當(dāng)時(shí)對(duì)社會(huì)和經(jīng)濟(jì)的影響那樣。這些變革已經(jīng)明顯存在的領(lǐng)域就是商業(yè)。為何商業(yè)擁護(hù)機(jī)器學(xué)習(xí)為什么谷歌比雅虎要有價(jià)值得多？它們都是用戶登錄最多的網(wǎng)站，都靠在網(wǎng)頁(yè)上登廣告賺錢。它們都用拍賣的方式銷售廣告，用機(jī)器學(xué)習(xí)來(lái)預(yù)測(cè)用戶點(diǎn)擊某廣告的概率（概率越大，廣告價(jià)值越大），但谷歌的機(jī)器學(xué)習(xí)就比雅虎要好很多。這不是它們市場(chǎng)價(jià)值差異巨大的唯一原因，卻是主要原因。如果沒(méi)有達(dá)到預(yù)測(cè)的點(diǎn)擊量，對(duì)廣告商來(lái)說(shuō)就是浪費(fèi)機(jī)會(huì)，對(duì)網(wǎng)站來(lái)說(shuō)是收益損失。谷歌每年的收入是500億美元，預(yù)測(cè)點(diǎn)擊率每上升1%，就可能意味著每年為公司帶來(lái)額外5億美元的收入。難怪谷歌是機(jī)器學(xué)習(xí)的鐵桿粉絲，雅虎和其他公司也在奮起直追。網(wǎng)絡(luò)營(yíng)銷僅僅是巨大變革中的一種表現(xiàn)形式。無(wú)論什么市場(chǎng)，生產(chǎn)商和用戶在交易發(fā)生之前，都需要進(jìn)行聯(lián)系。在互聯(lián)網(wǎng)出現(xiàn)之前，交易的主要障礙就是實(shí)地交易。你只能從當(dāng)?shù)氐臅曩?gòu)買書籍，而當(dāng)?shù)貢甑臅芸臻g又有限。但當(dāng)你可以隨時(shí)把所有書下載到電子閱讀器時(shí)，問(wèn)題就變成了可供選擇的書太多。你怎么瀏覽書店里上百萬(wàn)不同名字的書？同樣的問(wèn)題也出現(xiàn)在其他信息產(chǎn)品當(dāng)中：視頻、音樂(lè)、新聞、推特文章、博客、網(wǎng)頁(yè)。這個(gè)問(wèn)題還會(huì)出現(xiàn)在能夠遠(yuǎn)程購(gòu)買的產(chǎn)品和服務(wù)當(dāng)中：鞋子、鮮花、小配件、酒店房間、輔導(dǎo)、投資。人們?cè)谡夜ぷ骰蛱羧兆訒r(shí)，也會(huì)遇到選擇過(guò)多的問(wèn)題。你們?nèi)绾握业奖舜?？這是信息時(shí)代的定義問(wèn)題，而機(jī)器學(xué)習(xí)就是問(wèn)題解決方案的主要部分。當(dāng)公司不斷發(fā)展壯大后，它會(huì)經(jīng)歷三個(gè)階段：第一階段的所有事都由人工完成——夫妻店的店主親自了解其顧客，他們依照顧客類型訂購(gòu)、展示、推薦產(chǎn)品。這很不錯(cuò)，但規(guī)模不大。第二階段是最辛苦的時(shí)期，公司變得越來(lái)越大，需要用到計(jì)算機(jī)。公司招來(lái)程序員、顧問(wèn)，買來(lái)數(shù)據(jù)庫(kù)管理器，程序員編寫了成百萬(wàn)行的代碼來(lái)使公司所有能自動(dòng)化的功能自動(dòng)化。更多的人享受到服務(wù)，但也有麻煩：決定是在粗略的人口統(tǒng)計(jì)類別的基礎(chǔ)上做出來(lái)的，計(jì)算機(jī)程序也過(guò)于死板，無(wú)法與人類無(wú)限的才能相匹配。經(jīng)過(guò)一段時(shí)間進(jìn)入第三階段，沒(méi)有足夠的程序員和顧問(wèn)滿足公司的需要，因此公司不可避免地向機(jī)器學(xué)習(xí)尋求幫助。亞馬遜無(wú)法通過(guò)計(jì)算機(jī)程序?qū)⑺杏脩舻南埠檬炀毜剡M(jìn)行編碼，臉書也不知道如何編寫這樣的程序，能選擇最好的更新內(nèi)容展示給每位用戶。沃爾瑪每天銷售百萬(wàn)件商品，還要做數(shù)十億個(gè)選擇。如果沃爾瑪?shù)某绦騿T努力編寫出能夠做所有選擇的程序，這些選擇就不用人來(lái)做了。相反，這些公司所做的工作是，它們?cè)谑占饺缟降臄?shù)據(jù)后，讓學(xué)習(xí)算法盡情學(xué)習(xí)，然后預(yù)測(cè)顧客想要什么產(chǎn)品。學(xué)習(xí)算法就是“媒人”：它們讓生產(chǎn)商和顧客找到對(duì)方，克服信息過(guò)載。如果這些算法足夠智能，你就能取得兩全其美的結(jié)果：從宏觀來(lái)講，選擇廣、成本低；從微觀來(lái)講，能夠了解顧客的個(gè)性化需求。學(xué)習(xí)算法并不是完美的，決定的最后一步通常還得由人來(lái)做，但學(xué)習(xí)算法很智能，為人們減少了需要做的選擇?；仡欉^(guò)去，我們看到，從計(jì)算機(jī)到互聯(lián)網(wǎng)再到機(jī)器學(xué)習(xí)的進(jìn)步是必然的：計(jì)算機(jī)使互聯(lián)網(wǎng)成為可能，這個(gè)過(guò)程產(chǎn)生大量數(shù)據(jù)以及無(wú)限選擇這個(gè)問(wèn)題。單單互聯(lián)網(wǎng)還不足以把“一個(gè)尺寸滿足所有”的需求轉(zhuǎn)向追求無(wú)限多樣化的長(zhǎng)尾效應(yīng)。網(wǎng)飛公司的庫(kù)存里可能有10萬(wàn)種不同名字的DVD（數(shù)字多功能光盤），但如果顧客不懂得如何找到自己喜歡的，他們就會(huì)默認(rèn)選擇最流行的DVD。只有網(wǎng)飛公司有了學(xué)習(xí)算法之后，才能幫助它了解顧客的喜好，并推薦DVD，長(zhǎng)尾效應(yīng)也才得以真正實(shí)現(xiàn)。一旦必然的事情發(fā)生，機(jī)器學(xué)習(xí)成為媒介，那么其力量也開始慢慢積聚。谷歌的算法很大程度上決定你會(huì)找到什么信息，亞馬遜決定你會(huì)買到什么產(chǎn)品，全球最大的婚戀網(wǎng)站默契網(wǎng)（M）決定你的約會(huì)對(duì)象是誰(shuí)。最好的選擇權(quán)仍在你手里——從算法給你展示的所有選項(xiàng)中挑選，但99.9%的選擇由算法做出。當(dāng)下，一家公司的成敗取決于學(xué)習(xí)算法對(duì)其產(chǎn)品的喜愛(ài)程度，而整個(gè)經(jīng)濟(jì)體的成功——是否每個(gè)人都能得到自己需要的物美價(jià)廉的產(chǎn)品，則取決于學(xué)習(xí)算法的好用程度。公司確保學(xué)習(xí)算法喜愛(ài)其產(chǎn)品的最佳方法就是，讓公司自己運(yùn)行算法。誰(shuí)有最佳算法、數(shù)據(jù)最多，誰(shuí)就能贏。新型網(wǎng)絡(luò)效應(yīng)占據(jù)上風(fēng)：誰(shuí)有最多的用戶，誰(shuí)就能積累最多的數(shù)據(jù)，誰(shuí)有最多的數(shù)據(jù)，誰(shuí)就能學(xué)到最好的模型，誰(shuí)學(xué)到最好的模型，誰(shuí)就能吸引最多的用戶，這是一種良性循環(huán)（如果你在競(jìng)爭(zhēng)，就會(huì)變成惡性循環(huán)）。把搜索引擎從谷歌轉(zhuǎn)換到必應(yīng)，可能會(huì)比把應(yīng)用系統(tǒng)從Windows切換到Mac要簡(jiǎn)單，但在實(shí)際操作中，你不會(huì)這么做，因?yàn)楣雀钃碛蓄I(lǐng)先優(yōu)勢(shì)及更大的市場(chǎng)份額，比必應(yīng)更懂得你想要什么，雖然必應(yīng)的技術(shù)也不錯(cuò)。可惜的是，必應(yīng)剛進(jìn)入搜索行業(yè)，沒(méi)有什么數(shù)據(jù)資源，而谷歌卻擁有十余年的機(jī)器學(xué)習(xí)經(jīng)驗(yàn)。你可能會(huì)認(rèn)為，過(guò)一段時(shí)間，更多的數(shù)據(jù)結(jié)果意味著更多的重復(fù)，但數(shù)據(jù)的飽和點(diǎn)還未出現(xiàn)，長(zhǎng)尾效應(yīng)持續(xù)起作用。如果你看亞馬遜或網(wǎng)飛公司為你提供的推薦產(chǎn)品，很明顯，這些推薦項(xiàng)仍很粗略，而谷歌的搜索結(jié)果也有很大的優(yōu)化空間。每個(gè)產(chǎn)品的特性、網(wǎng)頁(yè)的每個(gè)角落都有很大的潛力，能通過(guò)機(jī)器學(xué)習(xí)得到改善。網(wǎng)頁(yè)底部的鏈接應(yīng)該是紅色的還是藍(lán)色的？?jī)蓚€(gè)顏色都試試，看看哪個(gè)顏色的點(diǎn)擊率會(huì)更高。還有，最好讓機(jī)器學(xué)習(xí)持續(xù)運(yùn)行，不斷調(diào)整網(wǎng)頁(yè)的所有方面。所有擁有眾多選擇和大量數(shù)據(jù)的市場(chǎng)都會(huì)發(fā)生這樣的動(dòng)態(tài)循環(huán)。比賽正在進(jìn)行，誰(shuí)學(xué)得最快，誰(shuí)就贏了。隨著越來(lái)越好地了解用戶需求，這個(gè)比賽不會(huì)停止：企業(yè)可以將機(jī)器學(xué)習(xí)應(yīng)用到企業(yè)運(yùn)作的每個(gè)方面，只要有足夠的數(shù)據(jù)，只要數(shù)據(jù)能夠從計(jì)算機(jī)、通信設(shè)備以及更廉價(jià)、更普適的傳感器源源不斷地輸出?！皵?shù)據(jù)是新型石油”是目前的流行說(shuō)法，既然是石油，提煉石油就是一筆大生意。和其他公司一樣，IBM已制定經(jīng)濟(jì)增長(zhǎng)戰(zhàn)略，為企業(yè)提供分析服務(wù)。業(yè)界將數(shù)據(jù)看作戰(zhàn)略資產(chǎn)：我有什么數(shù)據(jù)，而競(jìng)爭(zhēng)對(duì)手卻沒(méi)有？我要怎么利用這些數(shù)據(jù)？競(jìng)爭(zhēng)對(duì)手有什么數(shù)據(jù)，而我卻沒(méi)有？同樣的道理，沒(méi)有數(shù)據(jù)庫(kù)的銀行無(wú)法和有數(shù)據(jù)庫(kù)的銀行競(jìng)爭(zhēng)，沒(méi)有機(jī)器學(xué)習(xí)的企業(yè)也無(wú)法跟上使用機(jī)器學(xué)習(xí)的企業(yè)。雖然第一家公司的專家寫了上千條規(guī)則，預(yù)測(cè)用戶的喜好，但是第二家公司的算法卻能學(xué)習(xí)數(shù)十億條規(guī)則，一整套規(guī)則都可用于每位用戶。這就相當(dāng)于長(zhǎng)矛對(duì)機(jī)關(guān)槍。機(jī)器學(xué)習(xí)是很棒的新技術(shù)，但這并不是商業(yè)界擁護(hù)它的原因——人們之所以擁護(hù)它，是因?yàn)閯e無(wú)選擇。給科學(xué)方法增壓機(jī)器學(xué)習(xí)是“打了類固醇”的科學(xué)方法，也遵循同樣的過(guò)程：產(chǎn)生假設(shè)、驗(yàn)證、放棄或完善?？茖W(xué)家可能會(huì)花費(fèi)畢生精力來(lái)提出或驗(yàn)證幾百個(gè)假設(shè)，而機(jī)器學(xué)習(xí)系統(tǒng)卻能在一秒鐘內(nèi)做完這些事。機(jī)器學(xué)習(xí)使科學(xué)的發(fā)現(xiàn)過(guò)程自動(dòng)化。因此，并不奇怪，這既是商業(yè)領(lǐng)域的革命，也是科學(xué)領(lǐng)域的革命。為了取得進(jìn)步，科學(xué)的每個(gè)領(lǐng)域都需要足夠的數(shù)據(jù)，以與其研究現(xiàn)象的復(fù)雜性相對(duì)應(yīng)。這是物理成為第一個(gè)騰飛學(xué)科的原因：第谷·布拉赫對(duì)星球位置的記錄，以及伽利略對(duì)鐘擺擺動(dòng)、斜面的觀察，已經(jīng)足以推導(dǎo)出牛頓定律。這也是為什么雖然分子生物學(xué)這個(gè)學(xué)科比神經(jīng)科學(xué)年輕，但是已超越神經(jīng)科學(xué)：DNA（脫氧核糖核酸）微陣列以及高通量測(cè)序技術(shù)提供了大量的數(shù)據(jù)，而神經(jīng)科學(xué)家對(duì)此只能可望而不可即。這也是為什么社會(huì)科學(xué)研究是一場(chǎng)艱苦卓絕的斗爭(zhēng)：你擁有的只是100人的樣本和每個(gè)人的十幾個(gè)測(cè)量值，你能模擬的也只是某個(gè)規(guī)模很有限的現(xiàn)象，甚至這個(gè)現(xiàn)象可能不是孤立存在的，還受到其他現(xiàn)象的影響，這就意味你仍然沒(méi)有徹底了解它。有個(gè)好消息，那就是之前缺乏數(shù)據(jù)的學(xué)科現(xiàn)在擁有很多數(shù)據(jù)。用不著讓50名睡眼惺忪的本科生到實(shí)驗(yàn)室完成任務(wù)并付給他們報(bào)酬，心理學(xué)家通過(guò)在亞馬遜“土耳其機(jī)器人”\h[3]上發(fā)布實(shí)驗(yàn)任務(wù)，就可以找到滿足他們數(shù)量要求的實(shí)驗(yàn)對(duì)象（這個(gè)網(wǎng)站對(duì)更多樣化的樣本也有幫助）。雖然回想起來(lái)越來(lái)越困難，但也只是10年前，研究社交網(wǎng)絡(luò)的社會(huì)學(xué)家哀嘆說(shuō)，他們無(wú)法得到成員超過(guò)幾百人的社交網(wǎng)絡(luò)。現(xiàn)在有了臉書，有超過(guò)10億用戶。大部分用戶會(huì)發(fā)布有關(guān)他們生活的很多細(xì)節(jié)，就像地球社會(huì)生活的實(shí)時(shí)直播。在神經(jīng)科學(xué)領(lǐng)域，神經(jīng)連接組學(xué)和功能性磁共振成像讓人們對(duì)大腦有了十分詳細(xì)的了解。在分子生物學(xué)領(lǐng)域，基因和蛋白質(zhì)的數(shù)據(jù)庫(kù)數(shù)量以指數(shù)級(jí)速度增長(zhǎng)。甚至更為“年長(zhǎng)”的學(xué)科，如物理學(xué)和解剖學(xué)也在不斷進(jìn)步，因?yàn)榱Ｗ蛹铀倨骱蛿?shù)字巡天領(lǐng)域的數(shù)據(jù)在源源不斷輸出。如果你不將大數(shù)據(jù)變成知識(shí)，它將毫無(wú)用處，可是世界上沒(méi)有那么多科學(xué)家來(lái)完成這件事。埃德溫·哈勃通過(guò)鉆研照相底片發(fā)現(xiàn)新的星系，但史隆數(shù)字巡天計(jì)劃中，多達(dá)5億的天體肯定不是這樣被辨認(rèn)出來(lái)的。這就像在沙灘上用手來(lái)數(shù)沙粒的數(shù)目。你可以記錄規(guī)則，把星系從星星及干擾物（如鳥、飛機(jī)、超人）區(qū)分開來(lái)，但得出的星系并不是那么準(zhǔn)確。相比之下，天體圖像目錄編輯和分析工具（SKICAT）項(xiàng)目使用了學(xué)習(xí)算法。底片包括標(biāo)記了正確類別的天體，從這些底片出發(fā)，學(xué)習(xí)算法可以明白每個(gè)分類的特點(diǎn)，并將其應(yīng)用到?jīng)]有標(biāo)記的底片當(dāng)中。甚至更理想的是，學(xué)習(xí)算法能夠?qū)⒛切?duì)人類來(lái)說(shuō)難以標(biāo)記的天體進(jìn)行分類，這些天體正是該項(xiàng)調(diào)查計(jì)劃的主要內(nèi)容。有了大數(shù)據(jù)和機(jī)器學(xué)習(xí)，你就能弄明白比之前復(fù)雜很多的現(xiàn)象。在多數(shù)領(lǐng)域，科學(xué)家一般只使用種類很有限的模型，例如線性回歸模型，在這個(gè)模型當(dāng)中，你用來(lái)適應(yīng)數(shù)據(jù)的曲線總是一條直線。遺憾的是，世界上的大多數(shù)現(xiàn)象都是非線性的（或者說(shuō)這也是一件幸事，如果是線性的，生活會(huì)變得非常乏味。實(shí)際上，那樣就不會(huì)存在生命了）。機(jī)器學(xué)習(xí)打開了廣闊、全新的非線性模型世界。這就好比在只有幾縷月光照射的房間，打開了明亮的燈。在生物學(xué)領(lǐng)域，學(xué)習(xí)算法的研究成果包括：DNA分子中基因的位置；在蛋白質(zhì)合成前，多余的核糖核酸在哪里進(jìn)行絞接；蛋白質(zhì)如何折疊成各自的特有形狀；不同條件如何對(duì)基因的表達(dá)造成影響。用不著在實(shí)驗(yàn)室對(duì)新藥進(jìn)行測(cè)試，機(jī)器學(xué)習(xí)就可以預(yù)測(cè)這些藥物是否有效，只有最有效的藥品才會(huì)受到測(cè)試。學(xué)習(xí)算法還會(huì)剔除那些可能產(chǎn)生嚴(yán)重副作用（甚至導(dǎo)致癌癥）的藥物，備選藥物無(wú)須在經(jīng)過(guò)人體試驗(yàn)被證明無(wú)效后才被禁止使用，從而避免了代價(jià)昂貴的失敗。然而，最大的挑戰(zhàn)就是將所有這些數(shù)據(jù)組合成一個(gè)整體。導(dǎo)致你患心臟病的因素有哪些？這些因素如何相互影響？牛頓需要的只是三個(gè)運(yùn)動(dòng)定律和一個(gè)萬(wàn)有引力定律，但一個(gè)細(xì)胞、一個(gè)有機(jī)體、一個(gè)社會(huì)的完整模型卻無(wú)法由一個(gè)人來(lái)發(fā)現(xiàn)。雖然隨著知識(shí)的增長(zhǎng)，科學(xué)家的分工變得越來(lái)越細(xì)，但是沒(méi)有人能夠?qū)⑺兄R(shí)整合到一起，因?yàn)橹R(shí)太多了。雖然科學(xué)家們會(huì)合作，但語(yǔ)言是傳播速度非常緩慢的介質(zhì)。雖然科學(xué)家們想努力追上別人的研究，但出版物的數(shù)量如此之多，他們的距離被拉得越來(lái)越遠(yuǎn)。通常是，重做一項(xiàng)實(shí)驗(yàn)比找到該實(shí)驗(yàn)的報(bào)告還要容易。機(jī)器學(xué)習(xí)在這時(shí)就會(huì)起作用，它能根據(jù)相關(guān)信息搜索文獻(xiàn)，將某領(lǐng)域的行話翻譯到另一個(gè)領(lǐng)域，并建立聯(lián)系，而科學(xué)家們?cè)谶^(guò)去都沒(méi)有意識(shí)到。漸漸地，機(jī)器學(xué)習(xí)成為一個(gè)巨大的中心，通過(guò)這個(gè)中心，某領(lǐng)域里發(fā)明的建模技術(shù)將會(huì)被引入其他領(lǐng)域。如果計(jì)算機(jī)沒(méi)有被發(fā)明出來(lái)，20世紀(jì)下半葉的科學(xué)將停滯不前。這可能不會(huì)很快在科學(xué)家當(dāng)中表現(xiàn)出來(lái)，因?yàn)樗麄儗Ｗ⒂谒腥钥膳?shí)現(xiàn)、有限的進(jìn)步，但進(jìn)步的空間真的太小了。同樣，如果沒(méi)有機(jī)器學(xué)習(xí)，許多科學(xué)在未來(lái)10年將會(huì)面臨收益遞減。為了預(yù)見(jiàn)科學(xué)的未來(lái)，看看曼徹斯特大學(xué)生物技術(shù)研究院的實(shí)驗(yàn)室，在那里，一個(gè)名叫亞當(dāng)?shù)臋C(jī)器人正在努力工作，目的是找到哪些基因在酵母中對(duì)哪些酶進(jìn)行編碼。亞當(dāng)有一個(gè)酵母新陳代謝的模型，還掌握了基本的基因及蛋白質(zhì)知識(shí)。它提出假設(shè)，設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證假設(shè)，進(jìn)行實(shí)地實(shí)驗(yàn)，分析結(jié)果，提出新的假設(shè)，直到它滿意為止。當(dāng)下，人類科學(xué)家仍然在獨(dú)立檢查亞當(dāng)?shù)慕Y(jié)果，然后才會(huì)相信這些結(jié)果，但在未來(lái)，他們就會(huì)交給機(jī)器人科學(xué)家來(lái)驗(yàn)證彼此的假設(shè)。10億個(gè)比爾·克林頓在2012年的美國(guó)總統(tǒng)選舉中，機(jī)器學(xué)習(xí)決定了誰(shuí)能當(dāng)上總統(tǒng)。通常決定總統(tǒng)選舉的因素包括經(jīng)濟(jì)、候選人的親民度等，但這些因素沒(méi)有起到作用，而選舉的結(jié)果主要受到幾個(gè)“搖擺州”的影響。米特·羅姆尼的競(jìng)選采用的是傳統(tǒng)的投票策略，將選民分成幾大類，然后選擇是否把每個(gè)類別作為目標(biāo)。尼爾·紐豪斯（羅姆尼的民意調(diào)查專家）說(shuō)道：“如果我們能在俄亥俄州贏得無(wú)黨派人士，那么這場(chǎng)競(jìng)賽我們就贏了?！彪m然羅姆尼獲得了7%無(wú)黨派人士的支持，但他仍失去了這個(gè)州，在競(jìng)選中失利。相比之下，奧巴馬總統(tǒng)雇用了拉伊德·賈尼（機(jī)器學(xué)習(xí)專家，他是奧巴馬競(jìng)選中的首席科學(xué)家）。賈尼研究的是如何整合最偉大的分析運(yùn)算，并將其應(yīng)用到政治史中。他們將所有選民的信息整合成單個(gè)數(shù)據(jù)庫(kù)，然后將該數(shù)據(jù)庫(kù)和他們能在社交網(wǎng)絡(luò)、市場(chǎng)營(yíng)銷等領(lǐng)域找到的資源結(jié)合起來(lái)。之后著手對(duì)每個(gè)選民做四種預(yù)測(cè)：（1）支持奧巴馬的可能性有多大；（2）會(huì)不會(huì)參加民意調(diào)查；（3）會(huì)不會(huì)回應(yīng)競(jìng)選宣傳并照做；（4）對(duì)特定問(wèn)題進(jìn)行對(duì)話之后，他們會(huì)不會(huì)改變選舉決定。基于這些選民的例子，奧巴馬團(tuán)隊(duì)每個(gè)晚上進(jìn)行66000場(chǎng)選舉模擬，并用這些結(jié)果指導(dǎo)奧巴馬競(jìng)選的志愿者大軍：該給誰(shuí)打電話，該拜訪誰(shuí)，該說(shuō)什么。在政界、商界以及戰(zhàn)爭(zhēng)中，最糟糕的事情莫過(guò)于，你不明白對(duì)手的行動(dòng)，而知道該怎么做時(shí)，為時(shí)已晚。這就是發(fā)生在羅姆尼競(jìng)選中的事情，他們能看到對(duì)手的團(tuán)隊(duì)在特定鎮(zhèn)的特定電臺(tái)花錢做宣傳，卻不知道這是為什么，他們能預(yù)測(cè)的實(shí)在太少。最后，奧巴馬除了北卡羅來(lái)納州以外，贏得了每個(gè)州，而且與最可靠的民意調(diào)查專家的預(yù)測(cè)相比，他贏得了更多。反過(guò)來(lái)，最可靠的民意調(diào)查專家（例如內(nèi)特·希爾）使用的是最復(fù)雜的預(yù)測(cè)技術(shù)，預(yù)測(cè)結(jié)果卻沒(méi)有奧巴馬競(jìng)選團(tuán)隊(duì)的結(jié)果準(zhǔn)確，因?yàn)樗麄兊馁Y源比較少。但他們比那些所謂的權(quán)威人士要準(zhǔn)確很多，因?yàn)槟切┤说念A(yù)測(cè)只是基于他們自己的專業(yè)知識(shí)。也許你會(huì)認(rèn)為，2012年的美國(guó)總統(tǒng)競(jìng)選只是機(jī)緣巧合：大多數(shù)選舉結(jié)果并不那么接近，機(jī)器學(xué)習(xí)無(wú)法成為決定因素。但未來(lái)機(jī)器學(xué)習(xí)會(huì)讓更多的選舉結(jié)果更接近。在政界，正如在所有領(lǐng)域那樣，學(xué)習(xí)就像一場(chǎng)掰手腕比賽。在卡爾·羅夫（前直銷商和數(shù)據(jù)挖掘工程師）的年代，共和黨是領(lǐng)先的。到了2012年，共和黨開始掉隊(duì)，但現(xiàn)在他們又追上來(lái)了。我們不知道下一輪選舉誰(shuí)會(huì)領(lǐng)先，但我們知道兩個(gè)黨派為了贏得選舉都很努力。這也就意味著，應(yīng)該更好地了解選民，根據(jù)候選人的情況進(jìn)行宣傳，甚至根據(jù)實(shí)際情況選擇候選人。在選舉期間以及每輪選舉之間，這適用于整個(gè)黨綱：在硬數(shù)據(jù)的基礎(chǔ)上，如果詳細(xì)的選民模式表明該黨派現(xiàn)在的綱領(lǐng)是失敗的，那么該黨派就應(yīng)改變它。因此，把主要選舉活動(dòng)放到一邊，民意調(diào)查中候選人的差距會(huì)變得越來(lái)越小，而且很快會(huì)消失。其他條件不變，擁有更好選民模式的候選人會(huì)贏得選舉，而選民也會(huì)因此得到更好的服務(wù)。政治家最偉大的才能之一，就是能夠了解其選民個(gè)人或者選民團(tuán)體，然后直接與他們對(duì)話，比爾·克林頓就是其中的一個(gè)典范。機(jī)器學(xué)習(xí)的作用就是，讓每位選民都覺(jué)得克林頓對(duì)待他們親力親為、非常用心。盡管他們心目中的這些小小克林頓與真的克林頓相差太遠(yuǎn)了，但優(yōu)勢(shì)在于“小克林頓”的數(shù)量眾多，哪怕比爾·克林頓根本無(wú)法了解美國(guó)的每位選民是怎么想的（雖然他確實(shí)想知道）。學(xué)習(xí)算法是最強(qiáng)大的政治家推銷商。當(dāng)然，就像企業(yè)一樣，政治家能把機(jī)器學(xué)習(xí)掌握的信息用好，也可能會(huì)用得很糟糕。例如，對(duì)不同的選民，他們可能會(huì)給出不一致的承諾，但選民、媒體、監(jiān)督組織也會(huì)自己進(jìn)行數(shù)據(jù)挖掘，并揭露做得太過(guò)分的政治家。競(jìng)選活動(dòng)不僅僅是候選人之間的較量，還涉及民主進(jìn)程中的所有參與者。更大范圍的結(jié)果就是，民主會(huì)更好地得到實(shí)現(xiàn)，因?yàn)檫x民與政治家之間交流的范圍會(huì)飛速擴(kuò)大。在當(dāng)今這個(gè)高速互聯(lián)網(wǎng)時(shí)代，民意代表從你身上獲取的信息數(shù)量仍像19世紀(jì)時(shí)一樣有限：每?jī)赡陼?huì)有100比特左右的信息，數(shù)量正好對(duì)應(yīng)一張選票。這些信息會(huì)由民意信息來(lái)補(bǔ)充，或許偶爾還會(huì)有電子郵件和市民大會(huì)的信息，但還是少得可憐。大數(shù)據(jù)和機(jī)器學(xué)習(xí)正改變這種等式關(guān)系。在未來(lái)，只要選民模式準(zhǔn)確，當(dāng)選官員就可以每天詢問(wèn)選民上千次想要什么，然后根據(jù)詢問(wèn)結(jié)果來(lái)辦事，不用在現(xiàn)實(shí)中糾纏選民。學(xué)習(xí)算法與國(guó)家安全在網(wǎng)絡(luò)空間之外，學(xué)習(xí)算法是保護(hù)國(guó)家的壁壘。每天，國(guó)外襲擊者都會(huì)企圖闖進(jìn)五角大樓、國(guó)防承包商以及其他公司和政府機(jī)構(gòu)的計(jì)算機(jī)。他們的計(jì)謀不斷變化，能抵抗昨天襲擊的方法，今天就已經(jīng)不管用了。編寫代碼來(lái)偵查并阻止每場(chǎng)襲擊，可能會(huì)和馬其諾防線一樣有效，五角大樓的網(wǎng)絡(luò)司令部十分了解這一點(diǎn)。但如果是恐怖分子的第一次襲擊，而且也沒(méi)有之前的例子供機(jī)器學(xué)習(xí)來(lái)參考，那么機(jī)器學(xué)習(xí)就會(huì)遇到問(wèn)題。學(xué)習(xí)算法會(huì)構(gòu)建正常行為的模型（這樣的模型數(shù)量很多），標(biāo)出異常行為，然后召集來(lái)“騎兵”（系統(tǒng)管理員）。如果網(wǎng)絡(luò)戰(zhàn)爭(zhēng)發(fā)生，人類就是總指揮，算法就是步兵。人類速度太慢、數(shù)量太少，很快就會(huì)被機(jī)器人大軍殲滅。我們需要自己的機(jī)器人軍隊(duì)，而機(jī)器學(xué)習(xí)就像機(jī)器人中的西點(diǎn)軍校。網(wǎng)絡(luò)戰(zhàn)爭(zhēng)是不對(duì)稱戰(zhàn)爭(zhēng)的一個(gè)例子，一方的傳統(tǒng)軍事實(shí)力比不上另一方，但仍然可以給對(duì)方造成嚴(yán)重傷害。少數(shù)恐怖分子只用美工刀就可以撞到雙子塔，并讓幾千名無(wú)辜者遇難。當(dāng)今美國(guó)安全最大的威脅就是不對(duì)稱戰(zhàn)爭(zhēng)，而且抵抗所有威脅的有效武器就是信息。如果敵人躲不了，那么他也活不了。好消息就是我們有大量信息，但也有壞消息。美國(guó)國(guó)家安全局已經(jīng)對(duì)數(shù)據(jù)產(chǎn)生無(wú)限大的胃口，也因此聲名狼藉。據(jù)估計(jì)，每天美國(guó)國(guó)家安全局竊聽(tīng)著全球10億多個(gè)通話，還有其他通信。但是，拋開隱私問(wèn)題，它也沒(méi)有讓上百萬(wàn)員工來(lái)竊聽(tīng)這些通話、偷看郵件，甚至也不會(huì)記錄誰(shuí)和誰(shuí)通話。絕大多數(shù)通話是沒(méi)有嫌疑的，而專門編寫程序來(lái)找出有嫌疑的通話又很困難。過(guò)去，美國(guó)國(guó)家安全局利用關(guān)鍵詞配對(duì)方法，但要應(yīng)付這個(gè)方法也很容易（例如，把爆炸襲擊稱作“結(jié)婚”，把炸彈稱作“結(jié)婚蛋糕”）。21世紀(jì)，這些事就可以交給機(jī)器學(xué)習(xí)。保密是安全局的標(biāo)志，但安全局局長(zhǎng)已經(jīng)向美國(guó)國(guó)會(huì)證明，通話記錄挖掘已經(jīng)阻止了幾十起恐怖威脅?？植婪肿涌呻[藏在足球比賽的人群中，但學(xué)習(xí)算法能辨認(rèn)他們的相貌?？植婪肿涌梢栽趪?guó)外制造爆炸事件，但學(xué)習(xí)算法能找出他們。學(xué)習(xí)算法還可以做更加精細(xì)的事情：將機(jī)器人與事件連接起來(lái)，這些事件單個(gè)看起來(lái)并無(wú)危害，但集中起來(lái)可能就預(yù)示著不祥。這種方法本可以阻止“9·11”事件的發(fā)生。有一個(gè)進(jìn)一步的轉(zhuǎn)折：一旦確定的程序部署下來(lái)，壞人可能會(huì)改變其活動(dòng)，以擾亂該程序。這與自然世界不同，自然世界總是以同樣的方式運(yùn)轉(zhuǎn)。要解決這個(gè)問(wèn)題，就要將機(jī)器學(xué)習(xí)與博弈論相結(jié)合，這是我已經(jīng)在做的工作：別只想著打擊對(duì)手當(dāng)前想做的事，要學(xué)會(huì)巧妙地回避對(duì)手對(duì)你的學(xué)習(xí)算法的損害。正如博弈論那樣，把各種措施的成本和利益考慮在內(nèi)，這也有助于找到隱私與安全之間的平衡點(diǎn)。不列顛之戰(zhàn)期間，英國(guó)空軍阻止了納粹德國(guó)空軍的進(jìn)攻，盡管后者人數(shù)比前者多很多。德國(guó)飛行員不明白，為什么無(wú)論走到哪里，他們總會(huì)碰上英國(guó)空軍。英國(guó)有一個(gè)秘密武器：雷達(dá)，可以在德國(guó)飛機(jī)越境進(jìn)入英國(guó)領(lǐng)空時(shí)，就探測(cè)到它們。機(jī)器學(xué)習(xí)就像裝了雷達(dá)，能夠預(yù)知未來(lái)。別只是回?fù)魧?duì)手的行動(dòng)，要預(yù)測(cè)他們的行動(dòng)，并先發(fā)制人。一個(gè)更確切的例子就是人們熟知的“預(yù)知執(zhí)法”。通過(guò)預(yù)測(cè)犯罪傾向，戰(zhàn)略性地將巡邏隊(duì)集中在最可能需要的地方，同時(shí)采取其他預(yù)防措施，這樣一座城市的警力就能有效地完成更大范圍的工作。在許多方面，執(zhí)法過(guò)程就像不對(duì)稱戰(zhàn)爭(zhēng)，會(huì)用到許多相似的學(xué)習(xí)算法，無(wú)論是在偵查詐騙、揭露犯罪網(wǎng)絡(luò)，還是普通傳統(tǒng)的打擊執(zhí)法中。機(jī)器學(xué)習(xí)在戰(zhàn)爭(zhēng)中也將扮演越來(lái)越重要的角色。學(xué)習(xí)算法能有助于驅(qū)散戰(zhàn)爭(zhēng)迷霧，篩選偵察圖像，處理后續(xù)報(bào)告，并整合信息，為指揮官提供戰(zhàn)爭(zhēng)形勢(shì)分析。學(xué)習(xí)算法可以武裝軍用機(jī)器人的大腦，幫助其保持方位，適應(yīng)地形，把敵機(jī)和民用機(jī)區(qū)別開來(lái)，以及進(jìn)行制導(dǎo)。美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）的領(lǐng)頭狗（AlphaDog）能為士兵搬運(yùn)設(shè)備。遙控飛機(jī)在學(xué)習(xí)算法的作用下可自主飛行。雖然它們?nèi)允艿饺祟愶w行員的部分控制，但未來(lái)的趨勢(shì)是一個(gè)飛行員監(jiān)控越來(lái)越多的遙控飛機(jī)群。在未來(lái)的軍隊(duì)里，學(xué)習(xí)算法的數(shù)量會(huì)大大超過(guò)士兵的人數(shù)，這將減少許多士兵的傷亡。我們將走向何方科技潮流奔涌而來(lái)并迅猛向前。機(jī)器學(xué)習(xí)不同尋常的一點(diǎn)就是，在經(jīng)歷所有這些變革以及繁榮和破產(chǎn)之后，它開始逐漸強(qiáng)大。它遇到的第一個(gè)大的打擊是在金融領(lǐng)域，預(yù)測(cè)股票的起伏波動(dòng)，起于20世紀(jì)80年代。接下來(lái)的一波是挖掘企業(yè)數(shù)據(jù)庫(kù)，在20世紀(jì)90年代中開始發(fā)展壯大，尤其是在直接營(yíng)銷、客戶關(guān)系管理、資信評(píng)分以及詐騙偵查等領(lǐng)域。接著是網(wǎng)絡(luò)和電子商務(wù)，在這些領(lǐng)域中，自動(dòng)個(gè)性化很快流行起來(lái)。當(dāng)互聯(lián)網(wǎng)泡沫暫時(shí)削弱這種趨勢(shì)時(shí)，將機(jī)器學(xué)習(xí)應(yīng)用到網(wǎng)頁(yè)搜索和廣告投放的做法開始騰飛起來(lái)。不管怎樣，“9·11”恐怖襲擊后機(jī)器學(xué)習(xí)被應(yīng)用到打擊恐怖主義的戰(zhàn)爭(zhēng)中。網(wǎng)絡(luò)2.0帶來(lái)一連串的新應(yīng)用，包括挖掘社交網(wǎng)絡(luò)、搜索哪些博客談到你的產(chǎn)品。同時(shí)，各個(gè)領(lǐng)域的科學(xué)家也逐漸轉(zhuǎn)向大規(guī)模建模，由分子生物學(xué)家和天文學(xué)家打頭陣。人們勉強(qiáng)留意到了房地產(chǎn)泡沫，而其主要影響就是使人才從華爾街轉(zhuǎn)移到硅谷，并受到歡迎。2011年，“大數(shù)據(jù)”的概念流行起來(lái)，機(jī)器學(xué)習(xí)被明確歸入全球經(jīng)濟(jì)未來(lái)的中心。當(dāng)今，似乎沒(méi)有哪個(gè)人類鉆研的領(lǐng)域不受到機(jī)器學(xué)習(xí)的影響，甚至包括看起來(lái)沒(méi)有多大關(guān)系的領(lǐng)域（如音樂(lè)、體育、品酒）。盡管機(jī)器學(xué)習(xí)發(fā)展很明顯，但這也僅僅是未來(lái)的預(yù)告。雖然它有用，但實(shí)際上當(dāng)今在工業(yè)上起作用的學(xué)習(xí)算法的生成還是受到了很大限制。如果現(xiàn)在實(shí)驗(yàn)室的算法能在各領(lǐng)域的前線使用，比爾·蓋茨說(shuō)機(jī)器學(xué)習(xí)的突破產(chǎn)生的價(jià)值將相當(dāng)于10家微軟，其實(shí)這個(gè)說(shuō)法有點(diǎn)保守了。如果這些觀點(diǎn)讓研究人員真正覺(jué)得眼前一片光明，而且收到效果，那么機(jī)器學(xué)習(xí)帶來(lái)的就不僅僅是新的文明時(shí)代，還是地球生命進(jìn)化的新階段。怎樣才能實(shí)現(xiàn)這個(gè)目標(biāo)？學(xué)習(xí)算法如何運(yùn)行？現(xiàn)在它們不能做什么？它們的下一代會(huì)是怎樣的？機(jī)器學(xué)習(xí)革命將以什么方式呈現(xiàn)？你得抓住哪些機(jī)遇，提防哪些危險(xiǎn)？這些就是這本書要講的內(nèi)容。\h[3]亞馬遜“土耳其機(jī)器人”（AmazonMechanicalTurk）是一個(gè)Web服務(wù)應(yīng)用程序接口，開發(fā)商通過(guò)它可以將人的智能整合到遠(yuǎn)程過(guò)程調(diào)用?！幷咦⒌诙?/p>

終極算法機(jī)器學(xué)習(xí)的應(yīng)用非常廣泛，更為驚人的是，相同算法可完成不同的事情。在機(jī)器學(xué)習(xí)領(lǐng)域之外，如果你要解決兩個(gè)不同的問(wèn)題，就得編寫兩個(gè)不同的程序。這些程序可能用到相同的基礎(chǔ)架構(gòu)，如相同的編程語(yǔ)言或數(shù)據(jù)庫(kù)系統(tǒng)。但是，如果你想處理信用卡申請(qǐng)，諸如下棋的程序則毫無(wú)用處。在機(jī)器學(xué)習(xí)領(lǐng)域，如果提供適當(dāng)?shù)臄?shù)據(jù)來(lái)讓機(jī)器學(xué)習(xí)，那么相同的算法既可以處理信用卡申請(qǐng)，也可以下棋。實(shí)際上，大量的機(jī)器學(xué)習(xí)應(yīng)用僅僅由幾個(gè)算法來(lái)負(fù)責(zé)，在接下來(lái)的幾個(gè)章節(jié)中我們會(huì)談到這些算法。例如，樸素貝葉斯算法就是一個(gè)可以用短方程來(lái)表達(dá)的學(xué)習(xí)算法。只要提供患者病歷的數(shù)據(jù)庫(kù)，包括病人的癥狀、檢查結(jié)果，或者他們是否有什么特殊情況，樸素貝葉斯算法就可在一秒之內(nèi)做出診斷，而且往往比那些花幾年在醫(yī)學(xué)院學(xué)習(xí)的醫(yī)生還要強(qiáng)，甚至它還可打敗花費(fèi)數(shù)千小時(shí)構(gòu)建的醫(yī)學(xué)專家系統(tǒng)。該算法還可應(yīng)用于學(xué)習(xí)垃圾郵件過(guò)濾器，乍一看，這和醫(yī)療診斷毫無(wú)關(guān)系。另外一個(gè)簡(jiǎn)單的學(xué)習(xí)算法就是最近鄰算法，它的用途十分廣泛，從筆跡識(shí)別到控制機(jī)器人手，以及推薦你可能喜歡的書籍或者電影。決策樹學(xué)習(xí)算法也同樣擅長(zhǎng)決定你的信用卡申請(qǐng)是否應(yīng)被通過(guò)、尋找DNA中的絞接點(diǎn)，以及下棋時(shí)指導(dǎo)下一步該怎么走。相同的學(xué)習(xí)算法不僅可以完成無(wú)窮無(wú)盡且不同的事情，而且和被它們替代的傳統(tǒng)算法相比，它們要簡(jiǎn)單得多。多數(shù)學(xué)習(xí)算法可能只需數(shù)百行或者數(shù)千行代碼。相比之下，傳統(tǒng)程序則需幾十萬(wàn)甚至上百萬(wàn)行代碼，并且單個(gè)學(xué)習(xí)算法就可以導(dǎo)出無(wú)數(shù)個(gè)不同的程序。如果那么少的學(xué)習(xí)算法就可以做那么多事，那么有一個(gè)邏輯上的疑問(wèn)：?jiǎn)蝹€(gè)學(xué)習(xí)算法可以把所有事情都做完嗎？換句話說(shuō)，單個(gè)算法可以學(xué)習(xí)所有能從數(shù)據(jù)中學(xué)習(xí)的東西嗎？這是一個(gè)非常艱巨的任務(wù)，因?yàn)檫@基本上包含成年人大腦里以及人類進(jìn)步所創(chuàng)造的一切，還有所有科學(xué)知識(shí)的總和。實(shí)際上，對(duì)所有主要的學(xué)習(xí)算法——包括最近鄰算法、決策樹學(xué)習(xí)算法以及貝葉斯網(wǎng)絡(luò)（樸素貝葉斯的概括）——來(lái)說(shuō)，如果你為學(xué)習(xí)算法提供足夠、適當(dāng)?shù)臄?shù)據(jù)，該算法可以實(shí)現(xiàn)任一功能（對(duì)學(xué)習(xí)任何東西來(lái)說(shuō)，都與數(shù)學(xué)相關(guān)）。需要注意的是，“足夠數(shù)據(jù)”也有可能無(wú)限。學(xué)習(xí)無(wú)限數(shù)據(jù)需要做出假設(shè)，如我們會(huì)看到的那樣，而且不同的學(xué)習(xí)算法會(huì)有不同的假設(shè)。如果不把這些假設(shè)嵌入算法中，而是將其連同數(shù)據(jù)一起，當(dāng)作顯示輸入，并允許用戶選擇插入哪一個(gè)，甚至陳述新的假設(shè)，那么會(huì)怎樣？有沒(méi)有這種算法，可以接收任何數(shù)據(jù)及假設(shè)并輸出隱藏其中的知識(shí)？我相信有。當(dāng)然，我們得限制假設(shè)的可能性，否則如果把整個(gè)目標(biāo)知識(shí)都以假設(shè)形式賦予算法，那就是在作弊。我們可以通過(guò)限制輸入的規(guī)模、要求假設(shè)弱于當(dāng)前學(xué)習(xí)算法等方法，來(lái)實(shí)現(xiàn)這個(gè)目的。那么疑問(wèn)就會(huì)變成：這些假設(shè)要弱到何種程度，但仍能夠從無(wú)限數(shù)據(jù)中獲得所有相關(guān)知識(shí)？注意“相關(guān)”這個(gè)詞：我們僅僅對(duì)存在于世界的知識(shí)感興趣，對(duì)不存在的世界沒(méi)有興趣。因此發(fā)明一種通用的學(xué)習(xí)算法可歸結(jié)為發(fā)現(xiàn)宇宙最深層的規(guī)律，所有現(xiàn)象都遵循該規(guī)律，然后找出計(jì)算的有效方法來(lái)將其與數(shù)據(jù)結(jié)合起來(lái)。要找到這個(gè)“計(jì)算的有效方法”，就不能將物理定律視為萬(wàn)物規(guī)律，如我們將看到的那樣。然而，這并不意味著通用的學(xué)習(xí)算法要和專用算法一樣高效。正如在計(jì)算機(jī)科學(xué)中常發(fā)生的那樣，我們寧愿犧牲效率來(lái)?yè)Q取通用性。這在學(xué)習(xí)既定目標(biāo)知識(shí)所需數(shù)據(jù)的量上也適用：一般通用學(xué)習(xí)算法會(huì)比專用算法需要更多的數(shù)據(jù)（但如果我們有必要的數(shù)量，就沒(méi)問(wèn)題），而且數(shù)據(jù)越多，越有可能會(huì)這樣。那么，這就是本書的中心假設(shè)：所有知識(shí)，無(wú)論是過(guò)去的、現(xiàn)在的還是未來(lái)的，都有可能通過(guò)單個(gè)通用學(xué)習(xí)算法來(lái)從數(shù)據(jù)中獲得。我將該學(xué)習(xí)算法稱為“終極算法”。如果這種算法成為可能，它的發(fā)明將成為人類最偉大的科學(xué)成就之一。實(shí)際上，終極算法是我們最不愿意發(fā)明的東西，因?yàn)橐坏?duì)其放松，它會(huì)繼續(xù)發(fā)明一切有可能發(fā)明的東西。我們要做的，就是為它提供足夠、適當(dāng)?shù)臄?shù)據(jù)，通過(guò)這些數(shù)據(jù)，它會(huì)發(fā)現(xiàn)相應(yīng)的知識(shí)：給它視頻流，它就會(huì)觀看；給它圖書館，它就會(huì)閱讀；給它物理實(shí)驗(yàn)結(jié)果，它就會(huì)發(fā)現(xiàn)物理定律；給它DNA晶體學(xué)數(shù)據(jù)，它就會(huì)發(fā)現(xiàn)DNA的結(jié)構(gòu)。這可能聽(tīng)起來(lái)有點(diǎn)八竿子打不著：一種算法怎么可能學(xué)習(xí)那么多不同的事情，而且是這么難的事情呢？但實(shí)際上，種種證據(jù)表明終極算法是存在的。下面我們來(lái)看看它們是什么樣的。來(lái)自神經(jīng)科學(xué)的論證2000年4月，麻省理工學(xué)院的神經(jīng)系統(tǒng)科學(xué)家團(tuán)隊(duì)在《自然》雜志上發(fā)布了一項(xiàng)非同尋常的實(shí)驗(yàn)結(jié)果。他們對(duì)雪貂的大腦進(jìn)行重新布線，改變了雪貂從眼睛到聽(tīng)覺(jué)皮層（大腦負(fù)責(zé)處理聲音的部分）以及從耳朵到視覺(jué)皮層之間的連接。你可能覺(jué)得實(shí)驗(yàn)結(jié)果就是雪貂會(huì)嚴(yán)重致殘，但并沒(méi)有：聽(tīng)覺(jué)皮層學(xué)會(huì)看，視覺(jué)皮層學(xué)會(huì)聽(tīng)，而且雪貂沒(méi)事。一般的哺乳動(dòng)物，其視覺(jué)皮層都包含一張視網(wǎng)膜地圖：皮層中，與視網(wǎng)膜附近區(qū)域相連的神經(jīng)元彼此相互接近。相反，大腦被重新布線的雪貂在聽(tīng)覺(jué)皮層中形成了這張視網(wǎng)膜圖。如果視覺(jué)信息重新導(dǎo)入軀體感覺(jué)皮層（負(fù)責(zé)感知觸覺(jué)），軀體感覺(jué)皮層也會(huì)學(xué)會(huì)看。其他哺乳動(dòng)物也有這樣的能力。對(duì)于天生看不見(jiàn)的人，視覺(jué)皮層可以負(fù)責(zé)大腦的其他功能。對(duì)于聽(tīng)不見(jiàn)的人，聽(tīng)覺(jué)皮層也可以這么做。盲人可以借助舌頭來(lái)學(xué)會(huì)“看”，方法是將頭戴式攝像機(jī)的視頻圖像發(fā)送至舌頭上的一組電極上，高電壓與高像素對(duì)應(yīng)，低電壓與低像素對(duì)應(yīng)。本·安德伍德是盲人，小時(shí)候就自學(xué)像蝙蝠那樣，用回聲定位來(lái)導(dǎo)航。通過(guò)咂舌頭、聽(tīng)回聲，他能夠到處走動(dòng)且不會(huì)撞到障礙物，會(huì)踩滑板車，甚至還能打籃球。所有這些例子都證明，大腦自始至終只使用了一種相同的學(xué)習(xí)算法，那些負(fù)責(zé)不同知覺(jué)的區(qū)域，區(qū)別也僅僅在于與其相連、輸入信息的器官（如眼睛、耳朵、鼻子）。反過(guò)來(lái)，關(guān)聯(lián)區(qū)（大腦的各個(gè)皮層）通過(guò)與不同的感覺(jué)區(qū)（各個(gè)感覺(jué)器官）相連，來(lái)實(shí)現(xiàn)其機(jī)能，而執(zhí)行區(qū)則通過(guò)連接關(guān)聯(lián)區(qū)來(lái)實(shí)現(xiàn)其機(jī)能，然后輸出反饋。通過(guò)在顯微鏡下觀察皮層可以得出相同的結(jié)論。同樣的布線模式不斷重復(fù)，隨處可見(jiàn)。皮質(zhì)是一個(gè)6層的柱狀物，反饋回路達(dá)到大腦一個(gè)叫丘腦的結(jié)構(gòu)，以及短程序抑制連接和遠(yuǎn)程興奮性連接反復(fù)出現(xiàn)的模式。雖然表現(xiàn)出一定數(shù)量的變異，但這看起來(lái)更像是來(lái)自同一算法（而不是不同算法）的不同參數(shù)或者設(shè)置。低級(jí)感官領(lǐng)域會(huì)有更為明顯的差異，但正如重新布線實(shí)驗(yàn)表明的那樣，這些都不具有決定性。小腦是比大腦更早進(jìn)化的部分，負(fù)責(zé)簡(jiǎn)單的運(yùn)動(dòng)調(diào)節(jié)，有著非常明顯且有規(guī)律的架構(gòu)，由小很多的神經(jīng)元構(gòu)成，因此，看起來(lái)至少動(dòng)作學(xué)習(xí)使用的是不同的算法。然而，如果一個(gè)人的小腦受到損傷，大腦皮層會(huì)接管它的機(jī)能。人的生物進(jìn)化過(guò)程保留了小腦，但這并不意味著小腦能做大腦皮層不能做的事情，只是因?yàn)樾∧X更加高效。自始至終，大腦構(gòu)造中發(fā)生的運(yùn)算也同樣相似。大腦中的所有信息都以同樣方式（通過(guò)神經(jīng)元的放電模式）來(lái)表示。學(xué)習(xí)機(jī)制也相同：記憶通過(guò)加強(qiáng)集群放電神經(jīng)元之間的連接得以形成，涉及一個(gè)叫作長(zhǎng)時(shí)程增強(qiáng)的生物化學(xué)過(guò)程。不僅人腦是這樣，不同的動(dòng)物，其大腦運(yùn)行機(jī)制都很相似。我們的大腦異常大，但似乎與其他動(dòng)物一樣，其構(gòu)建遵循同樣的原則。證明大腦皮層統(tǒng)一性的另一個(gè)證據(jù)來(lái)自所謂的基因組貧乏。人類大腦中的連接數(shù)量是基因組中字母數(shù)量的100萬(wàn)余倍，因此從物理角度，基因組不可能弄明白大腦構(gòu)造的細(xì)節(jié)。然而，關(guān)于大腦是終極算法這個(gè)觀點(diǎn)的最重要論據(jù)，就是大腦負(fù)責(zé)我們能感知以及想象的一切。如果某物存在，但大腦無(wú)法對(duì)其進(jìn)行學(xué)習(xí)，那么我們就不知道它的存在。我們可能只是沒(méi)看見(jiàn)它，或者認(rèn)為它是隨機(jī)出現(xiàn)的。不管怎樣，如果我們將大腦放入計(jì)算機(jī)中運(yùn)行，那個(gè)算法就能掌握我們能學(xué)會(huì)的一切。因此發(fā)明終極算法的一種途徑（可以說(shuō)是最流行的一種）就是對(duì)人腦進(jìn)行逆向解析。杰夫·霍金斯（JeffHawkins）在他的著作《人工智能的未來(lái)》（OnIntelligence）中對(duì)此進(jìn)行了嘗試。雷·庫(kù)茲韋爾（RayKurzweil）把他的希望放在奇點(diǎn)上——人工智能的崛起遠(yuǎn)遠(yuǎn)超過(guò)人類的多樣性。這樣做的同時(shí)，他還在《如何創(chuàng)造思維》（HowtoCreateaMind）一書中對(duì)此進(jìn)行了嘗試。雖然如此，我們會(huì)看到，這僅僅是幾個(gè)可能途徑中的一個(gè)。這甚至不一定是最有可能的一個(gè)，因?yàn)榇竽X非常復(fù)雜，而我們還處于解密大腦的初級(jí)階段。另一方面，如果我們找不到終極算法，奇點(diǎn)也不會(huì)很快發(fā)生。并不是所有的神經(jīng)系統(tǒng)科學(xué)家都相信大腦皮層的統(tǒng)一性，在我們肯定這個(gè)觀點(diǎn)之前，需要學(xué)習(xí)很多東西。關(guān)于大腦能掌握以及不能掌握的東西，這個(gè)問(wèn)題也引起了業(yè)界激烈的討論。如果有我們知道但大腦不能學(xué)習(xí)的東西，那么這個(gè)東西肯定已經(jīng)通過(guò)進(jìn)化被掌握了。來(lái)自進(jìn)化論的論證生物多樣性源于單一機(jī)制：自然選擇。值得注意的是，計(jì)算機(jī)科學(xué)家對(duì)該機(jī)制非常熟悉：我們通過(guò)反復(fù)研究嘗試許多備選方法來(lái)解決問(wèn)題，選擇并改進(jìn)最優(yōu)方案，并盡可能多地嘗試這些步驟。進(jìn)化論是一種算法。套用查爾斯·巴貝奇（維多利亞時(shí)期的計(jì)算機(jī)先驅(qū)人物）的觀點(diǎn)，上帝創(chuàng)造的不是物種，而是創(chuàng)造物種的算法。達(dá)爾文在《物種起源》的總結(jié)部分提到的“無(wú)限形體，美麗至極”掩飾了最美的統(tǒng)一性：所有這些形體都被編碼在DNA中，所有這些形體都通過(guò)改變和連接這些染色體來(lái)表現(xiàn)。只通過(guò)該算法的一個(gè)描述，誰(shuí)會(huì)猜出它產(chǎn)生了你和我？如果進(jìn)化論這個(gè)算法能學(xué)習(xí)我們，可以想象它還可以學(xué)習(xí)能學(xué)習(xí)到的一切，條件是我們將進(jìn)化論這個(gè)算法運(yùn)用到足夠強(qiáng)的計(jì)算機(jī)上。的確，在機(jī)器學(xué)習(xí)領(lǐng)域，通過(guò)模仿自然選擇來(lái)使程序進(jìn)化是許多人正在努力做的事情。因此，進(jìn)化論是另外一個(gè)有希望通往終極算法的途徑。利用足夠多的數(shù)據(jù)，一種簡(jiǎn)單的算法能掌握什么？關(guān)于這個(gè)問(wèn)題，最經(jīng)典的例子就是進(jìn)化論。輸入進(jìn)化論這個(gè)算法的信息是所有存在過(guò)的、活著的生物的經(jīng)歷以及命運(yùn)（對(duì)現(xiàn)在的算法來(lái)說(shuō)是大數(shù)據(jù)）。此外，這個(gè)進(jìn)化論算法已經(jīng)在地球上最強(qiáng)大的計(jì)算機(jī)運(yùn)行了300多萬(wàn)年——這臺(tái)強(qiáng)大的計(jì)算機(jī)就是地球自己。運(yùn)行這個(gè)算法的真正計(jì)算機(jī)應(yīng)該比地球這臺(tái)“計(jì)算機(jī)”運(yùn)轉(zhuǎn)得更快、數(shù)據(jù)密集性更低。哪一個(gè)模型更適合終極算法：進(jìn)化還是大腦？這是和機(jī)器學(xué)習(xí)有關(guān)、自然與培育之間的辯論。正如我們的存在依靠的是自然與培育的共同力量，也許真正的終極算法包含這兩個(gè)方面。來(lái)自物理學(xué)的論證在1959年的一篇著名文章中，物理學(xué)家、諾貝爾物理學(xué)獎(jiǎng)得主尤金·維格納驚嘆“數(shù)學(xué)在自然科學(xué)中不可思議的有效性”。由少量的觀察推導(dǎo)出規(guī)律，是什么神奇的力量讓這些規(guī)律可以運(yùn)用到超出其預(yù)測(cè)范圍的領(lǐng)域？這些規(guī)律都是基于數(shù)據(jù)得來(lái)的，而為什么這些規(guī)律比數(shù)據(jù)還要準(zhǔn)確好幾個(gè)數(shù)量級(jí)？最重要的是，為什么簡(jiǎn)潔、抽象的數(shù)學(xué)語(yǔ)言能夠如此精確地解釋我們無(wú)限復(fù)雜的世界？維格納覺(jué)得這是一個(gè)很大的謎，覺(jué)得既幸運(yùn)又無(wú)法理解。數(shù)學(xué)就是如此，而且終極算法就是其邏輯的延伸。如果這個(gè)世界僅僅是一個(gè)不斷變大、喧嘩嘈雜的困惑體，那么我們有理由懷疑通用學(xué)習(xí)算法的存在。但如果我們所經(jīng)歷的一切，僅僅是幾個(gè)簡(jiǎn)單規(guī)律的產(chǎn)物，那么單個(gè)算法能推導(dǎo)出所有一切能推導(dǎo)的東西，就是可以理解的。終極算法要做的就是提供一條捷徑，通過(guò)實(shí)際觀察，用簡(jiǎn)短的算式推導(dǎo)（而不是長(zhǎng)長(zhǎng)的算式）來(lái)得出這些規(guī)律的結(jié)果。例如，我們雖然相信物理定律引起進(jìn)化，但是不知道具體怎么進(jìn)行。我們知道自己可以像達(dá)爾文那樣，通過(guò)觀察直接推導(dǎo)出自然選擇規(guī)律。無(wú)數(shù)錯(cuò)誤的推論就是由那些觀察得出的，但多數(shù)人不會(huì)做出那些錯(cuò)誤的推論，因?yàn)槲覀儗?duì)世界有著廣泛的認(rèn)識(shí)，會(huì)對(duì)自己的推論形成良性影響，而且那些認(rèn)識(shí)也與自然規(guī)律相符。物理規(guī)律之美多大程度滲透到更高的領(lǐng)域（如生物學(xué)、社會(huì)學(xué)），這一點(diǎn)有待觀察。但對(duì)混沌的研究提供了許多誘人的例子，這些例子和擁有相似行為的不同系統(tǒng)相關(guān)，而普適性理論可以解釋這些例子。曼德布洛特集合（MandelbrotSet）就是很完美的例子，能解釋一個(gè)很簡(jiǎn)單的重復(fù)程序如何產(chǎn)生無(wú)數(shù)種類的形式。如果世界上的山峰、河流、云朵以及樹木都是這些重復(fù)程序的產(chǎn)物（分形幾何學(xué)表明它們就是），也許那些程序只是單個(gè)程序的不同參數(shù)化，而該單個(gè)程序可以從那些程序推導(dǎo)中得出。在物理學(xué)中，適用于不同數(shù)量的方程，往往可以用來(lái)描述發(fā)生在不同領(lǐng)域的現(xiàn)象，例如量子力學(xué)、電磁學(xué)、流體動(dòng)力學(xué)。波動(dòng)方程、擴(kuò)散方程、泊松方程表明：一旦我們?cè)谀硞€(gè)領(lǐng)域發(fā)現(xiàn)它們，也很快能在其他領(lǐng)域發(fā)現(xiàn)它們；一旦我們?cè)谀硞€(gè)領(lǐng)域懂得解開它們，也能在所有領(lǐng)域?qū)⑺鼈兘忾_。此外，所有這些方程都很簡(jiǎn)單，涉及幾個(gè)和空間、時(shí)間有關(guān)的數(shù)量的相同導(dǎo)數(shù)。很容易想象，它們都是主方程的幾個(gè)例子，而終極算法要做的，就是用不同的數(shù)據(jù)集來(lái)將它實(shí)例化。另外的證據(jù)來(lái)自最優(yōu)化。最優(yōu)化是數(shù)學(xué)的分支，關(guān)注的是為函數(shù)找到輸入值，使其產(chǎn)生最大輸出值。例如，找到購(gòu)買及銷售股票的排序，用來(lái)最大化你的全部回報(bào)，這就是一個(gè)最優(yōu)化問(wèn)題。在最優(yōu)化中，簡(jiǎn)單的函數(shù)往往能引出驚人的復(fù)雜方案。最優(yōu)化幾乎在每個(gè)領(lǐng)域都扮演十分重要的角色，包括科學(xué)、技術(shù)、商業(yè)，還有機(jī)器學(xué)習(xí)。每個(gè)領(lǐng)域在約束條件下進(jìn)行最優(yōu)化，該限制條件由其他領(lǐng)域的最優(yōu)化狀態(tài)來(lái)決定。我們努力在經(jīng)濟(jì)的限制下將幸福感最大化，這也是公司在受到當(dāng)前技術(shù)水平限制下的最佳方案，反過(guò)來(lái)成為我們?cè)谏飳W(xué)及物理學(xué)限制下能找到的最佳方案。反過(guò)來(lái)，生物學(xué)是進(jìn)化學(xué)在物理學(xué)和化學(xué)的約束下進(jìn)行優(yōu)化的結(jié)果，而物理定律本身又是最優(yōu)化問(wèn)題的解決方法。因此，可能所有事物的存在，都是一個(gè)中心優(yōu)化問(wèn)題進(jìn)一步的解決方案，而終極算法隨著那個(gè)中心問(wèn)題的敘述而產(chǎn)生。不僅物理學(xué)家和數(shù)學(xué)家在尋找不同領(lǐng)域之間意想不到的聯(lián)系，生物學(xué)家也在尋找。在《論契合：知識(shí)的統(tǒng)合》（Consilience）一書中，著名生物學(xué)家愛(ài)德華·威爾遜慷慨激昂地闡釋了知識(shí)（從科學(xué)到人文學(xué)）的統(tǒng)一性。終極算法就是該統(tǒng)一性的完美表達(dá)：如果所有知識(shí)共同遵循一個(gè)模式，那么終極算法就存在，反之則不存在。然而，物理學(xué)的簡(jiǎn)潔性獨(dú)一無(wú)二。在物理學(xué)和工程學(xué)之外，數(shù)學(xué)的軌跡就更加混合。有時(shí)數(shù)學(xué)僅限于用起來(lái)有效，而有時(shí)它的模型又過(guò)于簡(jiǎn)單，無(wú)法使用。然而，過(guò)于簡(jiǎn)單的傾向源于人類思維的各種限制，而不是源于數(shù)學(xué)的種種限制。大腦的大多數(shù)硬件（或許該叫“濕件”）負(fù)責(zé)人體感知和活動(dòng)，而為了做算術(shù)，我們就得借用因語(yǔ)言得到進(jìn)化的那部分大腦。計(jì)算機(jī)就沒(méi)有這樣的限制，而且可以輕易地將大數(shù)據(jù)變成非常負(fù)責(zé)的模型。在數(shù)學(xué)的過(guò)度有效性與數(shù)據(jù)的過(guò)度有效性面前，你就會(huì)選擇機(jī)器學(xué)習(xí)。生物學(xué)和社會(huì)學(xué)絕對(duì)不會(huì)像物理學(xué)一樣簡(jiǎn)單，但我們發(fā)現(xiàn)其真理的方法可以做到那樣簡(jiǎn)單。來(lái)自統(tǒng)計(jì)學(xué)的論證根據(jù)一個(gè)統(tǒng)計(jì)學(xué)流派的觀點(diǎn)，所有形式的學(xué)習(xí)都是基于一個(gè)簡(jiǎn)單的公式——如我們所知，就是貝葉斯定理。貝葉斯定理會(huì)告訴你，每當(dāng)你看到新的證據(jù)后，如何更新你的想法。一種簡(jiǎn)單的貝葉斯學(xué)習(xí)算法對(duì)世界進(jìn)行一系列假設(shè)，由此開始進(jìn)行學(xué)習(xí)。當(dāng)它看到新的數(shù)據(jù)時(shí)，與該數(shù)據(jù)匹配的假設(shè)更有可能會(huì)成立（或者不可能成立）。在觀察足夠的數(shù)據(jù)后，某個(gè)假設(shè)會(huì)成立，或者幾個(gè)假設(shè)同時(shí)成立。例如，我在尋找一個(gè)能夠準(zhǔn)確預(yù)測(cè)股票走勢(shì)的程序，該程序預(yù)測(cè)某只股票會(huì)下跌，結(jié)果該股票卻上漲了，那么該程序就會(huì)失去我的信任。我審核幾個(gè)備選程序之后，只選擇了幾個(gè)可信賴的程序，它們概括了我對(duì)股票市場(chǎng)的新認(rèn)識(shí)。貝葉斯定理就是將數(shù)據(jù)變成知識(shí)的機(jī)器。據(jù)貝葉斯統(tǒng)計(jì)學(xué)派的觀點(diǎn)，貝葉斯定理是將數(shù)據(jù)變成知識(shí)的唯一正確方法。如果該學(xué)派的觀點(diǎn)正確，貝葉斯定理要么就是終極算法，要么就是推動(dòng)終極算法發(fā)展的動(dòng)力。關(guān)于貝葉斯定理使用的方法，其他統(tǒng)計(jì)學(xué)派持非常保守的觀點(diǎn)，而且會(huì)更愿意用不同方法來(lái)對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)。在計(jì)算機(jī)發(fā)明出來(lái)之前，貝葉斯定理只能應(yīng)用在非常簡(jiǎn)單的問(wèn)題中，說(shuō)它是通用的學(xué)習(xí)算法未免有點(diǎn)牽強(qiáng)附會(huì)。然而，在大數(shù)據(jù)和大計(jì)算的輔助下，貝葉斯定理在廣闊的假設(shè)空間中找到了出路，而且已經(jīng)擴(kuò)展到每個(gè)人們能想到的領(lǐng)域中。如果說(shuō)存在貝葉斯算法無(wú)法學(xué)習(xí)的東西，只是現(xiàn)在還沒(méi)發(fā)現(xiàn)它們。來(lái)自計(jì)算機(jī)科學(xué)的論證我在大四時(shí)，用了一個(gè)夏天玩俄羅斯方塊游戲，這是一個(gè)涉及方塊疊加的電子游戲，游戲中由正方形組成的各種形狀的圖案往下掉，你要將這些圖案堆起來(lái)，堆得越緊密越好。如果圖案堆到屏幕頂部，那么游戲就結(jié)束了。當(dāng)時(shí)我完全沒(méi)有意識(shí)到，這就是我接觸NP完全問(wèn)題\h[4]的開始，這是理論計(jì)算機(jī)科學(xué)最重要的一個(gè)問(wèn)題。后來(lái)我才知道，俄羅斯方塊完全不是簡(jiǎn)單用來(lái)消遣的游戲，掌握這個(gè)游戲（徹底掌握它），就是你這輩子做得最有用的事情。如果你一步到位，解決了俄羅斯方塊問(wèn)題，你就解決了科學(xué)、技術(shù)、管理中數(shù)千個(gè)最難、最有意義的問(wèn)題，因?yàn)楸举|(zhì)上這些難題就是同一個(gè)問(wèn)題。這是在所有科學(xué)領(lǐng)域中最讓人驚訝的事實(shí)。弄明白蛋白質(zhì)如何折疊成特定形狀；通過(guò)DNA來(lái)重新構(gòu)建一系列物種的進(jìn)化史；在命題邏輯中證明定理；利用交易成本來(lái)發(fā)現(xiàn)市場(chǎng)中的套利機(jī)會(huì)；從二維視圖中推出三維形狀；將數(shù)據(jù)壓縮到磁盤上；在政治活動(dòng)中組成穩(wěn)定聯(lián)盟；在剪切流中模擬湍流；按照給定回報(bào)率找出最安全的投資組合、到達(dá)幾個(gè)城市的捷徑、微芯片上元件的最佳布局方案、生態(tài)系統(tǒng)中傳感器的最佳布局、自旋玻璃門最低的能量狀態(tài)；安排好航班、課程、工廠工作；最優(yōu)化資源分配、城市交通流、社會(huì)福利，以及提高你的俄羅斯方塊分?jǐn)?shù)（最重要的）——這些都是NP完全問(wèn)題，意思是，如果你能有效解決其中的一個(gè)問(wèn)題，就能有效解決所有NP類問(wèn)題，包括相互間的問(wèn)題。誰(shuí)會(huì)猜到，這些表面上看起來(lái)迥然不同的問(wèn)題，會(huì)是同一個(gè)問(wèn)題？如果它們真的是同一個(gè)問(wèn)題，就可以說(shuō)一種算法能學(xué)會(huì)解決所有問(wèn)題（或更準(zhǔn)確地說(shuō)，所有能有效解決的例子）。在計(jì)算機(jī)科學(xué)中，P和NP是兩類最重要的問(wèn)題（很遺憾，名字不是很有助于記憶）。如果我們能有效解決它，那么這個(gè)問(wèn)題就屬于P；如果我們能有效找到其解決方案，那么這個(gè)問(wèn)題屬于NP。著名的P=NP的問(wèn)題就是，能有效找到的問(wèn)題是否可以得到有效解決。因?yàn)镹P完全問(wèn)題，回答這個(gè)問(wèn)題需要的只是證明某個(gè)NP完全問(wèn)題可被有效解決（或者無(wú)法被有效解決）。NP在計(jì)算機(jī)科學(xué)領(lǐng)域并不是最難的一類問(wèn)題，但可以說(shuō)，它是最難的“現(xiàn)實(shí)”類問(wèn)題：如果在宇宙滅亡之前，你無(wú)法找到問(wèn)題的解決方法，那你努力解決這個(gè)問(wèn)題的意義在哪里？人類擅長(zhǎng)給出NP難題的近似解，而相反，我們感興趣的問(wèn)題（如俄羅斯方塊問(wèn)題）往往涉及NP問(wèn)題。人工智能的其中一個(gè)定義是，人工智能包括找到NP完全問(wèn)題的所有啟發(fā)性解決方案。為了找到解決方案，我們常常把問(wèn)題變成可滿足性問(wèn)題，也就是典型的NP完全問(wèn)題：給定的邏輯公式是否永遠(yuǎn)都是對(duì)的，或者它是不是自相矛盾？如果我們發(fā)明一種學(xué)習(xí)算法，能夠?qū)W習(xí)解決可滿足性問(wèn)題，那么有充分理由認(rèn)為，這個(gè)算法就是終極算法。拋開NP完全問(wèn)題，計(jì)算機(jī)的存在本身就明顯預(yù)示著終極算法的存在。如果你穿越回到20世紀(jì)早期，告訴人們很快會(huì)有一種機(jī)器發(fā)明出來(lái)，能夠解決人類所有領(lǐng)域的難題——所有難題都通過(guò)同一臺(tái)機(jī)器解決，那么沒(méi)有人會(huì)相信你。人們會(huì)說(shuō)，每臺(tái)機(jī)器只能解決一個(gè)問(wèn)題：縫紉機(jī)不會(huì)打字，打字機(jī)不會(huì)縫紉。1936年，艾倫·圖靈想象出一個(gè)奇怪的裝置，它有一條紙帶和機(jī)器頭，頭可以在紙帶上進(jìn)行閱讀和書寫，就是現(xiàn)在人們知道的圖靈機(jī)。每一個(gè)可以想得到的、可以用邏輯推理解決的難題，都可以通過(guò)圖靈機(jī)解決。此外，一臺(tái)所謂的萬(wàn)能圖靈機(jī)可以通過(guò)閱讀紙帶上的具體要求來(lái)模仿所有東西，換句話說(shuō)，我們能夠?qū)D靈機(jī)進(jìn)行編程，用它來(lái)做所有事情。算法是歸納的過(guò)程，而學(xué)習(xí)的過(guò)程對(duì)圖靈機(jī)來(lái)說(shuō)，就是演繹的過(guò)程。圖靈機(jī)能通過(guò)對(duì)算法輸入、輸出行為進(jìn)行閱讀來(lái)模仿其他算法。就像存在許多與圖靈機(jī)對(duì)等的計(jì)算模型，可能也存在通用學(xué)習(xí)算法的許多不同的等價(jià)公式。然而，問(wèn)題的關(guān)鍵是必須找到第一個(gè)這樣的公式，就像圖靈找到通用計(jì)算機(jī)的第一個(gè)公式那樣。機(jī)器學(xué)習(xí)算法與知識(shí)工程師當(dāng)然，有很多人支持終極算法，也有很多人懷疑終極算法。當(dāng)某方法可以簡(jiǎn)單解決復(fù)雜問(wèn)題時(shí)，存在懷疑符合情理。對(duì)終極算法最堅(jiān)定的反抗來(lái)自機(jī)器學(xué)習(xí)永恒的敵人：知識(shí)工程。根據(jù)知識(shí)工程支持者的觀點(diǎn)，知識(shí)無(wú)法自動(dòng)被學(xué)習(xí)，必須通過(guò)人類專家編入計(jì)算機(jī)，才能對(duì)它進(jìn)行學(xué)習(xí)。的確，學(xué)習(xí)算法能從數(shù)據(jù)中提取一些東西，但你不能將這些東西和真知識(shí)混為一談。對(duì)知識(shí)工程師來(lái)說(shuō)，大數(shù)據(jù)不是新石油，而是騙人的新蛇油。在人工智能出現(xiàn)早期，機(jī)器學(xué)習(xí)似乎是通往類人智能計(jì)算機(jī)的途徑。圖靈和其他人認(rèn)為，機(jī)器學(xué)習(xí)是唯一看似合理的途徑。但后來(lái)知識(shí)工程師進(jìn)行了回?fù)?，而?0世紀(jì)70年代機(jī)器學(xué)習(xí)處于次要地位。在20世紀(jì)80年代的一段時(shí)間，似乎知識(shí)工程師要接管世界了，還有許多企業(yè)和國(guó)家對(duì)知識(shí)工程領(lǐng)域進(jìn)行大量投資。但后來(lái)人們開始對(duì)該領(lǐng)域失望，而機(jī)器學(xué)習(xí)也開始崛起，一開始悄無(wú)聲息，后來(lái)就突飛猛進(jìn)。盡管機(jī)器學(xué)習(xí)成功了，知識(shí)工程師們還是覺(jué)得不信服。他們相信，機(jī)器學(xué)習(xí)的局限性很快會(huì)變得明顯，鐘擺會(huì)擺回來(lái)，局勢(shì)會(huì)扭轉(zhuǎn)。馬文·明斯基是麻省理工學(xué)院的教授、人工智能的先驅(qū)人物，也是該陣營(yíng)的重要成員。明斯基不僅懷疑機(jī)器學(xué)習(xí)能替代知識(shí)工程，他也懷疑人工智能的所有統(tǒng)一思想。明斯基在其《意識(shí)社會(huì)》（TheSocietyofMind）一書中提到了關(guān)于智能的理論，這個(gè)理論可以被不客氣地歸納為“意識(shí)就是一個(gè)接一個(gè)該死的東西”?！兑庾R(shí)社會(huì)》包含的就是一長(zhǎng)串分散的觀點(diǎn)，每個(gè)觀點(diǎn)都毫不相關(guān)。這種實(shí)現(xiàn)人工智能的方法根本沒(méi)什么用，它只是由計(jì)算機(jī)進(jìn)行的收集活動(dòng)。沒(méi)有機(jī)器學(xué)習(xí)，需要建立智能代理的觀點(diǎn)將會(huì)變得無(wú)限多。如果一個(gè)機(jī)器人掌握了人類所有的技能，但就是沒(méi)有學(xué)習(xí)能力，那么人類不久就會(huì)把它扔在一邊。明斯基是Cyc項(xiàng)目（Cycproject）的狂熱支持者，這是人工智能歷史上最臭名昭著的失敗項(xiàng)目。Cyc項(xiàng)目的目標(biāo)是通過(guò)將所有必要知識(shí)輸入計(jì)算機(jī)中，來(lái)解決人工智能問(wèn)題。20世紀(jì)80年代這個(gè)項(xiàng)目剛開始時(shí)，它的領(lǐng)導(dǎo)者道格·萊納特（DougLenat）就信心滿滿地預(yù)測(cè)，10年之內(nèi)該項(xiàng)目就會(huì)取得成功。30年后，Cyc項(xiàng)目不停擴(kuò)大，但仍無(wú)法做常理性推理。具有諷刺意味的是，萊納特終于支持通過(guò)挖掘網(wǎng)頁(yè)來(lái)將Cyc填滿，這并非因?yàn)镃yc可以閱讀，而是因?yàn)閯e無(wú)他法。即使奇跡發(fā)生，我們能夠?qū)λ斜匾臄?shù)據(jù)進(jìn)行編程，麻煩也會(huì)不斷出現(xiàn)。過(guò)去幾年，幾個(gè)研究組已經(jīng)嘗試構(gòu)建完整的智能代理，方法就是將所有算法集中起來(lái)，用于想象、語(yǔ)音識(shí)別、語(yǔ)言理解、推理、計(jì)劃、導(dǎo)航、操作等。沒(méi)有統(tǒng)一的結(jié)構(gòu)，這些嘗試將碰到“復(fù)雜性”這個(gè)難以解決的難題：有太多的活動(dòng)件、太多的交互、太多的漏洞，可憐的人類軟件工程師也難以應(yīng)付。知識(shí)工程師相信，人工智能的問(wèn)題僅僅是工程學(xué)的問(wèn)題，但是我們還沒(méi)達(dá)到那個(gè)點(diǎn)——工程學(xué)能帶領(lǐng)我們走完下面的路。1962年，肯尼迪發(fā)表登月演講。那時(shí)登上月球是一個(gè)工程學(xué)問(wèn)題，但1662年，它就不是了，而當(dāng)今它則更加靠近人工智能所在的領(lǐng)域。在工業(yè)領(lǐng)域中，除了在一些利基領(lǐng)域，沒(méi)有任何跡象表明知識(shí)工程學(xué)可以永遠(yuǎn)和機(jī)器學(xué)習(xí)競(jìng)爭(zhēng)。為什么要花費(fèi)精力來(lái)讓專家緩慢而痛苦地將知識(shí)編碼成計(jì)算機(jī)能識(shí)別的形式，而你明明可以在一秒內(nèi)將其從數(shù)據(jù)中提取出來(lái)？你會(huì)怎么對(duì)待那些專家不懂，你卻可以從數(shù)據(jù)中發(fā)現(xiàn)的東西？而當(dāng)數(shù)據(jù)不足時(shí)，知識(shí)工程學(xué)的成本倒是很少會(huì)超過(guò)其帶來(lái)的益處。反過(guò)來(lái)，想象一下，如果農(nóng)民要將每株玉米進(jìn)行工程化，而不去播種并讓它們生長(zhǎng)，那么我們都得挨餓。另一個(gè)對(duì)機(jī)器學(xué)習(xí)持懷疑態(tài)度的人是語(yǔ)言學(xué)家諾姆·喬姆斯基。喬姆斯基認(rèn)為，語(yǔ)言必須是與生俱來(lái)的，因?yàn)楹⒆勇?tīng)到的合乎語(yǔ)法的句子僅僅是一些例子，不足以學(xué)習(xí)語(yǔ)法。然而，這種說(shuō)法僅僅將學(xué)習(xí)語(yǔ)言的任務(wù)交給了進(jìn)化，它并沒(méi)有反對(duì)終極算法，只是反對(duì)“終極算法是大腦”這個(gè)觀點(diǎn)。此外，如果存在通用語(yǔ)法（喬姆斯基認(rèn)為存在），闡發(fā)它就是闡發(fā)終極算法的步驟之一。這種情況不成立的唯一可能就是，語(yǔ)言和其他認(rèn)知能力沒(méi)有共同點(diǎn)，考慮到進(jìn)化的近因，這令人難以置信。無(wú)論如何，如果我們將喬姆斯基“刺激貧乏”論形式化，我們會(huì)發(fā)現(xiàn)這個(gè)觀點(diǎn)很明顯是錯(cuò)的。1969年，霍寧證明，概率上下文無(wú)關(guān)語(yǔ)法（probabilisticcontext–freegrammar）只能通過(guò)正面例子掌握，后面緊跟的是更有力的結(jié)果（上下文無(wú)關(guān)語(yǔ)法是語(yǔ)言學(xué)家研究的內(nèi)容，而概率類型模擬每個(gè)規(guī)則被使用的概率）。另外，語(yǔ)言學(xué)習(xí)不會(huì)發(fā)生在一個(gè)真空當(dāng)中，孩子需要從父母和周圍環(huán)境獲取各種語(yǔ)言學(xué)習(xí)線索。如果我們能從幾年時(shí)間里學(xué)習(xí)的例子中學(xué)習(xí)語(yǔ)言，部分也只是因?yàn)檎Z(yǔ)言結(jié)構(gòu)與世界結(jié)構(gòu)存在相似性。對(duì)這個(gè)共同結(jié)構(gòu)，我們感興趣，而且從霍寧和其他人那里知道，有這個(gè)共同結(jié)構(gòu)就足夠了?？傮w來(lái)講，喬姆斯基批評(píng)所有統(tǒng)計(jì)學(xué)習(xí)。他把統(tǒng)計(jì)學(xué)習(xí)算法不能學(xué)習(xí)的東西列了一個(gè)單子，但這個(gè)單子已經(jīng)過(guò)時(shí)50年了。喬姆斯基似乎把機(jī)器學(xué)習(xí)等同于行為主義了，根據(jù)行為主義，動(dòng)物的行為淪為反應(yīng)與獎(jiǎng)勵(lì)之間的聯(lián)合，但機(jī)器學(xué)習(xí)不是行為主義?，F(xiàn)代學(xué)習(xí)算法能夠掌握豐富的內(nèi)在表象，而不僅僅是刺激物之間的兩兩關(guān)系。最后，事實(shí)勝于雄辯。統(tǒng)計(jì)學(xué)語(yǔ)言算法起作用了，而手工設(shè)計(jì)的語(yǔ)言系統(tǒng)卻沒(méi)起作用。第一件令人大開眼界的事發(fā)生于20世紀(jì)70年代，當(dāng)時(shí)五角大樓的研究機(jī)構(gòu)DARPA組織了第一個(gè)大型語(yǔ)音識(shí)別項(xiàng)目。讓所有人驚訝的是，一種簡(jiǎn)單的序列學(xué)習(xí)算法——喬姆斯基嘲笑的類型，輕易地打敗了一個(gè)復(fù)雜的知識(shí)系統(tǒng)?，F(xiàn)在像這樣的學(xué)習(xí)算法幾乎用于每一個(gè)語(yǔ)音識(shí)別器中，包括Siri（蘋果公司產(chǎn)品上的一項(xiàng)智能語(yǔ)音控制功能）。弗雷德·賈里尼克（IBM語(yǔ)音研究組的領(lǐng)導(dǎo)）說(shuō)過(guò)一句著名的俏皮話：“每開除一名語(yǔ)言學(xué)家，我的語(yǔ)音識(shí)別系統(tǒng)的錯(cuò)誤率就降低一個(gè)百分點(diǎn)?！?0世紀(jì)80年代，陷入知識(shí)工程學(xué)的泥潭里，計(jì)算機(jī)語(yǔ)言學(xué)差點(diǎn)走向盡頭。自那以后，基于學(xué)習(xí)算法的浪潮已經(jīng)席卷這個(gè)領(lǐng)域，在計(jì)算機(jī)語(yǔ)言學(xué)會(huì)議中，幾乎每篇文章都會(huì)提到學(xué)習(xí)。統(tǒng)計(jì)分析軟件以近乎人類水平的精確度來(lái)分析文章，而手編程序已經(jīng)遠(yuǎn)遠(yuǎn)落在后面。機(jī)器翻譯、拼寫糾正、詞性標(biāo)注、詞義消歧、問(wèn)題回答、對(duì)話、概括——這些領(lǐng)域的所有最好的系統(tǒng)都利用了學(xué)習(xí)。沒(méi)有學(xué)習(xí)，沃森不可能在《危險(xiǎn)邊緣》游戲中戰(zhàn)勝人類。對(duì)此，喬姆斯基可能會(huì)回應(yīng)，工程學(xué)的成功并不能證明其科學(xué)有效性。換句話說(shuō)，如果你的樓房倒塌了，而且你的發(fā)電機(jī)不工作了，那么也許就是因?yàn)槟愕奈锢韺W(xué)觀點(diǎn)有問(wèn)題。喬姆斯基認(rèn)為，語(yǔ)言學(xué)應(yīng)該把重點(diǎn)放在他定義的“理想的”說(shuō)話者和聽(tīng)話者上，這讓他忽略了諸如類似的問(wèn)題：語(yǔ)言學(xué)習(xí)過(guò)程涉及統(tǒng)計(jì)學(xué)。因此，很少有實(shí)驗(yàn)主義者拿他的理論當(dāng)回事，這并不奇怪。另外一個(gè)可能會(huì)反對(duì)終極算法的觀點(diǎn)來(lái)自心理學(xué)家杰瑞·福多，他認(rèn)為心理是由一系列模塊組成的，這些模塊之間只有有限的聯(lián)系。例如，當(dāng)看電視時(shí)，你的“高級(jí)腦”知道，那只是光線在光滑表面的閃爍，但視覺(jué)系統(tǒng)仍然會(huì)看見(jiàn)三維形狀。即使我們相信心理模塊理論，這個(gè)理論也并沒(méi)有暗指不同的模塊會(huì)使用不同的學(xué)習(xí)算法。同種算法對(duì)諸如視覺(jué)及語(yǔ)言之類的信息都起作用，這個(gè)說(shuō)法才足夠有力。像明斯基、喬姆斯基和福多這樣的批評(píng)家曾經(jīng)占據(jù)上風(fēng)，但萬(wàn)幸，他們的影響力已經(jīng)逐漸減弱。即便如此，我們?nèi)孕鑼⑺麄兊?/p>