爬行機(jī)器人波士頓動(dòng)力公司的大狗（BigDog）。它能行走、奔跑、攀爬以及負(fù)載重物。大狗的四條腿和動(dòng)物一樣擁有關(guān)節(jié)，可吸收沖擊能量，每邁出一步就回收部分能量，以此帶動(dòng)下一步。知識(shí)目標(biāo)了解強(qiáng)化學(xué)習(xí)的含義了解強(qiáng)化學(xué)習(xí)的含義理了解如何在不確定的世界做決策了解Q學(xué)習(xí)的基本原理知識(shí)準(zhǔn)備—7.1—強(qiáng)化學(xué)習(xí)就像是小孩子學(xué)走路，沒有哪個(gè)小孩子學(xué)走路是拿著“走路寶典”學(xué)會(huì)的，每個(gè)小孩子都是靠不斷地嘗試、摔跤、站起來繼續(xù)嘗試這樣不斷的“迭代”學(xué)會(huì)的。著名的波士頓動(dòng)力大狗也是靠多次摔跤才學(xué)會(huì)各種炫酷的動(dòng)作的。7.1.1強(qiáng)化學(xué)習(xí)7.1.2充滿不確定性的世界在現(xiàn)實(shí)世界中，我們的某一個(gè)動(dòng)作不一定會(huì)帶來特定結(jié)果，這個(gè)結(jié)果往往是不確定的，我們真實(shí)的世界是一個(gè)不確定的世界。如圖所示，機(jī)器人想向前走，但是最終會(huì)到達(dá)哪里，并不確定。世界中充滿了危險(xiǎn)和誘惑。如果是一個(gè)確定的世界，那機(jī)器人的選擇將會(huì)很簡(jiǎn)單，直接走向鉆石成為人生贏家。但是世界不是這么簡(jiǎn)單，是不確定的。7.1.3不確定的世界如何做決策如果沒有不確定性，機(jī)器人要繞路嗎？要繞多遠(yuǎn)？如果有一點(diǎn)不確定性，機(jī)器人要繞路嗎？要繞多遠(yuǎn)？如果有很大不確定性，機(jī)器人要繞路嗎？要繞多遠(yuǎn)？生存回報(bào)—7.2—智能體走任意一步，不管怎么走，走到哪里，都會(huì)接收這個(gè)回報(bào)，它可能為正，也可能為負(fù)。這就是小孩子每走一步都會(huì)耗費(fèi)一定的體力。不過如果我們忽略小孩子體力的問題，將小孩子學(xué)走路的生存回報(bào)變?yōu)槊孔咭徊骄徒o某個(gè)獎(jiǎng)勵(lì)，小孩子可能就會(huì)嘗試一直走從而能夠一直得到這種獎(jiǎng)勵(lì)。試一試深入分析—7.3—

探索與利用

學(xué)習(xí)率告訴我們當(dāng)前體驗(yàn)相對(duì)歷史經(jīng)驗(yàn)有多大成分會(huì)影響我們的判斷。如何設(shè)置學(xué)習(xí)率，也是一個(gè)重要的技術(shù)。具體的設(shè)置，在每個(gè)任務(wù)中都會(huì)不同，一般來說開始的時(shí)候設(shè)置較大的學(xué)習(xí)率進(jìn)行快速學(xué)習(xí)，隨后降低學(xué)習(xí)率慢慢學(xué)習(xí)。學(xué)習(xí)率本章小結(jié)—7.4—本章介紹了強(qiáng)化學(xué)習(xí)的基礎(chǔ)。真實(shí)的世界有著各種不確定性，強(qiáng)化學(xué)習(xí)幫助我們解決這類問題。通過對(duì)回報(bào)和Q值的感性認(rèn)識(shí)，體驗(yàn)Q學(xué)習(xí)。接著介紹了探索與利用的作用、學(xué)習(xí)率的重要性，并親自動(dòng)手訓(xùn)練一個(gè)爬行機(jī)器人。

課后練習(xí)—7.5—（1）除了小孩子學(xué)走路，生活中有沒有什么類似強(qiáng)化學(xué)習(xí)的例子？（2）生活中有沒有什么體現(xiàn)了合理設(shè)置回報(bào)的例子？（3）你認(rèn)為如何設(shè)置參數(shù)，爬行機(jī)器人會(huì)更快地到達(dá)終點(diǎn)？人工智能應(yīng)用展學(xué)習(xí)目標(biāo)—8.1—知識(shí)目標(biāo)了解人工智能在圖像領(lǐng)域的應(yīng)用了解人工智能在語(yǔ)言和語(yǔ)音方面的應(yīng)用了解遷移學(xué)習(xí)的基本原理了解生成對(duì)抗網(wǎng)絡(luò)的基本原理理解推薦系統(tǒng)的基本原理展廳服務(wù)機(jī)器人—8.2—8.2.1人臉識(shí)別機(jī)器人怎么識(shí)別這個(gè)人是誰(shuí)呢？使用了人臉識(shí)別和語(yǔ)音交互技術(shù)。8.2.1人臉識(shí)別人臉識(shí)別的過程中有4個(gè)關(guān)鍵的步驟：人臉檢測(cè)、人臉對(duì)齊、人臉編碼和人臉匹配。人臉檢測(cè)的目的是尋找圖片中人臉的位置。當(dāng)發(fā)現(xiàn)有人臉出現(xiàn)在圖片中時(shí)，不管這個(gè)臉是誰(shuí)，都會(huì)標(biāo)記出人臉的坐標(biāo)信息，或者將人臉切割出來。人臉檢測(cè)同一個(gè)人會(huì)有的姿態(tài)和表情，即使這個(gè)人大笑或者大哭我們也可以識(shí)別出來。機(jī)器要做到這一點(diǎn)，就需要將人臉圖像都變換到一個(gè)統(tǒng)一的角度和姿態(tài)，這就是人臉對(duì)齊，如圖所示。它的原理是找到人臉的若干個(gè)關(guān)鍵點(diǎn)，將人臉盡可能變換到標(biāo)準(zhǔn)人臉。人臉對(duì)齊人臉編碼經(jīng)過前兩步之后，人臉圖像的像素值會(huì)被轉(zhuǎn)換成一串?dāng)?shù)字（向量）。理想情況下，一個(gè)人臉會(huì)對(duì)應(yīng)類似的一串?dāng)?shù)字（向量），如圖所示。每個(gè)人臉都有了對(duì)應(yīng)的一串?dāng)?shù)字，我們就可以根據(jù)這一串?dāng)?shù)字計(jì)算出最匹配的兩串?dāng)?shù)字，從而找出某張圖片對(duì)應(yīng)的那個(gè)人是誰(shuí)，如圖所示。人臉匹配8.2.2語(yǔ)音交互語(yǔ)音交互指的是人類與設(shè)備通過自然語(yǔ)音進(jìn)行信息的交互。使用自動(dòng)語(yǔ)音識(shí)別技術(shù)（ASR）將語(yǔ)音轉(zhuǎn)換為對(duì)應(yīng)的指令文本通過自然語(yǔ)言處理（NLP）將此文本轉(zhuǎn)換為對(duì)應(yīng)的機(jī)器可以理解的語(yǔ)言。使用內(nèi)置的各項(xiàng)功能，處理用戶的指令，最后通過使用語(yǔ)音合成技術(shù)，回復(fù)用戶。人物動(dòng)漫化—8.3—計(jì)算機(jī)將人物照片轉(zhuǎn)化成動(dòng)漫卡通形象采用的是生成對(duì)抗網(wǎng)絡(luò)技術(shù)

8.3.1生成對(duì)抗網(wǎng)絡(luò)核心思想生成對(duì)抗網(wǎng)絡(luò)是由Goodfellow于2014年提出的一種生成模型，其核心思想是“零和博弈”。8.3.2生成模型和判別模型生成對(duì)抗網(wǎng)絡(luò)模型主要包括兩部分：生成模型和判別模型。生成模型是指我們可以根據(jù)任務(wù)、通過模型訓(xùn)練輸入的數(shù)據(jù)生成文字、圖像、視頻等數(shù)據(jù)，類似上述籃球運(yùn)動(dòng)員不斷訓(xùn)練的過程。判別模型會(huì)對(duì)生成模型生成的圖像等數(shù)據(jù)進(jìn)行判斷，判斷其是否是真實(shí)的訓(xùn)練數(shù)據(jù)，類似上述籃球教練不斷判斷運(yùn)動(dòng)員訓(xùn)練效果的過程。智能音樂創(chuàng)作—8.4—人工智能創(chuàng)作音樂也是借助深度學(xué)習(xí)來實(shí)現(xiàn)的。

典型的人工智能創(chuàng)作音樂是借助深度學(xué)習(xí)來實(shí)現(xiàn)的，和AlphaGo有著很大的相似之處。借助大量的原始音樂素材，從熱門舞曲到經(jīng)典的輕音樂，深度學(xué)習(xí)的長(zhǎng)短期記憶網(wǎng)絡(luò)算法（LSTM）通過分析，找到其中潛在的模式，進(jìn)而學(xué)習(xí)到節(jié)奏、長(zhǎng)度及音符之間的關(guān)系，然后就可以寫出自己的旋律8.4.1人工智能如何創(chuàng)作音樂事實(shí)上，任何音樂都是從隨機(jī)選擇聲音并將它們組合成一段旋律開始的。早在1787年，莫扎特就提出了一個(gè)骰子游戲目的就是隨機(jī)地進(jìn)行聲音選擇。他手工創(chuàng)作了近272個(gè)音調(diào)，然后，根據(jù)兩個(gè)骰子的總和來選擇一個(gè)音調(diào)。8.4.2什么是自動(dòng)音樂生成

8.4.3怎樣利用深度學(xué)習(xí)實(shí)現(xiàn)自動(dòng)音樂生成利用人工智能創(chuàng)作的音樂，可能是為我們每一個(gè)人量身創(chuàng)作的，比如可能參考你的音樂偏好、身體習(xí)慣甚至心跳數(shù)據(jù)，等等。采用深度學(xué)習(xí)的方法創(chuàng)作音樂，也是通過大量的音樂數(shù)據(jù)進(jìn)行模型訓(xùn)練，之后采用訓(xùn)練好的模型自動(dòng)生成音樂。

8.4.3怎樣利用深度學(xué)習(xí)實(shí)現(xiàn)自動(dòng)音樂生成利用人工智能創(chuàng)作的音樂，可能是為我們每一個(gè)人量身創(chuàng)作的，比如可能參考你的音樂偏好、身體習(xí)慣甚至心跳數(shù)據(jù)，等等。采用深度學(xué)習(xí)的方法創(chuàng)作音樂，也是通過大量的音樂數(shù)據(jù)進(jìn)行模型訓(xùn)練，之后采用訓(xùn)練好的模型自動(dòng)生成音樂。遷移學(xué)習(xí)—8.5—遷移學(xué)習(xí)概述遷移學(xué)習(xí)就是把已經(jīng)訓(xùn)練好的模型參數(shù)遷移到新的模型中來幫助新模型訓(xùn)練?？紤]到大部分?jǐn)?shù)據(jù)或任務(wù)是存在相關(guān)性的，所以通過遷移學(xué)習(xí)，我們可以將已經(jīng)學(xué)到的模型參數(shù)通過某種方式來分享給新模型，從而加快并優(yōu)化模型的學(xué)習(xí)效率，不用像大多數(shù)網(wǎng)絡(luò)那樣從零學(xué)習(xí)了。8.5.2深度學(xué)習(xí)和遷移學(xué)習(xí)結(jié)合深度學(xué)習(xí)需要大量的高質(zhì)量標(biāo)注數(shù)據(jù)，預(yù)訓(xùn)練然后微調(diào)模型是現(xiàn)在深度學(xué)習(xí)中一個(gè)非常流行的技巧，以圖像識(shí)別領(lǐng)域?yàn)槔?，很多時(shí)候會(huì)選擇預(yù)訓(xùn)練的ImageNet對(duì)模型進(jìn)行初始化。自動(dòng)駕駛技術(shù)—8.6—8.6.1自動(dòng)駕駛級(jí)別自動(dòng)駕駛汽車的自動(dòng)化程度分為6個(gè)等級(jí)8.6.2自動(dòng)駕駛原理自動(dòng)駕駛汽車的核心是感知能力，它有4種不同視野的眼睛，包括無線雷達(dá)、激光雷達(dá)、超聲波雷達(dá)和攝像頭，通過它們能得到不同的視野。在定位方面自動(dòng)駕駛汽車使用GPS與慣性策略裝置，再加上高精電子地圖就能夠?qū)崿F(xiàn)非常精準(zhǔn)的定位。探測(cè)器自動(dòng)駕駛汽車需要安裝多種探測(cè)器，比如激光雷達(dá)，即激光探測(cè)及測(cè)距系統(tǒng)，超聲波雷達(dá)、GPS、攝像頭等。自動(dòng)駕駛汽車攝像頭捕獲的鏡頭通過深度學(xué)習(xí)能夠識(shí)別出圖像中包含的物體，比如行人、行車、交通路標(biāo)等路徑規(guī)劃路徑規(guī)劃主要解決的問題是找到一條最快最安全的從起點(diǎn)到終點(diǎn)的路徑，路徑規(guī)劃中有很多成熟的算法，比如Dijkstra算法、RRT算法等。自動(dòng)駕駛汽車的路徑規(guī)劃需要考慮多種因素的影響，比如車禍路道、交通擁堵等。推薦系統(tǒng)—8.7—8.7.1推薦系統(tǒng)概述推薦系統(tǒng)通?？梢愿鶕?jù)用戶偏好、商品特征、用戶—商品交易和其他環(huán)境因素（如時(shí)間、季節(jié)、位置等）生成推薦結(jié)果。所推薦的物品可以包括電影、書籍、餐廳、新聞條目，等等。8.7.2購(gòu)物車推薦系統(tǒng)在人工智能應(yīng)用展中積聚了大量的紀(jì)念品交易數(shù)據(jù)，我們從各個(gè)顧客的購(gòu)物車中，會(huì)發(fā)現(xiàn)買了啤酒的顧客，也很可能買尿不濕。商家可以使用這種有價(jià)值的信息來支持各種商業(yè)中的實(shí)際應(yīng)用，如市場(chǎng)促銷、庫(kù)存管理和顧客關(guān)系管理，等等。本章小結(jié)—8.9—本章通過人工智能應(yīng)用展對(duì)目前人工智能的相關(guān)應(yīng)用做了一個(gè)概述，介紹了人工智能在圖像、自然語(yǔ)言、音樂、自動(dòng)駕駛等方面的應(yīng)用，開拓了同學(xué)們的視野和思路，了解人工智能可以應(yīng)用在工作和生活中的方方面面，最后通過推薦系統(tǒng)的了解和應(yīng)用，讓同學(xué)們可以將不同的技術(shù)融會(huì)貫通。

課后練習(xí)—8.10—（1）舉例說明生活中人工智能應(yīng)用的例子。（2）想一想有什么場(chǎng)景可以使用生成對(duì)抗網(wǎng)絡(luò)。（3）自己上網(wǎng)查閱更多的推薦系統(tǒng)例子，并分享給其他同學(xué)。人工智能倫理學(xué)習(xí)目標(biāo)—9.1—知識(shí)目標(biāo)了解人工智能可能帶來的隱私權(quán)問題了解人工智能可能帶來的責(zé)任倫理問題了解人工智能可能帶來的安全風(fēng)險(xiǎn)問題了解人工智能可能帶來的版權(quán)問題人工智能倫理概述—9.2—近年來，人工智能技術(shù)迅猛發(fā)展，在服務(wù)、物流、教育、無人駕駛、智慧城市、醫(yī)療、智能制造等領(lǐng)域應(yīng)用廣泛，為人類社會(huì)帶來了巨大變革。人工智能技術(shù)在給人們帶來巨大便利的同時(shí)，引發(fā)了系列倫理問題，諸如隱私權(quán)問題、責(zé)任倫理問題、安全風(fēng)險(xiǎn)問題、版權(quán)問題等，對(duì)人類社會(huì)帶來不同程度的影響。隱私權(quán)問題—9.3—人工智能發(fā)展的初衷是為了讓人工智能技術(shù)服務(wù)于人類，給人類帶來益處，現(xiàn)在存在的大數(shù)據(jù)濫用、人類隱私被侵犯顯然不是人類發(fā)展人工智能的初衷。由于目前人工智能軟件還沒有達(dá)到自主思考的程度，人工智能侵犯隱私權(quán)實(shí)際是人工智能技術(shù)的使用者侵犯他人的隱私權(quán)。責(zé)任倫理問題—9.4—乘著無人駕駛小汽車出行，正值下班下課高峰期，車多人多，無人駕駛小汽車在避讓人或車的過程中出現(xiàn)失誤，造成交通事故交警不會(huì)對(duì)我和同車人調(diào)查吧，我只是坐車的。這次交通事故的責(zé)任該怎么認(rèn)定？和朋友去餐廳吃飯，餐廳服務(wù)員已經(jīng)換成了機(jī)器人，可能由于人多等原因，機(jī)器人在服務(wù)過程中不小心將湯灑了，人有輕微被燙到，小明在想要找誰(shuí)對(duì)這件事情負(fù)責(zé)？。這兩種情況都涉及人工智能中的責(zé)任倫理問題。人工智能的責(zé)任倫理問題是當(dāng)今社會(huì)不可回避的重要議題。對(duì)于人工智能引發(fā)的責(zé)任倫理問題主要討論人工智能產(chǎn)生的過失和對(duì)人類帶來的損失由誰(shuí)來負(fù)責(zé)。安全風(fēng)險(xiǎn)問題—9.5—風(fēng)險(xiǎn)指的是遭受某種損失、傷害和不利后果的可能性。人工智能技術(shù)在人類生活中應(yīng)用的同時(shí)可能會(huì)給人類帶來信息安全風(fēng)險(xiǎn)、社會(huì)風(fēng)險(xiǎn)、經(jīng)濟(jì)風(fēng)險(xiǎn)等。信息安全風(fēng)險(xiǎn)主要包括系統(tǒng)漏洞和數(shù)據(jù)泄露。當(dāng)人工智能系統(tǒng)的安全防護(hù)措施不到位，可能被黑客、惡意者侵入并盜取信息、引發(fā)數(shù)據(jù)泄露。這可能導(dǎo)致個(gè)人財(cái)產(chǎn)損失。

社會(huì)風(fēng)險(xiǎn)主要是人工智能技術(shù)的發(fā)展給社會(huì)帶來的不利影響。惡意者可能利用“人臉偽造”用他人身份或不存在的身份做不道德或違反法律的事情，造成不良社會(huì)影響。下面介紹兩個(gè)典型例子。例子1：隨著AI技術(shù)的發(fā)展，AI技術(shù)已經(jīng)可將視頻、圖片中某個(gè)對(duì)象的人臉換成他人的人臉，用他人身份做不道德或違反法律的事情。商湯科技和新加坡南洋理工大學(xué)的研究者共同構(gòu)造的人臉偽造檢測(cè)數(shù)據(jù)集，他們對(duì)數(shù)據(jù)集進(jìn)行了人臉互換操作，圖顯示了對(duì)數(shù)據(jù)集中的原始人臉圖片進(jìn)行處理，與目標(biāo)人臉進(jìn)行互換，得到互換后的人臉隨機(jī)森林例子2：在“查無此人”網(wǎng)站上，只有一張人臉，沒有其他信息。生成的人臉都是不存在的，均由AI自動(dòng)生成，發(fā)色發(fā)型、性別、膚色臉型等都是新的，且看起來很真實(shí)，但實(shí)際確實(shí)是“查無此人”，如圖所示。有的惡意使用者用假面孔生成假新聞、在媒體平臺(tái)發(fā)布言論或者假扮用戶推薦產(chǎn)品，達(dá)到自己的目的。版權(quán)問題—9.6—小明使用某AI軟件，將自己需要的設(shè)計(jì)風(fēng)格、字體、形狀、顏色等輸入系統(tǒng)，系統(tǒng)自動(dòng)生成相應(yīng)的作品。小明不太確定用AI軟件生成的藝術(shù)作品版權(quán)是否歸于自己？這里涉及人工智能倫理里的版權(quán)問題。

2018年第一個(gè)在設(shè)計(jì)質(zhì)量上通過“圖靈測(cè)試”的人工智能系統(tǒng)“月行”