智能計(jì)算系統(tǒng)概述提綱3為什么要開這門課為什么來上這門課人工智能智能計(jì)算系統(tǒng)驅(qū)動(dòng)范例為什么要開這門課？4這不是理論力學(xué)課，世界上不存在這樣一門課程中科院的研究員并沒有上課的義務(wù)主講研究生《并行系統(tǒng)》（13-15）和本科生《數(shù)字電路》（16-17）擔(dān)任研究生課《高性能計(jì)算機(jī)系統(tǒng)》（07-11）助教巨大的科研工作壓力思考、閱讀和寫作管理數(shù)百人的芯片研制團(tuán)隊(duì)承擔(dān)幾十項(xiàng)科研項(xiàng)目無休止的會(huì)議和評(píng)審人工智能技術(shù)分層應(yīng)用層算法層系統(tǒng)層芯片層人工智能底層科技的缺失可能使得我國智能產(chǎn)業(yè)成為空中樓閣人工智能方向應(yīng)該培養(yǎng)什么樣的人才？?

汽車專業(yè)應(yīng)該培養(yǎng)什么樣的人才？?

同濟(jì)大學(xué)汽車專業(yè)培養(yǎng)目標(biāo)：具有從事汽車、發(fā)動(dòng)機(jī)和汽車電子的研究、設(shè)計(jì)、制造及汽車營銷和物流、車身與空氣動(dòng)力學(xué)、汽車試驗(yàn)學(xué)等方面工作的基本能力計(jì)算機(jī)專業(yè)應(yīng)該培養(yǎng)什么樣的人才？計(jì)算機(jī)專業(yè)當(dāng)培養(yǎng)計(jì)算機(jī)整機(jī)或子系統(tǒng)的設(shè)計(jì)者和研究者兩個(gè)參考問題人工智能方向應(yīng)該培養(yǎng)人工智能（子）系統(tǒng)的設(shè)計(jì)者和研究者6對(duì)課程體系的建議只包含各類機(jī)器學(xué)習(xí)算法、視聽覺應(yīng)用這條軟件線，只能算是

“人工智能應(yīng)用專業(yè)”或者“人工智能算法專業(yè)”谷歌有世界上最大的AI算法研究團(tuán)隊(duì)，然而谷歌董事長John

Hennessy是計(jì)算機(jī)體系結(jié)構(gòu)科學(xué)家，圖靈獎(jiǎng)得主谷歌AI的總領(lǐng)導(dǎo)者Jeff

Dean是計(jì)算機(jī)系統(tǒng)研究者谷歌AI最令人矚目的三個(gè)進(jìn)展都是系統(tǒng)（Tensorflow、AlphaGo、TPU），而不僅僅是某個(gè)特定算法，算法只是系統(tǒng)的一個(gè)環(huán)節(jié)應(yīng)當(dāng)包含系統(tǒng)線的課程，幫助學(xué)生理解系統(tǒng)到底是怎樣執(zhí)行的7對(duì)課程體系的建議8在高年級(jí)本科生（或者碩士研究生）階段，應(yīng)當(dāng)設(shè)置一門系統(tǒng)類課程，能幫助同學(xué)實(shí)現(xiàn)對(duì)當(dāng)前主流智能軟硬件體系的融會(huì)貫通，具備自己動(dòng)手完成一個(gè)完整智能系統(tǒng)的能力。這門課程就是智能計(jì)算系統(tǒng)智能計(jì)算系統(tǒng)課程對(duì)學(xué)生的價(jià)值9全面的實(shí)踐能力沒有系統(tǒng)知識(shí)、只會(huì)調(diào)參，對(duì)整個(gè)系統(tǒng)的耗時(shí)、耗電毫無感覺，不具備把一個(gè)算法在實(shí)際系統(tǒng)上部署起來的能力的學(xué)生做不出真東西會(huì)用Tensorflow賺20萬人民幣，會(huì)設(shè)計(jì)Tensorflow賺20萬美元更強(qiáng)的研究能力能夠從更廣闊的的視野和維度開展研究，不只是盯著精度形成系統(tǒng)思維，擁有科研道路更廣闊的舞臺(tái)智能計(jì)算系統(tǒng)課程對(duì)教師的價(jià)值10《禮記·學(xué)記》“教學(xué)相長”、開闊思路美國計(jì)算機(jī)方向Top4高校Stanford、CMU、UC

Berkley 和MIT以及多個(gè)國際單位聯(lián)合發(fā)布了白皮書——“SysML: The

New

Frontier

of

Machine

Learning

Systems”包括Yann

LeCun、Michael

I.

Jordan、Bill

Dally和Jeff

Dean等培養(yǎng)教授智能計(jì)算系統(tǒng)課程的教師，能搶占這一國際熱 點(diǎn)方向、也是未來重要學(xué)科增長點(diǎn)的先機(jī)什么是智能計(jì)算系統(tǒng)？11智能計(jì)算系統(tǒng)是智能的物質(zhì)載體現(xiàn)階段的智能計(jì)算系統(tǒng)通常是集成CPU和智能芯片的異構(gòu)系統(tǒng)，軟件上通常包括一套面向開發(fā)者的智能計(jì)算編程環(huán)境（包括編程框架和編程語言）智能計(jì)算系統(tǒng)的形態(tài)嵌入式設(shè)備超級(jí)計(jì)算機(jī)

數(shù)據(jù)中心

智能手機(jī)語音識(shí)別12自動(dòng)翻譯藥物研制圖像分析商業(yè)分析廣告推薦機(jī)器人消費(fèi)類電子智能計(jì)算系統(tǒng)具有重大價(jià)值上世紀(jì)人類從工業(yè)時(shí)代過渡到信息時(shí)代現(xiàn)在已經(jīng)發(fā)展到向智能時(shí)代進(jìn)化的拐點(diǎn)中國需要一大批智能計(jì)算系統(tǒng)的開發(fā)者和設(shè)計(jì)者13智能計(jì)算系統(tǒng)課程的三大實(shí)際困難14沒有參考課程沒有現(xiàn)成師資沒有成熟教材開創(chuàng)深度學(xué)習(xí)處理器方向2007：開始智能和芯片交叉研究長期受到科學(xué)院自有項(xiàng)目的支持2013：國際首個(gè)深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議ASPLOS’14最佳論文亞洲首獲體系結(jié)構(gòu)四大頂會(huì)最佳論文2014：國際首個(gè)多核深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議MICRO’14最佳論文2015：國際首個(gè)通用機(jī)器學(xué)習(xí)處理器CCF

A類會(huì)議ASPLOS’152016：國際首個(gè)智能指令集CCF

A類會(huì)議ISCA'16最高分論文2017：國際首個(gè)集成AI處理器的手機(jī)華為Mate1015開創(chuàng)深度學(xué)習(xí)處理器方向1GHz，0.485W

@

65nm，通用CPU

1/10的面積，100倍的性能2007：開始智能和芯片交叉研究長期受到科學(xué)院自有項(xiàng)目的支持2013：國際首個(gè)深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議ASPLOS’14最佳論文亞洲首獲體系結(jié)構(gòu)四大頂會(huì)最佳論文2014：國際首個(gè)多核深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議MICRO’14最佳論文2015：國際首個(gè)通用機(jī)器學(xué)習(xí)處理器CCF

A類會(huì)議ASPLOS’152016：國際首個(gè)智能指令集

CCF

A類會(huì)議ISCA'16最高分論文

2017：國際首個(gè)集成AI處理器的手機(jī)

華為Mate1016開創(chuàng)深度學(xué)習(xí)處理器方向2007：開始智能和芯片交叉研究長期受到科學(xué)院自有項(xiàng)目的支持2013：國際首個(gè)深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議ASPLOS’14最佳論文亞洲首獲體系結(jié)構(gòu)四大頂會(huì)最佳論文2014：國際首個(gè)多核深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議MICRO’14最佳論文2015：國際首個(gè)通用機(jī)器學(xué)習(xí)處理器CCF

A類會(huì)議ASPLOS’152016：國際首個(gè)智能指令集0.6GHz，16W@28nm，主流GPU

21倍性能，300倍性能功耗比

CCF

A類會(huì)議ISCA'16最高分論文

2017：國際首個(gè)集成AI處理器的手機(jī)

華為Mate1017開創(chuàng)深度學(xué)習(xí)處理器方向2007：開始智能和芯片交叉研究長期受到科學(xué)院自有項(xiàng)目的支持2013：國際首個(gè)深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議ASPLOS’14最佳論文亞洲首獲體系結(jié)構(gòu)四大頂會(huì)最佳論文2014：國際首個(gè)多核深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議MICRO’14最佳論文2015：國際首個(gè)通用機(jī)器學(xué)習(xí)處理器CCF

A類會(huì)議ASPLOS’152016：國際首個(gè)智能指令集CCF

A類會(huì)議ISCA'16最高分論文除人工神經(jīng)網(wǎng)絡(luò)，還支持

k-NN、SVM、Bayes等其 它主流ML方法GPU

1/100面積功耗，相當(dāng)

2017：國際首個(gè)集成AI處理器的手機(jī)

華為Mate10的性能18開創(chuàng)深度學(xué)習(xí)處理器方向2007：開始智能和芯片交叉研究長期受到科學(xué)院自有項(xiàng)目的支持2013：國際首個(gè)深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議ASPLOS’14最佳論文亞洲首獲體系結(jié)構(gòu)四大頂會(huì)最佳論文2014：國際首個(gè)多核深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議MICRO’14最佳論文2015：國際首個(gè)通用機(jī)器學(xué)習(xí)處理器CCF

A類會(huì)議ASPLOS’152016：國際首個(gè)智能指令集CCF

A類會(huì)議ISCA'16最高分論文2017：國際首個(gè)集成AI處理器的手機(jī)華為Mate10Cambricon指令集19開創(chuàng)深度學(xué)習(xí)處理器方向已有十余種智能手機(jī)（共近億臺(tái)）集成寒武紀(jì)，實(shí)測(cè)能效提升一個(gè)數(shù)量級(jí)2007：開始智能和芯片交叉研究長期受到科學(xué)院自有項(xiàng)目的支持2013：國際首個(gè)深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議ASPLOS’14最佳論文亞洲首獲體系結(jié)構(gòu)四大頂會(huì)最佳論文2014：國際首個(gè)多核深度學(xué)習(xí)處理器架構(gòu)CCF

A類會(huì)議MICRO’14最佳論文2015：國際首個(gè)通用機(jī)器學(xué)習(xí)處理器CCF

A類會(huì)議ASPLOS’152016：國際首個(gè)智能指令集CCF

A類會(huì)議ISCA'16最高分論文2017：國際首個(gè)集成AI處理器的手機(jī)華為Mate1020十年堅(jiān)持，研制國際首個(gè)深度學(xué)習(xí)處理器,推動(dòng)深度學(xué)習(xí)處理器成為計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域主要熱點(diǎn)之一2016-2018三年CCF

A類會(huì)議ISCA共近1/4論文引用被深度學(xué)習(xí)開創(chuàng)者、圖靈獎(jiǎng)獲得者Bengio的深度學(xué)習(xí)教科書引用兩百個(gè)國際機(jī)構(gòu)(哈佛、斯坦福、MIT、CMU、普林斯頓、UCLA、Intel、谷歌、微軟等)跟蹤數(shù)十位國際知名學(xué)者（

2位圖靈獎(jiǎng)得主、10余位中美院士、41位ACM會(huì)士、120位IEEE會(huì)士）引用21寒武紀(jì)的國際影響寒武紀(jì)的國際影響222018年2月9日Science雜志(vol.358,

iss.6376)高度評(píng)價(jià)寒武紀(jì)的研究AI芯片的引領(lǐng)者(the

leaders)專用芯片體系結(jié)構(gòu)的先驅(qū)

(pioneering

in

terms

of specialized

chip

architecture)開創(chuàng)性進(jìn)展(groundbreaking

advances)寒武紀(jì)的國內(nèi)影響23孵化寒武紀(jì)公司，國際上首個(gè)智能芯片獨(dú)角獸創(chuàng)業(yè)公司16年上半年成立，天使輪估值近1億美元，融資近0.1億美元17年上半年A輪估值近10億美元，融資近1億美元18年上半年B輪估值超過25億美元，融資4億美元19年上半年B+輪估值超過35億美元，融資4億美元投資人包括國投、國風(fēng)投、國新、中金、中信、TCL、阿里、聯(lián)想、訊飛元禾、中科院投資、圖靈等目前超過1000人我們的嘗試242018年，我們?cè)谥袊茖W(xué)院大學(xué)計(jì)算機(jī)學(xué)院申請(qǐng)開設(shè)一門人工智能方向的系統(tǒng)課程，名為《智能計(jì)算系統(tǒng)》面向人群：計(jì)算機(jī)、軟件工程和人工智能方向研究生和高年級(jí)本科生課程目的：希望能培養(yǎng)同學(xué)對(duì)智能計(jì)算完整軟硬件技術(shù)棧（包括基礎(chǔ)智能算法、智能計(jì)算編程框架、智能計(jì)算編程語言、智能芯片體系結(jié)構(gòu)等）融會(huì)貫通的理解。前置課程要求：C/C++，計(jì)算機(jī)組成原理，算法導(dǎo)論（機(jī)器學(xué)習(xí)）智能計(jì)算系統(tǒng)課程開設(shè)情況25已經(jīng)/正在在中科院大學(xué)、北大、中國科大、天大、北航、南開、北理工、武大等十多家高校開設(shè)智能計(jì)算系統(tǒng)課程部分院校設(shè)為研究生課程，部分院校設(shè)為本科生課程涉及計(jì)算機(jī)學(xué)院、人工智能學(xué)院和軟件學(xué)院我們希望能幫助更多高校開設(shè)這門課程課程ppt、講稿、錄像、代碼都將公開，提供云實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)小卡2019年8月教指委組織了第一次智能計(jì)算系統(tǒng)課程導(dǎo)教班（西安），2020年2月即將組織第二次（廣州）《智能計(jì)算系統(tǒng)》教材正在出版印刷中，2020年2月即可交付讀者提綱26為什么要開這門課為什么來上這門課人工智能智能計(jì)算系統(tǒng)驅(qū)動(dòng)范例為什么來上這門課？27好學(xué)生就是要上課具備實(shí)際解決問題能力是上課的目標(biāo)

計(jì)算機(jī)專業(yè)培養(yǎng)計(jì)劃的正面啟示我國各高校計(jì)算機(jī)專業(yè)培養(yǎng)計(jì)劃都包含計(jì)算機(jī)組成原理、霽操&

作李玲系&李統(tǒng)威e、t

al

編譯原理、計(jì)算機(jī)體系結(jié)構(gòu)等硬件系統(tǒng)類課程28

計(jì)算機(jī)專業(yè)培養(yǎng)計(jì)劃的負(fù)面啟示課程條塊分割，學(xué)生不能融會(huì)貫通做出一個(gè)完整系統(tǒng)，導(dǎo)

產(chǎn)業(yè)全棧式人才缺乏，核心硬科技競(jìng)爭(zhēng)力缺失29應(yīng)用驅(qū)動(dòng)、全棧貫通的課程體系智能算法編程語言系統(tǒng)軟件體系結(jié)構(gòu)應(yīng)用牽引一門幫助學(xué)生學(xué)以致用、形成全局系統(tǒng)觀的工科課程30課程目標(biāo)和目的中國需要一大批智能基礎(chǔ)設(shè)施的開發(fā)者和設(shè)計(jì)者專業(yè)普及課程應(yīng)用驅(qū)動(dòng)，全棧貫通智能計(jì)算系統(tǒng)建立智能計(jì)算系統(tǒng)設(shè)計(jì)及應(yīng)用的知識(shí)體系掌握智能應(yīng)用開發(fā)的基本技能培養(yǎng)開展智能計(jì)算系統(tǒng)基礎(chǔ)研究的興趣和能力能用智能計(jì)算系統(tǒng)，能開發(fā)智能應(yīng)用技能實(shí)現(xiàn)對(duì)智能計(jì)算軟硬件技術(shù)棧的貫通理解融合創(chuàng)造未來智能計(jì)算系統(tǒng)的科研基礎(chǔ)創(chuàng)造31課程要求32C/C++計(jì)算機(jī)體系結(jié)構(gòu)機(jī)器學(xué)習(xí)/算法導(dǎo)論課程考核33不點(diǎn)名、不布置作業(yè)、不抓人，來去自由考核理念想要知識(shí)的同學(xué)收獲知識(shí)想要學(xué)分的同學(xué)收獲學(xué)分總分100分期末開卷考試40分實(shí)驗(yàn)一30分實(shí)驗(yàn)二30分課程提綱34第一章第二章第三章第四章第五章第六章第七章第八章第九章概述---a

driving

example神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)編程框架使用編程框架機(jī)理深度學(xué)習(xí)處理器原理深度學(xué)習(xí)處理器架構(gòu)智能編程語言實(shí)驗(yàn)講解提綱35為什么要開這門課為什么來上這門課人工智能智能計(jì)算系統(tǒng)驅(qū)動(dòng)范例智能時(shí)代上世紀(jì)人類從工業(yè)時(shí)代過渡到信息時(shí)代現(xiàn)在已經(jīng)發(fā)展到向智能時(shí)代進(jìn)化的拐點(diǎn)36蒸汽機(jī)集成電路 智能計(jì)算系統(tǒng)國家戰(zhàn)略37企業(yè)投入百度將All

in

AI，我們?cè)贏I時(shí)代的核心戰(zhàn)略就是開放賦能，我們的將來必須建立在與每個(gè)開發(fā)者共贏的基礎(chǔ)上。[前COO陸奇@百度開發(fā)者大會(huì)2017]AI

in

All，AI技術(shù)…能夠真正和各行各業(yè)實(shí)際應(yīng)用結(jié)合在一起，從而讓AI新技術(shù)能夠得到實(shí)際價(jià)值的發(fā)揮。[COO任宇昕@騰訊全球合作伙伴大會(huì)2017]未來3年阿里巴巴在技術(shù)研發(fā)上的投入將超過1000億人民幣.[馬云

@2017杭州·云棲大會(huì)]38研究趨勢(shì)1996至2017，AI相關(guān)論文數(shù)量增長比例大大超過計(jì)算機(jī)學(xué)科和所有學(xué)科39高等教育40初創(chuàng)企業(yè)41就業(yè)機(jī)會(huì)42算力需求2012年之前，AI訓(xùn)練算力需求每?jī)赡攴环?012年之后，算力需求每3.4個(gè)月翻一番43lfw人臉測(cè)試準(zhǔn)確度99%（成人僅97%）AlphaGo戰(zhàn)勝李世石人工智能算法在多種應(yīng)用上接近或超過了人類水平人工智能不斷飛速發(fā)展語音速記戰(zhàn)勝人類專業(yè)速記員44什么是人工智能45人工智能：人制造出來的機(jī)器所表現(xiàn)出來的智能強(qiáng)人工智能或通用人工智能：具備與人類同等智慧、或 超越人類的人工智能，能表現(xiàn)正常人類所具有的所有智 能行為弱人工智能：能完成某種特定具體任務(wù)的人工智能，計(jì) 算機(jī)科學(xué)的非平凡應(yīng)用人工智能的三次熱潮1943W.McCulloch和W.Pitts提出神經(jīng)元模型1949D.Hebb提出

HebbianLearning規(guī)則達(dá)特茅斯會(huì)議上，人工智能概念誕生1956

1957F.Rosenblatt提出感知機(jī)1969進(jìn)入第一次寒冬日本啟動(dòng)五代機(jī)計(jì)劃；專家系統(tǒng)實(shí)用化反向傳播算法出現(xiàn)1982

19861991五代機(jī)計(jì)劃失敗，AI算法復(fù)雜度高，進(jìn)展緩慢，進(jìn)入第二次寒冬2006Hinton提出深度學(xué)習(xí)A.Krizhevsky提出AlexNet網(wǎng)絡(luò)，AI開啟爆發(fā)式增長AlphaGo戰(zhàn)勝人類選手2012

2016

201946AlphaStar在星際爭(zhēng)霸中戰(zhàn)勝人類選手1956年達(dá)特茅斯人工智能研討會(huì)47人工智能都在研究什么？48人工智能三個(gè)流派49行為主義：基于控制論，構(gòu)建感知-動(dòng)作型控制系統(tǒng)符號(hào)主義：基于符號(hào)邏輯的方法，用邏輯表示知識(shí)和求解問題連接主義：基于大腦中神經(jīng)元細(xì)胞連接的計(jì)算模型，用人工神經(jīng)網(wǎng)絡(luò)來擬合智能行為符號(hào)邏輯的一個(gè)例子一階謂詞邏輯50符號(hào)主義的困難：邏輯，常識(shí)，求解器51邏輯：未找到能表述世間所有知識(shí)的簡(jiǎn)潔邏輯體系常識(shí)：無窮無盡的常識(shí)求解器：命題邏輯判定NP完全，一階謂詞邏輯不可判定更本質(zhì)的問題人的智能主要是符號(hào)智能嗎？符號(hào)主義最本質(zhì)的問題是只考慮了理性認(rèn)識(shí)的智能。人類的智能包括感性認(rèn)識(shí)（感知）和理性認(rèn)識(shí)（認(rèn)知）兩個(gè)方面人類語言的例子：詞匯，時(shí)態(tài)，格，數(shù)字52連接主義：人工神經(jīng)網(wǎng)絡(luò)1943，神經(jīng)元模型，McCulloch和Pitts，第一波神經(jīng)網(wǎng)絡(luò)1949，《The

Organizationof

Behaviour》，Hebb學(xué)習(xí)1958，感知機(jī)模型（preceptron），Rosenblatt1986，BP反向傳播訓(xùn)練方法，Rumelhart、Hinton和Williams，第二波神經(jīng)網(wǎng)絡(luò)1998，卷積神經(jīng)網(wǎng)絡(luò)，Lecun2000，自然語言模型，Bengio2006，深度置信網(wǎng)絡(luò)（

DBN

），Hinton,

第三波神經(jīng)網(wǎng)絡(luò)2012，AlexNet

（Dropout），Hinton團(tuán)隊(duì)贏得ImageNet比賽ILSVRC的冠軍2015，Deep

Residual

Network，AlphaGo53人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元作為基本單元（1911）McCulloch-Pitts神經(jīng)元模型（1943）感知機(jī)（1958）LeNet（1998）BP（1986）DNN（2007*）Gabor&SVM（1990s&2000s）GANs(2016*)ResNet(2015)LSTM(2015*)VGG(2014)AlexNet(2012)LCN&LRN(2009)1900

···54···

1950

······

2000200520102015*開始流行時(shí)間人工神經(jīng)元軸突細(xì)胞體樹突AxonTerminal

Branchesof

AxonDendrites

x2x1w1w2wnx3w355xn一個(gè)神經(jīng)元的單層感知機(jī)

x1x2w1

5w2

5z

w1x1

w2

x2

y

1z

0

0

otherwise1-1101-11-100x1x2yzAxon56of

AxonDendrites

x2x1w1w2wnxnx3w3第一T代erm，in單al

B層ra感nch知es機(jī)多層+多個(gè)神經(jīng)元第三代，深度神經(jīng)網(wǎng)絡(luò)1990s如今第二代，MLP57SVMsInternational

Conference

on

MachineLearnhinttgp.

:///aics深而大的深度神經(jīng)網(wǎng)絡(luò)十億參數(shù)Le,

Q.V.,

Ranzato,

M.

A.,

Monga,

R.,

Devin,M.,

Chen,

K.,

Corrado,

G.

S.,

…

Ng,

A.Y.110億參數(shù)Coates,

A.,

Huval,

B.,Wang,T.,Wu,

D.

J.,

&Ng,

A.Y.

(2013).

Deep

learning

with

cotshpc

systems.

In

International

Conferenceon

Machine

Learning.6千萬參數(shù)Krizhevsky,

A.,

Sutskever,

I.,

&

Hinton,

G.(2012).

Imagenet

classification

with

deepconvolutional

neural

networks.

In

Advances

in

(2012).

Building

High-level

Features

UsingNeural

Information

Processing

Systems

(pp.

1–Large

Scale

UnsupervisedLearning.

InResNet：152層某些商業(yè)網(wǎng)絡(luò)：512層589).深而大的深度神經(jīng)網(wǎng)絡(luò)sifierNoConvolution

Local

Response

Pooling

ClasNif

N

Normalization

Nof

ofKK

NiTree多層大規(guī)模人工神經(jīng)網(wǎng)絡(luò)59深度神經(jīng)網(wǎng)絡(luò)的組織方式TreeCarConvolutionClassificationFeaturemapPooling

Convolution60What’s

does

network

see?

Zieler

’s

network

visualization

深度學(xué)習(xí)工作機(jī)理霽

&

李 &

李威

et

al深度學(xué)習(xí)工作機(jī)理分類器&李玲&李威et

al62深度學(xué)習(xí)20個(gè)有意思的小應(yīng)用https:///czaoth/p/6755609.html63深度學(xué)習(xí)的局限性64深度學(xué)習(xí)是一把梯子，而不是火箭泛化能力有限缺乏推理能力缺乏可解釋性魯棒性欠佳提綱65為什么要開這門課為什么來上這門課人工智能智能計(jì)算系統(tǒng)驅(qū)動(dòng)范例什么是智能計(jì)算系統(tǒng)66智能計(jì)算系統(tǒng)是智能的物質(zhì)載體現(xiàn)階段的智能計(jì)算系統(tǒng)通常是集成CPU和智能芯片的異構(gòu)系統(tǒng)，軟件上通常包括一套面向開發(fā)者的智能計(jì)算編程環(huán)境（包括編程框架和編程語言）異構(gòu)智能計(jì)算系統(tǒng)67現(xiàn)今采用異構(gòu)智能計(jì)算系統(tǒng)的主要原因:近十年來通用CPU的計(jì)算能力增長近乎停滯，而智能計(jì)算能力的需求在不斷以指數(shù)增長，二者形成了剪刀差e.g.寒武紀(jì)深度學(xué)習(xí)處理器能夠以比通用CPU低一個(gè)數(shù)量級(jí)的能耗，達(dá)到100倍以上的智能處理的速度異構(gòu)系統(tǒng)在提高性能的同時(shí)，也帶來了編程上的困難智能計(jì)算系統(tǒng)一般會(huì)集成一套編程環(huán)境，方便程序員快速便捷地開發(fā)高能效的智能應(yīng)用程序常用的深度學(xué)習(xí)編程框架包括TensorFlow和MXNet等深度學(xué)習(xí)編程語言包括CUDA語言和BCL語言等為什么需要智能計(jì)算系統(tǒng)和李世石下一盤圍棋電費(fèi)數(shù)千美元的AlphaGo1.6萬個(gè)CPU核學(xué)一周識(shí)別貓臉的谷歌大腦人工智能必須有其核心物質(zhì)載體68三代智能計(jì)算系統(tǒng)69第一代智能計(jì)算系統(tǒng)：1980年代，面向符號(hào)主義智能處理的專用計(jì)算機(jī)（Prolog機(jī)，LISP機(jī)）第二代智能計(jì)算系統(tǒng)：2010年代，面向連接主義智能處理的專用計(jì)算機(jī)（深度學(xué)習(xí)計(jì)算機(jī)）第三代智能計(jì)算系統(tǒng)：未來強(qiáng)人工智能/通用人工智能的載體第一代智能計(jì)算系統(tǒng)701975，MIT

AI

Lab的Greenblatt研制成功LISP機(jī)CONS1978，MIT

AI

Lab發(fā)布CONS的后繼，CADR1980s，發(fā)展高峰Symbolics

(3600,

3640,

XL1200,

MacIvory）Lisp

Machines

Incorporated

(LMI

Lambda)Texas

Instruments

(Explorer

and

MicroExplorer）Xerox

(Interlisp-D

workstations)日本，五代機(jī)Prolog機(jī)，1983，David

H.

D.Warren

Warren

Abstract

Machine1980s末到1990s初，AI

winter，第一代智能機(jī)市場(chǎng)坍塌第一代智能計(jì)算系統(tǒng)LISP機(jī)（MIT博物館）Symbolics

364071第一代智能計(jì)算系統(tǒng)72High-level

language

computer

architectureOS的編程語言和硬件“統(tǒng)一”化，如LISP只針對(duì)特定語言的優(yōu)化局限性沒有太多的實(shí)際應(yīng)用需求由于摩爾定律發(fā)展，性能比不上CPU貴，幾十萬美元一臺(tái)第二代智能計(jì)算系統(tǒng)73面向連接主義（深度學(xué)習(xí)）處理的計(jì)算機(jī)或處理器和第一代智能計(jì)算系統(tǒng)相比，第二代智能計(jì)算系統(tǒng)有兩方面的優(yōu)勢(shì)：深度學(xué)習(xí)有大量實(shí)際的工業(yè)應(yīng)用，已經(jīng)形成了產(chǎn)業(yè)體系，因此相關(guān)研究能得到政府和企業(yè)的長期資助；摩爾定律在21世紀(jì)發(fā)展放緩，通用CPU性能增長停滯，專用智能計(jì)算系統(tǒng)的性能優(yōu)勢(shì)越來越大。因此，在可預(yù)見的將來，第二代智能計(jì)算系統(tǒng)還將長期健壯發(fā)展，持續(xù)迭代優(yōu)化第二代智能計(jì)算系統(tǒng)圖像識(shí)別語音識(shí)別廣告推薦游戲競(jìng)技自動(dòng)駕駛汽車移動(dòng)設(shè)備客戶端物端設(shè)備服務(wù)器氣象預(yù)報(bào)超級(jí)計(jì)算機(jī)智能計(jì)算系統(tǒng)74第二代智能計(jì)算系統(tǒng)美國智能計(jì)算系統(tǒng)代表“頂點(diǎn)”（Summit）浮點(diǎn)運(yùn)算速度峰值達(dá)每秒20億億次（200PFlops）中國智能計(jì)算系統(tǒng)代表“曙光7000”浮點(diǎn)運(yùn)算速度峰值達(dá)每秒30億億次（300PFlops）75第二代智能計(jì)算系統(tǒng)76第三代智能計(jì)算系統(tǒng)展望2020年春季77具有近乎無限的計(jì)算能力，會(huì)給人工智能帶來什么？從奴仆到主人：第三代智能計(jì)算系統(tǒng)不再是智能算法的加速工具它將是通用人工智能（強(qiáng)人工智能）發(fā)育的沙盒虛擬世界大量獨(dú)立的智能主體，足夠豐富的虛擬世界，以及背后的無限計(jì)算能力智能主體將在其中成長，通過和環(huán)境的交互，形成感知、認(rèn)知和邏輯能力，甚至理解虛擬世界、改造虛擬世界，從而具備通用智能為什么要在沙盒環(huán)境中發(fā)育智能？78通用人工智能的危險(xiǎn)性生存、繁衍等意識(shí)基礎(chǔ)無法在現(xiàn)實(shí)環(huán)境中實(shí)現(xiàn)沒有生存、繁衍等本能，智能主體的知識(shí)大廈沒有根基現(xiàn)實(shí)環(huán)境的低效低速第三代智能計(jì)算系統(tǒng)探索的思路79總體思路：具備全面感知能力和超大規(guī)模硬件的原始智人是怎樣一步步獲得智能的？體系結(jié)構(gòu)：面向海量并發(fā)認(rèn)知智能計(jì)算線程和超大規(guī)模 虛擬環(huán)境的計(jì)算機(jī)和芯片算法：有限延遲的認(rèn)知智能算法，能自主產(chǎn)生語言和文 字，從本能之上建立起自己的知識(shí)圖譜，打通感知到邏 輯的鴻溝編程框架，操作系統(tǒng)，網(wǎng)絡(luò)等等都將為之巨變提綱80為什么要開這門課為什么來上這門課人工智能智能計(jì)算系統(tǒng)驅(qū)動(dòng)范例Driving

Example81從一個(gè)例子開始，串起本課程各個(gè)章節(jié)當(dāng)你上完掌握了第二代智能計(jì)算系統(tǒng)（深度學(xué)習(xí)計(jì)算機(jī)）的原理和使用形成了第三代智能計(jì)算系統(tǒng)（通用智能孵化器）的初步概念和興趣“星空”82“星空”83如何解決一個(gè)AI的任務(wù)？像藝術(shù)家一樣84處理過程輸入輸出建模實(shí)現(xiàn)運(yùn)行85輸入輸入輸出建模實(shí)現(xiàn)運(yùn)行86建模神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)輸入輸出建模實(shí)現(xiàn)運(yùn)行87神經(jīng)網(wǎng)絡(luò)基礎(chǔ)顏色/紋理/形狀特征監(jiān)督/無監(jiān)督Sigmoid

/

ReLU

/

tanhForward

PropagationBack

Propagation