口

算法算法就是計(jì)算或者解決問題的步驟。我們可以把它想象

成食譜。要想做出特定的料理，就要遵循食譜上的步驟；同

理，要想用計(jì)算機(jī)解決特定的問題，就要遵循算法。食譜和

算法之間最大的區(qū)別就在于算法是嚴(yán)密的。食譜上經(jīng)常會(huì)有

描述得比較模糊的部分，而算法的步驟都是用數(shù)學(xué)方式來描

述的，所以十分明確。養(yǎng)脾胃食譜第一周每天都有新花樣注：每周可以吃2-3天雜糧飯(自米飯中加小米，燕麥，超米，黑米，硬米等)午餐據(jù)配米飯(煮軟),晚餐主食可以搭配粥或者面。第一周早餐午餐晚餐周一山藥蓮子粥小慢頭蘿卜燉牛肉清炒西藍(lán)花清炒冬瓜南瓜慢頭周核桃紅棗米糊

玉米雞蛋餅鮮魚豆腐湯萵筍炒肉絲香菇胡蘿卜面周三番茄雞蛋面純牛奶冬瓜排骨湯絲瓜炒雞蛋蒸南瓜裙帶菜雞蛋湯周四南瓜小米粥黑芝麻山藥蒸糕清蒸鱸魚木耳芹菜炒香干香菇青菜南瓜慢頭周五胡蘿卜小米粥

土豆雞蛋餅蝦仁青豆玉米

清炒藕條西葫蘆炒雞蛋

小慢頭+小米粥周六雞肉小餛飩純牛奶蓮藕肉丸湯清炒綠豆芽白菜豆腐蝦皮炒土豆絲周日蘋果小米粥青菜雞蛋餅山藥木耳荷蘭豆

西藍(lán)花炒蝦仁番茄青菜面口

算法vs程序算法和程序有些相似，區(qū)別在于程序是以計(jì)算機(jī)能夠理

解的編程語言編寫而成的，可以在計(jì)算機(jī)上運(yùn)行，而算法是

以人類能夠理解的方式描述的，用于編寫程序之前。不過，

在這個(gè)過程中到哪里為止是算法、從哪里開始是程序，并沒

有明確的界限。就算使用同一個(gè)算法，編程語言不同，寫出

來的程序也不同；即便使用相同的編程語言，寫程序的人不

同，那么寫出來的程序也是不同的?？谒惴ㄟx擇的必要性低效的排序算法(全

排列算法)對(duì)50進(jìn)行排序，

運(yùn)氣不好的話，花費(fèi)的

時(shí)間比宇宙的年齡還要

長(zhǎng)!4220

141713

42

17

172828

282814

14

20

2

3

23232323

232315

15

420年7億年后宇宙誕生(大爆炸)銀河系誕生1～50開始對(duì)50個(gè)

數(shù)字排序假設(shè)1臺(tái)高性能計(jì)算機(jī)1秒能檢查1萬億(=1012)個(gè)數(shù)列，那么檢查10個(gè)數(shù)列將花費(fèi)的時(shí)

間為10?÷1012=102秒。1年(365天)為31536000秒，不到10?秒。因此，102秒>1020年

。從大爆炸開始宇宙已經(jīng)經(jīng)歷了約137億年，即便如此也少于101年。也就是說，僅僅是對(duì)

50個(gè)數(shù)進(jìn)行排序，若使用全排列算法，可能就算花費(fèi)宇宙年齡的10?倍時(shí)間也得不出答案。137億年后現(xiàn)在

排序中……91億年后地球誕生詳

解

33種算

法

和

9種數(shù)據(jù)結(jié)構(gòu)的基本原理或性質(zhì)說明我的第一本算法書[日]石田保輝宮崎修

一/薯

張貝何潤(rùn)民/譯585張步驟圖中國(guó)工信出版集團(tuán)

L圖靈程序

設(shè)計(jì)叢書TURiNG算法與數(shù)學(xué)：相互依存的基礎(chǔ)算法是解決問題的一系列明確指令，而數(shù)學(xué)則是研究數(shù)

量、結(jié)構(gòu)、變化以及空間等概念的學(xué)科。這兩者之間的聯(lián)系，

可以從最基礎(chǔ)的計(jì)數(shù)和算術(shù)運(yùn)算開始，逐漸深入到復(fù)雜的代

數(shù)、幾何、概率統(tǒng)計(jì)等領(lǐng)域。在編程中，無論是簡(jiǎn)單的排序算法，還是復(fù)雜的機(jī)器學(xué)習(xí)模型，都離不開數(shù)學(xué)的支持。例如，在排序算法中，我們經(jīng)常會(huì)用到數(shù)學(xué)中的比較和

交換操作。而在機(jī)器學(xué)習(xí)領(lǐng)域，線性代數(shù)、微積分、概率論

等數(shù)學(xué)知識(shí)則成為了構(gòu)建模型和分析數(shù)據(jù)的基礎(chǔ)?？梢哉f，

沒有數(shù)學(xué)的支持，算法將失去其根基，編程也將變得舉步維

艱。數(shù)學(xué)->算法->程序關(guān)于數(shù)學(xué)數(shù)學(xué)可以說是一個(gè)非常寬泛的科學(xué)范疇，在涉及具體問

題時(shí)還需進(jìn)行細(xì)分。因此，為了方便研究開展，學(xué)界一般可

以將整個(gè)數(shù)學(xué)領(lǐng)域粗略地劃分為基礎(chǔ)數(shù)學(xué)、應(yīng)用數(shù)學(xué)、數(shù)學(xué)

史三部分。1.基礎(chǔ)數(shù)學(xué)基礎(chǔ)數(shù)學(xué)又稱為純粹數(shù)學(xué)，其研究從客觀世界中抽象出來的數(shù)學(xué)規(guī)律的內(nèi)在聯(lián)系，也可以說是研究數(shù)學(xué)本身的規(guī)律。

基礎(chǔ)數(shù)學(xué)包含代數(shù)學(xué)、幾何學(xué)、分析學(xué)等主要領(lǐng)域?？诖鷶?shù)學(xué)是研究數(shù)、數(shù)量、關(guān)系、結(jié)構(gòu)與代數(shù)方程的數(shù)學(xué)分支，可以形象地說成是解決”數(shù)”的問題?！鯉缀螌W(xué)則是研究空間結(jié)構(gòu)形狀及性質(zhì)的一門學(xué)科，也

就是解決“形”的問題?？诜治鰧W(xué)是一種較復(fù)雜的專業(yè)數(shù)學(xué)分支，涉及微積分、復(fù)分析、泛函分析等諸多內(nèi)容。2.應(yīng)用數(shù)學(xué)應(yīng)用數(shù)學(xué)是應(yīng)用目的明確的數(shù)學(xué)理論和方法的總稱，研

究如何應(yīng)用數(shù)學(xué)理論解決其他領(lǐng)域的問題，其概念與基礎(chǔ)數(shù)

學(xué)相對(duì)。應(yīng)用數(shù)學(xué)包含計(jì)算數(shù)學(xué)、運(yùn)籌學(xué)、統(tǒng)計(jì)學(xué)、控制論、

信息論等諸多領(lǐng)域。為了方便理解，可以將應(yīng)用數(shù)學(xué)拆分為兩個(gè)詞，即：“應(yīng)

用”和”數(shù)學(xué)”。從而，應(yīng)用數(shù)學(xué)就包括兩個(gè)部分，

一部分就是

與應(yīng)用有關(guān)的數(shù)學(xué)，這是傳統(tǒng)數(shù)學(xué)的一支，我們可稱之為“可

應(yīng)用的數(shù)學(xué)”;另外一部分是數(shù)學(xué)的應(yīng)用，就是以數(shù)學(xué)為工具，

探討解決科學(xué)、工程學(xué)和社會(huì)學(xué)方面的問題，這超越了傳統(tǒng)

數(shù)學(xué)的范圍。應(yīng)用數(shù)學(xué)在21世紀(jì)，主要是應(yīng)用于兩個(gè)領(lǐng)域，

一個(gè)是計(jì)

算

機(jī)，隨著計(jì)算機(jī)的飛速發(fā)展，需要一大批懂?dāng)?shù)學(xué)的軟件工

程師做相應(yīng)的數(shù)據(jù)庫的開發(fā)，另一個(gè)是經(jīng)濟(jì)學(xué)，經(jīng)濟(jì)學(xué)有很

多都需要用非常專業(yè)的數(shù)學(xué)進(jìn)行分析。3.數(shù)學(xué)史數(shù)學(xué)史是研究數(shù)學(xué)科學(xué)的起源、發(fā)展及其規(guī)律的科學(xué)。通俗地說，數(shù)學(xué)史就是研究數(shù)學(xué)的歷史。數(shù)學(xué)史的研究?jī)?nèi)容

包括追溯數(shù)學(xué)內(nèi)容、思想和方法的產(chǎn)生、演變、發(fā)展過程，

以及影響這些過程的各種因素。除此之外，數(shù)學(xué)史還研究數(shù)

學(xué)科學(xué)的發(fā)展給人類文明所帶來的重要影響。數(shù)學(xué)史屬于交

叉學(xué)科，其研究對(duì)象不僅包括具體的數(shù)學(xué)內(nèi)容，同時(shí)還涉及

哲學(xué)、歷史學(xué)、宗教學(xué)、文化學(xué)等社會(huì)科學(xué)與人文科學(xué)內(nèi)容。數(shù)學(xué)史主要涵蓋世界數(shù)學(xué)史、中國(guó)數(shù)學(xué)史等領(lǐng)域。數(shù)學(xué)與智能數(shù)學(xué)與智能矛盾么?上世紀(jì)80年代中期爆發(fā)的人工智能理論危機(jī)徹底暴露了標(biāo)

準(zhǔn)邏輯的應(yīng)用局限性，具體如下。(1)用標(biāo)準(zhǔn)邏輯描述的算法在執(zhí)行時(shí)存在組合爆炸，會(huì)

迅速吞食掉計(jì)算機(jī)的時(shí)空資源；(2)各種經(jīng)驗(yàn)知識(shí)推理、常識(shí)推理和機(jī)器學(xué)習(xí)過程都無

法用標(biāo)準(zhǔn)邏輯描述和處理；(3)群體智能中各智能體(Agent)只有局部的知識(shí)和智能，

它們之間存在矛盾和利益沖突，不滿足標(biāo)準(zhǔn)邏輯的使用條件。剛性邏輯

柔性邏輯

完整的柔性邏輯一般情況部分因素具有不確定性右極限全部因素具有不確定性左極限全部因素具有確定性就在人工智能理論數(shù)學(xué)危機(jī)產(chǎn)生后，學(xué)科的發(fā)展出現(xiàn)了兩個(gè)截然

相反的方向。一

方面，主流方向盡可能避免對(duì)邏輯和知識(shí)的依賴，于是興起了各種計(jì)算智能(包括：連接主義、行為主義、神經(jīng)網(wǎng)絡(luò)計(jì)算、進(jìn)化

計(jì)算、蟻群算法、微粒群算法、免疫計(jì)算、生態(tài)計(jì)算等),它們和

近來出現(xiàn)的深度學(xué)習(xí)及大數(shù)據(jù)處理相結(jié)合，完全用各種結(jié)構(gòu)、模型、

過程來描述智能活動(dòng)的全過程，都取得了巨大的成功。另一方面，仍然有一些學(xué)者堅(jiān)信邏輯學(xué)和智能的同源性，他們認(rèn)

為理論危機(jī)僅僅證明了標(biāo)準(zhǔn)邏輯的“非此即彼性”約束太強(qiáng)，它無法

滿足智能活動(dòng)中需要處理的大部分具有“亦此亦彼性”的現(xiàn)實(shí)問題的

需要，因此，放寬對(duì)標(biāo)準(zhǔn)邏輯的某些約束條件以便適應(yīng)描述某些不

確定性推理的需要，成為信息時(shí)代邏輯學(xué)發(fā)展的正確方向。為了適

應(yīng)計(jì)算機(jī)科學(xué)、計(jì)算語言學(xué)和人工智能發(fā)展的迫切需要，非標(biāo)準(zhǔn)邏

輯研究已經(jīng)取得了豐碩的成果，包括：泛邏輯理論、超協(xié)調(diào)邏輯的

證明表明，可處理各種不確定性推理的辯證邏輯不僅是存在的，甚

至連辯證邏輯也是可以數(shù)學(xué)化的。圖

3

-

2

Al

中的核心數(shù)學(xué)知識(shí)體系線性代數(shù)與矩陣論運(yùn)籌學(xué)與最優(yōu)化概既率論與統(tǒng)計(jì)學(xué)分析學(xué)■

數(shù)理邏輯■

微積分■

概率論與統(tǒng)計(jì)學(xué)■

線性代數(shù)■

最優(yōu)化理論■

*需要掌握的算法課程內(nèi)容□

概念數(shù)理邏輯一門研究符號(hào)語言和推理的科學(xué)，其主要分支包括：

模型論、證明論、遞歸論和公理化集合論。其中，兩個(gè)最基本的也

是最重要的組成部分，就是“命題演算”和”謂詞演算”。命題演算是

研究關(guān)于命題如何通過一些邏輯連接詞構(gòu)成更復(fù)雜的命題以及邏輯

推理的方法。這里命題是指具有具體意義的又能判斷它是真還是假

的句子。謂詞演算是數(shù)理邏輯最基本的形式系統(tǒng)，其又被稱為一階邏輯。一個(gè)可以回答真假的命題，不僅可以分析到簡(jiǎn)單命題，還可

以分析到其中的個(gè)體、量詞和謂詞。個(gè)體表示某一個(gè)物體或元素，

量詞表示數(shù)量，謂詞表示個(gè)體的一種屬性?？?/p>

計(jì)算舉例【舉例】邏輯表示可以用形式化的符號(hào)表示一個(gè)邏輯，

“蘇格拉底是人”:

(Man(Socrates))、“人都會(huì)死”:((Vx)(man(x)→mortal))?；谶壿嫳硎疽约耙?guī)則可以進(jìn)行推理?！九e例】推理昆蟲有六條腿，請(qǐng)推理出：蟈蟈是昆蟲→蟈蟈有六條腿。口

應(yīng)

用專家系統(tǒng)在醫(yī)療領(lǐng)域的應(yīng)用非常廣泛(示例如圖7-2)。醫(yī)療專家系

統(tǒng)可以用于輔助醫(yī)生進(jìn)行診斷和治療決策，特別是在疾病的早期診斷和治療方案的制定方面。由于醫(yī)學(xué)知識(shí)非常龐雜，且不斷更新，

專家系統(tǒng)可以幫助醫(yī)生及時(shí)獲取最新的醫(yī)學(xué)知識(shí)和研究成果，提高

醫(yī)療質(zhì)量和效率。此外，專家系統(tǒng)還可以用于藥物研發(fā)和生產(chǎn)控制

等方面，幫助制藥公司提高藥物研發(fā)的效率和質(zhì)量，并確保藥品符

合相關(guān)的法規(guī)和標(biāo)準(zhǔn)?！?/p>

數(shù)理邏輯■

微積分■

概率論與統(tǒng)計(jì)學(xué)■

線性代數(shù)■

最優(yōu)化理論■

*需要掌握的算法課程內(nèi)容□

概念微積分(Calculus)是高數(shù)中研究函數(shù)微分(Differentiation)、積分(Integration)

以及有關(guān)概念和應(yīng)用的數(shù)學(xué)分支。它是數(shù)學(xué)的一個(gè)基礎(chǔ)學(xué)科，其內(nèi)容主要包括：極限、微分學(xué)、積分學(xué)及其應(yīng)用。■微分學(xué)包括求導(dǎo)數(shù)的運(yùn)算，是一套關(guān)于變化率的理論。它使得

函數(shù)、速度、加速度和曲線的斜率等均可用一套通用的符號(hào)進(jìn)行討

論

?！龇e分學(xué)包括求積分的運(yùn)算，起初它為定義和計(jì)算面積、體積等

提供一套通用的方法。微積分的產(chǎn)生分為三個(gè)階段，也就是：極限概念的提出、求積的

無限小方法提出，以及積分與微分的互逆關(guān)系提出建立。其中前兩

階段的工作，歐洲的大批數(shù)學(xué)家一直追溯到古希臘的阿基米德都做

出了各自的貢獻(xiàn)，而最后一步是由牛頓、萊布尼茲完成的?？?/p>

計(jì)算舉例【舉例】最優(yōu)解在最優(yōu)化問題中，某一優(yōu)化問題的最優(yōu)解，在下圖7-3曲面

中的最高點(diǎn)(假設(shè)該點(diǎn)代表最佳的生產(chǎn)效率)上，求出該點(diǎn)的坐

標(biāo)位置?？?/p>

計(jì)算舉例【舉例】圖像分析在圖像處理中，

一幅黑白圖像其信息主要集中在邊緣，為

了進(jìn)行機(jī)器識(shí)別，經(jīng)微分運(yùn)算后可以將圖形的邊緣輪廓突出

出來(如圖7-4所示)。求微分原圖,(和的導(dǎo)數(shù)等于導(dǎo)數(shù)的和)(2)

(數(shù)乘求導(dǎo)數(shù)不動(dòng))(3)

(前導(dǎo)后不導(dǎo)加上后導(dǎo)前不導(dǎo))(4)

(分母的平方分之分子導(dǎo)分母不導(dǎo)減去分母導(dǎo)分子不導(dǎo))

以上公式中

u,V

表示兩個(gè)不同的函數(shù)。一元復(fù)合函數(shù)求導(dǎo)的鏈?zhǔn)椒▌t：復(fù)合函數(shù)求導(dǎo)設(shè)f,g

均可導(dǎo)，

則鏈?zhǔn)角髮?dǎo)舉例求函數(shù)y=3in2x

的導(dǎo)數(shù)。解

.

設(shè)y=3“,u=v2,v=sin

x由鏈?zhǔn)椒▌t偏導(dǎo)數(shù)5y-1X02z=f(x,y)(1-1.25)1.0實(shí)際優(yōu)化問題的目標(biāo)函數(shù)往往比較復(fù)雜。為導(dǎo)數(shù)在數(shù)學(xué)分析中

的了使問題簡(jiǎn)化，通常將目標(biāo)函數(shù)(例如：sin

、

三角函數(shù)、指數(shù)函數(shù)，但它們的導(dǎo)數(shù)比較好算，

所以用導(dǎo)數(shù)將其展成多項(xiàng)式)在某點(diǎn)附近展開

為泰勒(Taylor)多項(xiàng)式來逼近原函數(shù)。在某鄰域內(nèi)，存在一階近似、二階

近似、

...逼

近非線性函數(shù)求解(x=0處展開)■常用函數(shù)的泰勒展開■

泰勒展開式亥圖3-4

學(xué)習(xí)Al必須知道的微積分知識(shí)積分的基本概念導(dǎo)數(shù)的基本概念■

數(shù)理邏輯■

微積分■

概率論與統(tǒng)計(jì)學(xué)■

線性代數(shù)■

最優(yōu)化理論■

*需要掌握的算法課程內(nèi)容□概念概率論是研究隨機(jī)現(xiàn)象數(shù)量規(guī)律的數(shù)學(xué)分支，是一門研究事情

發(fā)生的可能性的學(xué)問。通常用隨機(jī)變量代表一個(gè)隨機(jī)事件，而用隨機(jī)變量的取值代表隨機(jī)事件的結(jié)果。因此，概率論主要研究隨機(jī)變

量的概率、分布函數(shù)、數(shù)值特征、特征函數(shù)等主要內(nèi)容。概率論主

要解決關(guān)于隨機(jī)事件發(fā)生的可能性及其結(jié)果的數(shù)學(xué)特性等方面的問

題。統(tǒng)計(jì)學(xué)是通過搜集數(shù)據(jù)、整理數(shù)據(jù)、描述數(shù)據(jù)、分析數(shù)據(jù)等手段

以達(dá)到推斷所研究對(duì)象的本質(zhì)，或者預(yù)測(cè)對(duì)象未來趨勢(shì)的一門綜合

性學(xué)科。統(tǒng)計(jì)學(xué)要解決的是如何從已有的數(shù)據(jù)中發(fā)掘其統(tǒng)計(jì)規(guī)律。

即，當(dāng)面對(duì)一大堆數(shù)據(jù)時(shí)，如何對(duì)數(shù)據(jù)進(jìn)行處理，從而挖掘其蘊(yùn)藏的價(jià)值。它主要包括：數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模、模型檢驗(yàn)、模型應(yīng)用等步驟。與概率相比，概率論偏理論，而統(tǒng)計(jì)學(xué)則偏應(yīng)用。教育部經(jīng)濟(jì)管理類核心課程教材Statistics統(tǒng)計(jì)學(xué)(第7版)概率分布與概率密度隨機(jī)變量概率密度曲線概率分布曲線伯努利分布0.30.1正態(tài)分布μ=0后面會(huì)用到的分布PMFofbernoullidistributionσ=2-3

-2

2σ=0.5σ=1Pobability日常生活中，大量事件是有固定頻率的?！?/p>

某醫(yī)院平均每小時(shí)出生3個(gè)嬰兒□

某公司平均每10分鐘接到1個(gè)電話□

某超市平均每天銷售4包xx牌奶粉□

某網(wǎng)站平均每分鐘有2次訪問它們的特點(diǎn)就是，我們可以預(yù)估這些事件的總數(shù)，但是沒法知道具體的發(fā)生時(shí)間。已知平均每小時(shí)出生3個(gè)嬰兒，請(qǐng)問下一個(gè)小時(shí)，會(huì)出生幾個(gè)?——

k=1.0,0=2.0—

k=9.0,θ=0.5

k=7.5,0=1.0k=0.5,0=1.0002

46

8

10

12

14

16

18200.50.40.30.20.1指數(shù)分布泊松分布數(shù)學(xué)期望就是均值。一種彩票發(fā)行100張，70張“謝謝參與”、20張

“5元”10張“10元”,平均一張可以得到幾元?方差“隨機(jī)變量值與其期望值之差的平方和”的期望值數(shù)學(xué)期望數(shù)學(xué)期望給出了隨機(jī)變量的平均大小條件概率條件概率是指事件A在事件B發(fā)生的條件下發(fā)生的概率。條件概率表示為：

P(A|B),讀作

“A

在B發(fā)生的條件下發(fā)生的概率”。例子1:

對(duì)某一地震高發(fā)區(qū)進(jìn)行統(tǒng)計(jì)，地震以

w1

類表示，正常以

w2

類表示。統(tǒng)計(jì)的時(shí)間區(qū)間內(nèi)，每周發(fā)生地震的概率為20%,即

P(w?)=0.2,

當(dāng)

然

P(w?)=1-0.2=0.8。通常地震與生物異常反應(yīng)之間有一定的聯(lián)系。若用生物是否有異常反應(yīng)這一觀察現(xiàn)象來對(duì)地震進(jìn)行預(yù)測(cè)，生物是否異常這一結(jié)果以模式x代表，這里x

為一維特征，且只有x=“異?！焙蛒=“正常”兩種結(jié)果。假

設(shè)根據(jù)觀測(cè)記錄，發(fā)現(xiàn)這種方法有以下統(tǒng)計(jì)結(jié)果：·地震前一周內(nèi)出現(xiàn)生物異常反應(yīng)的概率=0.6,即P(

x=異常

|w?)=0.6·地震前一周內(nèi)出現(xiàn)生物正常反應(yīng)的概率=0.4,即

P(

x=

正常

|w?)=0.4·一周內(nèi)沒有發(fā)生地震但出現(xiàn)生物異常的概率=0.1,即

P(x=異常

|w?)=0.1·一周內(nèi)沒有發(fā)生地震時(shí)生物正常的概率=0.9,即

P(

x=

正常

|w?)=0.9口

舉例【舉例】生日禮物每個(gè)人都有生日，偶爾會(huì)遇到與自己同一天過生日的人，但

在生活中這種緣分似乎并不常有。假設(shè)有一個(gè)50人的旅游團(tuán)，

某一天導(dǎo)游為當(dāng)天過生日的團(tuán)友準(zhǔn)備生日禮物，準(zhǔn)備多少個(gè)合

適呢?也就是求解在50個(gè)人當(dāng)中出現(xiàn)同天生日這種緣分的概率

有多大?【舉例】預(yù)測(cè)地震貝葉斯統(tǒng)計(jì)可以根據(jù)地震史和歷史記錄來估計(jì)地震發(fā)生的可

能性，從而幫助地震預(yù)報(bào)者做出更準(zhǔn)確的預(yù)測(cè)。貝葉斯統(tǒng)計(jì)可

以利用地震史上發(fā)生過的地震的時(shí)間、地點(diǎn)和烈度等信息，來

推斷未來地震發(fā)生的可能性。貝葉斯統(tǒng)計(jì)還可以根據(jù)歷史記錄

來估計(jì)地震發(fā)生的可能性，從而更好地預(yù)測(cè)地震的發(fā)生時(shí)間、

地點(diǎn)和烈度?！?/p>

應(yīng)用■概率建模和推斷■參數(shù)估計(jì)和假設(shè)檢驗(yàn)■特征選擇和降維■異常檢測(cè)和異常值處理■統(tǒng)計(jì)推斷和決策隨機(jī)事件、隨機(jī)變量的基本概念及其分類概率、概率密度的概念及其表示聯(lián)合分布、邊緣分布、條件分布先驗(yàn)概率與后驗(yàn)概率隨機(jī)變量的均值、方差、協(xié)方差、協(xié)方差矩陣、矩、相關(guān)系數(shù)的

概念及計(jì)算方法常見隨機(jī)變量的分布函數(shù)及其特征(參數(shù)估計(jì)的基本方法，重點(diǎn)掌握極大似然估計(jì)、最大后驗(yàn)概率估計(jì)等假設(shè)檢驗(yàn)的基本概念、作用及其基本方法多元統(tǒng)計(jì)分析與常規(guī)統(tǒng)計(jì)分析的區(qū)別、難點(diǎn)多元高斯隨機(jī)變量的均值向量、方差矩陣、協(xié)方差矩陣、相關(guān)系數(shù)矩陣的推導(dǎo)隨機(jī)過程的基本概念、作用及其統(tǒng)計(jì)描述馬爾科夫鏈基本概念、作用及其統(tǒng)計(jì)描述馬爾科夫隨機(jī)場(chǎng)基本概念、作用及其統(tǒng)計(jì)描述圖3

-

9

學(xué)習(xí)AI

必須知道的概率論與統(tǒng)計(jì)學(xué)知識(shí)■

數(shù)理邏輯■

微積分■

概率論與統(tǒng)計(jì)學(xué)■

線性代數(shù)■

最優(yōu)化理論■

*需要掌握的算法課程內(nèi)容□概念線性代數(shù)是數(shù)學(xué)的一個(gè)分支，它起源于對(duì)二維和三維直角坐標(biāo)

系的研究，其研究對(duì)象是：向量、向量空間(或稱線性空間)、線

性變換和有限維的線性方程組等。線性代數(shù)被廣泛地應(yīng)用于抽象代數(shù)和泛函分析中。通過解析幾何，線性代數(shù)得以被具體表示。矩陣矩陣是二維數(shù)組，其中的每一個(gè)元素被兩個(gè)索引

而非一個(gè)所確定，例如：158210235

232

1762574421張量張量是基于向量和矩陣的推廣，通俗一點(diǎn)理解的

話，我們可以將標(biāo)量視為零階張量，向量視為一階張

量

，那么矩陣就是二階張量。還存在更高維度的張量：1000010100100011001000工0010010001010視頻庫由很多視頻構(gòu)成RGB圖(3個(gè)矩陣表示)視頻由多張圖構(gòu)成BAIR:KTH:A

矩陣A.1

基本演算記實(shí)矩陣A∈Rm×

第i

行第j

列的元素為(A)j=Aij.

矩陣A

的轉(zhuǎn)置(transpose)記為AT,(AT)=Aj.顯然，對(duì)于矩陣A∈Rm×n,

若m=n則稱為n

階方陣.用In

表示n

階單位陣，方陣A

的逆矩陣A-

1

滿足AA-1=A-1A=I.

不難發(fā)現(xiàn)，(A+B)T=AT+BT,(AB)T=BTAT.(A.1)(A.2)A.2

導(dǎo)數(shù)向量a

相對(duì)于標(biāo)量x

的導(dǎo)數(shù)(derivative),

以

及x

相對(duì)于a

的導(dǎo)數(shù)都是向量，其第i

個(gè)分量分別為類似的，矩陣A

對(duì)于標(biāo)量x

的導(dǎo)數(shù)，以及x

對(duì)于A

的導(dǎo)數(shù)都是矩陣，其第

i行第j

列上的元素分別為(A.16)(A.17)(A.18)■線性變換指旋轉(zhuǎn)、推移，他們的組合是線性變換不論怎么旋轉(zhuǎn)之前是直線的，之后還是直線AI:IJ:JD=1:1:1之前中心在原點(diǎn)，之后還是在原點(diǎn)把它推移一下直線還是直線.比例還是那個(gè)比例

原點(diǎn)還是原點(diǎn)■為什么研究線性變換設(shè)矩陣?yán)?/p>

如

：矩陣加法矩陣乘法矩陣操作單位矩陣對(duì)應(yīng)實(shí)數(shù)中1的概念。首先，aii

稱為矩陣中的對(duì)角元素。單位陣

如果矩陣中的非零值都是對(duì)角元素，則稱為對(duì)角矩陣。單位矩陣定義為：對(duì)角元素都為1的n×n

對(duì)角矩陣，記為In

或者I。矩

陣

A

乘以單位矩陣就是A

自身：AI=IA=A矩陣逆陣A

是

n×n方陣，如果存在矩陣B

滿足AB=I且

BA=I,則B

是

A

的逆或逆矩陣，記為A-1,即

有A-1A=I=AA-

1

.存在逆的矩陣稱為可逆矩陣。首先，逆矩陣具有唯一性：如果A

存在逆矩陣，那么只能有一個(gè)逆矩陣。矩陣范數(shù)①1

-范數(shù)②

2-范數(shù)③

無窮范數(shù)(最大范數(shù))拿小本記下來■分離技術(shù)->

特征值分解非常重要且廣泛的應(yīng)用包括：控制系統(tǒng)推薦系統(tǒng)文本相似度處理圖像壓縮對(duì)于Ax;=λx;,如果所有的特征值都不相同，則相應(yīng)的所有的特征

向量線性無關(guān)。此時(shí)，

A

可以被對(duì)角化為A=VAV-1

.口

計(jì)算舉例【舉例】求解方程快速求解下面線性方程組，如圖7-8所示。3x-2y=1-x+4y=33一致【舉例】健康區(qū)分找到一根直線(如圖7-9),通過旋轉(zhuǎn)、投影，對(duì)下面描述兩

類人群的兩簇點(diǎn)進(jìn)行區(qū)分，使之具有最好的區(qū)分度，從而給

出健康建議。吸煙頻率低高運(yùn)動(dòng)頻率低

高【舉例】特征人臉在如下人類構(gòu)成的圖庫中，找到能夠?qū)熘械娜我馊四?/p>

(可以用矩陣表示)進(jìn)行區(qū)分的最少表示特征(這樣可以提

高檢測(cè)效率，減少存儲(chǔ)空間),即：特征人臉，就可以通過

矩陣變換實(shí)現(xiàn)(如圖7-10所示)。□

應(yīng)用■特征提取和降維■矩陣計(jì)算和線性回歸■神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)向量、矩陣的基本概念及其表示矩陣的基本運(yùn)算矩陣的基本變換矩陣的秩與線性方程組的解維數(shù)、基、坐標(biāo)、線性空間、歐式空間、黎曼空間、解空間、范數(shù)常見的特殊矩陣Jacobian矩陣和Hessian矩陣及其應(yīng)用求矩陣特征值及其特征向量的基本方法矩陣分解的基本方法及其應(yīng)用⑩

二次型矩陣，正定、負(fù)定、半正定、不定矩陣的基本概念和判定方法向量、矩陣的正交與投影張量的基本概念與計(jì)算圖3

-

7

學(xué)習(xí)Al

必須知道的線性代數(shù)和矩陣論知識(shí)■

數(shù)理邏輯■

微積分■

概率論與統(tǒng)計(jì)學(xué)■

線性代數(shù)■

最優(yōu)化理論■

*需要掌握的算法課程內(nèi)容□概念最優(yōu)化理論是關(guān)于系統(tǒng)的最優(yōu)設(shè)計(jì)、最優(yōu)控制、最優(yōu)管理問題

的理論與方法。最優(yōu)化，就是在一定的約束條件下使系統(tǒng)具有所期待的最優(yōu)功能的組織過程，從眾多可能的選擇中做出最優(yōu)選擇，使系統(tǒng)的目標(biāo)

函數(shù)在約束條件下達(dá)到最大或最小。最優(yōu)化方法有幾個(gè)基本因素：系統(tǒng)目標(biāo)、實(shí)現(xiàn)目標(biāo)的可能方案、

實(shí)行各方案的支付代價(jià)，建立系統(tǒng)模型，制定系統(tǒng)評(píng)價(jià)標(biāo)準(zhǔn)等。最優(yōu)化問題的三個(gè)基本要素：目標(biāo)函數(shù)：用來衡量結(jié)果的好壞參數(shù)值：未知的因子，需要通過數(shù)據(jù)來確定。約束條件：需要滿足的限制條件最優(yōu)化問題數(shù)學(xué)模型g,(x)≥0→

不等式約束(x)=0→

等式約束■最小二乘■梯度下降■牛頓法■擬牛頓法■共軛梯度法絕大多數(shù)人工智能的問題

都可以用最優(yōu)化數(shù)學(xué)模型

描述和求解!對(duì)于數(shù)學(xué)規(guī)劃問題：min

F(X)

X

∈DcR”

凸規(guī)劃的最

優(yōu)點(diǎn)是唯一的.若D為凸集，

F(x)

為定義在D上的凸函數(shù)，則

此

規(guī)

劃

為凸

規(guī)

劃

。凸函數(shù)設(shè)f(X)

為定義在Rn

內(nèi)一個(gè)凸集D上的函數(shù)，

若對(duì)于Va:0≤α≤1及D上的任意兩點(diǎn)X?,X?,

恒

有

f[aX?+(1-a)X?]<af(X?)+(1-a)f(X?)則f(X)為定義在D上的一個(gè)凸函數(shù)。x?

y=αf?+(1-α)f?X?-x?=1,x?-x=alF(X)為凸函數(shù)的充要條件是對(duì)于任意的X∈D

(D

為凸集),V2F(X)>0..凸規(guī)劃則

D為凸集。*若X是X?和X?連線上的點(diǎn)，則有整理后即得X=aX,+(1-a)X?2

·

1凸集---若任意兩點(diǎn)

X?,X?∈D

對(duì)于

Va:0≤a≤1

,

恒有X=αX?+(1-a)X?∈D

,凸函數(shù)的判定凸集

非凸集

凹集口

計(jì)算舉例【舉例】交通工具選擇從甲地到乙地有公路、鐵路、水路、航空四種選擇，如果

追求的目標(biāo)是經(jīng)濟(jì)，利用最優(yōu)化方法比較這四種交通工具的

花費(fèi)，并選擇最省錢的一種交通方式就可以。如果追求的目

標(biāo)是省時(shí)，那么就通過綜合計(jì)算各個(gè)交通方式的時(shí)間成本，選擇時(shí)間最短的那種交通方式。【舉例】物流調(diào)配某電商的某種商品存儲(chǔ)在n

個(gè)倉(cāng)庫，購(gòu)買該商品的消費(fèi)者

在m個(gè)不同地點(diǎn)，如果該商品在每個(gè)倉(cāng)庫的庫存和每個(gè)地點(diǎn)

消費(fèi)者購(gòu)買該商品的數(shù)量以及從每個(gè)倉(cāng)庫到各個(gè)地點(diǎn)的運(yùn)費(fèi)

單價(jià)是已知的，那么該電商就有這樣一個(gè)現(xiàn)實(shí)的需求，如何調(diào)運(yùn)商品使得總運(yùn)費(fèi)最省或者消費(fèi)者總等待商品時(shí)間最短?！?/p>

應(yīng)用■模型訓(xùn)練■自然語言處理■計(jì)算機(jī)視覺■路徑規(guī)劃■資源分配運(yùn)籌學(xué)、最優(yōu)化的基本概念與研究?jī)?nèi)容，運(yùn)籌學(xué)與最優(yōu)化之間的關(guān)系)凸優(yōu)化問題的基本概念線性優(yōu)化與非線性優(yōu)化的基本概念及其適用對(duì)象最優(yōu)化問題的基本概念、作用、分類、可解性線性規(guī)劃與單純形方法對(duì)偶原理及靈敏度分析運(yùn)輸問題目標(biāo)規(guī)劃的基本方法整數(shù)規(guī)劃的基本方法非線性規(guī)劃的基本概念與常用方法動(dòng)態(tài)規(guī)劃圖與網(wǎng)絡(luò)分析排隊(duì)論、存儲(chǔ)論可行方向法基于梯度的最優(yōu)化方法圖3

-

11

學(xué)習(xí)Al

必須知道的運(yùn)籌學(xué)與最優(yōu)化知識(shí)?

?■

數(shù)理邏輯■

微積分■

概率論與統(tǒng)計(jì)學(xué)■

線性代數(shù)■

最優(yōu)化理論■

*需要掌握的算法課程內(nèi)容350300250200150100500-0.10

-0.05X口

算法——最小二乘diabetes0.100.150.000.05■

Logistic回歸□分類問題生活中有許多二分類的應(yīng)用，例如你收到一封郵件，

你想判斷它是否是垃圾郵件?或者在銀行的業(yè)務(wù)中，銀行

需要判斷是否貸款給某個(gè)客戶?假設(shè)你有一張圖片作為輸入，輸入用x來表示，你想

識(shí)別這張圖是否為貓?如果是貓，輸出1,否則，輸出0,

輸出結(jié)果用y來表示?！鯇?duì)數(shù)幾率什么叫做“對(duì)數(shù)幾率”函數(shù)呢?舉例：假設(shè)有一個(gè)硬幣，拋出落地后，得到正

面的概率是0.5,得到反面的概率是0.5,這兩個(gè)概

率叫做probability

。

如果用正面的概率除以反面的

概率，0.5/0.5=1,這個(gè)數(shù)值叫做odds,

即幾率。泛化一下，如果正面的概率是a,則反面的概率

就是1-a,則幾率等于(反映了取得正例的可能性):幾率的值不是線性的，不利于分析問題，所以對(duì)幾

率取對(duì)數(shù)，可以得到一組成線性關(guān)系的值，并可以用直線方程xw+b來表示，即：z=x·w+b

把一個(gè)多維輸入，通過線性計(jì)算變成了一個(gè)一

維數(shù)值，

把這個(gè)值變成值域?yàn)?0,1)的概率值!兩邊取自然指數(shù)

(e

是一個(gè)無限不循環(huán)小數(shù)，其值

約等于2.718281828…)令：z=x·w+bSigmoid

函數(shù)口算法——梯度下降如何爬到這座山的“山峰”或“山谷”?損失函數(shù)J↑J=20-59-ηVJ7

-

品θ=(θ?,9,…

θ。)f(x?)f(x)

f(x?)f(x3)f(x?)f(x?)f(x?)minimal其中，

是學(xué)習(xí)率α,一個(gè)超參數(shù)，它制我們朝梯度方向

(即損失函數(shù)減少最快的方向)前進(jìn)的步長(zhǎng)。梯度下降的核心在于迭代更新參數(shù)。給定一個(gè)參數(shù)θj,

通

過以下公式進(jìn)行更新：口算法——拉格朗日乘子法拉格朗日乘子法(Lagrange

multipliers)是一種尋找多元函數(shù)在一組約束