人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動(dòng)啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：信息論是數(shù)學(xué)、物理、統(tǒng)計(jì)、通信等多個(gè)學(xué)科的交叉領(lǐng)域，在機(jī)器學(xué)習(xí)與人工智能領(lǐng)域有廣泛應(yīng)用；這里我們主要理解熵以及熵衍生出來的相關(guān)概念在機(jī)器學(xué)習(xí)中常用的一些應(yīng)用。目標(biāo)：本次課主要介紹熵、聯(lián)合熵、條件熵的概念，以及它們?cè)跈C(jī)器學(xué)習(xí)中的應(yīng)用。4提綱：

熵聯(lián)合熵條件熵互信息熵：熵的概念

熵：熵的概念

熵：熵的概念

X熵p1000p0.50.10.20.2p0.250.250.250.25表7-1隨機(jī)變量X的概率分布熵：熵的概念

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：條件熵

熵：條件熵

Y0.30.20.30.2熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

圖7.1熵、聯(lián)合熵、條件熵與互信息之間的關(guān)系圖熵：熵的應(yīng)用

7.1.6熵在機(jī)器學(xué)習(xí)中的應(yīng)用熵在機(jī)器學(xué)習(xí)中有廣泛的應(yīng)用。機(jī)器學(xué)習(xí)中一個(gè)常見的任務(wù)是分類，分類本質(zhì)上是不確定性減少的過程（把某一對(duì)象分配到某個(gè)類別），而熵刻畫了不確定的度量，因此可以用熵大小作為分類的依據(jù)，這就導(dǎo)出了采用熵最小的屬性作為分類屬性，這就是著名的決策樹分類算法的基本思路。下面通過一個(gè)具體例子介紹熵在決策樹算法中的應(yīng)用。我們首先給出用于構(gòu)造決策樹的數(shù)據(jù)。假設(shè)有如表7-4所示的數(shù)據(jù)集，每一條樣本數(shù)據(jù)由天氣的陰晴、溫度、濕度、風(fēng)力以及根據(jù)這些信息給定的是否適合打網(wǎng)球的決策。

熵：熵的應(yīng)用

表7-4用于構(gòu)造決策樹算法的數(shù)據(jù)集日期陰晴氣溫濕度風(fēng)力是否打網(wǎng)球1晴熱高弱否2晴熱高強(qiáng)否3陰熱高弱是4雨溫和高弱是5雨涼爽中弱是6雨涼爽中強(qiáng)否7陰涼爽中強(qiáng)是8晴溫和高弱否9晴涼爽中弱是10雨溫和中弱是11晴溫和中強(qiáng)是12陰溫和高強(qiáng)是13陰熱中弱是14雨溫和高強(qiáng)否熵：熵的應(yīng)用

熵：熵的應(yīng)用

熵：熵的應(yīng)用

熵：熵的應(yīng)用

熵：熵的應(yīng)用

得到生成的決策樹本章參考文獻(xiàn)[1]唐宇迪，李琳，侯惠芳，王社偉.《人工智能數(shù)學(xué)基礎(chǔ)》[M]。北京：北京大學(xué)出版社，2020.[2]Python實(shí)現(xiàn)決策樹---以對(duì)天氣是否適合打網(wǎng)球做出預(yù)測的簡單樣例實(shí)現(xiàn).[DB/OL].[2019-05-15]./qq_36318271/article/details/89448176[3]雷明.《機(jī)器學(xué)習(xí)的數(shù)學(xué)》[M].北京：人民郵電出版社，2021.[4]邱錫鵬.《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》[M].北京：機(jī)械工業(yè)出版社，2020.[5]人工智能python實(shí)現(xiàn)---用變分自編碼器生成圖像.[DB/OL].[2012-09-16]./python-ai-8-4-generate-image.html[6]DiederikP.Kingma，MaxWelling.Auto-EncodingVariationalBayes.[DB/OL].[2022-12-10]./pdf/1312.