目錄1遷移學(xué)習(xí)概念01任務(wù)遷移學(xué)習(xí)的基本問(wèn)題02任務(wù)遷移學(xué)習(xí)的應(yīng)用領(lǐng)域03任務(wù)1遷移學(xué)習(xí)概念1遷移學(xué)習(xí)概念對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言，不同深度的卷積層能夠識(shí)別的特征會(huì)有所不同。簡(jiǎn)單來(lái)說(shuō)，較淺的卷積主要負(fù)責(zé)提取圖像的邊緣或線條等特征，較深的卷積層基于淺層提取到的特征，進(jìn)一步提取特征，例如鼻子、眼睛或耳朵等。淺層網(wǎng)絡(luò)提取的特征具有一定的共性，舉一個(gè)經(jīng)典的例子：使用擁有數(shù)萬(wàn)筆訓(xùn)練數(shù)據(jù)的ImageNet數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，可以學(xué)習(xí)到非常多樣的特征，這種網(wǎng)絡(luò)模型稱為預(yù)訓(xùn)練模型(Pre-TrainedModel)。1遷移學(xué)習(xí)概念當(dāng)完成新數(shù)據(jù)集的分類任務(wù)時(shí)，不必搭建一個(gè)全新的網(wǎng)絡(luò)模型從頭訓(xùn)練，可以在預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行微調(diào)訓(xùn)練模型，以得到適用于新數(shù)據(jù)的分類的模型。這種訓(xùn)練方式被稱為遷移學(xué)習(xí)（TransferLearning)。在圖像處理任務(wù)中，使用ImageNet的預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，能夠獲得更好的模型，且模型訓(xùn)練時(shí)間更短。2遷移學(xué)習(xí)的基本問(wèn)題2遷移學(xué)習(xí)的基本問(wèn)題（1）何時(shí)遷移給定待學(xué)習(xí)的目標(biāo)，首先要做的便是判斷任務(wù)是否適合進(jìn)行遷移學(xué)習(xí)。（2）何處遷移判斷任務(wù)適合遷移學(xué)習(xí)之后，第二步要解決的是從何處進(jìn)行遷移。包括要遷移什么知識(shí)，從那個(gè)地方進(jìn)行遷移。（3）如何遷移如何遷移要求學(xué)習(xí)最優(yōu)的遷移學(xué)習(xí)方法，遷移學(xué)習(xí)根據(jù)學(xué)習(xí)方法可以分為：基于實(shí)例的遷移學(xué)習(xí)、基于特征的遷移學(xué)習(xí)、基于模型的遷移學(xué)習(xí)以及基于關(guān)系的遷移學(xué)習(xí)。3遷移學(xué)習(xí)的應(yīng)用領(lǐng)域3遷移學(xué)習(xí)的應(yīng)用領(lǐng)域（1）雖然有大量的數(shù)據(jù)樣本，但是大部分?jǐn)?shù)據(jù)樣本是無(wú)標(biāo)注的，而且想要繼續(xù)增加更多的數(shù)據(jù)標(biāo)注，需要付出巨大的成本。在這種場(chǎng)景下，利用遷移學(xué)習(xí)思想，可以尋找一些和目標(biāo)數(shù)據(jù)相似而且已經(jīng)有標(biāo)注的數(shù)據(jù)，利用數(shù)據(jù)之間的相似性對(duì)知識(shí)進(jìn)行遷移，提高對(duì)目標(biāo)數(shù)據(jù)的預(yù)測(cè)效果或者標(biāo)注精度。（2）想要獲取具有更強(qiáng)泛化能力，但是數(shù)據(jù)樣本較少。機(jī)器學(xué)習(xí)的成功應(yīng)用依賴于大量有標(biāo)簽數(shù)據(jù)的可用性。然而，高質(zhì)量有標(biāo)簽數(shù)據(jù)總是供不應(yīng)求。傳統(tǒng)的機(jī)器學(xué)習(xí)算法常常因?yàn)閿?shù)據(jù)量小而產(chǎn)生過(guò)擬合問(wèn)題，因而無(wú)法很好地泛化到新的場(chǎng)景中。（3）數(shù)據(jù)來(lái)自不同的分布。傳統(tǒng)的機(jī)器學(xué)習(xí)算法假設(shè)訓(xùn)練和測(cè)試數(shù)據(jù)來(lái)自相同的數(shù)據(jù)分布。然而，這種假設(shè)對(duì)于許多實(shí)際應(yīng)用場(chǎng)景來(lái)說(shuō)無(wú)法滿足。在許多情況下，數(shù)據(jù)分布不僅會(huì)隨著時(shí)間和空間而變化，也會(huì)隨著不同的情況而變化，因此我們可能無(wú)法使用相同的數(shù)據(jù)分布