1/1分布外數(shù)據(jù)的泛化第一部分分布外泛化的定義與挑戰(zhàn) 2第二部分遷移學(xué)習(xí)技術(shù)在分布外泛化中的應(yīng)用 4第三部分?jǐn)?shù)據(jù)增強(qiáng)與合成技術(shù)對(duì)分布外泛化的提升 7第四部分領(lǐng)域適應(yīng)方法在分布外泛化的探索 10第五部分弱監(jiān)督學(xué)習(xí)與分布外泛化 12第六部分模型不確定性估計(jì)在分布外泛化的作用 15第七部分分布外泛化的評(píng)估方法與度量指標(biāo) 18第八部分分布外泛化在實(shí)際應(yīng)用中的挑戰(zhàn)與機(jī)遇 20

第一部分分布外泛化的定義與挑戰(zhàn)分布外數(shù)據(jù)的泛化：定義與挑戰(zhàn)

#分布外泛化的定義

分布外泛化是指機(jī)器學(xué)習(xí)模型在未見(jiàn)過(guò)的分布性數(shù)據(jù)上實(shí)現(xiàn)良好表現(xiàn)的能力。它要求模型不僅能夠泛化到訓(xùn)練數(shù)據(jù)中觀察到的變化，還能夠泛化到訓(xùn)練數(shù)據(jù)中未觀察到的變化。

#分布外泛化的挑戰(zhàn)

分布外泛化面臨著以下挑戰(zhàn)：

1.數(shù)據(jù)分布的重大差異

分布外數(shù)據(jù)可能與訓(xùn)練數(shù)據(jù)在分布上存在顯著差異，包括：

-輸入特征空間的變化：分布外數(shù)據(jù)可能包含訓(xùn)練數(shù)據(jù)中未觀察到的特征值或組合。

-標(biāo)簽空間的變化：分布外數(shù)據(jù)可能具有與訓(xùn)練數(shù)據(jù)不同的標(biāo)簽分布。

-數(shù)據(jù)生成過(guò)程的變化：分布外數(shù)據(jù)可能由與訓(xùn)練數(shù)據(jù)不同的底層過(guò)程生成。

2.數(shù)據(jù)缺乏

分布外數(shù)據(jù)通常難以獲得，特別是對(duì)于需要大量數(shù)據(jù)的復(fù)雜任務(wù)。這使得在分布外數(shù)據(jù)上進(jìn)行模型訓(xùn)練和評(píng)估變得具有挑戰(zhàn)性。

3.模型過(guò)度擬合訓(xùn)練分布

機(jī)器學(xué)習(xí)模型容易過(guò)度擬合訓(xùn)練數(shù)據(jù)中的特定分布，從而損害其在分布外數(shù)據(jù)上的泛化能力。

4.評(píng)估困難

評(píng)估分布外泛化性能很困難，因?yàn)橐螳@得與訓(xùn)練數(shù)據(jù)分布不同的測(cè)試數(shù)據(jù)。此外，分布外數(shù)據(jù)的標(biāo)簽信息可能難以獲得。

#應(yīng)對(duì)挑戰(zhàn)的策略

1.數(shù)據(jù)增強(qiáng)和正則化

-數(shù)據(jù)增強(qiáng)技術(shù)可以創(chuàng)建合成數(shù)據(jù)，以擴(kuò)大訓(xùn)練數(shù)據(jù)分布并增強(qiáng)模型的泛化能力。

-正則化技術(shù)，例如權(quán)重衰減和dropout，可以防止模型過(guò)度擬合訓(xùn)練分布。

2.多任務(wù)學(xué)習(xí)

-多任務(wù)學(xué)習(xí)涉及訓(xùn)練一個(gè)模型來(lái)執(zhí)行多個(gè)相關(guān)任務(wù)，從而迫使模型學(xué)習(xí)分布的一般特征。這可以提高模型在不同分布上的泛化能力。

3.元學(xué)習(xí)

-元學(xué)習(xí)方法通過(guò)訓(xùn)練模型針對(duì)分布族進(jìn)行優(yōu)化，而不是針對(duì)特定分布進(jìn)行優(yōu)化，從而提高分布外泛化能力。

4.分布匹配和轉(zhuǎn)移學(xué)習(xí)

-分布匹配技術(shù)旨在將訓(xùn)練數(shù)據(jù)和分布外數(shù)據(jù)的分布調(diào)整為更加相似，從而提高泛化性能。

-轉(zhuǎn)移學(xué)習(xí)涉及利用在源域（訓(xùn)練數(shù)據(jù)）上訓(xùn)練的模型知識(shí)來(lái)解決目標(biāo)域（分布外數(shù)據(jù)）上的任務(wù)。

#結(jié)論

分布外泛化是機(jī)器學(xué)習(xí)中一個(gè)至關(guān)重要的挑戰(zhàn)，因?yàn)樗婕按_保模型能夠在未見(jiàn)過(guò)的現(xiàn)實(shí)世界數(shù)據(jù)上取得良好的表現(xiàn)。應(yīng)對(duì)分布外泛化挑戰(zhàn)需要采用多種策略，包括數(shù)據(jù)增強(qiáng)、多任務(wù)學(xué)習(xí)、元學(xué)習(xí)、分布匹配和轉(zhuǎn)移學(xué)習(xí)。第二部分遷移學(xué)習(xí)技術(shù)在分布外泛化中的應(yīng)用關(guān)鍵詞關(guān)鍵要點(diǎn)遷移學(xué)習(xí)預(yù)訓(xùn)練模型的應(yīng)用

1.利用在大量分布內(nèi)數(shù)據(jù)上預(yù)訓(xùn)練的大型語(yǔ)言模型（LLM），通過(guò)微調(diào)或提示工程將知識(shí)遷移到分布外領(lǐng)域。

2.訓(xùn)練特定領(lǐng)域的LLM，專(zhuān)注于目標(biāo)分布的語(yǔ)言特征和概念。

3.結(jié)合分布內(nèi)和分布外數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)，以利用兩類(lèi)數(shù)據(jù)源的優(yōu)勢(shì)。

元學(xué)習(xí)和域適應(yīng)技術(shù)

1.元學(xué)習(xí)算法可以快速適應(yīng)新的分布，從而提高分布外泛化能力。

2.域適應(yīng)技術(shù)通過(guò)對(duì)齊分布內(nèi)和分布外數(shù)據(jù)特征來(lái)減輕域差異。

3.結(jié)合元學(xué)習(xí)和域適應(yīng)，可以進(jìn)一步提高模型對(duì)未知域的泛化能力。

對(duì)抗性學(xué)習(xí)和數(shù)據(jù)增強(qiáng)

1.對(duì)抗性學(xué)習(xí)引入噪聲或?qū)剐允纠仁鼓Ｐ蛯W(xué)習(xí)魯棒特征。

2.數(shù)據(jù)增強(qiáng)通過(guò)轉(zhuǎn)換、旋轉(zhuǎn)或掩蓋技術(shù)創(chuàng)建更多樣化的訓(xùn)練數(shù)據(jù)，提高模型對(duì)分布變化的適應(yīng)性。

3.將對(duì)抗性學(xué)習(xí)和數(shù)據(jù)增強(qiáng)相結(jié)合，可以有效提高分布外泛化能力。

分布外泛化評(píng)估方法

1.使用分布外數(shù)據(jù)集進(jìn)行直接評(píng)估，以測(cè)量模型的真實(shí)泛化性能。

2.采用分布外診斷工具，如集合泛化誤差和局部Lipschitz常數(shù)，以測(cè)量模型的潛在分布外泛化能力。

3.開(kāi)發(fā)無(wú)監(jiān)督或自監(jiān)督的分布外泛化評(píng)估指標(biāo)，以避免對(duì)標(biāo)注數(shù)據(jù)集的依賴。

生成模型在分布外泛化的應(yīng)用

1.利用生成模型生成更多樣化和逼真的訓(xùn)練數(shù)據(jù)，以增強(qiáng)模型對(duì)分布變化的魯棒性。

2.使用對(duì)抗性訓(xùn)練技術(shù)，迫使生成模型學(xué)習(xí)與分布外數(shù)據(jù)相似的特征分布。

3.結(jié)合生成模型和微調(diào)，將分布內(nèi)知識(shí)遷移到目標(biāo)分布，提高分布外泛化能力。

基于數(shù)據(jù)的分布外泛化研究

1.收集和創(chuàng)建分布外數(shù)據(jù)集，以評(píng)估和改進(jìn)模型的泛化性能。

2.分析分布內(nèi)和分布外數(shù)據(jù)之間的差異，找出影響分布外泛化的關(guān)鍵特征。

3.探索新的數(shù)據(jù)挖掘技術(shù)，以識(shí)別和提取分布外泛化所需的關(guān)鍵信息。遷移學(xué)習(xí)技術(shù)在分布外泛化中的應(yīng)用

分布外泛化是指模型在與訓(xùn)練數(shù)據(jù)分布不同的新數(shù)據(jù)上表現(xiàn)良好。遷移學(xué)習(xí)技術(shù)通過(guò)利用預(yù)先訓(xùn)練過(guò)的模型來(lái)提高分布外泛化性能，具體方法如下：

特征提?。?/p>

*凍結(jié)預(yù)訓(xùn)練模型的權(quán)重，僅訓(xùn)練模型的最后一層或幾層。

*預(yù)訓(xùn)練模型作為特征提取器，提取新數(shù)據(jù)集中的相關(guān)特征。

*此方法適用于新數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集具有相似特征空間的情況。

微調(diào)：

*重新訓(xùn)練預(yù)訓(xùn)練模型的所有層，但采用較小的學(xué)習(xí)率。

*微調(diào)過(guò)程調(diào)整模型權(quán)重，以適應(yīng)新數(shù)據(jù)集的分布。

*此方法適用于新數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集的差異較小的情況。

多任務(wù)學(xué)習(xí)：

*訓(xùn)練模型同時(shí)執(zhí)行多個(gè)相關(guān)的任務(wù)。

*預(yù)訓(xùn)練模型學(xué)習(xí)任務(wù)之間的共享表示，改善其泛化能力。

*此方法適用于新任務(wù)與預(yù)訓(xùn)練任務(wù)具有相似結(jié)構(gòu)的情況。

元學(xué)習(xí)：

*訓(xùn)練模型學(xué)習(xí)如何快速適應(yīng)新任務(wù)。

*元學(xué)習(xí)算法利用少量數(shù)據(jù)快速調(diào)整模型參數(shù)，以適應(yīng)新分布。

*此方法適用于新數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集差異較大或新任務(wù)不斷變化的情況。

領(lǐng)域自適應(yīng)：

*利用源領(lǐng)域和目標(biāo)領(lǐng)域的配對(duì)或未配對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練。

*模型學(xué)習(xí)將源領(lǐng)域特征映射到目標(biāo)領(lǐng)域特征，提高目標(biāo)領(lǐng)域的泛化性能。

*此方法適用于源領(lǐng)域和目標(biāo)領(lǐng)域具有不同的數(shù)據(jù)分布的情況。

特定領(lǐng)域應(yīng)用：

自然語(yǔ)言處理：

*將預(yù)訓(xùn)練的語(yǔ)言模型（如BERT、GPT-3）應(yīng)用于情感分析、問(wèn)答等任務(wù)。

*利用語(yǔ)言模型的豐富表示，提高對(duì)新數(shù)據(jù)集和不同語(yǔ)言的泛化性能。

計(jì)算機(jī)視覺(jué)：

*將預(yù)訓(xùn)練的圖像分類(lèi)模型（如ResNet、VGGNet）應(yīng)用于目標(biāo)檢測(cè)、圖像分割等任務(wù)。

*利用視覺(jué)模型的空間不變性和層次表示，提高對(duì)不同場(chǎng)景和視角的泛化性能。

語(yǔ)音識(shí)別：

*將預(yù)訓(xùn)練的語(yǔ)音識(shí)別模型（如Kaldi、CTCNet）應(yīng)用于不同方言、噪聲環(huán)境的語(yǔ)音識(shí)別任務(wù)。

*利用語(yǔ)音模型對(duì)聲學(xué)特征的魯棒性，提高對(duì)不同錄音條件的泛化性能。

結(jié)論：

遷移學(xué)習(xí)技術(shù)對(duì)于分布外泛化至關(guān)重要，它通過(guò)利用預(yù)訓(xùn)練模型的知識(shí)和表示，幫助模型快速適應(yīng)新數(shù)據(jù)分布。隨著遷移學(xué)習(xí)技術(shù)的持續(xù)發(fā)展，它將繼續(xù)在分布外泛化的研究和應(yīng)用中發(fā)揮關(guān)鍵作用。第三部分?jǐn)?shù)據(jù)增強(qiáng)與合成技術(shù)對(duì)分布外泛化的提升關(guān)鍵詞關(guān)鍵要點(diǎn)數(shù)據(jù)增強(qiáng)與合成技術(shù)

1.數(shù)據(jù)增強(qiáng)：利用數(shù)據(jù)集中現(xiàn)有數(shù)據(jù)，通過(guò)旋轉(zhuǎn)、翻轉(zhuǎn)、裁剪、縮放等變換技術(shù)生成新的樣本，增加數(shù)據(jù)集多樣性，提高模型對(duì)分布外擾動(dòng)的魯棒性。

2.數(shù)據(jù)合成：采用生成模型（如GAN、VAE）生成新的樣本，彌補(bǔ)數(shù)據(jù)集中的缺失或不足，進(jìn)一步提升模型對(duì)未見(jiàn)數(shù)據(jù)的泛化能力。

3.合成多樣性：應(yīng)用對(duì)抗訓(xùn)練、風(fēng)格遷移等技術(shù)，合成具有不同風(fēng)格、紋理和噪聲水平的樣本，增強(qiáng)模型對(duì)真實(shí)世界數(shù)據(jù)的適應(yīng)性。

生成模型在分布外泛化

1.降噪自編碼器（DAE）：利用DAE可以從噪聲或部分遮擋數(shù)據(jù)中重構(gòu)原始樣本，提高模型提取相關(guān)特征的能力，提升對(duì)分布外噪聲的泛化。

2.生成對(duì)抗網(wǎng)絡(luò)（GAN）：GAN可以生成逼真的合成圖像，擴(kuò)展數(shù)據(jù)集多樣性，緩解模型在真實(shí)世界復(fù)雜場(chǎng)景下的泛化問(wèn)題。

3.變分自編碼器（VAE）：VAE結(jié)合了生成模型和推理模型，能夠?qū)W習(xí)數(shù)據(jù)分布的潛在表征，從而有效泛化到新的、之前未見(jiàn)的數(shù)據(jù)場(chǎng)景。數(shù)據(jù)增強(qiáng)與合成技術(shù)對(duì)分布外泛化的提升

概述

分布外泛化是指機(jī)器學(xué)習(xí)模型在訓(xùn)練集之外的數(shù)據(jù)上表現(xiàn)良好。數(shù)據(jù)增強(qiáng)和合成技術(shù)可以通過(guò)引入更多樣化的數(shù)據(jù)，增強(qiáng)訓(xùn)練集，從而提高分布外泛化能力。

數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)涉及對(duì)現(xiàn)有訓(xùn)練數(shù)據(jù)進(jìn)行小的隨機(jī)變換，包括：

*旋轉(zhuǎn)、縮放和裁剪：這些變換改變圖像的幾何形狀，擴(kuò)大模型對(duì)不同視角和大小的魯棒性。

*顏色抖動(dòng)：改變圖像的亮度、對(duì)比度和飽和度，提高模型對(duì)光線變化的魯棒性。

*隨機(jī)噪聲：向圖像添加噪聲，迫使模型從真正的信號(hào)中學(xué)習(xí)，而不是過(guò)擬合特定的噪聲模式。

數(shù)據(jù)合成

數(shù)據(jù)合成是從頭開(kāi)始生成新數(shù)據(jù)。這特別適用于無(wú)法輕松獲取真實(shí)世界的額外數(shù)據(jù)的情況。合成技術(shù)包括：

*生成對(duì)抗網(wǎng)絡(luò)（GAN）：GAN可以學(xué)習(xí)訓(xùn)練集的分布，并生成逼真的、合成的新數(shù)據(jù)。

*自編碼器（AE）：AE可以學(xué)習(xí)訓(xùn)練集的潛在特征表示，并生成與訓(xùn)練數(shù)據(jù)具有相似特征的新數(shù)據(jù)。

*變分自編碼器（VAE）：VAE是AE的延伸，通過(guò)添加一個(gè)隨機(jī)變量，提高了生成數(shù)據(jù)的多樣性。

分布外泛化的提升

數(shù)據(jù)增強(qiáng)和合成技術(shù)通過(guò)以下方式提高分布外泛化能力：

*增加數(shù)據(jù)集大?。哼@些技術(shù)顯著增加了訓(xùn)練集的大小，使模型能夠從更多樣化的數(shù)據(jù)中學(xué)習(xí)。

*提高數(shù)據(jù)多樣性：增強(qiáng)和合成的數(shù)據(jù)引入了新的變化和模式，迫使模型學(xué)習(xí)更通用和魯棒的特征。

*減輕過(guò)擬合：通過(guò)增加訓(xùn)練數(shù)據(jù)的多樣性，這些技術(shù)可以幫助防止模型過(guò)擬合特定的噪聲或偏差。

*促進(jìn)特征抽象：增強(qiáng)和合成的數(shù)據(jù)迫使模型專(zhuān)注于底層特征，而不是具體的訓(xùn)練集偏差。

*提高模型健壯性：這些技術(shù)生成的額外數(shù)據(jù)可以訓(xùn)練模型以更好地處理現(xiàn)實(shí)世界中的變化和噪聲。

實(shí)際應(yīng)用

數(shù)據(jù)增強(qiáng)和合成技術(shù)在分布外泛化方面已取得成功，應(yīng)用于各種領(lǐng)域，包括：

*圖像分類(lèi)：這些技術(shù)提高了模型對(duì)不同背景和光照條件下圖像的識(shí)別能力。

*自然語(yǔ)言處理：數(shù)據(jù)增強(qiáng)通過(guò)使用同義詞替換和文本擾動(dòng)，改善了模型對(duì)不同文本風(fēng)格的理解。

*醫(yī)療圖像分析：合成數(shù)據(jù)用于訓(xùn)練模型以識(shí)別罕見(jiàn)疾病，這些疾病在真實(shí)世界數(shù)據(jù)中不容易獲得。

*自動(dòng)駕駛：增強(qiáng)和合成技術(shù)可以生成各種道路場(chǎng)景，提高模型對(duì)意外事件和惡劣天氣的魯棒性。

結(jié)論

數(shù)據(jù)增強(qiáng)和合成技術(shù)是提高分布外泛化的有力工具。通過(guò)增加數(shù)據(jù)集大小、提高數(shù)據(jù)多樣性、減輕過(guò)擬合和促進(jìn)特征抽象，這些技術(shù)使機(jī)器學(xué)習(xí)模型能夠在訓(xùn)練集之外的數(shù)據(jù)上表現(xiàn)更好。隨著這些技術(shù)的不斷發(fā)展，我們期待它們?cè)诜植纪夥夯矫姘l(fā)揮更大的作用。第四部分領(lǐng)域適應(yīng)方法在分布外泛化的探索領(lǐng)域適應(yīng)方法在分布外泛化的探索

分布外泛化是指模型在訓(xùn)練分布之外的分布上表現(xiàn)良好。領(lǐng)域適應(yīng)方法旨在使模型能夠適應(yīng)新領(lǐng)域，從而提高分布外泛化能力。

遷移學(xué)習(xí)：

遷移學(xué)習(xí)將訓(xùn)練過(guò)的模型應(yīng)用到新領(lǐng)域，其中共享的特征在不同領(lǐng)域之間相關(guān)。目標(biāo)是通過(guò)利用源領(lǐng)域知識(shí)來(lái)指導(dǎo)新領(lǐng)域模型的訓(xùn)練，減少分布差異的影響。

自適應(yīng)方法：

自適應(yīng)方法在訓(xùn)練時(shí)調(diào)整模型參數(shù)，以適應(yīng)新領(lǐng)域。這些方法包括：

*特征對(duì)齊：通過(guò)最小化特征空間中的分布差異來(lái)對(duì)齊兩個(gè)領(lǐng)域的特征表示。

*對(duì)抗訓(xùn)練：使用生成對(duì)抗網(wǎng)絡(luò)（GAN）生成新領(lǐng)域數(shù)據(jù)，迫使模型學(xué)習(xí)區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，從而提高新領(lǐng)域泛化能力。

*元學(xué)習(xí)：學(xué)習(xí)快速適應(yīng)新領(lǐng)域的策略，通過(guò)使用一組不同領(lǐng)域的元訓(xùn)練任務(wù)。

元泛化：

元泛化專(zhuān)注于學(xué)習(xí)泛化到與訓(xùn)練數(shù)據(jù)不同的新任務(wù)的能力。它涉及使用元訓(xùn)練數(shù)據(jù)生成新的任務(wù)，然后在這些任務(wù)上微調(diào)模型，以提高適應(yīng)新場(chǎng)景的能力。

分布外檢測(cè)：

分布外檢測(cè)方法旨在識(shí)別與訓(xùn)練分布不同的數(shù)據(jù)點(diǎn)。這些方法通過(guò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)特性或構(gòu)建判別器來(lái)檢測(cè)分布外數(shù)據(jù)。

其他方法：

除了上述方法，還有其他領(lǐng)域適應(yīng)方法探索分布外泛化，包括：

*多模態(tài)學(xué)習(xí)：利用來(lái)自不同模式的數(shù)據(jù)（如圖像和文本）來(lái)提高泛化能力。

*半監(jiān)督學(xué)習(xí)：使用少量標(biāo)記數(shù)據(jù)和大量未標(biāo)記數(shù)據(jù)來(lái)適應(yīng)新領(lǐng)域。

*弱監(jiān)督學(xué)習(xí)：使用噪聲標(biāo)簽或偽標(biāo)簽來(lái)指導(dǎo)模型訓(xùn)練，從而減少分布差異。

案例研究：

*圖像分類(lèi)：遷移學(xué)習(xí)和自適應(yīng)方法已成功應(yīng)用于圖像分類(lèi)任務(wù)，例如從自然圖像分類(lèi)到醫(yī)學(xué)圖像分類(lèi)的泛化。

*自然語(yǔ)言處理：領(lǐng)域適應(yīng)技術(shù)在自然語(yǔ)言處理任務(wù)中顯示出有效性，例如從特定領(lǐng)域的文本分類(lèi)到一般領(lǐng)域的文本分類(lèi)的泛化。

*語(yǔ)音識(shí)別：自適應(yīng)方法已探索用于語(yǔ)音識(shí)別，例如從一個(gè)說(shuō)話者的語(yǔ)音識(shí)別模型泛化到另一個(gè)說(shuō)話者的模型。

未來(lái)方向：

領(lǐng)域適應(yīng)方法在分布外泛化方面仍面臨挑戰(zhàn)，包括：

*分布差異的復(fù)雜性：不同領(lǐng)域之間的分布差異可能是高維和非線性的，這會(huì)給適應(yīng)過(guò)程帶來(lái)困難。

*數(shù)據(jù)效率：領(lǐng)域適應(yīng)方法通常需要大量新領(lǐng)域數(shù)據(jù)，這在實(shí)際應(yīng)用中可能不可用。

*泛化性：根據(jù)有限的新領(lǐng)域數(shù)據(jù)學(xué)習(xí)的模型可能無(wú)法泛化到廣泛的變化條件。

未來(lái)的研究方向包括探索更穩(wěn)健的適應(yīng)算法、開(kāi)發(fā)能夠處理復(fù)雜分布差異的方法以及提高領(lǐng)域適應(yīng)方法的數(shù)據(jù)效率。第五部分弱監(jiān)督學(xué)習(xí)與分布外泛化關(guān)鍵詞關(guān)鍵要點(diǎn)【弱監(jiān)督學(xué)習(xí)與分布外泛化】

1.弱監(jiān)督學(xué)習(xí)利用噪聲較大的標(biāo)簽或不完整的注釋進(jìn)行訓(xùn)練，可提高模型對(duì)分布外數(shù)據(jù)的泛化能力。

2.引入先驗(yàn)知識(shí)和約束可緩解分布外數(shù)據(jù)的挑戰(zhàn)，提高模型的魯棒性。

3.通過(guò)數(shù)據(jù)增強(qiáng)和正則化技術(shù)，模型能夠?qū)W習(xí)到分布不變的特征，增強(qiáng)對(duì)新域的適應(yīng)能力。

分布外泛化評(píng)估

1.開(kāi)發(fā)適合不同分布外泛化場(chǎng)景的評(píng)估度量和基準(zhǔn)，客觀衡量模型性能。

2.探索無(wú)監(jiān)督和半監(jiān)督評(píng)估方法，利用未標(biāo)記或少量標(biāo)記的數(shù)據(jù)評(píng)估模型。

3.建立分布外泛化評(píng)估框架，系統(tǒng)化評(píng)估模型在不同域和分布上的泛化能力。

生成模型在分布外泛化中的應(yīng)用

1.生成模型可生成與新域相似的合成數(shù)據(jù)，用于訓(xùn)練模型并提高分布外泛化性能。

2.通過(guò)條件生成模型，可以生成特定于特定域或分布的合成數(shù)據(jù)，進(jìn)一步增強(qiáng)模型的適應(yīng)能力。

3.生成對(duì)抗網(wǎng)絡(luò)（GAN）等生成模型，可生成多樣化和逼真的數(shù)據(jù)，豐富訓(xùn)練數(shù)據(jù)集，提高模型泛化能力。

分布外泛化理論基礎(chǔ)

1.研究分布外泛化理論基礎(chǔ)，建立泛化界限和充分條件，指導(dǎo)模型設(shè)計(jì)和訓(xùn)練。

2.探索分布外泛化的數(shù)學(xué)特性，分析模型泛化的內(nèi)在機(jī)制和影響因素。

3.建立分布外泛化與相關(guān)機(jī)器學(xué)習(xí)理論之間的聯(lián)系，拓展理論認(rèn)知。

分布外泛化算法優(yōu)化

1.開(kāi)發(fā)分布外泛化感知算法，例如元學(xué)習(xí)算法，能夠快速適應(yīng)新域并進(jìn)行有效泛化。

2.探索遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí)技術(shù)，利用不同域的知識(shí)和經(jīng)驗(yàn)，提高模型的分布外泛化能力。

3.設(shè)計(jì)能夠處理分布差異和不確定性的算法，增強(qiáng)模型在復(fù)雜和動(dòng)態(tài)環(huán)境中的泛化性能。

分布外泛化的前沿趨勢(shì)

1.探索自我監(jiān)督和無(wú)監(jiān)督分布外泛化方法，減少對(duì)標(biāo)簽和監(jiān)督數(shù)據(jù)的依賴。

2.發(fā)展分布外泛化的持續(xù)學(xué)習(xí)算法，使模型能夠隨著新數(shù)據(jù)的到來(lái)不斷更新和泛化。

3.融合自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)技術(shù)，實(shí)現(xiàn)跨模態(tài)的分布外泛化，增強(qiáng)模型對(duì)不同數(shù)據(jù)類(lèi)型和模態(tài)的適應(yīng)能力。弱監(jiān)督學(xué)習(xí)與分布外泛化

弱監(jiān)督學(xué)習(xí)是一種監(jiān)督學(xué)習(xí)形式，其中僅提供數(shù)據(jù)點(diǎn)有限的標(biāo)簽信息，例如圖像的類(lèi)別標(biāo)簽或文本的主題標(biāo)簽。相對(duì)于完全監(jiān)督學(xué)習(xí)，弱監(jiān)督學(xué)習(xí)更接近真實(shí)世界場(chǎng)景，其中收集全面的標(biāo)簽信息往往代價(jià)高昂或不切實(shí)際。

弱監(jiān)督學(xué)習(xí)與分布外泛化

分布外泛化是指機(jī)器學(xué)習(xí)模型在訓(xùn)練和測(cè)試數(shù)據(jù)分布不同的情況下保持性能的能力。傳統(tǒng)監(jiān)督學(xué)習(xí)方法通常在分布內(nèi)泛化方面表現(xiàn)良好，但在分布外泛化方面面臨挑戰(zhàn)。弱監(jiān)督學(xué)習(xí)因其數(shù)據(jù)標(biāo)簽的不完整性和噪聲性而固有地具有分布外泛化的潛力。

原因如下：

*標(biāo)簽噪聲：弱監(jiān)督學(xué)習(xí)中的標(biāo)簽噪聲迫使模型學(xué)習(xí)從不完全可靠的標(biāo)簽中提取的信息。這促使其對(duì)數(shù)據(jù)中潛在的模式和結(jié)構(gòu)更加敏感，從而增強(qiáng)了模型在不同分布下的魯棒性。

*數(shù)據(jù)多樣性：弱監(jiān)督學(xué)習(xí)數(shù)據(jù)集通常包含廣泛的數(shù)據(jù)點(diǎn)，即使帶有不完整或嘈雜的標(biāo)簽。這種多樣性有助于模型了解數(shù)據(jù)中的固有變異性，從而提高其適應(yīng)不同分布的能力。

*特征提?。喝醣O(jiān)督學(xué)習(xí)需要從有限的標(biāo)簽中導(dǎo)出有意義的特征。這迫使模型專(zhuān)注于捕捉數(shù)據(jù)中的本質(zhì)信息，而不是過(guò)度依賴標(biāo)簽信息。這種特征提取過(guò)程增強(qiáng)了模型對(duì)分布變化的泛化能力。

具體示例

在圖像分類(lèi)任務(wù)中，弱監(jiān)督學(xué)習(xí)可以利用圖像的元數(shù)據(jù)（例如，拍攝時(shí)間、地點(diǎn)和相機(jī)型號(hào)）作為弱監(jiān)督信號(hào)。這些信息可以幫助模型學(xué)習(xí)區(qū)分不同圖像分布背后的潛在因素，例如照明、背景和視角。這增強(qiáng)了模型在不同照明條件、場(chǎng)景和相機(jī)設(shè)置下的分布外泛化能力。

在自然語(yǔ)言處理任務(wù)中，弱監(jiān)督學(xué)習(xí)可以利用未標(biāo)記文本（例如，社交媒體帖子）來(lái)補(bǔ)充有標(biāo)簽文本的訓(xùn)練數(shù)據(jù)。未標(biāo)記文本提供豐富的語(yǔ)境信息，幫助模型學(xué)習(xí)文本數(shù)據(jù)中的結(jié)構(gòu)和模式。這種額外的信息增強(qiáng)了模型在處理來(lái)自不同領(lǐng)域、風(fēng)格和語(yǔ)調(diào)的新文本時(shí)分布外泛化。

結(jié)論

弱監(jiān)督學(xué)習(xí)為分布外泛化提供了獨(dú)特的優(yōu)勢(shì)。它不完整的標(biāo)簽和數(shù)據(jù)多樣性迫使模型學(xué)習(xí)對(duì)不同分布有用的特征和模式。這導(dǎo)致了魯棒的模型，這些模型即使在訓(xùn)練和測(cè)試數(shù)據(jù)分布不同的情況下也能保持性能。隨著弱監(jiān)督學(xué)習(xí)技術(shù)和應(yīng)用的不斷發(fā)展，分布外泛化的潛力將繼續(xù)得到探索和利用。第六部分模型不確定性估計(jì)在分布外泛化的作用關(guān)鍵詞關(guān)鍵要點(diǎn)模型置信度估計(jì)

1.模型置信度估計(jì)技術(shù)可以為模型的預(yù)測(cè)提供可靠性量度。

2.在分布外泛化中，低置信度的預(yù)測(cè)表明模型不確定性較高，應(yīng)引起警覺(jué)。

3.利用置信度估計(jì)可以篩選出可靠的預(yù)測(cè)，提高模型的泛化性能。

貝葉斯網(wǎng)絡(luò)

1.貝葉斯網(wǎng)絡(luò)可以自然地對(duì)模型不確定性進(jìn)行建模。

2.通過(guò)推理，貝葉斯網(wǎng)絡(luò)可以生成預(yù)測(cè)的概率分布，反映模型對(duì)不同結(jié)果的置信程度。

3.基于概率分布的置信度估計(jì)比傳統(tǒng)的點(diǎn)估計(jì)更全面、更可靠。

校準(zhǔn)技術(shù)

1.校準(zhǔn)技術(shù)旨在對(duì)模型預(yù)測(cè)的置信度進(jìn)行校正，使其與實(shí)際錯(cuò)誤率一致。

2.通過(guò)校準(zhǔn)，模型可以在分布外泛化中保持良好的預(yù)測(cè)可靠性。

3.校準(zhǔn)技術(shù)包括溫度縮放、最大似然估計(jì)和直方圖校準(zhǔn)。

主動(dòng)學(xué)習(xí)

1.主動(dòng)學(xué)習(xí)算法在分布外泛化中起著至關(guān)重要的作用。

2.通過(guò)選擇性地查詢具有高不確定性的數(shù)據(jù)，主動(dòng)學(xué)習(xí)可以有效地縮小模型與分布外數(shù)據(jù)的差距。

3.主動(dòng)學(xué)習(xí)有助于改善模型的泛化能力和魯棒性。

生成模型

1.生成模型可以捕獲數(shù)據(jù)的潛在分布，并生成類(lèi)似但不同的樣本。

2.通過(guò)將生成模型與判別模型相結(jié)合，可以提高模型在分布外泛化的能力。

3.生成對(duì)抗網(wǎng)絡(luò)（GAN）等生成模型為分布外泛化提供了強(qiáng)大的工具。

轉(zhuǎn)移學(xué)習(xí)

1.轉(zhuǎn)移學(xué)習(xí)將知識(shí)從源域遷移到目標(biāo)域，有助于解決分布外泛化的挑戰(zhàn)。

2.通過(guò)利用源域和目標(biāo)域之間的相關(guān)性，轉(zhuǎn)移學(xué)習(xí)可以提高模型對(duì)未知數(shù)據(jù)的適應(yīng)能力。

3.領(lǐng)域自適應(yīng)和領(lǐng)域無(wú)關(guān)學(xué)習(xí)是轉(zhuǎn)移學(xué)習(xí)在分布外泛化中的有效方法。模型不確定性估計(jì)在分布外泛化的作用

分布外泛化是指模型在訓(xùn)練數(shù)據(jù)分布之外的數(shù)據(jù)上保持性能的能力。模型不確定性估計(jì)是衡量模型預(yù)測(cè)可靠性的關(guān)鍵因素，在分布外泛化中起著至關(guān)重要的作用。

模型不確定性

模型不確定性是指模型對(duì)預(yù)測(cè)的不確定程度。它可以分為兩種類(lèi)型：

*預(yù)測(cè)不確定性：表示特定輸入的預(yù)測(cè)的可靠性。

*模型不確定性：表示模型整體預(yù)測(cè)的可靠性，與訓(xùn)練數(shù)據(jù)和模型架構(gòu)有關(guān)。

分布外泛化中的作用

在分布外泛化中，模型不確定性估計(jì)通過(guò)以下方式發(fā)揮重要作用：

1.識(shí)別分布外數(shù)據(jù)：

模型不確定性可以幫助識(shí)別來(lái)自與訓(xùn)練數(shù)據(jù)不同的分布的數(shù)據(jù)點(diǎn)。高不確定性預(yù)測(cè)表明模型對(duì)輸入的預(yù)測(cè)不那么可靠，可能是分布外數(shù)據(jù)。

2.拒絕不確定預(yù)測(cè)：

通過(guò)使用不確定性閾值，可以拒絕不確定的預(yù)測(cè)。這可以防止模型在不熟悉的區(qū)域做出錯(cuò)誤預(yù)測(cè)，從而提高分布外泛化。

3.加權(quán)預(yù)測(cè)：

模型不確定性可以用來(lái)加權(quán)模型預(yù)測(cè)。較低不確定性的預(yù)測(cè)被賦予更高的權(quán)重，而較高不確定性的預(yù)測(cè)被賦予較低的權(quán)重。這可以提高整體預(yù)測(cè)的準(zhǔn)確性。

4.適應(yīng)性學(xué)習(xí)：

模型不確定性估計(jì)可以用來(lái)指導(dǎo)模型的自適應(yīng)學(xué)習(xí)過(guò)程。當(dāng)模型遇到不確定的輸入時(shí)，它可以專(zhuān)注于從這些輸入中學(xué)習(xí)，從而提高在分布外數(shù)據(jù)的泛化能力。

5.領(lǐng)域適應(yīng)：

模型不確定性估計(jì)可以輔助領(lǐng)域適應(yīng)技術(shù)，其中模型需要適應(yīng)新的目標(biāo)分布。通過(guò)識(shí)別和加權(quán)具有高不確定性的預(yù)測(cè)，模型可以針對(duì)目標(biāo)分布進(jìn)行自適應(yīng)。

方法

估計(jì)模型不確定性的常用方法包括：

*貝葉斯方法：基于貝葉斯推斷來(lái)計(jì)算預(yù)測(cè)分布。

*蒙特卡羅Dropout：多次應(yīng)用Dropout正則化，并使用預(yù)測(cè)的方差來(lái)估計(jì)不確定性。

*集成方法：融合來(lái)自多個(gè)模型的預(yù)測(cè)，并使用預(yù)測(cè)之間的差異來(lái)估計(jì)不確定性。

應(yīng)用

模型不確定性估計(jì)在分布外泛化中已廣泛應(yīng)用于各種任務(wù)，包括：

*圖像分類(lèi)和對(duì)象檢測(cè)

*自然語(yǔ)言處理

*機(jī)器翻譯

*異常檢測(cè)

結(jié)論

模型不確定性估計(jì)是分布外泛化的關(guān)鍵成分。通過(guò)識(shí)別分布外數(shù)據(jù)、拒絕不確定的預(yù)測(cè)、加權(quán)預(yù)測(cè)、適應(yīng)性學(xué)習(xí)和輔助領(lǐng)域適應(yīng)，它可以提高模型在訓(xùn)練數(shù)據(jù)分布之外的泛化性能。隨著研究的不斷深入，預(yù)期模型不確定性估計(jì)在分布外泛化中的作用將變得更加重要。第七部分分布外泛化的評(píng)估方法與度量指標(biāo)關(guān)鍵詞關(guān)鍵要點(diǎn)【數(shù)據(jù)分布對(duì)比度量】

1.采用領(lǐng)域適應(yīng)場(chǎng)景下常用的數(shù)據(jù)分布對(duì)比度量，如最大均值差異(MMD)、Wasserstein距離等，評(píng)估分布外數(shù)據(jù)與目標(biāo)域數(shù)據(jù)之間的分布差異。

2.MMD衡量?jī)蓚€(gè)分布的均值差值，而Wasserstein距離則度量?jī)蓚€(gè)分布之間的運(yùn)輸代價(jià)，均可反映分布間的距離差異。

3.這些度量指標(biāo)提供了一種定量的衡量標(biāo)準(zhǔn)，用于評(píng)估模型在分布外數(shù)據(jù)的泛化能力。

【任務(wù)表現(xiàn)評(píng)估】

分布外泛化的評(píng)估方法與度量指標(biāo)

簡(jiǎn)介

分布外泛化是指模型在與訓(xùn)練數(shù)據(jù)分布不同的情況下保持良好性能的能力。評(píng)估分布外泛化至關(guān)重要，因?yàn)樗兄诖_定模型是否能夠泛化到現(xiàn)實(shí)世界場(chǎng)景。

評(píng)估方法

評(píng)估分布外泛化的主要方法包括：

*離線評(píng)估：使用獨(dú)立的數(shù)據(jù)集來(lái)評(píng)估模型在不同分布上的性能。

*在線評(píng)估：將模型部署在實(shí)際應(yīng)用場(chǎng)景中，收集運(yùn)行時(shí)數(shù)據(jù)來(lái)評(píng)估其分布外泛化能力。

度量指標(biāo)

用于測(cè)量分布外泛化的度量指標(biāo)包括：

1.精度（Accuracy）

測(cè)量模型在分布外數(shù)據(jù)集上正確預(yù)測(cè)的樣本百分比。

2.查準(zhǔn)率（Precision）和召回率（Recall）

衡量模型識(shí)別真陽(yáng)性和真陰性的能力。

3.F1得分

查準(zhǔn)率和召回率的調(diào)和平均值。

4.接收者操作特征曲線（ROC）

繪制假陽(yáng)性率與真陽(yáng)性率之間的曲線，以評(píng)估模型區(qū)分真陽(yáng)性和真陰性的能力。

5.面積下曲線（AUC）

ROC曲線下的面積，表示模型的整體泛化能力。

6.泛化誤差

訓(xùn)練數(shù)據(jù)上的誤差與分布外數(shù)據(jù)上的誤差之間的差異。

7.魯棒性指標(biāo)

衡量模型對(duì)分布擾動(dòng)的敏感性，例如噪聲、缺失值或數(shù)據(jù)偏移。

8.知識(shí)轉(zhuǎn)移指標(biāo)

評(píng)估模型從訓(xùn)練數(shù)據(jù)中學(xué)到的知識(shí)在分布外數(shù)據(jù)上的轉(zhuǎn)移程度。

9.數(shù)據(jù)分布差異度

衡量訓(xùn)練數(shù)據(jù)和分布外數(shù)據(jù)之間的差異程度，例如使用馬氏距離或杰克遜距離。

選擇度量指標(biāo)

選擇合適的度量指標(biāo)取決于評(píng)估任務(wù)的具體目標(biāo)和數(shù)據(jù)特性。例如：

*精度適用于二分類(lèi)問(wèn)題。

*F1得分用于衡量類(lèi)不平衡數(shù)據(jù)集的性能。

*AUC適用于評(píng)估模型區(qū)分不同類(lèi)的能力。

結(jié)論

分布外泛化評(píng)估是機(jī)器學(xué)習(xí)模型開(kāi)發(fā)中至關(guān)重要的一步。通過(guò)使用適當(dāng)?shù)脑u(píng)估方法和度量指標(biāo)，可以深入了解模型的泛化能力，并確定其在現(xiàn)實(shí)世界場(chǎng)景中的適用性。第八部分分布外泛化在實(shí)際應(yīng)用中的挑戰(zhàn)與機(jī)遇關(guān)鍵詞關(guān)鍵要點(diǎn)數(shù)據(jù)稀疏性和不確定性

-分布外泛化面臨著數(shù)據(jù)稀疏性的挑戰(zhàn)，即目標(biāo)域中的數(shù)據(jù)量可能非常少，導(dǎo)致模型難以有效訓(xùn)練。

-數(shù)據(jù)不確定性也是一個(gè)問(wèn)題，因?yàn)槟繕?biāo)域中的數(shù)據(jù)可能包含噪聲、缺失值或異常值，這會(huì)使模型的預(yù)測(cè)變得不準(zhǔn)確。

概念漂移

-概念漂移是指目標(biāo)域中的數(shù)據(jù)分布隨著時(shí)間而變化，導(dǎo)致模型在最初訓(xùn)練后隨著時(shí)間的推移而性能下降。

-為了應(yīng)對(duì)概念漂移，需要持續(xù)監(jiān)控?cái)?shù)據(jù)分布的變化并及時(shí)調(diào)整模型，這可能是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

任務(wù)的多樣性和復(fù)雜性

-分布外泛化涉及各種不同的任務(wù)，每種任務(wù)都有其獨(dú)特的挑戰(zhàn)。例如，圖像分類(lèi)、自然語(yǔ)言處理和推薦系統(tǒng)都有不同的數(shù)據(jù)分布和建模需求。

-此外，這些任務(wù)通常是復(fù)雜的，涉及多種交互因素，這增加了泛化到新分布的難度。

資源限制

-分布外泛化通常需要大量的計(jì)算資源，包括數(shù)據(jù)收集、模型訓(xùn)練和微調(diào)。

-在實(shí)際應(yīng)用中，可能存在資源限制，例如計(jì)算能力、存儲(chǔ)空間和時(shí)間限制，這會(huì)影響模型的泛化能力。

模型的可解釋性和可信度

-在某些應(yīng)用中，需要模型具有可解釋性和可信度，以便用戶能夠理解其預(yù)測(cè)并做出明智的決策。

-分布外泛化會(huì)降低模型的可解釋性，因?yàn)槟Ｐ涂赡軐W(xué)習(xí)到復(fù)雜且難以理解的關(guān)系，從而影響其在實(shí)際應(yīng)用中的信任度。

負(fù)遷移和正遷移

-負(fù)遷移是指在源域上訓(xùn)練的模型在目標(biāo)域上的性能下降，這可能是由于目標(biāo)域和源域之間的分布差異造成的。

-正遷移是指在源域上訓(xùn)練的模型在目標(biāo)域上的性能提高，這可能是因?yàn)槟繕?biāo)域和源域之間存在某些相關(guān)的特征或模式。分布外泛化在實(shí)際應(yīng)用中的挑戰(zhàn)

1.訓(xùn)練數(shù)據(jù)與目標(biāo)分布差異過(guò)大

分布外泛化要求模型對(duì)訓(xùn)練數(shù)據(jù)未見(jiàn)過(guò)的領(lǐng)域/情景具有泛化能力。然而，在實(shí)際應(yīng)用中，訓(xùn)練數(shù)據(jù)與目標(biāo)分布之間的差異可能會(huì)非常大，導(dǎo)致模型難以適應(yīng)和泛化。

2.缺乏足夠的標(biāo)注數(shù)據(jù)

分布外泛化通常需要大量標(biāo)注數(shù)據(jù)，尤其是在目標(biāo)分布與訓(xùn)練分布有顯著差異的情況下。然而，在現(xiàn)實(shí)場(chǎng)景中，收集和標(biāo)注足夠的數(shù)據(jù)可能成本高昂且耗時(shí)。

3.概念漂移

現(xiàn)實(shí)世界中的分布可能會(huì)隨著時(shí)間而發(fā)生變化（概念漂移）。這使得模型很難適應(yīng)不斷變化的目標(biāo)分布，并影響分布外泛化的性能。

4.噪聲和異常值

現(xiàn)實(shí)數(shù)據(jù)通常包含噪聲和異常值，可能會(huì)混淆模型的學(xué)習(xí)過(guò)程并損害分布外泛化。

5.模型復(fù)雜性和過(guò)擬合

為了提高泛化能力，模型可能需要更復(fù)雜，這會(huì)增加過(guò)擬合的風(fēng)險(xiǎn)。過(guò)擬合會(huì)導(dǎo)致模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好但在分布外數(shù)據(jù)上表現(xiàn)不佳。

分布外泛化中的機(jī)遇

1.增強(qiáng)魯棒性和適應(yīng)性

分布外泛化可以增強(qiáng)模型的魯棒性和適應(yīng)性，使其能夠適應(yīng)新的或未預(yù)料到的情況。這對(duì)于涉及動(dòng)態(tài)變化環(huán)境的應(yīng)用至關(guān)重要。

2.節(jié)省標(biāo)注數(shù)據(jù)

通過(guò)利用分布外泛化技術(shù)，可以減少對(duì)標(biāo)注數(shù)據(jù)的需求，尤其是在目標(biāo)分布與訓(xùn)練分布有很大差異的情況下。

3.提升模型效率

分布外泛化可以提高模型在資源受限環(huán)境中的效率，例如在設(shè)備或移動(dòng)設(shè)備上。

4.擴(kuò)展模型應(yīng)用范圍

分布外泛化使模型能夠應(yīng)用到訓(xùn)練數(shù)據(jù)未涵蓋的領(lǐng)域，從而擴(kuò)展模型的可用性。

5.促進(jìn)人工智能發(fā)展

分布外泛化是人工智能領(lǐng)域的一項(xiàng)關(guān)鍵挑戰(zhàn)。解決這一挑戰(zhàn)將推動(dòng)人工智能的進(jìn)步并促使其在復(fù)雜且多變的現(xiàn)實(shí)世界中的更廣泛應(yīng)用。

應(yīng)對(duì)分布外泛化挑戰(zhàn)的策略

1.數(shù)據(jù)擴(kuò)充和合成

生成合成數(shù)據(jù)或使用數(shù)據(jù)擴(kuò)充技術(shù)來(lái)擴(kuò)大訓(xùn)練數(shù)據(jù)，以跨越訓(xùn)練和目標(biāo)分布之間的差距。

2.遷移學(xué)習(xí)

利用在其他與目標(biāo)分布相似的領(lǐng)域訓(xùn)練的預(yù)訓(xùn)練模型，作為分布外泛化的起點(diǎn)。

3.元學(xué)習(xí)

元學(xué)習(xí)算法可以使模型學(xué)會(huì)從少量數(shù)據(jù)快速適應(yīng)新的任務(wù)和分布。

4.多任務(wù)學(xué)習(xí)

通過(guò)在多種相關(guān)任務(wù)上訓(xùn)練模型，使其能夠從不同領(lǐng)域中學(xué)習(xí)并泛化到新的分布。

5.