自動(dòng)機(jī)器學(xué)習(xí)的機(jī)遇與挑戰(zhàn)導(dǎo)語(yǔ)動(dòng)機(jī)器學(xué)習(xí)能夠大大減少實(shí)際研究和應(yīng)用過程中對(duì)模型設(shè)計(jì)場(chǎng)景的模型部署中。自動(dòng)機(jī)器學(xué)習(xí)的發(fā)展概況的機(jī)器學(xué)習(xí)算法往往包含眾多超參數(shù)來控制學(xué)習(xí)過程和推理過程中的精細(xì)實(shí)現(xiàn)，算法的性能對(duì)超參數(shù)十分敏感，這對(duì)機(jī)器學(xué)習(xí)更進(jìn)一步的發(fā)展和落地造成了巨大阻礙。在深度學(xué)習(xí)蓬勃發(fā)展的今天，機(jī)器學(xué)習(xí)所需要確定的超參數(shù)變得越來越多，人工智能工程師們需要選擇正確的神經(jīng)網(wǎng)絡(luò)架構(gòu)、優(yōu)化方法、正則化方法和他們對(duì)應(yīng)的超參數(shù)，才能讓所設(shè)計(jì)的人工智能算法發(fā)揮更好的效果。而這一過程即使對(duì)于領(lǐng)域內(nèi)勤于歸納和總結(jié)，才能得到一個(gè)相對(duì)來說較為優(yōu)秀的人工智能系統(tǒng)。讓計(jì)算機(jī)僅僅根據(jù)目標(biāo)任務(wù)和數(shù)據(jù)集來自動(dòng)化設(shè)計(jì)最合適的Google軟等，也搭建了自己的自動(dòng)機(jī)器學(xué)習(xí)系統(tǒng)，來幫助他們節(jié)省應(yīng)用成本、提高應(yīng)用效率、擴(kuò)大應(yīng)用覆蓋面。1自動(dòng)機(jī)器學(xué)習(xí)的構(gòu)成要件自動(dòng)機(jī)器學(xué)習(xí)可以和傳統(tǒng)機(jī)器學(xué)習(xí)的任意過程結(jié)合，催損失函數(shù)搜索、優(yōu)化器搜索、自動(dòng)模型整合等一系列的子領(lǐng)1所示，按照構(gòu)成要件來分解，自動(dòng)機(jī)器學(xué)習(xí)可以分為搜索空間、搜索策略和樣本評(píng)估策略，后兩策略組合在一起組成了搜索算法的概念。搜索空間定義了自動(dòng)化算法所能探索的邊界，搜索策略負(fù)責(zé)指出空間中哪部分有重要探索價(jià)值、最有可能包含最優(yōu)的自動(dòng)機(jī)器學(xué)習(xí)算法，而樣本評(píng)估策略則是根據(jù)搜索策略指出的范圍，驗(yàn)證它們的真實(shí)性能，為搜索策略的下一步探索提供信息。雖然自動(dòng)機(jī)器學(xué)習(xí)為人工智能描繪出了一個(gè)美好而又器學(xué)習(xí)領(lǐng)域的關(guān)鍵技術(shù)（如注意力機(jī)制）用領(lǐng)域而專門設(shè)計(jì)，對(duì)于其他領(lǐng)域需要重新設(shè)計(jì)自動(dòng)化算習(xí)的應(yīng)用價(jià)值。表達(dá)能力并被廣泛應(yīng)用于各種研究方向。2(a)手工設(shè)計(jì)自注意力機(jī)制（b）自動(dòng)化設(shè)計(jì)自注意力機(jī)制典型的自注意機(jī)制可以被視為根據(jù)KeyQuery提取Value、QueryValue是輸入數(shù)據(jù)的不同表示。適當(dāng)?shù)淖宰⒁鈾C(jī)制表征Query2(a)所示，以前的工作都是完全依靠手工設(shè)計(jì)來獲得自注意力表征，大部分工作CNNRNNGATGCN等各種、QueryValue使它們難以適應(yīng)現(xiàn)實(shí)世界的應(yīng)用。為了解決這個(gè)問題，我們提出自注意力的自動(dòng)表示方法（2(b)）(1)如何獲得最合適的搜索空間？一個(gè)合適的注意力表征搜索空間應(yīng)該是：ii）足夠靈活，以涵蓋大多數(shù)最先進(jìn)的注意力表征設(shè)計(jì)iii）具有較低的復(fù)雜性以簡(jiǎn)化搜索。(2)如何在參數(shù)共享中考慮每個(gè)子結(jié)構(gòu)的特殊性？在上述搜索空間中，即使是同一組參數(shù)，在處理或輸出不同含義的張量時(shí)，也會(huì)有不同的功能（QueryValue等）。直接應(yīng)用廣泛使用的參數(shù)共享策略而不考慮這些特殊的特性將無法提供可靠的架構(gòu)評(píng)估。為了應(yīng)對(duì)這些挑戰(zhàn)，我們提出了一種自動(dòng)注意力搜索方AutoAttend[3]，以搜索具有最佳注意力表征的模型。我們將深度網(wǎng)絡(luò)視為一組連接層，然后將注意力表征重新表述為源層選擇和操作選擇過程，以構(gòu)建一個(gè)靈活的、表達(dá)能力強(qiáng)的、統(tǒng)一的搜索空間。我們進(jìn)一步依據(jù)人工設(shè)計(jì)注意力機(jī)制的先驗(yàn)約束了搜索空間，在不損失表現(xiàn)力的情況下降低了搜索空間復(fù)雜性。我們構(gòu)建了超網(wǎng)絡(luò)來搜索所提出的搜索空間中的最佳架構(gòu)，并提出了上下文感知的參數(shù)共享機(jī)制來提供點(diǎn)，只在它們具有相同的上下文時(shí)共享參數(shù)。實(shí)驗(yàn)證明，AutoAttend能夠有效提高注意力模型的泛化性。針對(duì)不同的目標(biāo)任務(wù)，AutoAttend總能構(gòu)造適合的注意更精細(xì)化地自動(dòng)化注意力模型設(shè)計(jì)指出了方向?？煽啃苑菏褂?，以快速得出具有滿意性能的模型。大的偏差，從而為給定的任務(wù)提供性能次優(yōu)甚至較差的架構(gòu)值得進(jìn)一步探索的有前景的方向。3基于超網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)通道數(shù)搜索算法框架3個(gè)步驟。(1）超級(jí)網(wǎng)的構(gòu)建（如何共享各個(gè)模型的權(quán)重），（2）架構(gòu)采樣，訓(xùn)練數(shù)據(jù)采樣（如何選擇要優(yōu)化的數(shù)據(jù)和架構(gòu)），以及（3）超級(jí)網(wǎng)的優(yōu)化（如何定義損失和更新超級(jí)網(wǎng)的參數(shù)）的超網(wǎng)絡(luò)參數(shù)共享方式（x所示）CVPR2021NAS挑戰(zhàn)賽的超網(wǎng)絡(luò)賽道中實(shí)踐，贏得了并列第三名成績(jī)。泛化性例子來對(duì)訓(xùn)練期間從未見到的新類別圖像進(jìn)行快速識(shí)別。為實(shí)例學(xué)習(xí)一個(gè)編碼器，并在嵌入空間中進(jìn)行無參數(shù)推理（k近鄰算法）；（2）基于優(yōu)化的方法，提取優(yōu)化算法的元知識(shí)以實(shí)現(xiàn)快速適應(yīng)；（3）基于黑箱或模型的方法，直接學(xué)習(xí)將數(shù)據(jù)集嵌入模型參數(shù)以進(jìn)行預(yù)測(cè)。其中，（和（2）已經(jīng)成為最流行的方法，并在各種小樣本場(chǎng)景下得到驗(yàn)證。然而，現(xiàn)有的元學(xué)習(xí)算法存在著兩個(gè)從未被探索的挑戰(zhàn)。首先，大多數(shù)算法并不考慮時(shí)間和資源的限制，這阻礙了它們?cè)谠S多實(shí)際應(yīng)用中的應(yīng)用。此外，現(xiàn)有方法的成功在很大程度上依賴于對(duì)每個(gè)小樣本場(chǎng)景進(jìn)行精心地超參數(shù)（我們并不能手動(dòng)選擇最合適的超參數(shù)。4MetaDelta流程示意圖MetaDelta[4]4首先采MetaDeltaAAAI2021MetaDLNeurIPS2021MetaDL比賽的第一階段中已大幅分?jǐn)?shù)優(yōu)勢(shì)贏得第一。自動(dòng)圖學(xué)習(xí)開源系統(tǒng)構(gòu)搜索方面已經(jīng)在理論研究中取得了初步的成功。開源系統(tǒng)對(duì)于促進(jìn)和推動(dòng)圖上自動(dòng)機(jī)器學(xué)習(xí)的研究和應(yīng)用至關(guān)重要。目前的開源系統(tǒng)生態(tài)社區(qū)，存在一些用于圖PyTorchDeepGraphLibrary、AutoSklearnHyperoptNNI也相繼問世。然而，由于自動(dòng)機(jī)器學(xué)習(xí)在圖上應(yīng)用的挑戰(zhàn)，現(xiàn)有的自動(dòng)機(jī)器學(xué)習(xí)庫(kù)并不能直接適配圖學(xué)習(xí)任務(wù)。當(dāng)前開源社區(qū)急需自動(dòng)圖學(xué)習(xí)開源系統(tǒng)的出現(xiàn)。5AutoG