(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN119399580B(65)同一申請的已公布的文獻號(73)專利權(quán)人騰訊科技(深圳)有限公司科技中一路騰訊大廈35層US2021241521A1,20(74)專利代理機構(gòu)華進聯(lián)合專利商標代理有限公司44224專利代理師張思佳裝飾元素替換模型的訓練方法和人物裝飾元素替換方法本申請涉及一種裝飾元素替換模型的訓練儲介質(zhì)和計算機程序產(chǎn)品。其中，模型訓練方法包括：獲取用于實現(xiàn)裝飾元素圖像替換的預訓練模型；基于在不同角度下針對同一樣本人物分別采集的完整人物頭像，構(gòu)建增量訓練樣本；使用增量訓練樣本對預訓練模型進行增量訓練，以使該預訓練模型基于第一角度下完整人物頭像中人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中人物裝飾元素的第二元素圖像；在使用多個增量訓練樣本完成增量訓練的情況下，得到具備角度補償能力的裝飾元素替換模獲取用于實現(xiàn)裝飾元素圖像替換的預訓練模型獲取用于實現(xiàn)裝飾元素圖像替換的預訓練模型S基于在不同角度下針對同一樣本人物分別采集的完建增量訓練樣本使用增量訓練樣本對預訓練模型進行增量訓練，以使預訓練模型基于第一角度下完整人物頭像中人物裝飾元素的第二角度下完整人物頭像中人物裝飾元素的在使用多個增量訓練樣本對預訓練模型進行增量訓練、且滿足訓練結(jié)束條件的情況下，得到具備角度補償能力21.一種裝飾元素替換模型的訓練方法，其特征在于，所述方法包括：獲取用于實現(xiàn)裝飾元素圖像替換的預訓練模型；所述預訓練模型的每一預訓練樣本，包括具有人物裝飾元素的完整人物頭像；所述人物裝飾元素的圖像展示效果，隨著人物頭像角度的變化而變化；基于在不同角度下針對同一樣本人物分別采集的完整人物頭像，構(gòu)建增量訓練樣本；使用所述增量訓練樣本對所述預訓練模型進行增量訓練，以使所述預訓練模型基于第一角度下完整人物頭像中所述人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中所述人物裝飾元素的第二元素圖像；在使用多個增量訓練樣本對所述預訓練模型進行增量訓練、且滿足訓練結(jié)束條件的情況下，得到具備角度補償能力的裝飾元素替換模型；所述裝飾元素替換模型用于生成目標人物的目標圖像。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于在不同角度下針對同一樣本人物獲取在第一角度下針對樣本人物采集的第一完整人物頭像、以及第二角度下針對所述樣本人物采集的第二完整人物頭像；識別所述第一完整人物頭像中所述人物裝飾元素所處的第一元素區(qū)域，得到所述第一角度下用于掩碼第一元素區(qū)域的第一掩碼圖；融合所述第一完整人物頭像和所述第一掩碼圖，從所述第一完整人物頭像中分離出所述第一元素區(qū)域的第一元素圖像；構(gòu)建包含所述第二完整人物頭像和所述第一元素圖像的增量訓練樣本。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述融合所述第一完整人物頭像和所述第一掩碼圖，從所述第一完整人物頭像中分離出所述第一元素區(qū)域的第一元素圖像，包括：對所述第一掩碼圖進行歸一化處理，得到第一歸一化掩碼圖；所述第一歸一化掩碼圖中所述第一元素區(qū)域的像素值為1、除所述第一元素區(qū)域以外其他區(qū)域的像素值為0;使用所述第一歸一化掩碼圖對所述第一完整人物頭像進行掩碼處理，從所述第一完整人物頭像中分離出所述第一元素區(qū)域的第一元素圖像。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述增量訓練樣本還包括所述第二角度下的局部人物頭像；所述預訓練模型具體基于所述第一元素圖像補全所述局部人物頭像；所述方法還包括：識別所述第二完整人物頭像中所述人物裝飾元素所處的第二元素區(qū)域，得到所述第二角度下用于掩碼所述第二元素區(qū)域的第二掩碼圖；對所述第二完整人物頭像和所述第二掩碼圖分別進行歸一化處理，得到歸一化頭像和第二歸一化掩碼圖；所述第二歸一化掩碼圖中所述第二元素區(qū)域的像素值為0、除所述第二元素區(qū)域以外其他區(qū)域的像素值為1;使用所述第二歸一化掩碼圖對所述歸一化頭像進行掩碼處理，得到歸一化的局部頭像對所述局部頭像信息進行反歸一化處理，得到刪除所述第二元素區(qū)域的局部人物頭3獲取多個候選人物圖像；對各所述候選人物圖像分別進行人物識別，確定各所述候選人物圖像各自包含人物的人臉尺寸；針對每一所述候選人物圖像，在所述候選人物圖像中人物的人臉尺寸滿足尺寸條件、且所述人物包含人物裝飾元素的情況下，基于所述候選人物圖像得到具有人物裝飾元素的完整人物頭像。6.根據(jù)權(quán)利要求1至5中任意一項所述的方法，其特征在于，所述預訓練模型的訓練過針對預訓練樣本集中的每一完整人物頭像，識別所述完整人物頭像中的裝飾元素區(qū)域，得到所述完整人物頭像的裝飾元素掩碼圖；對所述完整人物頭像中的裝飾元素圖像進行圖像特征提取，得到裝飾元素特征；在所述裝飾元素掩碼圖的引導下，對所述完整人物頭像進行圖像特征提取，得到所述完整人物頭像中除所述裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征；基于融合所述裝飾元素特征和所述非裝飾特征得到的人物特征，解碼得到所述完整人物頭像對應的更新圖像；在各所述完整人物頭像的損失統(tǒng)計值收斂的情況下，得到用于實現(xiàn)裝飾元素圖像替換的預訓練模型；任一所述完整人物頭像對應的模型損失，用于表征所述完整人物頭像與所述完整人物頭像對應更新圖像之間的差異。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述在所述裝飾元素掩碼圖的引導下，對所述完整人物頭像進行圖像特征提取，得到所述完整人物頭像中除所述裝飾元素區(qū)域以外對所述完整人物頭像進行圖像編碼，得到所述完整人物頭像的潛空間完整表示；在所述裝飾元素掩碼圖的引導下，對所述潛空間完整表示進行掩碼處理，得到所述完整人物頭像中除所述裝飾元素區(qū)域以外其他區(qū)域的潛空間局部表示；基于所述潛空間局部表示進行特征編碼和注意力池化處理，得到所述完整人物頭像中除所述裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征。8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述在所述裝飾元素掩碼圖的引導下，對所述完整人物頭像進行圖像特征提取，得到所述完整人物頭像中除所述裝飾元素區(qū)域以外在所述裝飾元素掩碼圖的引導下，對所述完整人物頭像進行掩碼處理，得到刪除裝飾元素區(qū)域的局部人物頭像；對所述局部人物頭像進行圖像編碼，得到所述局部人物頭像的潛空間局部表示；基于所述潛空間局部表示進行特征編碼和注意力池化處理，得到所述完整人物頭像中除所述裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征。9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述非裝飾特征和所述裝飾元素特征均包拼接所述非裝飾特征和所述裝飾元素特征各自的鍵特征，得到鍵融合特征；拼接所述非裝飾特征和所述裝飾元素特征各自的值特征，得到值融合特征；基于所述非裝飾特征中的查詢特征、所述鍵融合特征和所述值融合特征，得到人物特410.一種人物裝飾元素替換方法，其特征在于，所述方法包獲取目標人物的人物圖像、以及包含參考裝飾元素的參考圖像；識別所述參考圖像中的裝飾元素區(qū)域，得到所述參考裝飾元素的參考元素圖像；將所述參考元素圖像和所述人物圖像輸入裝飾元素替換模型，得到所述目標人物的目標圖像；所述目標人物在所述目標圖像中具有所述參考裝飾元素；所述裝飾元素替換模型，基于如權(quán)利要求1至9中任意一項所述的方法訓練得到。11.一種裝飾元素替換模型的訓練裝置，其特征在于，所述裝置包括：預訓練模型獲取模塊，用于獲取用于實現(xiàn)裝飾元素圖像替換的預訓練模型；所述預訓練模型的每一預訓練樣本，包括具有人物裝飾元素的完整人物頭像；所述人物裝飾元素的圖像展示效果，隨著人物頭像角度的變化而變化；增量樣本構(gòu)建模塊，用于基于在不同角度下針對同一樣本人物分別采集的完整人物頭增量訓練模塊，用于使用所述增量訓練樣本對所述預訓練模型進行增量訓練，以使所述預訓練模型基于第一角度下完整人物頭像中所述人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中所述人物裝飾元素的第二元素圖像；裝飾元素替換模型確定模塊，用于在使用多個增量訓練樣本對所述預訓練模型進行增量訓練、且滿足訓練結(jié)束條件的情況下，得到具備角度補償能力的裝飾元素替換模型；所述裝飾元素替換模型用于生成目標人物的目標圖像。12.一種人物裝飾元素替換裝置，其特征在于，所述裝置包括：圖像獲取模塊，用于獲取目標人物的人物圖像、以及包含參考裝飾元素的參考圖像；裝飾元素識別模塊，用于識別所述參考圖像中的裝飾元素區(qū)域，得到所述參考裝飾元素的參考元素圖像；裝飾元素替換模塊，用于將所述參考元素圖像和所述人物圖像輸入裝飾元素替換模型，得到所述目標人物的目標圖像；所述目標人物在所述目標圖像中具有所述參考裝飾元素；所述裝飾元素替換模型，基于如權(quán)利要求1至9中任意一項所述的方法訓練得到。13.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至10中任一項所述的方法的步驟。14.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至10中任一項所述的方法的步驟。15.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至10中任一項所述的方法的步驟。5技術(shù)領(lǐng)域[0001]本申請涉及人工智能技術(shù)領(lǐng)域，特別是涉及一種裝飾元素替換模型的訓練方法、人物裝飾元素替換方法、裝置、計算機設備、計算機可讀存儲介質(zhì)和計算背景技術(shù)[0002]人工智能(ArtificialIntelligence,AI)是計算機科學的一個綜合技術(shù)，通過研究各種智能機器的設計原理與實現(xiàn)方法，使機器具有感知、推理與決策的功能。將人工智能技術(shù)應用于圖像處理領(lǐng)域，通過模型訓練可以得到用于實現(xiàn)人物裝飾元素替換的裝飾元素替換模型。[0003]傳統(tǒng)技術(shù)中，利用擴散模型的圖像處理能力，在文本條件中引入人物裝飾元素的文本描述，以實現(xiàn)替換人物裝飾元素的目標。采用傳統(tǒng)技術(shù)，在訓練過程中，需要不斷調(diào)整存在工作效率低的問題。發(fā)明內(nèi)容[0004]基于此，有必要針對上述技術(shù)問題，提供一種能夠提高工作效率的裝飾元素替換模型的訓練方法、人物裝飾元素替換方法、裝置、計算機設備、計算機可讀存儲介質(zhì)和計算機程序產(chǎn)品。[0005]第一方面，本申請?zhí)峁┝艘环N裝飾元素替換模型的訓練方法。所述方法包括：[0006]獲取用于實現(xiàn)裝飾元素圖像替換的預訓練模型；所述預訓練模型的每一預訓練樣本，包括具有人物裝飾元素的完整人物頭像；所述人物裝飾元素的圖像展示效果，隨著人物頭像角度的變化而變化；[0007]基于在不同角度下針對同一樣本人物分別采集的完整人物頭像，構(gòu)建增量訓練樣[0008]使用所述增量訓練樣本對所述預訓練模型進行增量訓練，以使所述預訓練模型基于第一角度下完整人物頭像中所述人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中所述人物裝飾元素的第二元素圖像；[0009]在使用多個增量訓練樣本對所述預訓練模型進行增量訓練、且滿足訓練結(jié)束條件的情況下，得到具備角度補償能力的裝飾元素替換模型；所述裝飾元素替換模型用于生成目標人物的目標圖像。[0010]第二方面，本申請還提供了一種裝飾元素替換模型的訓練裝置。所述裝置包括：[0011]預訓練模型獲取模塊，用于獲取用于實現(xiàn)裝飾元素圖像替換的預訓練模型；所述預訓練模型的每一預訓練樣本，包括具有人物裝飾元素的完整人物頭像；所述人物裝飾元素的圖像展示效果，隨著人物頭像角度的變化而變化；[0012]增量樣本構(gòu)建模塊，用于基于在不同角度下針對同一樣本人物分別采集的完整人6[0013]增量訓練模塊，用于使用所述增量訓練樣本對所述預訓練模型進行增量訓練，以使所述預訓練模型基于第一角度下完整人物頭像中所述人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中所述人物裝飾元素的第二元素圖像；[0014]裝飾元素替換模型確定模塊，用于在使用多個增量訓練樣本對所述預訓練模型進行增量訓練、且滿足訓練結(jié)束條件的情況下，得到具備角度補償能力的裝飾元素替換模型；所述裝飾元素替換模型用于生成目標人物的目標圖像。[0016]獲取目標人物的人物圖像、以及包含參考裝飾元素的參考圖像；[0017]識別所述參考圖像中的裝飾元素區(qū)域，得到所述參考裝飾元素的參考元素圖像；[0018]將所述參考元素圖像和所述人物圖像輸入裝飾元素替換模型，得到所述目標人物的目標圖像；所述目標人物在所述目標圖像中具有所述參考裝飾元素；所述裝飾元素替換模型，基于上述的裝飾元素替換模型訓練方法訓練得到。[0019]第四方面，本申請還提供了一種人物裝飾元素替換裝置。所述裝置包括：[0020]圖像獲取模塊，用于獲取目標人物的人物圖像、以及包含參考裝飾元素的參考圖[0021]裝飾元素識別模塊，用于識別所述參考圖像中的裝飾元素區(qū)域，得到所述參考裝飾元素的參考元素圖像；[0022]裝飾元素替換模塊，用于將所述參考元素圖像和所述人物圖像輸入裝飾元素替換模型，得到所述目標人物的目標圖像；所述目標人物在所述目標圖像中具有所述參考裝飾元素；所述裝飾元素替換模型，基于上述的裝飾元素替換模型訓練方法訓練得到。[0023]第五方面，本申請還提供了一種計算機設備。所述計算機設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述方法的步驟。[0024]第六方面，本申請還提供了一種計算機可讀存儲介質(zhì)。所述計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述方法的步驟。[0025]第七方面，本申請還提供了一種計算機程序產(chǎn)品。所述計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)上述方法的步驟。[0026]上述裝飾元素替換模型的訓練方法、人物裝飾元素替換方法、裝置、計算機設備、計算機可讀存儲介質(zhì)和計算機程序產(chǎn)品，在用于實現(xiàn)裝飾元素圖像替換的預訓練模型的基礎(chǔ)上，使用基于在不同角度下針對同一樣本人物分別采集的完整人物頭像構(gòu)建的增量訓練樣本，進行增量訓練，以使該預訓練模型基于第一角度下完整人物頭像中人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中人物裝飾元素的第二元素圖像，并在使用多個增量訓練樣本完成增量訓練的情況下，得到具備角度補償能力的裝飾元素替換模型。上述過程中，一方面，在訓練過程中引入人物裝飾元素的裝飾元素圖像，能夠解決采用文本描述人物裝飾元素所存在的控制能力弱的問題，避免需要反復調(diào)整訓練樣本以實現(xiàn)訓練目標，有利于提高工作效率；另一方面，通過兩個階段的訓練，能夠確保預訓練階段能夠?qū)W習到人物裝飾元素的替換能力，增量訓練階段能夠解決角度不一致帶來的泛化性問題，從而可以在訓練樣本數(shù)量較多的預訓練階段，降低學習過程的復雜度，并在學習復雜度較高的增量訓練階段，顯著降低所需要的訓練樣本數(shù)量，有利于降低訓練成本，同樣可以提高工作7效率。附圖說明[0027]圖1為一個實施例中裝飾元素替換模型的訓練方法和人物裝飾元素替換方法的應用環(huán)境圖；[0028]圖2為一個實施例中裝飾元素替換模型的訓練方法的流程示意圖；[0029]圖3為一個實施例中預訓練模型的模型結(jié)構(gòu)示意圖；[0030]圖4為一個實施例中人臉圖像區(qū)域的矩形框坐標示意圖；[0031]圖5為一個實施例中BiseNet模型的結(jié)構(gòu)示意圖；[0032]圖6為一個實施例中BLIP模型的結(jié)構(gòu)示意圖；[0033]圖7為一個實施例中基于BLIP模型獲得完整人物頭像的文本描述的過程示意圖；[0034]圖8為一個實施例中在完整人物頭像的基礎(chǔ)上，獲得各種訓練數(shù)據(jù)的過程示意圖；[0035]圖9為另一個實施例中預訓練模型的模型結(jié)構(gòu)示意圖；[0036]圖10為一個實施例中預訓練模型的輸入輸出示意圖；[0037]圖11為另一個實施例中預訓練模型的輸入輸出示意圖；[0038]圖12為一個實施例中的特征融合原理示意圖；[0039]圖13為另一個實施例中裝飾元素替換模型的訓練方法的流程示意圖；[0040]圖14為一個實施例中裝飾元素替換方法的流程示意圖；[0041]圖15為一個實施例中的發(fā)型替換效果示意圖；[0042]圖16為一個實施例中裝飾元素替換模型的訓練裝置的結(jié)構(gòu)框圖；[0043]圖17為一個實施例中裝飾元素替換裝置的結(jié)構(gòu)框圖；[0044]圖18為一個實施例中計算機設備的內(nèi)部結(jié)構(gòu)圖；[0045]圖19為另一個實施例中計算機設備的內(nèi)部結(jié)構(gòu)圖。具體實施方式[0046]為了使本申請的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本申請進行進一步詳細說明。應當理解，此處描述的具體實施例僅僅用以解釋本申請，并不用于限定本申請。[0047]本申請實施例提供的裝飾元素替換模型的訓練方法和人物裝飾元素替換方法，可以應用于如圖1所示的應用環(huán)境中。其中，終端102通過網(wǎng)絡與服務器104進行通信。該通信網(wǎng)絡可以是有線網(wǎng)絡或無線網(wǎng)絡。因此，終端102和服務器104可以通過有線或無線通信方式進行直接或間接的連接。比如，終端102可以通過無線接入點與服務器104間接地連接，或者終端102通過因特網(wǎng)與服務器104直接地連接，本申請在此不做限制。[0048]其中，終端102可以但不限于是各種臺式計算機、筆記本電腦、智能手機、平板電腦、物聯(lián)網(wǎng)設備和便攜式可穿戴設備，物聯(lián)網(wǎng)設備可為智能音箱、智能電視、智能空調(diào)、智能車載設備等。便攜式可穿戴設備可為智能手表、智能手環(huán)、頭戴設備等。本申請實施例可應用于裝飾元素替換模型訓練和人物裝飾元素替換場景。終端102上可以安裝有人物圖像處理相關(guān)的客戶端，該客戶端可以是軟件(例如瀏覽器、視頻軟件等),也可以是網(wǎng)頁、小程序等。服務器104則是與軟件或是網(wǎng)頁、小程序等相對應的后臺服務器，或者是專門用于進行8裝飾元素替換模型訓練或人物裝飾元素替換的服務器，在一些實施例中，裝飾元素替換模型的訓練或人物裝飾元素替換還可以通過同一服務器實現(xiàn)，本申請不做具體限定。進一步地，服務器104可以是獨立的物理服務器，也可以是多個物理服務器構(gòu)成的服務器集群或者大數(shù)據(jù)和人工智能平臺等基礎(chǔ)云計算服務的云服務器。數(shù)據(jù)存儲系統(tǒng)可以存儲服務器104需要處理的數(shù)據(jù)。數(shù)據(jù)存儲系統(tǒng)可以單獨設置，可以集成在服務器104上，也可以放在云上或其他服務器上。[0049]需要說明的是，本申請實施例中的裝飾元素替換模型的訓練方法和人物裝飾元素替換方法，可以由終端102或服務器104單獨執(zhí)行，也可以由終端102和服務器104共同執(zhí)行。以服務器104單獨執(zhí)行的情況為例，服務器104在進行裝飾元素替換模型的訓練的過程中：獲取用于實現(xiàn)裝飾元素圖像替換的預訓練模型；基于在不同角度下針對同一樣本人物分別采集的完整人物頭像，構(gòu)建增量訓練樣本；使用增量訓練樣本對預訓練模型進行增量訓練，以使該預訓練模型基于第一角度下完整人物頭像中人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中人物裝飾元素的第二元素圖像；在使用多個增量訓練樣本對預訓練模型進行增量訓練、且滿足訓練結(jié)束條件的情況下，得到具備角度補償能力的裝飾元素替換模型。其中，預訓練模型的每一預訓練樣本，包括具有人物裝飾元素的完整人物頭像；人物裝飾元素的圖像展示效果，隨著人物頭像角度的變化而變化；裝飾元素替換模型用于生成目標人物的目標圖像。[0050]訓練得到的模型，可以用于進行人物裝飾元素的替換。具體來說，服務器104在進行人物裝飾元素替換的過程中：獲取目標人物的人物圖像、以及包含參考裝飾元素的參考圖像；識別參考圖像中的裝飾元素區(qū)域，得到參考裝飾元素的參考元素圖像；將參考元素圖像和人物圖像輸入裝飾元素替換模型，得到目標人物的目標圖像；該目標人物在目標圖像中具有參考裝飾元素。其中，目標人物和參考裝飾元素各自對應的人物頭像角度，可以相同也可以不同。目標圖像中的參考裝飾元素與目標人物對應相同的人物頭像角度。也就是說，在目標人物和參考裝飾元素各自對應不同人物頭像角度的情況下，由于裝飾元素替換模型具備角度補償能力，能夠生成參考裝飾元素與目標人物對應相同的人物頭像角度的目標圖[0051]在一個實施例中，如圖2所示，提供了一種裝飾元素替換模型的訓練方法，該方法可以由計算機設備執(zhí)行，該計算機設備可以是圖1所示的終端或服務器，在本實施例中，以該方法應用于圖1中的服務器為例進行說明，包括以下步驟：[0052]步驟S202,獲取用于實現(xiàn)裝飾元素圖像替換的預訓練模型。[0053]其中，預訓練模型是指通過預訓練，具備根據(jù)裝飾元素圖像替換人物裝飾元素的能力的機器學習模型。該預訓練模型的具體網(wǎng)絡結(jié)構(gòu)并不唯一，可以包括CNN(ConvolutionalNeuralNetwork,卷積神經(jīng)網(wǎng)絡)、GAN(GenerativeAdversarialNetwork,生成對抗網(wǎng)絡)或SD(StableDiffusion,擴散網(wǎng)絡)等中的至少一種。在一個可選的實施例中，預訓練模型以StableDiffusion模型為基底模型，可實現(xiàn)文生圖功能。如圖3所示，服務器可以在以StableDiffusion為基底的目標網(wǎng)絡的基礎(chǔ)上，構(gòu)建與目標網(wǎng)絡結(jié)構(gòu)相同的參考網(wǎng)絡，該參考網(wǎng)絡用于對輸入的裝飾元素圖像進行編碼，得到裝飾元素特征，9而目標網(wǎng)絡，則是用于獲得完整人物頭像中除裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征。通過注意力共享，融合裝飾元素特征和非裝飾特征，實現(xiàn)根據(jù)裝飾元素圖像替換完整人物頭像中的人物裝飾元素的目的。預訓練階段的訓練目標，是使替換人物裝飾元素后的模型作為裝飾元素特征和非裝飾特征的圖像信息來源，另一方面作為模型預測結(jié)果的對照。在使用包含多個預訓練樣本的預訓練樣本集完成預訓練的情況下，得到具備根據(jù)裝飾元素圖像替換人物裝飾元素的能力的預訓練模型。[0054]預訓練模型的每一預訓練樣本，包括具有人物裝飾元素的完整人物頭像。裝飾元素圖像，是指該人物裝飾元素的圖像。人物裝飾元素是指用于裝飾人物頭像的元素。該人物隨著人物頭像角度的變化而變化。示例性的，在不同角度下針對同一人物進行采集，所得到的各完整人物頭像中的發(fā)型、帽子、眼鏡或耳飾等人物裝飾元素的展示效果均有所不同。實際應用中，人物裝飾元素在藝術(shù)和設計中扮演著重要的角色，通過不同的裝飾手段和風格，可以增強人物形象的表現(xiàn)力和視覺沖擊力?；诖?，人物裝飾元素替換的應用場景非常廣泛。在角色設計領(lǐng)域，基于人物裝飾元素替換功能，用戶可以根據(jù)自己的需求，更換人物裝飾元素，實現(xiàn)個性化的角色定制；在時尚設計領(lǐng)域，設計師可以通過人物裝飾元素替換功能，對人物頭像進行局部調(diào)整，選擇合適的人物裝飾元素，提高效率；在虛擬現(xiàn)實和增強現(xiàn)實應用中，該人物裝飾元素替換功能可以提升用戶體驗的真實感和沉浸感。[0055]具體地，服務器可以預先使用包含多個預訓練樣本的預訓練樣本集，對初始模型進行模型訓練，得到用于實現(xiàn)裝飾元素圖像替換的預訓練模型?？梢岳斫猓捎陬A訓練樣本中的裝飾元素圖像，是完整人物頭像的一部分，二者對應相同的人物頭像角度，因此，預訓練階段得到的預訓練模型，并不具備角度補償能力。而實際應用中，作為替換目標的裝飾元素圖像與作為替換對象的完整人物頭像之間，可能存在角度的差別。若直接使用預訓練模型進行裝飾元素替換，由于角度差異的存在，可能會導致人物裝飾元素圖像展示效果的失[0056]從完整人物頭像中分離裝飾元素圖像的具體方式并不唯一?？蛇x的，服務器可以先識別出完整人物頭像中的人物裝飾元素，再通過提取人物裝飾元素的邊框，基于該邊框?qū)ν暾宋镱^像進行圖像分割，得到裝飾元素圖像；可選的，服務器也可以使用OpenCV和dlib等工具進行人臉檢測和關(guān)鍵點提取，以確定完整人物頭像中人物裝飾元素的所處唯一，再通過灰度化和閾值化等處理，將任務裝束元素從圖像中分離出來，得到裝飾元素圖像；可選的，服務器還可以通過使用人工智能算法進行高精度的圖像分割，如語義分割和實例分割，識別出完整人物頭像中人物裝飾元素，并進一步提取人物裝飾元素的裝飾元素圖[0057]在其中一個實施例中，完整人物頭像的獲取過程包括：獲取多個候選人物圖像；對各候選人物圖像分別進行人物識別，確定各候選人物圖像各自包含人物的人臉尺寸；針對每一候選人物圖像，在候選人物圖像中人物的人臉尺寸滿足尺寸條件、且該人物包含人物裝飾元素的情況下，基于候選人物圖像得到具有人物裝飾元素的完整人物頭像。[0058]其中，候選人物圖像是指包含人物的圖像。該候選人物圖像中所包含人物的數(shù)量，可以是一個，也可以是多個。人臉尺寸可以通過人臉在整個候選人物圖像中的占比表示，也可以通過人臉所在圖像區(qū)域的像素量表示?？梢岳斫獾氖牵四樤谡麄€圖片(即候選人物圖像)中的占比越低，人臉圖像區(qū)域的像素量越少，人物模糊的可能性越可以是指人臉圖像區(qū)域的像素量大于或等于像素量閾值，也可以是指人臉在整個圖片中的占比大于或等于比例閾值。該像素閾值例如可以是3萬或4萬等，該比例閾值例如可以是1/16或1/15等。在一個可選的實施例中，為了保證人臉圖像的質(zhì)量，提出僅保留人臉占比在1/16以上的圖片，以1024*1024的圖片為例，占比1/16的正方形人臉包含256*256個像素點，足夠表征人物細節(jié)。[0059]具體來說，服務器可以從開源的圖像數(shù)據(jù)集合中，獲取多個候選人物圖像。然后對各候選人物圖像分別進行人物識別，確定各候選人物圖像各自包含人物的人臉尺寸。在候選人物圖像中人物的人臉尺寸滿足尺寸條件、且該人物包含人物裝飾元素的情況下，保留該候選人物圖像，并基于該候選人物圖像得到具有人物裝飾元素的完整人物頭像。可選的，在保留的候選人物圖像為單人圖像的情況下，服務器可以將該候選人物圖像，確定為具有人物裝飾元素的完整人物頭像；在保留的候選人物圖像為多人圖像的情況下，服務器可以從該候選人物圖像中，分離出人臉尺寸滿足尺寸條件且包含人物裝飾元素的單人圖像，得到具有人物裝飾元素的完整人物頭像。[0060]在一個可選的實施例中，服務器可以使用RetinaFace模型(視網(wǎng)膜人臉檢測模型),實現(xiàn)人物識別。RetinaFace模型是一種用于人臉檢測和人臉對齊的神經(jīng)網(wǎng)絡模型。其原理是基于單階段(One-Stage)目標檢測器，采用多尺度特征融合和多任務學習的方法，以實現(xiàn)在不同尺度和方向上準確地檢測人臉并進行對齊。該RetinaFace模型在多尺度、多方向和遮擋情況下具有較好的魯棒性，適用于實時人臉檢測和相關(guān)應用。如圖4所示，將候選人物圖像輸入RetinaFace模型，將返回人臉圖像區(qū)域的矩形框坐標(x,y,w,h)。其中，(x,y)為矩形左上角坐標，w和h分別為矩形的寬和高。經(jīng)RetinaFace模型處理后，可獲取候選人物圖像中所包含的人物數(shù)量、以及每個人物各自的人臉尺寸。[0061]在一個可選的實施例中，在進行人物識別之前，可以先進行一輪圖像篩選，以進一步確保圖像質(zhì)量，提高工作效率。具體來說，服務器可以根據(jù)美學質(zhì)量評分進行圖像篩選。美學質(zhì)量評分是Laion-5B數(shù)據(jù)集中使用的一種圖片質(zhì)量評估指標，評分范圍為[0,10],評分越高，代表圖片的質(zhì)量越好。參考Laion-5B數(shù)據(jù)集合篩選的標準，可以僅針對評分值大于6.5的候選人物圖像進行人物識別。[0062]在一個可選的實施例中，最終確定的完整人物頭像的短邊像素數(shù)量不低于1024,以進一步確保清晰度。[0063]上述實施例中，基于人臉尺寸滿足尺寸條件的候選人物圖像，得到具有人物裝飾元素的完整人物頭像，能夠確保完整人物頭像的圖像質(zhì)量，進而確保訓練效果。[0064]步驟S204,基于在不同角度下針對同一樣本人物分別采集的完整人物頭像，構(gòu)建增量訓練樣本。[0065]其中，在不同角度下針對同一樣本人物分別采集的完整人物頭像，至少包括在第一角度下針對樣本人物采集的第一完整人物頭像、以及第二角度下針對該樣本人物采集的第二完整人物頭像。第一角度和第二角度是指不同的人物頭像角度，所使用的術(shù)語“第一”和“第二”,僅用于將第一個人物頭像角度與另一個人物頭像角度區(qū)和第二角度，可以是指正面角度、四分之三側(cè)面角度、仰視角度、俯視角度或測試角度等中11的任意兩個。[0066]在預訓練階段，裝飾元素圖像中的人物裝飾元素，與完整人物頭像中的人物，相同的人物頭像角度。而增量訓練階段的訓練目標，是為了提升模型的角度補償能力。基于此，服務器可以獲取在不同角度下針對同一樣本人物分別采集的完整人物頭像。這些完整人物頭像，具備同一人物裝飾元素。其中，同一人物裝飾元素，可以是同一發(fā)型、同一個帽子、同一副眼鏡等。獲取針對同一樣本任務采集的多個完整人物頭像后，服務器可以基于這些多角度的完整人物頭像構(gòu)建增量訓練樣本。可選的，服務器可以將兩個不同角度下針對同一樣本人物分別采集的完整人物頭像，作為增量訓練樣本?？蛇x的，在獲取到兩個以上不同角度下針對同一樣本人物分別采集的完整人物頭像的情況下，服務器可以兩兩組合，得到多個增量訓練樣本；服務器也可以根據(jù)圖像質(zhì)量進行進一步的篩選，選擇任意兩個完整人物頭像，構(gòu)建增量訓練樣本。其中，根據(jù)圖像質(zhì)量進行進一步篩選的具體方式，參見上文中從多個候選人物圖像中篩選完整人物頭像的方式，在此不作限定。[0067]在一個可選的實施例中，服務器可以基于在不同角度下針對同一樣本人物分別采集的完整人物頭像，構(gòu)建包含第一角度下的裝飾元素圖像、以及第二角度下刪除裝飾元素區(qū)域的局部人物頭像的增量訓練樣本。具體來說，服務器可以獲取在第一角度和第二角度下分別采集的完整人物頭像，從第一角度下的完整人物頭像中分離出裝飾元素圖像，并對第二角度下采集的完整人物頭像中人物裝飾元素所處的裝飾元素區(qū)域進行掩碼，得到第二角度下刪除裝飾元素區(qū)域的局部人物頭像。從第二角度下的完整人物頭像中分離出裝飾元素圖像的具體方式參見上文，此處不再贅述。[0068]步驟S206,使用增量訓練樣本對預訓練模型進行增量訓練，以使預訓練模型基于第一角度下完整人物頭像中人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中人物裝飾元素的第二元素圖像。[0069]其中，第一元素圖像和第二元素圖像，是指同一樣本人物所具有的同一人物裝飾元素，分別在不同角度下呈現(xiàn)的圖像信息。例如，第一元素圖像和第二元素圖像，可以是指樣本人物所具有的人物發(fā)型，在不同角度下呈現(xiàn)的發(fā)型圖像；又如，第一元素圖像和第二元素圖像，可以是指樣本人物所佩戴的帽子，在不同角度下呈現(xiàn)的帽子圖像。[0070]如前文所述的，在預訓練階段，是將從完整人物頭像中分離出的裝飾元素圖像，替換該完整人物頭像中的人物裝飾元素，因此，預訓練階段的訓練目標，是使替換人物裝飾元素后的模型輸出圖像，接近完整人物頭像。在增量訓練階段，模型結(jié)構(gòu)不變，替換目標為從第一角度下完整人物頭像中分離出的裝飾元素圖像，替換對象為第二角度下采集的完整人物頭像，因此，增量訓練階段的訓練目標，是使替換人物裝飾元素后的模型輸出圖像，接近第二角度下采集的完整人物頭像。也就是說，服務器可以使用增量訓練樣本對預訓練模型進行增量訓練，以使預訓練模型基于第一角度下完整人物頭像中人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中人物裝飾元素的第二元素圖像。[0071]步驟S208,在使用多個增量訓練樣本對預訓練模型進行增量訓練、且滿足訓練結(jié)束條件的情況下，得到具備角度補償能力的裝飾元素替換模型。[0072]其中，增量訓練階段所需要的訓練樣本數(shù)量，遠小于預訓練階段所需要的訓練樣本數(shù)量。[0073]具體來說，服務器使用包含多個增量訓練樣本的增量訓練樣本集，對預訓練模型進行增量訓練，在滿足訓練結(jié)束條件的情況下，得到具備角度補償能力的裝飾元素替換模型。該訓練結(jié)束條件，可以是指驗證集的準確率不再提高，也可以是指模型達到了設定的最大迭代次數(shù)，還可以是指基于損失函數(shù)隨迭代次數(shù)的變化確定損失函數(shù)收斂。[0076]擴散模型是一種通過迭代去噪合成所需數(shù)據(jù)樣本的生成模型。擴散訓練包含正向擴散過程和反向去噪過程。在正向擴散過程中，噪聲為基于預定義的噪聲調(diào)度對數(shù)據(jù)樣本進行采樣和相加。此過程產(chǎn)生時間步長t的噪聲樣本Xt。相反，在Eθ取Xt、t和可選的附加條件C(文本、圖片或語音等)作為輸入，以預測添加的噪聲為預測目標。在上述目標函數(shù)下，使用不同的訓練數(shù)據(jù)集對模型進行訓練。以人物裝飾元素為發(fā)型的情況為例，在第一階段(即預訓練階段),使用大量包含發(fā)型的完整人物頭像作為預訓練樣本，在Inpainting(圖像修復)模式下，根據(jù)從完整人物頭像中分離的參考發(fā)型圖像，替換完整人物頭像中的發(fā)型；第二階段(即增量訓練階段),使用少量在不同角度下分別針對同一個人、且具備同一發(fā)型的完整人物頭像，進行增量訓練，根據(jù)從第一角度下完整人物頭像中分離的參考發(fā)型圖像，替換第二角度下完整人物頭像中的發(fā)型。采用兩階段進行模型訓[0077]進一步的，裝飾元素替換模型用于生成目標人物的目標圖像。具體來說，部署有裝飾元素替換模型的計算機設備可以獲取目標人物的人物圖像、以及包含參考裝飾元素的參考圖像；識別參考圖像中的裝飾元素區(qū)域，得到參考裝飾元素的參考元素圖像；將參考元素圖像和人物圖像輸入裝飾元素替換模型，得到目標人物的目標圖像。其中，目標人物在目標圖像中具有參考裝飾元素，且目標圖像中參考裝飾元素與目標人物對應相同的人物頭像角[0078]上述裝飾元素替換模型的訓練方法，在用于實現(xiàn)裝飾元素圖像替換的預訓練模型的基礎(chǔ)上，使用基于在不同角度下針對同一樣本人物分別采集的完整人物頭像構(gòu)建的增量訓練樣本，進行增量訓練，以使該預訓練模型基于第一角度下完整人物頭像中人物裝飾元素的第一元素圖像，替換第二角度下完整人物頭像中人物裝飾元素的第二元素圖像，并在使用多個增量訓練樣本完成增量訓練的情況下，得到具備角度補償能力的裝飾元素替換模型。上述過程中，一方面，在訓練過程中引入人物裝飾元素的裝飾元素圖像，能夠解決采用文本描述人物裝飾元素所存在的控制能力弱的問題，避免需要反復調(diào)整訓練樣本以實現(xiàn)訓練目標，有利于提高工作效率；另一方面，通過兩個階段的訓練，能夠確保預訓練階段能夠?qū)W習到人物裝飾元素的替換能力，增量訓練階段能夠解決角度不一致帶來的泛化性問題，從而可以在訓練樣本數(shù)量較多的預訓練階段，降低學習過程的復雜度，并在學習復雜度較高的增量訓練階段，顯著降低所需要的訓練樣本數(shù)量，有利于降低訓練成本，同樣可以提高工作效率。[0079]在一個實施例中，基于在不同角度下針對同一樣本人物分別采集的完整人物頭像，構(gòu)建增量訓練樣本，包括：獲取在第一角度下針對樣本人物采集的第一完整人物頭像、以及第二角度下針對該樣本人物采集的第二完整人物頭像；識別第一完整人物頭像中人物裝飾元素所處的第一元素區(qū)域，得到第一角度下用于掩碼第一元素區(qū)域的第一掩碼圖；融合第一完整人物頭像和第一掩碼圖，從第一完整人物頭像中分離出第一元素區(qū)域的第一元素圖像；構(gòu)建包含第二完整人物頭像和第一元素圖像的增量訓練樣本。[0080]其中，第一角度下的第一掩碼圖，用于掩碼第一完整人物頭像中人物裝飾元素所處的第一元素區(qū)域。也即，第一掩碼圖中，第一元素區(qū)域為黑色，對應的像素值為0,除第一元素區(qū)域以外其他區(qū)域為白色，對應的像素值為255。[0081]具體來說，服務器可以獲取在第一角度下針對樣本人物采集的第一完整人物頭像、以及第二角度下針對該樣本人物采集的第二完整人物頭像。然后，從第一完整人物頭像中分離出作為替換目標的第一元素圖像，再進一步結(jié)合作為替換對象的第二完整人物頭像，構(gòu)建增量訓練階段的增量訓練樣本。[0082]在從第一完整人物頭像中分離出第一元素圖像的過程中，服務器可以基于圖像語義分割，或者，通過應用圖像編輯軟件或自動掩碼生成工具，識別第一完整人物頭像中人物裝飾元素所處的第一元素區(qū)域，并生成第一角度下用于掩碼第一元素區(qū)域的第一掩碼圖。得到第一掩碼圖之后，服務器可以融合第一完整人物頭像和第一掩碼圖，從第一完整人物頭像中分離出第一元素區(qū)域的第一元素圖像。[0083]在一個可選的實施例中，服務器可以對第一掩碼圖進行像素值變換，使第一元素區(qū)域的像素值由0變?yōu)?,并使除第一元素區(qū)域以外其他區(qū)域的像素值由255變?yōu)?,得到第一掩碼變換圖。并將第一完整人物頭像與第一掩碼變換圖各自的像素矩陣點乘，使得第一完整人物頭像中第一元素區(qū)域的像素值保持不變，除第一元素區(qū)域以外其他區(qū)域的像素值變?yōu)?,從而實現(xiàn)第一元素區(qū)域的分離，得到第一元素圖像。[0084]預訓練樣本構(gòu)建過程，與增量訓練樣本構(gòu)建過程類似。在一個具體的實施例中，預訓練樣本構(gòu)建過程，包括：獲取具有人物裝飾元素的完整人物頭像；識別該完整人物頭像中人物裝飾元素所處的裝飾元素區(qū)域，得到完整人物頭像的裝飾元素掩碼圖；融合完整人物頭像和裝飾元素掩碼圖，得到裝飾元素區(qū)域中的裝飾元素圖像；構(gòu)建包含完整人物頭像和裝飾元素圖像的預訓練樣本。[0085]上述實施例中，從第一完整人物頭像中分離出第一元素區(qū)域的第一元素圖像，作為增量訓練樣本的一部分，能夠明確裝飾元素替換目標，提高訓練效果。[0086]在一個具體的實現(xiàn)中，融合第一完整人物頭像和第一掩碼圖，從第一完整人物頭像中分離出第一元素區(qū)域的第一元素圖像，包括：對第一掩碼圖進行歸一化處理，得到第一歸一化掩碼圖；使用第一歸一化掩碼圖對第一完整人物頭像進行掩碼處理，從第一完整人物頭像中分離出第一元素區(qū)域的第一元素圖像。[0087]具體來說，服務器可以對第一掩碼圖進行歸一化處理，得到第一元素區(qū)域的像素值為1、除第一元素區(qū)域以外其他區(qū)域的像素值為0的第一歸一化掩碼圖。然后，再使用第一歸一化掩碼圖對第一完整人物頭像進行掩碼處理，從第一完整人物頭像中分離出第一元素區(qū)域的第一元素圖像。[0088]示例性的，定義第一掩碼圖為M,第一完整人物頭像為I?,則人物裝飾元素在第一完整人物頭像中所呈現(xiàn)的第一元素圖像S?的確定過程可以表示為：元素區(qū)域)的像素值歸一化為1,原本未被掩碼的其他區(qū)域(即除第一元素區(qū)域以外其他區(qū)域)的像素值歸一化為0。歸一化之后再和I?點乘，使得I?中第一元素區(qū)域以外其他區(qū)域的像[0095]示例性的，定義第二掩碼圖為M?,第二完整人物頭像為I?,則刪除第二元素區(qū)域的被掩碼的黑色區(qū)域(即第二元素區(qū)域)的像素值歸一化為0,原本未被掩碼的其他區(qū)域(即除[0099]在一個可選的實施例中，服務器練過程中訓練樣本中的完整人物頭像、以及增量訓練過程中的第一完整人物頭像和第二完整人物頭像。BiseNet模型是一種用于圖像分割任務的神經(jīng)網(wǎng)絡模型，可實現(xiàn)將圖像中的不同物體或區(qū)域進行像素級別的劃分，其結(jié)構(gòu)圖如圖5所示。BiseNet模型包含兩個分支網(wǎng)絡：要配置豐富的通道容量，并且設置滑動距離(Stride)小的淺層結(jié)構(gòu)。也即，細節(jié)分支需要通道數(shù)大層數(shù)少。而對于語義分支，則需要考慮到大感受野和小計算量的要求，具體可以借鑒了輕量型網(wǎng)絡如Xception(極深網(wǎng)絡)、MobileNet(移動網(wǎng)絡)、ShuffleNet(洗牌網(wǎng)絡),設計語義分支的結(jié)構(gòu)。與細節(jié)分支大通道數(shù)淺層的特點相反，語義分支需要小通道數(shù)深層的結(jié)構(gòu)。因為細節(jié)分支和語義分支關(guān)注的特征不同，細節(jié)分支提取的是Low-Level細節(jié)特征，而語義分支提取的是High-Level語義特征。在此基礎(chǔ)上，可以通過雙邊引導聚合層(bilateralguidedaggregationlayer)來融合來自兩個分支的互補信息。[0100]在一個可選的實施例中，裝飾元素替換模型的訓練樣本還包括完整人物頭像的文本描述。在該實施例的情形下，裝飾元素替換模型的訓練方法還包括：針對每一完整人物頭像，使用訓練好的多模態(tài)模型，生成該完整人物頭像的文本描述。[0101]其中，完整人物頭像，可以包括預訓練過程中訓練樣本中的完整人物頭像、以及增量訓練過程中的第一完整人物頭像和第二完整人物頭像。所生成的文本描述，用于在預訓練或增量訓練過程中，引導模型進行裝飾元素圖像的替換。該多模態(tài)模型在訓練過程中的模型損失，包括圖像文本對比損失、圖像文本匹配損失和語言模型損失。[0102]示例性的，可以使用BLIP(BootstrappingLanguage-ImagePre-trainingforUnifiedVision-LanguageUnderstandingandGeneration,引導語言圖像預訓練)模型生成完整人物頭像的描述信息。如圖6所示，BLIP模型包含4部分：ImageEncoder(圖像編碼器)、TextEncoder(文本編碼器)、Image-groundedTextEncoder(基于圖像的文本編碼器)和Image-groundedTextDecoder(基于圖像的文本解碼器)。其中，Image-groundedTextEncoder是一個二分類模型，負責判斷文本和圖片所表達的含義是否一致。在本申請人物頭像的文本描述。[0103]在其中一個實施例中，以人物裝飾元素為發(fā)型的情況為例，對訓練樣本的構(gòu)建過程進行介紹。在該實施例的情形下，如圖8所示，一方面，服務器可以在完整人物頭像I的理和像素點乘運算，進一步得到刪除發(fā)型區(qū)域的局部人物頭像D、以及發(fā)型圖S。另一方面，服務器可以應用BLIP模型，生成完整人物頭像I的文本描述。進而，可以得到包含完整人物頭像、完整人物頭像的文本描述、發(fā)型掩碼圖、發(fā)型圖、以及刪除發(fā)型區(qū)域的局部人物頭像刪除發(fā)型區(qū)域的局部人物頭像，可以作為目標網(wǎng)絡的輸入，發(fā)型圖可以作為參考網(wǎng)絡的輸[0104]下面對模型的預訓練過程進行介紹。[0105]在一個實施例中，預訓練模型的訓練過程，包括：針對預訓練樣本集中的每一完整人物頭像，識別該完整人物頭像中的裝飾元素區(qū)域，得到完整人物頭像的裝飾元素掩碼圖；對完整人物頭像中的裝飾元素圖像進行圖像特征提取，得到裝飾元素圖像的裝飾元素特征；在裝飾元素掩碼圖的引導下，對完整人物頭像進行圖像特征提取，得到完整人物頭像中除所述裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征；基于融合裝飾元素特征和非裝飾特征得到的人物特征，解碼得到完整人物頭像對應的更新圖像；在各完整人物頭像的損失統(tǒng)計值收斂的情況下，得到用于實現(xiàn)裝飾元素圖像替換的預訓練模型。[0106]其中，任一完整人物頭像對應的模型損失，用于表征該完整人物頭像與該完整人物頭像對應更新圖像之間的差異。也就是說，預訓練過程的訓練目標，是使替換人物裝飾元素后的模型輸出圖像，接近完整人物頭像。[0107]具體來說，服務器可以針對預訓練樣本集中的每一完整人物頭像，基于圖像語義分割，或者，通過應用圖像編輯軟件或自動掩碼生成工具，識別該完整人物頭像中的裝飾元素區(qū)域，進而得到完整人物頭像的裝飾元素掩碼圖。在得到裝飾元素掩碼圖的情況下，服務器一方面可以基于該裝飾元素掩碼圖，從完整人物頭像中分離出裝飾元素區(qū)域的裝飾元素圖像，并對該裝飾元素圖像進行圖像特征提取，得到裝飾元素特征。另一方面，可以在裝飾元素掩碼圖的引導下，對完整人物頭像進行圖像特征提取，得到完整人物頭像中除所述裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征。然后，服務器可以通過融合裝飾元素特征和非裝飾特征，得到完整的任務特征，并基于該人物特征進行解碼，獲得完整人物頭像對應的更新[0108]對于每一個作為訓練樣本的完整人物頭像而言，其在預訓練過程中的模型損失，用于表征該完整人物頭像與該完整人物頭像對應更新圖像之間的差異。在各完整人物頭像的損失統(tǒng)計值收斂的情況下，服務器可以得到用于實現(xiàn)裝飾元素圖像替換的預訓練模型。其中，各完整人物頭像的損失統(tǒng)計值，可以是各完整人物頭像各自模型損失的平均值、加權(quán)[0109]在一個可選的實施例中，如圖3所示，裝飾元素替換模型和預訓練模型的網(wǎng)絡結(jié)構(gòu)相同，包括目標網(wǎng)絡、參考網(wǎng)絡和解碼器。其中，參考網(wǎng)絡用于對裝飾元素圖像進行圖像特征提取，得到裝飾元素特征；目標網(wǎng)絡用于通過圖像特征提取，得到完整人物頭像中除裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征。參考網(wǎng)絡得到的裝飾元素特征，將傳遞給目標網(wǎng)絡，因此，目標網(wǎng)絡還用于融合裝飾元素特征和非裝飾特征，得到完整的人物特征。該人物特征作為解碼器的輸入，以使解碼器對該人物特征進行解碼，得到完整人物頭像對應的更新圖[0110]在一個具體的實現(xiàn)中，如圖9所示，預訓練模型和裝飾元素替換模型以Stable輸入圖片通道數(shù)為3,經(jīng)過變分自編碼器(VariationalAutoencoder,VAEEncoder)編碼后通道數(shù)為4。為了實現(xiàn)僅改變裝飾元素區(qū)域，保持完整人物頭像中其他部分不變，使用Inpainting模式，額外增加5個通道，分別是1通道的裝飾元素掩碼圖、4通道的刪除裝飾元素區(qū)域后的局部人物頭像。其中，裝飾元素掩碼圖表征期望模型保留和改變的部分，其中，黑色部分代表需要改變的部分，白色部分代表需要保留的其他部分。[0111]進一步的，為引入裝飾元素特征，新增參考網(wǎng)絡編碼裝飾元素圖像。可選的，為減少新引入特征對原始StableDiffusion模型的影響，可以將該參考網(wǎng)絡中Reference-Net(參考U型網(wǎng)絡)的網(wǎng)絡結(jié)構(gòu)和參數(shù)均與StableDiffusion中的U-net(U型網(wǎng)絡)保持一致。對于擴散模型而言，其在測試階段的輸入為純噪聲，經(jīng)過T步降噪后生成有意義的圖片，其入為接近無噪聲數(shù)據(jù)，該步去噪后的結(jié)果為Xo,經(jīng)過變分自解碼器(Variational編碼了裝飾元素圖像，使用編碼的特征可以直接還原裝飾元素圖像。U-net網(wǎng)絡主要包含率。[0118]上述實施例中，對完整人物頭像進行圖像編碼，得到完整人物頭像的潛空間完整表示，能夠確保完整人物頭像中的視覺信息被充分挖掘，再進一步掩碼得到潛空間局部表示，進而得到非裝飾特征，可以確保非裝飾特[0119]在一個可選的實施例中，在裝飾元素掩碼圖的引導下，對完整人物頭像進行圖像特征提取，得到完整人物頭像中除裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征，包括：在裝飾元素掩碼圖的引導下，對完整人物頭像進行掩碼處理，得到刪除裝飾元素區(qū)域的局部人物頭像；對局部人物頭像進行圖像編碼，得到局部人物頭像的潛空間局部表示；基于潛空間局部表示進行特征編碼和注意力池化處理，得到完整人物頭像中除裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征。[0120]具體來說，服務器可以先使用裝飾元素掩碼圖，對完整人物頭像進行掩碼處理，得到刪除裝飾元素區(qū)域的局部人物頭像。然后，服務器可以通過對局部人物頭像進行圖像編碼，得到局部人物頭像在低維潛在空間的潛空間局部表示。最后，服務器再通過對該潛空間局部表示進行特征編碼和注意力池化處理，得到完整人物頭像中除裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征。示例性的，如圖11所示，服務器可以使用裝飾元素掩碼圖對完整人物頭像進行掩碼處理，得到刪除裝飾元素區(qū)域后的局部人物頭像，然后，再將該局部人物頭像作為VAEEncoder的輸入，得到局部人物頭像在低維潛在空間的潛空間局部表示。之后，再由U-Net對該潛空間局部表示進行特征編碼和注意力池化處理，得到完整人物頭像中除裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征。[0121]上述實施例中，先對完整人物頭像進行掩碼，得到刪除裝飾元素區(qū)域的局部人物[0122]在一個具體的實現(xiàn)中，非裝飾特征和裝飾元素特征均包含查詢特征、鍵特征和值特征。在該實施例的情形下，裝飾元素替換模型的訓練方法還包括：拼接非裝飾特征和裝飾元素特征各自的鍵特征，得到鍵融合特征；拼接非裝飾特征和裝飾元素特征各自的值特征，得到值融合特征；基于非裝飾特征中的查詢特征、鍵融合特征和值融合特征，得到人物特[0123]其中，查詢特征(Query,Q)、鍵特征(Key,K)和值特征(Value,V)在注意力機制中扮演著重要的角色，尤其是在計算機視覺和自然語言處理等領(lǐng)域。這些特征通過對輸入進行線性變換生成，并用于計算注意力權(quán)重，從而實現(xiàn)特征的融合和信息的傳遞。查詢特征用于與鍵特征進行相似度計算，以確定哪些部分的特征需要被關(guān)注。值特征用于提供實際的特征信息，以便在注意力加權(quán)后用于輸出特征的生成。在注意力機制中，查詢特征和鍵特征之間的相似度計算通常使用點積或內(nèi)積來實現(xiàn)，然后通過softmax函數(shù)進行歸一化，以得到注[0126]Transformer中Attention主要包含Self-Attention(自注意力機制)和Cross-Attention(交叉注意力機制)兩種形式。當Q、K和V均為圖片特征時，規(guī)定為Self-Attention,負責計算圖片特征之間的關(guān)系；當Q為圖片特征，KV為其他條件特征時，規(guī)定為Cross-Attention,負責計算圖片特征和其他特征之間的關(guān)系。經(jīng)研究表明，Attention參數(shù)AdaptationofLargeLanguageModels,大語言模型的低階適應)為例，僅作用在Cross-FFN)的線性部分，微調(diào)參數(shù)量遠小于U-net的所有參數(shù)，但微調(diào)效果和微調(diào)整個U-net參數(shù)[0127]基于此，本申請將Reference-Net的Attention特征傳遞到U-net,U-net接收該特征后，有利于生成高度還原的裝飾元素圖像?？紤]到Cross-Attention層除圖片特征外還涉及文本特征，引入Reference-Net特征一定程度上影響文本特征發(fā)揮作用。另外Reference-Net作用是編碼裝飾元素圖像，幫助U-net還原裝飾元素圖像，只涉及圖片特征，因此本實施例提出將Reference-Net編碼的Self-Attention特征以向量拼接的方式傳遞到U-net中的Self-Attention處。其拼接的效果如圖12所示。也即，服務器一方面通過拼接非裝飾特征和裝飾元素特征各自的鍵特征，得到鍵融合特征，另一方面通過拼接非裝飾特征和裝飾元素特征各自的值特征，得到值融合特征。然后，再基于非裝飾特征中的查詢特征、鍵融合特征[0128]y=Attention(Qunet,cat(Kunet,Kref拼接Reference-Net的Self-At[0130]上述實施例中，在非裝飾特征的基礎(chǔ)上，僅拼接裝飾元素圖像的鍵特征和值特征，一方面，可以確保裝飾元素信息的完整性，另一方面，能夠避免信息冗余，有利于提高人物裝飾元素的替換效果。[0131]在一個實施例中，如圖13所示，提供了一種裝飾元素替換模型的訓練方法，該方法可以由計算機設備執(zhí)行，該計算機設備可以是圖1所示的終端或服務器，以該計算機設備是[0132]步驟S1301,獲取多個候選人物圖像；[0133]步驟S1302,對各候選人物圖像分別進行人物識別，確定各候選人物圖像各自包含人物的人臉尺寸；[0134]步驟S1303,針對每一候選人物圖像，在該候選人物圖像中人物的人臉尺寸滿足尺寸條件、且人物包含人物裝飾元素的情況下，基于該候選人物圖像得到具有人物裝飾元素的完整人物頭像，獲得包含多個完整人物頭像的預訓練樣本集；[0136]步驟S1304,針對預訓練樣本集中的每一完整人物頭像，識別該完整人物頭像中的裝飾元素區(qū)域，得到完整人物頭像的裝飾元素掩碼圖；[0137]步驟S1305,對完整人物頭像中的裝飾元素圖像進行圖像特征提取，得到裝飾元素特征；[0138]步驟S1306,對完整人物頭像進行圖像編碼，得到完整人物頭像的潛空間完整表[0139]步驟S1307,在裝飾元素掩碼圖的引導下，對潛空間完整表示進行掩碼處理，得到完整人物頭像中除裝飾元素區(qū)域以外其他區(qū)域的潛空間局部表示；[0140]步驟S1308,基于潛空間局部表示進行特征編碼和注意力池化處理，得到完整人物頭像中除裝飾元素區(qū)域以外其他區(qū)域的非裝飾特征；[0141]其中，非裝飾特征和裝飾元素特征均包含查詢特征、鍵特征和值特征；[0142]步驟S1309,拼接非裝飾特征和裝飾元素特征各自的鍵特征，得到鍵融合特征；[0143]步驟S1310,拼接非裝飾特征和裝飾元素特征各自的值特征，得到值融合特征；[0144]步驟S1311,基于非裝飾特征中的查詢特征、鍵融合特征和值融合特征，得到人物特征；[0145]步驟S1312,基于人物特征解碼得到完整人物頭像對應的更新圖像；[0146]步驟S1313,在各完整人物頭像的損失統(tǒng)計值收斂的情況下，得到用于實現(xiàn)裝飾元素圖像替換的預訓練模型；[0147]其中，任一完整人物頭像對應的模型損失，用于表征完整人物頭像與完整人物頭像對應更新圖像之間的差異；[0148]步驟S1314,獲取在第一角度下針對樣本人物采集的第一完整人物頭像、以及第二角度下針對樣本人物采集的第二完整人物頭像；[0149]步驟S1315,識別第一完整人物頭像中人物裝飾元素所處的第一元素區(qū)域，得到第一角度下用于掩碼第一元素區(qū)域的第一掩碼圖；[0150]步驟S1316,對第一掩碼圖進行歸一化處理，得到第一歸一化掩碼圖；[0151]其中，第一歸一化掩碼圖中第一元素區(qū)域的像素值為1、除第一元素區(qū)域以外其他區(qū)域的像素值為0;[0152]步驟S1317,使用第一歸一化掩碼圖對第一完整人物頭像進行掩碼處理，從第一完整人物頭像中分離出第一元素區(qū)域的第一元素圖像；[0153]步驟S1318,識別第二完整人物頭像中人物裝飾元素所處的第二元素區(qū)域，得到第二角度下用于掩碼第二元素區(qū)域的第二掩碼圖；[0154]步驟S1319,對第二完整人物頭像和第二掩碼圖分別進行歸一化處理，得到歸一化頭像和第二歸一化掩碼圖；[0155]其中，第二歸一化掩碼圖中第二元素區(qū)域的像素值為0、除第二元素區(qū)域以外其他區(qū)域的像素值為1;[0156]步驟S1320,使用第二歸一化掩碼圖對歸一化頭像進行掩碼處理，得到歸一化的局部頭像信息；[0157]步驟S1321,對局部頭像信息進行反歸一化處理，得到刪除第二元素區(qū)域的局部人物頭像；[0158]步驟S1322,構(gòu)建包含第二完整人物頭像、第一元素圖像、以及刪除第二元素區(qū)域的局部人物頭像的增量訓練樣本；[0159]步驟S1323,使用增量訓練樣本對預訓練模型進行增量訓練，以使預訓練模型基于第一元素圖像補全局部人物頭像；[0160]步驟S1324,在使用多個增量訓練樣本對預訓練模型進行增量訓練、且滿足訓練結(jié)束條件的情況下，得到具備角度補償能力的裝飾元素替換模型；[0161]其中，裝飾元素替換模型用于生成目標人物的目標圖像。[0162]上述裝飾元素替換模型的訓練方法，一方面，在訓練過程中引入人物裝飾元素的裝飾元素圖像，能夠解決采用文本描述人物裝飾元素所存在的控制能力弱的問題，避免需要反復調(diào)整訓練樣本以實現(xiàn)訓練目標，有利于提高工作效率；另一方面，通過兩個階段的訓練，能夠確保預訓練階段能夠?qū)W習到人物裝飾元素的替換能力，增量訓練階段能夠解決角度不一致帶來的泛化性問題，從而可以在訓練樣本數(shù)量較多的預訓練階段，降低學習過程的復雜度，并在學習復雜度較高的增量訓練階段，顯著降低所需要的訓練樣本數(shù)量，有利于降低訓練成本，同樣可以提高工作效率。[0163]在一個實施例中，還提供了一種人物裝飾元素替換方法，該方法可以由計算機設備執(zhí)行，該計算機設備可以是圖1所示的終端或服務器，以該計算機設備是終端為例，在本[0164]步驟S1402,獲取目標人物的人物圖像、以及包含參考裝飾元素的參考圖像。[0165]其中，目標人物是需要進行裝飾元素替換的人物，也即裝飾元素替換的替換對象。參考裝飾元素是裝飾元素替換的替換目標。也即，進行裝飾元素替換，是指，將目標人物原本包含的裝飾元素，替換為參考裝飾元素。參考圖像可以僅包含參考裝飾元素的參考元素圖像，也可以在參考裝飾元素的參考元素圖像的基礎(chǔ)上，還包含其他圖像。例如，在人物裝飾元素為發(fā)型的情況下，參考圖像可以是發(fā)型圖，也可以是具備發(fā)型的人物圖。[0166]具體來說，用戶可以通過終端發(fā)起裝飾元素替換請求，從而，服務器可以從終端獲取目標人物的人物圖像、以及包含參考裝飾元素的參考圖像。進一步的，人物圖像和參考圖[0167]步驟S1404,識別參考圖像中的裝飾元素區(qū)域，得到參考裝飾元素的參考元素圖[0168]其中，目標人物在人物圖像中具有目標裝飾元素。該目標裝飾元素與參考圖像中所包含的參考裝飾元素的元素類型相同。例如，目標裝飾元素和參考裝飾元素均為發(fā)型；又如，目標裝飾元素和參考裝飾元素均為眼鏡。[0169]具體來說，服務器可以識別參考圖像中的裝飾元素區(qū)域，得到參考裝飾元素的參考元素圖像。示例性的，服務器可以從作為參考的人物圖中，識別發(fā)型區(qū)域，得到參考發(fā)型的發(fā)型圖。[0170]步驟S1406,將參考元素圖像和人物圖像輸入裝飾元素替換模型，得到目標人物的[0171]具體來說，服務器將參考元素圖像和人物圖像作為裝飾元素替換模型的輸入，可以從模型輸出中獲得目標人物的目標圖像。其中，目標人物在目標圖像中具有參考裝飾元素，且目標圖像中的參考裝飾元素與目標人物對應相同的人物頭像角度。裝飾元素替換模型，基于上述任意一個裝飾元素替換模型的訓練方法實施例中裝飾元素替換模型的訓練方法訓練得到。[0172]在一個可選的實施例中，裝飾元素替換模型包括參考網(wǎng)絡和目標網(wǎng)絡。服務器具體可以將參考元素圖像作為參考網(wǎng)絡的輸入，將目標人物的人物圖像作為目標網(wǎng)絡的輸入，從而獲得目標網(wǎng)絡輸出的目標圖像?？梢岳斫猓捎谕ㄟ^增量訓練后得到的裝飾元素替換模型具備角度補償能力，在人物圖像和參考圖像各自的人物頭像角度不同的情況下，目標圖像中所包含的參考裝飾元素的人物頭像角度將與人物圖像保持一致，實現(xiàn)在角度補償?shù)幕A(chǔ)上進行裝飾元素替換。[0173]在一個可選的實施例中，以人物裝飾元素為發(fā)型的情況為例。如圖15所示，在裝飾元素替換模型(發(fā)型替換模型)以擴散模型為基底的情況下，模型輸入可以包括發(fā)型輸入和非發(fā)型輸入，其中，發(fā)型輸入是指參考發(fā)型，非發(fā)型輸入可以包括目標人物的原始發(fā)型掩碼圖、去除發(fā)型區(qū)域的局部人物圖像、以及噪聲圖，模型輸出為原始發(fā)型替換為參考發(fā)型的目標圖像。從圖15中不難看出，目標圖像與發(fā)型輸入中各自包含的參考發(fā)型對應的人物頭像角度不同，在圖像展示效果上有所區(qū)別。在發(fā)型替換過程中對角度進行補償，能夠確保替換后的參考發(fā)型與目標人物在人物圖像中的人物頭像角度保持一致，有利于提升替換效果。[0174]上述人物裝飾元素替換方法，應用經(jīng)過兩個階段訓練的裝飾元素替換模型，無需再次訓練，即可在保證人物其他部分不變的前提下，將目標人物原本包含的原始裝飾元素替換為參考裝飾元素，實現(xiàn)zero-shot(零樣本學習)替換人物裝飾元素的目的，有利于提高工作效率。并且，所使用的裝飾元素替換模型能夠解決角度不一致帶來的泛化性問題，有利于提升替換效果。[0175]在其中一個實施例中，本申請還提供了一種應用場景，在該應用場景下應用上述的裝飾元素替換模型訓練方法和人物裝飾元素替換方法。該應用場景例如可以是發(fā)型設計場景。在該應用場景下，人物裝飾元素可以是發(fā)型，服務器在裝飾元素替換模型的訓練的過程中：獲取用于實現(xiàn)發(fā)型圖像替換的預訓練模型；基于在不同角度下針對同人同發(fā)型分別采集的完整人物頭像，構(gòu)建增量訓練樣本；使用增量訓練樣本對預訓練模型進行增量訓練，以使該預訓練模型基于第一角度下完整人物頭像中的第一發(fā)型圖像，替換第二角度下完整人物頭像中的第二發(fā)型圖像；在使用多個增量訓練樣本完成增量訓練的情況下，得到具備角度補償能力的發(fā)型替換模型。其中，預訓練模型的每一預訓練樣本，包括具有發(fā)型的完整人物頭像；發(fā)型的圖像展示效果，隨著人物頭像角度的變化而變化。[0176]訓練得到的模型，可以用于進行發(fā)型替換。具體來說，服務器可以獲取目標人物的人物圖像、以及包含參考發(fā)型的參考圖像；識別參考圖像中的發(fā)型區(qū)域，得到參考發(fā)型的發(fā)型圖像；將發(fā)型圖像和人物圖像輸入發(fā)型替換模型，得到目標人物的目標圖像；該目標人物在目標圖像中具有參考發(fā)型。[0177]在一個可選的實施例中，本申請在文生圖擴散模型的基礎(chǔ)上，提出了一種基于兩階段預訓練的zero-shot人物發(fā)型替換方案。其中，兩階段訓練方案，降低了數(shù)據(jù)收集和訓練成本；使用U-net的Inpainting模式，保證僅改變發(fā)型，保持其他部分不改變；引入Reference-Net編碼發(fā)型特征，并在Self-Attention層將發(fā)型特征拼接到U-net網(wǎng)絡中，實人物其他部分不改變的前提下，實現(xiàn)zero-shot替換發(fā)型的目的。[0178]在其中一個實施例中，本申請還提供了一種應用場景，在該應用場景下應用上述的裝飾元素替換模型訓練方法和人物裝飾元素替換方法。該應用場景例如可以是虛擬現(xiàn)實場景。在該應用場景下，人物裝飾元素可以是頭盔，服務器在裝飾元素替換模型的訓練的過程中：獲取用于實現(xiàn)頭盔圖像替換的預訓練模型；基于在不同角度下針對佩戴同一頭盔的樣本人物分別采集的完整人物頭像，構(gòu)建增量訓練樣本；使用增量訓練樣本對預訓練模型進行增量訓練，以使該預訓練模型基于第一角度下完整人物頭像中的第一頭盔圖像，替換第二角度下完整人物頭像中的第二頭盔圖像；在使用多個增量訓練樣本完成增量訓練的情況下，得到具備角度補償能力的頭盔替換模型。其中，預訓練模型的每一預訓練樣本，包括佩戴有頭盔的完整人物頭像；頭盔的圖像展示效果，隨著人物頭像角度的變化而變化。[0179]訓練得到的模型，可以用于進行頭盔替換。具體來說，服務器可以獲取目標人物的人物圖像、以及包含參考頭盔的參考圖像；識別參考圖像中的頭盔區(qū)域，得到參考頭盔的頭盔圖像；將頭盔圖像和人物圖像輸入頭盔替換模型，得到目標人物的目標圖像；該目標人物在目標圖像中佩戴有參考頭盔。[0180]應該理解的是，雖然如上所述的各實施例所涉及的流程圖中的各個步驟按照箭頭的指示依次顯示，但是這些步驟并不是必然按