(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN114387650B(65)同一申請的已公布的文獻(xiàn)號(43)申請公布日2022.04.22(73)專利權(quán)人浙江商湯科技開發(fā)有限公司地址311215浙江省杭州市蕭山區(qū)寧圍街道市心北路857號288-8室(72)發(fā)明人劉凱鑒趙瑞(74)專利代理機(jī)構(gòu)北京派特恩知識產(chǎn)權(quán)代理有限公司11270專利代理師馬麗胡春光DistributionRepresentatiPersonClusteringWithMultiple審查員朱小衛(wèi)聚類及模型訓(xùn)練方法和裝置、設(shè)備及存儲介本公開實施例公開了一種聚類及模型訓(xùn)練方法和裝置、設(shè)備及存儲介質(zhì)，所述聚類方法包括：獲取待處理數(shù)據(jù)集，所述待處理數(shù)據(jù)集中包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象；確定每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率；基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)2獲取待處理數(shù)據(jù)集，所述待處理數(shù)據(jù)集中包括至少兩種類型的模態(tài)數(shù)據(jù)，所述至少兩種類型的模態(tài)數(shù)據(jù)屬于至少一個對象，所述模態(tài)數(shù)據(jù)包括以下之一：包含人臉的模態(tài)數(shù)據(jù)、包含人體的模態(tài)數(shù)據(jù)、包含虹膜的模態(tài)數(shù)據(jù)、包含聲音確定每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率；基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表利用已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行至少一次更新，在更新次數(shù)達(dá)到預(yù)設(shè)值的情況下，將每一模態(tài)數(shù)據(jù)的更新后的分布表征分別確定為每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征；其中，所述圖神經(jīng)網(wǎng)絡(luò)模型包括以下至少之一：特征圖神經(jīng)網(wǎng)絡(luò)、分布圖神經(jīng)網(wǎng)絡(luò)；所述特征圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的特征圖，所述特征圖包括至少一個特征節(jié)點和所述至少一個特征節(jié)點之間的特征連接關(guān)系，每一特征節(jié)點用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，所述關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息，每一特征連接關(guān)系用于表征每兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)關(guān)系，所述特征關(guān)聯(lián)關(guān)系用于表征同一模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象的概率或不同模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象；所述分布圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的分布圖，所述分布圖包括至少一個分布節(jié)點和所述至少一個分布節(jié)點之間的分布連接關(guān)系，每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，每一分布連接關(guān)系用于表征每兩個分布節(jié)點屬于同一個對象的概率。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述圖神經(jīng)網(wǎng)絡(luò)模型包括特征圖神經(jīng)網(wǎng)所述利用已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行至少一次更新，利用已訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，更新每一模態(tài)數(shù)據(jù)的分布表征，每一所述關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行至少一次更新，包括：利用已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征和關(guān)聯(lián)表征進(jìn)行至少一次更新，每一所述關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述圖神經(jīng)網(wǎng)絡(luò)模型包括特征圖神經(jīng)網(wǎng)絡(luò)和分布圖神經(jīng)網(wǎng)絡(luò)，所述利用已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征和關(guān)利用已訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，更新每一模態(tài)數(shù)據(jù)的分布表征；利用已訓(xùn)練的所述分布圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)更新后的分布表征，更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征。36.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用已訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，更新每一模態(tài)數(shù)據(jù)的分布表征，包括：利用已訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度；基于每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度，更新每一模態(tài)數(shù)據(jù)的分布表征。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述待處理數(shù)據(jù)集包括至少兩個子數(shù)據(jù)集，每一所述子數(shù)據(jù)集分別對應(yīng)一種模態(tài)；所述利用已訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度，包括：確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第一特征相似度；確定同一模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第二特征相似度；基于每一所述第一特征相似度和每一所述第二特征相似度，確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第一特征相似度，包括：確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)度；對每一所述第二特征相似度進(jìn)行歸一化處理；基于歸一化處理后的每一所述第二特征相似度和每一所述特征關(guān)聯(lián)度，確定每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第一特征相似度。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述確定不同模態(tài)的子數(shù)據(jù)集中每兩個模確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系；基于每一所述關(guān)聯(lián)關(guān)系，確定每一所述特征關(guān)聯(lián)度。10.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述確定同一模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第二特征相似度，包括：基于同一模態(tài)的子數(shù)據(jù)集中每一模態(tài)數(shù)據(jù)的前一次的關(guān)聯(lián)表征，確定每兩個所述模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第二特征相似度。11.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述利用已訓(xùn)練的所述分布圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)更新后的分布表征，更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，包括：利用已訓(xùn)練的所述分布圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)更新后的分布表征，確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合特征關(guān)聯(lián)度；基于每一所述當(dāng)前融合特征關(guān)聯(lián)度，更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征。12.根據(jù)權(quán)利要求1至11任一項所述的方法，其特征在于，所述基于每一所述目標(biāo)分布基于每兩個所述目標(biāo)分布表征之間的相似度，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇。獲取樣本集，所述樣本集包括至少一個數(shù)據(jù)子集，每一數(shù)據(jù)子集包括至少兩種類型的模態(tài)數(shù)據(jù)，所述至少兩種類型的模態(tài)數(shù)據(jù)屬于至少一個對象，每一所述模態(tài)數(shù)據(jù)具有標(biāo)簽4信息，所述樣本集中包括至少兩種類型的模態(tài)數(shù)據(jù)，所述模態(tài)數(shù)據(jù)包括以下之一：包含人臉的模態(tài)數(shù)據(jù)、包含人體的模態(tài)數(shù)據(jù)、包含虹膜的模態(tài)數(shù)據(jù)、包含聲音的模態(tài)數(shù)據(jù)、包含指紋的模態(tài)數(shù)據(jù)；利用待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，確定每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述數(shù)據(jù)子集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率，所述圖神經(jīng)網(wǎng)絡(luò)模型包括以下至少之一：特征圖神經(jīng)網(wǎng)絡(luò)、分布圖神經(jīng)網(wǎng)絡(luò)；所述特征圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的特征圖，所述特征圖包括至少一個特征節(jié)點和所述至少一個特征節(jié)點之間的特征連接關(guān)系，每一特征節(jié)點用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，所述關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息，每一特征連接關(guān)系用于表征每兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)關(guān)系，所述特征關(guān)聯(lián)關(guān)系用于表征同一模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象的概率或不同模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象；所述分布圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的分布圖，所述分布圖包括至少一個分布節(jié)點和所述至少一個分布節(jié)點之間的分布連接關(guān)系，每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，每一分布連接關(guān)系用于表征每兩個分布節(jié)點屬于同一個對象的概基于每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征和每一模態(tài)數(shù)據(jù)的標(biāo)簽信在所述目標(biāo)損失值滿足預(yù)設(shè)條件的情況下，對所述圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行更新。14.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述利用待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，確定每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，包括：利用待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行至少一次更新，在更新次數(shù)達(dá)到預(yù)設(shè)值的情況下，將每一模態(tài)數(shù)據(jù)的更新后的分布表征分別確定為每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征。15.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述圖神經(jīng)網(wǎng)絡(luò)模型包括特征圖神經(jīng)網(wǎng)所述利用待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行至少一次更新，利用待訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，更新每一模態(tài)數(shù)據(jù)的分布表征，每一所述關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息。16.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述圖神經(jīng)網(wǎng)絡(luò)模型還包括分布圖神經(jīng)利用待訓(xùn)練的所述分布圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)更新后的分布表征，更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征。17.根據(jù)權(quán)利要求15或16所述的方法，其特征在于，每一所述數(shù)據(jù)子集包括至少兩個子數(shù)據(jù)集，每一所述子數(shù)據(jù)集分別對應(yīng)一種模態(tài)；所述基于每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征和每一模態(tài)數(shù)據(jù)的標(biāo)基于每一次更新中同一模態(tài)的子數(shù)據(jù)集中的每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第二特征相似度和每一模態(tài)數(shù)據(jù)的標(biāo)簽信息，確定特征相似度損失值；5基于歷史每一次更新中每兩個模態(tài)數(shù)據(jù)的分布表征之間的分布相似度、每兩個模態(tài)數(shù)據(jù)的目標(biāo)分布表征之間的分布相似度和每一模態(tài)數(shù)據(jù)的標(biāo)簽信息，確定分布相似度損失基于所述特征相似度損失值和所述分布相似度損失值，確定目標(biāo)損失值。第一獲取模塊，用于獲取待處理數(shù)據(jù)集，所述待處理數(shù)據(jù)集中包括至少兩種類型的模態(tài)數(shù)據(jù)，所述至少兩種類型的模態(tài)數(shù)據(jù)屬于至少一個對象，所述模態(tài)數(shù)據(jù)包括以下之一：包含人臉的模態(tài)數(shù)據(jù)、包含人體的模態(tài)數(shù)據(jù)、包含虹膜的模態(tài)數(shù)據(jù)、包含聲音的模態(tài)數(shù)據(jù)、包含指紋的模態(tài)數(shù)據(jù)；第一確定模塊，用于確定每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率；第一聚類模塊，用于基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。第二獲取模塊，用于獲取樣本集，所述樣本集包括至少一個數(shù)據(jù)子集，每一數(shù)據(jù)子集包括至少兩種類型的模態(tài)數(shù)據(jù)，所述至少兩種類型的模態(tài)數(shù)據(jù)屬于至少一個對象，每一所述模態(tài)數(shù)據(jù)具有標(biāo)簽信息，所述模態(tài)數(shù)據(jù)包括以下之一：包含人臉的模態(tài)數(shù)據(jù)、包含人體的模第二確定模塊，用于利用待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，確定每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述數(shù)據(jù)子集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率，所述圖神經(jīng)網(wǎng)絡(luò)模型包括以下至少之一：特征圖神經(jīng)網(wǎng)絡(luò)、分布圖神經(jīng)網(wǎng)絡(luò)；所述特征圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的特征圖，所述特征圖包括至少一個特征節(jié)點和所述至少一個特征節(jié)點之間的特征連接關(guān)系，每一特征節(jié)點用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，所述關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息，每一特征連接關(guān)系用于表征每兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)關(guān)系，所述特征關(guān)聯(lián)關(guān)系用于表征同一模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象的概率或不同模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象；所述分布圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的分布圖，所述分布圖包括至少一個分布節(jié)點和所述至少一個分布節(jié)點之間的分布連接關(guān)系，每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，每一分布連接關(guān)系用于表征每兩個分布節(jié)點屬于同一個對象的概率；第三確定模塊，用于基于每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征和標(biāo)簽第一更新模塊，用于在所述損失值滿足預(yù)設(shè)條件的情況下，對所述圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行更新。20.一種電子設(shè)備，包括處理器和存儲器，所述存儲器存儲有可在處理器上運行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)權(quán)利要求1至17任一項所述方21.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，其上存儲有計算機(jī)程序，該計算機(jī)程序被6處理器執(zhí)行時實現(xiàn)權(quán)利要求1至17中任一項所述方法。7聚類及模型訓(xùn)練方法和裝置、設(shè)備及存儲介質(zhì)技術(shù)領(lǐng)域[0001]本公開涉及但不限于計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種聚類及模型訓(xùn)練方法和裝背景技術(shù)[0002]聚類，是指將物理或抽象對象的集合分成由類似的對象組成的多個類的過程，例如，人物聚類，是指將特定人物在視頻內(nèi)出現(xiàn)的各種信息(包括面部、身體和聲音)聚類在一起，這對于視頻劇情理解、視頻剪輯等都具發(fā)明內(nèi)容[0003]本公開實施例提供一種聚類及模型訓(xùn)練方法和裝置、設(shè)備及存儲介質(zhì)。[0004]本公開實施例的技術(shù)方案是這樣實現(xiàn)的：[0006]獲取待處理數(shù)據(jù)集，所述待處理數(shù)據(jù)集中包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象；[0007]確定每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率；[0008]基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。[0009]本公開實施例提供一種模型訓(xùn)練方法，所述方法包括：[0010]獲取樣本集，所述樣本集包括至少一個數(shù)據(jù)子集，每一數(shù)據(jù)子集包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象，每一所述模態(tài)數(shù)據(jù)具有標(biāo)簽信息；[0011]利用待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，確定每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述數(shù)據(jù)子集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率；[0012]基于每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征和每一模態(tài)數(shù)據(jù)的標(biāo)[0013]在所述目標(biāo)損失值滿足預(yù)設(shè)條件的情況下，對所述圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行更新。[0014]本公開實施例提供一種聚類裝置，所述聚類裝置包括：[0015]第一獲取模塊，用于獲取待處理數(shù)據(jù)集，所述待處理數(shù)據(jù)集中包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象；[0016]第一確定模塊，用于確定每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率；[0017]第一聚類模塊，用于基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，8得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。[0018]本公開實施例提供一種模型訓(xùn)練裝置，所述模型訓(xùn)練裝置包括：[0019]第二獲取模塊，用于獲取樣本集，所述樣本集包括至少一個數(shù)據(jù)子集，每一數(shù)據(jù)子集包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象，每一所述模態(tài)數(shù)據(jù)具有標(biāo)簽信息；[0020]第二確定模塊，用于利用待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，確定每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述數(shù)據(jù)子集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率；[0021]第三確定模塊，用于基于每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征和[0022]第一更新模塊，用于在所述目標(biāo)損失值滿足預(yù)設(shè)條件的情況下，對所述圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行更新。[0023]本公開實施例提供一種電子設(shè)備，包括處理器和存儲器，所述存儲器存儲有可在處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)上述方法。[0024]本公開實施例提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)上述方法。[0025]本公開實施例中，通過獲取待處理數(shù)據(jù)集，所述待處理數(shù)據(jù)集中包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象；確定每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率；基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。這樣，通過為每一模態(tài)數(shù)據(jù)構(gòu)建統(tǒng)一的分布表征，利用該分布表征對每一模態(tài)數(shù)據(jù)進(jìn)行聚類，從而使得屬于同一對象的至少一種模態(tài)的模態(tài)數(shù)據(jù)均可以聚類，進(jìn)而提高了聚類[0026]應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，而非限制本公開。附圖說明[0027]此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，這些附圖示出了符合本公開的實施例，并與說明書一起用于說明本公開的技術(shù)方案。[0028]圖1為本公開實施例提供的一種聚類方法的實現(xiàn)流程示意圖；[0029]圖2為本公開實施例提供的一種聚類方法的實現(xiàn)流程示意圖；[0030]圖3A為本公開實施例提供的一種聚類方法的實現(xiàn)流程示意圖；[0031]圖3B為本公開實施例提供的一種基于特征圖神經(jīng)網(wǎng)絡(luò)構(gòu)建特征圖的示意圖；[0032]圖4A為本公開實施例提供的一種聚類方法的實現(xiàn)流程示意圖；[0033]圖4B為本公開實施例提供的一種基于分布圖神經(jīng)網(wǎng)絡(luò)構(gòu)建分布圖的示意圖；[0034]圖5為本公開實施例提供的一種模型訓(xùn)練方法的實現(xiàn)流程示意圖；[0035]圖6A為本公開實施例提供的一種聚類系統(tǒng)的示意圖；[0036]圖6B為本公開實施例提供的一種初始化模塊的實現(xiàn)示意圖；9[0037]圖6C為本公開實施例提供的一種分布表征初始化的示意圖；[0038]圖6D為本公開實施例提供的一種根據(jù)特征和分布表征進(jìn)行檢索的示意圖；[0039]圖7為本公開實施例提供的一種聚類裝置的組成結(jié)構(gòu)示意圖；[0040]圖8為本公開實施例提供的一種模型訓(xùn)練裝置的組成結(jié)構(gòu)示意圖；[0041]圖9為本公開實施例中電子設(shè)備的一種硬件實體示意圖。具體實施方式[0042]為了使本公開的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本公開作進(jìn)一步地詳細(xì)描述，所描述的實施例不應(yīng)視為對本公開的限制，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本公開保護(hù)的范圍。以理解，“一些實施例”可以是所有可能實施例的相同子集或不同子集，并且可以在不沖突的情況下相互結(jié)合。[0044]在以下的描述中，所涉及的術(shù)語“第一\第二\第三”僅僅是區(qū)別類似的對象，不代表針對對象的特定排序，可以理解地，“第一\第二\第三”在允許的情況下可以互換特定的順序或先后次序，以使這里描述的本公開實施例能夠以除了在這里圖示或描述的以外的順序?qū)嵤?。[0045]除非另有定義，本文所使用的所有的技術(shù)和科學(xué)術(shù)語與屬于本公開的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本文中所使用的術(shù)語只是為了描述本公開實施例的目的，不是旨在限制本公開。[0046]聚類，是指將物理或抽象對象的集合分成由類似的對象組成的多個類的過程，例如，人物聚類，是指將特定人物在視頻內(nèi)出現(xiàn)的各種信息(包括面部、身體和聲音)聚類在一起，相較于傳統(tǒng)的人臉聚類的方式，人物聚類不僅僅需要聚類人臉出現(xiàn)的情況，還需要對人體進(jìn)行聚類，將同一個人的人臉人體信息聚類在一起。這樣包含人臉人體多模態(tài)信息的人物聚類的方式，可以獲取視頻中特定人物所有的出現(xiàn)的信息，這對于視頻劇情理解、視頻問答、以及基于特定人物的視頻剪輯都具有重大意義。[0047]相關(guān)技術(shù)中，現(xiàn)有的對視頻中人物進(jìn)行聚類的方法大多只利用了人臉信息進(jìn)行聚類，但是在視頻場景下，很多時候人臉在拍攝到背面，或者遮擋等情況下是不可見的，如果僅僅利用人臉信息來進(jìn)行聚類的話，會遺漏掉很多人物出場的片段，這對于完整全面地獲取視頻中特定人物的信息具有很大的影響。目前也有一些少量的能夠處理視頻中人物多模態(tài)信息進(jìn)行聚類的方法，但是都對不同模態(tài)采取了不同的人工設(shè)計的策略進(jìn)行處理，這樣人工設(shè)計的規(guī)則的方式對不同模態(tài)采用不同的策略進(jìn)行聚類的方法，不能很好地適用于更加復(fù)雜的場景。[0048]本公開實施例提供一種聚類方法，通過為每一模態(tài)數(shù)據(jù)構(gòu)建統(tǒng)一的分布表征，利用該分布表征對每一模態(tài)數(shù)據(jù)進(jìn)行聚類，從而使得屬于同一對象的至少一種模態(tài)的模態(tài)數(shù)據(jù)均可以聚類，進(jìn)而提高了聚類效果。本公開實施例提供的聚類方法和模型訓(xùn)練方法均可種類型的終端，也可以實施為服務(wù)器。服務(wù)器可以是獨立的物理服務(wù)器，也可以是多個物理服務(wù)器構(gòu)成的服務(wù)器集群或者分布式系統(tǒng)，還可以是提供云服務(wù)、云數(shù)據(jù)庫、云計算、云函DeliveryNetwork,CDN)、以及大數(shù)據(jù)和人工智能平臺等基礎(chǔ)云計算服務(wù)的云服務(wù)器。[0049]下面，將結(jié)合本公開實施例中的附圖，對本公開實施例中的技術(shù)方案進(jìn)行清楚、完整地描述。[0050]圖1為本公開實施例提供的一種聚類方法的實現(xiàn)流程示意圖，如圖1所示，所述方法包括步驟S11至步驟S13:[0051]步驟S11、獲取待處理數(shù)據(jù)集，所述待處理數(shù)據(jù)集中包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象。[0052]這里，模態(tài)數(shù)據(jù)可以包括但不限于包含模態(tài)信息的模態(tài)數(shù)據(jù)，例如，包含人臉的模態(tài)數(shù)據(jù)、包含人體的模態(tài)數(shù)據(jù)、包含虹膜的模態(tài)數(shù)據(jù)、包含聲音的模態(tài)數(shù)據(jù)、包含指紋的模態(tài)數(shù)據(jù)等。不同的模態(tài)數(shù)據(jù)可以是屬于同一個對象或者不同對象的模態(tài)數(shù)據(jù)。在一些實施[0053]在一些實施方式中，待處理數(shù)據(jù)集可以包括但不限于同一對象或不同對象的至少一種類型的模態(tài)數(shù)據(jù)等。例如，待處理數(shù)據(jù)集可以包含同一對象的同一類型的模態(tài)數(shù)據(jù)，比如，待處理數(shù)據(jù)集中包括對象A的人臉的模態(tài)數(shù)據(jù)。又例如，待處理數(shù)據(jù)集可以包含同一對象的至少兩種類型的模態(tài)數(shù)據(jù)，即該待處理數(shù)據(jù)集包含屬于同一個對象的跨模態(tài)的至少兩個模態(tài)數(shù)據(jù)，比如，待處理數(shù)據(jù)集中包括對象A的人臉的模態(tài)數(shù)據(jù)、對象A的人體的模態(tài)數(shù)據(jù)。再例如，待處理數(shù)據(jù)集可以包括不同對象的同一類型的模型數(shù)據(jù)，比如，待處理數(shù)據(jù)集可以包括對象A的人臉的模態(tài)數(shù)據(jù)、對象B的人臉的模態(tài)數(shù)據(jù)。還例如，待處理數(shù)據(jù)集可以包括不同對象的至少兩種類型的模態(tài)數(shù)據(jù)，比如，待處理數(shù)據(jù)集中包括對象A的人臉的模態(tài)數(shù)[0054]在一些實施方式中，待處理數(shù)據(jù)集可以是用戶通過操作界面上傳的或設(shè)定的，其中，該操作界面包括用于對待處理數(shù)據(jù)集進(jìn)行配置操作及信息展示的交互界面。該操作界面可以顯示在任意合適的具有界面交互功能的電子設(shè)備上。在實施時，顯示操作界面的電子設(shè)備與執(zhí)行該聚類方法的設(shè)備可以是相同的，也可以是不同的，這里并不限定。例如，執(zhí)行該聚類的電子設(shè)備可以為筆記本電腦，顯示操作界面的電子設(shè)備也可以為該筆記本電腦，操作界面可以為該筆記本電腦上運行的客戶端的交互界面，也可以是該筆記本電腦上運行的瀏覽器中顯示的網(wǎng)頁。又如，執(zhí)行該聚類方法的計算機(jī)設(shè)備可以為服務(wù)器，顯示操作界面的電子設(shè)備可以為筆記本電腦，操作界面可以為該筆記本電腦上運行的客戶端的交互界面，也可以是該筆記本電腦上運行的瀏覽器中顯示的網(wǎng)頁，該筆記本電腦可以通過該客戶端或者瀏覽器訪問該服務(wù)器。[0055]在一些實施方式中，對源數(shù)據(jù)進(jìn)行特征提取處理得到待處理數(shù)據(jù)集。[0057]例如，在目標(biāo)視頻中查找目標(biāo)對象的模態(tài)數(shù)據(jù)的應(yīng)用場景中，用戶可以在操作界面中輸入指定的包含目標(biāo)對象的人臉的模態(tài)數(shù)據(jù)及目標(biāo)視頻，對目標(biāo)視頻進(jìn)行處理后得到待處理數(shù)據(jù)集，其中該待處理數(shù)據(jù)集中包含多個對象的多種類型的模態(tài)數(shù)據(jù)，比如，包含人臉的模態(tài)數(shù)據(jù)、包含人體的模態(tài)數(shù)據(jù)及包含聲音的模態(tài)數(shù)據(jù)。電子設(shè)備對待處理數(shù)據(jù)集進(jìn)行聚類，輸出與包含目標(biāo)對象的人臉的模態(tài)數(shù)據(jù)、人體的模態(tài)數(shù)據(jù)、及聲音的模態(tài)數(shù)據(jù)到同表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率。態(tài)信息無關(guān)。分布表征。人臉的模態(tài)數(shù)據(jù)和包含人體的模態(tài)數(shù)據(jù)設(shè)定為關(guān)聯(lián)關(guān)同一模態(tài)內(nèi)每兩個模態(tài)數(shù)據(jù)之間的第二特征相似度、每兩個模態(tài)數(shù)據(jù)的融合分布關(guān)聯(lián)度個模態(tài)數(shù)據(jù)的融合分布關(guān)聯(lián)度可以包括但不限于每兩個模態(tài)數(shù)據(jù)的分布表征之間的關(guān)聯(lián)關(guān)系。η為一概率值，在關(guān)聯(lián)關(guān)系中指示第i個模態(tài)數(shù)據(jù)與第j個模態(tài)數(shù)據(jù)屬于同一個對技術(shù)人員可以根據(jù)實際需求選擇分布表征的初始化的方式，本公開實施例不作限定。[0070]步驟S13、基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。[0071]在一些實施方式中，可以基于每兩個目標(biāo)分布表征之間的相似度、距離等來進(jìn)行[0072]例如，確定每兩個模態(tài)數(shù)據(jù)的目標(biāo)分布表征之間的距離，在該距離不小于第一閾值的情況下，表明這兩個模態(tài)數(shù)據(jù)屬于同一個對象，將這兩個模態(tài)數(shù)據(jù)聚類為同一個類；在該距離小于第一閾值的情況下，表明這兩個模態(tài)數(shù)據(jù)屬于不同的對象，將這兩個模態(tài)數(shù)據(jù)[0073]在一些實施方式中，所述步驟S13,包括：[0074]步驟S131、基于每兩個所述目標(biāo)分布表征之間的相似度，對每一所述模態(tài)數(shù)據(jù)進(jìn)[0075]在一些實施方式中，可以基于每兩個目標(biāo)分布表征之間的相似度和第二閾值，實現(xiàn)對同一對象的至少一種模態(tài)數(shù)據(jù)進(jìn)行聚類。其中，第二閾值可以包括但不限于相似度、接[0076]例如，在第二閾值為相似度的情況下，若兩個目標(biāo)分布表征之間的相似度不小于第二閾值，表明這兩個模態(tài)數(shù)據(jù)非常相似，那么這兩個模態(tài)數(shù)據(jù)屬于同一個對象，將該兩個模態(tài)數(shù)據(jù)聚類為同一個聚類簇。又例如，在第二閾值為無關(guān)度的情況下，若兩個目標(biāo)分布表征之間的相似度不小于第二閾值，表明這兩個模態(tài)數(shù)據(jù)不相似，那么這兩個模態(tài)數(shù)據(jù)屬于不同對象，將該兩個模態(tài)數(shù)據(jù)聚類為不同聚類簇。[0077]本公開實施例中，通過獲取待處理數(shù)據(jù)集，所述待處理數(shù)據(jù)集中包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象；確定每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率；基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。這樣，通過為每一模態(tài)數(shù)據(jù)構(gòu)建統(tǒng)一的分布表征，利用該分布表征對每一模態(tài)數(shù)據(jù)進(jìn)行聚類，從而使得屬于同一對象的至少一種模態(tài)的模態(tài)數(shù)據(jù)均可以聚類在一起，進(jìn)而提高了聚類效果。[0078]圖2為本公開實施例提供的一種聚類方法的實現(xiàn)流程示意圖，如圖2所示，所述方法包括步驟S21至步驟S23:[0079]步驟S21、獲取待處理數(shù)據(jù)集，所述待處理數(shù)據(jù)集中包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象。[0080]上述步驟S21對應(yīng)于前述步驟S11,在實施時，可以參照前述步驟S11的具體實施方[0081]步驟S22、利用已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行至少一次更新，在更新次數(shù)達(dá)到預(yù)設(shè)值的情況下，將每一模態(tài)數(shù)據(jù)的更新后的分布表征分別確定為每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率。通過保留圖的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點內(nèi)容信息，將圖中頂點表示為低維向量，以便使用簡單的機(jī)器學(xué)習(xí)算法(例如，支持向量機(jī)分類等)或深度學(xué)習(xí)算法進(jìn)行處理。預(yù)設(shè)值可以包括但不限于設(shè)定的經(jīng)驗值、根據(jù)多次聚類的聚類效果計算得到的值等。在實施時，本領(lǐng)域技術(shù)人員可以根據(jù)實際需求自主確定預(yù)設(shè)值，本公開實施例不作限定。[0083]在一些實施方式中，已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型至少包括分布圖神經(jīng)網(wǎng)絡(luò)。[0084]在一些實施方式中，分布圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的分布圖，該分布圖包括至少一個分布節(jié)點以及分布節(jié)點之間的分布連接關(guān)系，每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，每一分布連接關(guān)系用于表征每兩個分布節(jié)點屬于同一個對象的概率?；诟聟?shù)，對分布圖神經(jīng)網(wǎng)絡(luò)構(gòu)建的分布圖中的每一分布節(jié)點及其分布連接關(guān)系進(jìn)行至少一次更新，將最后一次的分布圖中的每一分布節(jié)點作為該模態(tài)數(shù)據(jù)的目標(biāo)分布表征。其中，更新參數(shù)可以包括但不限于每兩個不同模態(tài)的模態(tài)數(shù)據(jù)之間的第一特征相似度、每兩個同一模態(tài)的模態(tài)數(shù)據(jù)之間的第二特征相似度、每兩個模態(tài)數(shù)據(jù)的融合分布關(guān)聯(lián)度等。[0085]在一些實施方式中，已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型至少包括特征圖神經(jīng)網(wǎng)絡(luò)和分布圖神經(jīng)網(wǎng)絡(luò)。在實施時，將特征圖神經(jīng)網(wǎng)絡(luò)的輸出參數(shù)作為更新參數(shù)來更新分布圖中的每一模態(tài)數(shù)據(jù)的分布表征，將分布圖中更新后的分布表征作為更新參數(shù)來更新特征圖神經(jīng)網(wǎng)絡(luò)中的關(guān)聯(lián)表征，從而可以使得將屬于同一個對象的多個模態(tài)數(shù)據(jù)聚類成同一個聚類簇。其中，特征圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的特征圖，該特征圖包括至少一個特征節(jié)點以及特征節(jié)點之間的特征連接關(guān)系，每一特征節(jié)點用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息，每一特征連接關(guān)系用于表征每兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)關(guān)系。其中，該特征關(guān)聯(lián)關(guān)系可以包括第一特征連接關(guān)系和第二特征連接關(guān)系，所述第一特征連接關(guān)系用于表征同一模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象的概率，所述第二特征連接關(guān)系用于表示不同模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象。在一些實施方式中，可以通過第一特征連接線來表示該第一特征連接關(guān)系，通過該第二特征連接線來表示該第二特征連接關(guān)系。[0086]例如，待處理數(shù)據(jù)集包括N個模態(tài)數(shù)據(jù)，該N個模態(tài)數(shù)據(jù)包括M個對象的0種類型的模態(tài)數(shù)據(jù)，此時特征圖可以包括0個特征子圖，其中，每一特征子圖中的每個特征節(jié)點用于表征屬于同一個模態(tài)類別的多個模態(tài)數(shù)據(jù)。在實施時，可以根據(jù)每兩個模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，通過第一特征連接線將屬于同一模態(tài)的多個模態(tài)數(shù)據(jù)進(jìn)行連接，通過第二特征連接線將屬于同一對象的不同模態(tài)的模態(tài)數(shù)據(jù)進(jìn)行連接。[0087]比如，200個模態(tài)數(shù)據(jù)為A、B這三個對象的人臉、身體、聲音這三種類型的模態(tài)數(shù)象B的人臉數(shù)據(jù)為30個、對象A的身體數(shù)據(jù)為40個、對象A的聲音數(shù)據(jù)為25個，此時根據(jù)每兩個模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，通過第一特征連接線將屬于人臉類型的80個人臉數(shù)據(jù)進(jìn)行連接、將屬于身體類型的70個身體數(shù)據(jù)進(jìn)行連接、將屬于聲音類型的50個聲音數(shù)據(jù)進(jìn)行連接；通過第二特征連接線將屬于對象A的人臉數(shù)據(jù)、身體數(shù)據(jù)及聲音數(shù)據(jù)分別進(jìn)行連接，將屬于對象B的人臉數(shù)據(jù)、身體數(shù)據(jù)及聲音數(shù)據(jù)分別進(jìn)行連接。[0088]步驟S23、基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬一模態(tài)數(shù)據(jù)的特征圖，該特征圖包括至少一個特征節(jié)點以及特征節(jié)點之間的特征連接關(guān)[0097]在待處理數(shù)據(jù)集包括6個模態(tài)數(shù)據(jù)，這6個模態(tài)數(shù)據(jù)分別表示對象A的兩個人臉數(shù)第三特征節(jié)點為對象B的人臉數(shù)據(jù)NP3,第四特征節(jié)點為對象A的人體數(shù)據(jù)NP4,第五特征節(jié)點為對象B的人體數(shù)據(jù)NP5,第六特征節(jié)點為對象B的人體數(shù)據(jù)NP6,其中第一特征節(jié)點NP1至NP6構(gòu)成了屬于人體類別的多個模態(tài)數(shù)據(jù)，通過第一特征連接線SP1來連接人臉類別中每兩個特征節(jié)點、人體類別中每兩個特征節(jié)點，該每一第一特征連接線SP1用于表征連接的兩個特征節(jié)點屬于同一個對象的概率，通過第二特征連接線SP2來連接人臉類別和人體類別中屬于同一個對象的兩個特征節(jié)點，該每一第二特征連接線SP2用于表征連接的兩個特征節(jié)點屬于同一個對象。[0098]步驟S33、基于每一所述目標(biāo)分布表征，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。[0099]上述步驟S33對應(yīng)于前述步驟S13,在實施時，可以參照前述步驟S13的具體實施方[0100]在一些實施方式中，所述利用已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型中的特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，更新每一模態(tài)數(shù)據(jù)的分布表征，包括步驟S321至步驟S322:[0101]步驟S321、利用已訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度。[0102]這里，關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息，當(dāng)前融合分布關(guān)聯(lián)度用于表征在當(dāng)前這一次中每兩個模態(tài)數(shù)據(jù)的分布表征之間的關(guān)聯(lián)信息。[0103]在一些實施方式中，可以基于屬于同一模態(tài)內(nèi)的每兩個模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)表征、第二特征相似度、及屬于不同模態(tài)內(nèi)的每兩個模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系、特征關(guān)聯(lián)度、第一特征相似度等來確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前分布關(guān)聯(lián)度。這里，關(guān)聯(lián)關(guān)系可以用于表征每兩個模態(tài)數(shù)據(jù)屬于同一個對象，或者每兩個模態(tài)數(shù)據(jù)屬于不同的對象，該關(guān)聯(lián)關(guān)系可以是用戶預(yù)先設(shè)置的，或在獲取待處理數(shù)據(jù)集的過程中得到的。特征關(guān)聯(lián)度可以包括但不限于不同模態(tài)內(nèi)每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)關(guān)系。[0104]步驟S322、基于每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度，更新每一模態(tài)數(shù)據(jù)的分布表征。[0105]在一些實施方式中，可以基于每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度，將每一模態(tài)數(shù)據(jù)的上一分布表征更新為每一模態(tài)數(shù)據(jù)的當(dāng)前分布表征。在實施時，可以通過如下公式(3-1)來更新每一模態(tài)數(shù)據(jù)的分布表征：更新中第i個模態(tài)數(shù)據(jù)的分布表征，用于表征第1次更新中第i個模態(tài)數(shù)據(jù)和第j個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度。[0108]在一些實施方式中，所述待處理數(shù)據(jù)集包括至少兩個子數(shù)據(jù)集，每一所述子數(shù)據(jù)集分別對應(yīng)一種模態(tài)，所述步驟S321包括步驟S331至步驟S333:[0109]步驟S331、確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第一特征相似度。[0110]這里，第一特征相似度用于表征不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的相似度。[0111]在一些實施方式中，可以基于不同模態(tài)的子數(shù)據(jù)集內(nèi)的每兩個模態(tài)數(shù)據(jù)之間的關(guān)來確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)之間的第來確定同一模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)[0124]其中，S是模態(tài)相似度矩陣內(nèi)的歸一化，S{用于表示第1次中同一模態(tài)內(nèi)每兩個模系。關(guān)系來確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)[0135]步驟S343、基于歸一化處理后的每一所述第二特征相似度和每一所述特征關(guān)聯(lián)處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率，[0147]上述步驟S41對應(yīng)于前述步驟S11,在實施時，可以參照前述步驟S11的具體實施方[0148]步驟S42、利用已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征和關(guān)聯(lián)表征進(jìn)行至少一次更新，在更新次數(shù)達(dá)到預(yù)設(shè)值的情況下，將每一模態(tài)數(shù)據(jù)的更新后的分布表征分別確定為每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率。[0149]在一些實施方式中，所述圖神經(jīng)網(wǎng)絡(luò)模型包括特征圖神經(jīng)網(wǎng)絡(luò)和分布圖神經(jīng)網(wǎng)絡(luò)，所述利用利用已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征和關(guān)聯(lián)表征進(jìn)行至少一次更新，包括步驟S421至步驟S422:[0150]步驟S421,利用已訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，更新每一模態(tài)數(shù)據(jù)的分布表征。[0151]上述步驟S421對應(yīng)于前述步驟S321至步驟S322,在實施時，可以參照前述步驟S321至步驟S322的具體實施方式。[0152]步驟S422,利用已訓(xùn)練的所述分布圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)更新后的分布表征，更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征。[0153]這里，已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型至少包括分布圖神經(jīng)網(wǎng)絡(luò)，該分布圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的分布圖，該分布圖包括至少一個分布節(jié)點以及分布節(jié)點之間的分布連接關(guān)系，每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，每一分布連接關(guān)系用于表征每兩個分布節(jié)點屬于同一個對象的概率。[0154]在一些實施方式中，可以通過第一分布連接線來表示該分布連接關(guān)系。[0155]在待處理數(shù)據(jù)集包括6個模態(tài)數(shù)據(jù)，這6個模態(tài)數(shù)據(jù)分別表示對象A的兩個人臉數(shù)據(jù)和一個人體數(shù)據(jù)，對象B的一個人臉數(shù)據(jù)和兩個人體數(shù)據(jù)的情況下，圖4B為本公開實施例提供的一種基于分布圖神經(jīng)網(wǎng)絡(luò)構(gòu)建分布圖的示意圖，如圖4B所示，此時，分布圖410中包括6個分布節(jié)點，分別為分布節(jié)點ND1至分布節(jié)點ND6,每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，通過第一分布連接線SD1來連接每兩個分布節(jié)點，該每一第一分布連接線SD1用于表示連接的兩個分布節(jié)點屬于同一對象的概率。[0156]在一些實施方式中，所述步驟S422,包括步驟S431至步驟S432:[0157]步驟S431、利用已訓(xùn)練的所述分布圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)更新后的分布表征，確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合特征關(guān)聯(lián)度。[0158]這里，當(dāng)前融合特征關(guān)聯(lián)度用于表征當(dāng)前這一次每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的關(guān)聯(lián)關(guān)系。[0159]在一些實施方式中，對于第1次的聚合特征關(guān)聯(lián)度E可以表示為{e:,;}。在實施時，可以通過如下公式(4-1)來確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合特征關(guān)聯(lián)度：[0161]其中，vi,;用于表示第次中第i個模態(tài)數(shù)據(jù)的分布表征，σ:RN→R得到兩個全連接層和一個激活層的分布表征的相似度塊。[0162]步驟S432、基于每一所述當(dāng)前融合特征關(guān)聯(lián)度，更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征。[0163]在一些實施方式中，對于第1次的聚合特征關(guān)聯(lián)度v可以表示為{v}。在實施時，少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象，所述數(shù)據(jù)子集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率。[0176]這里，圖神經(jīng)網(wǎng)絡(luò)模型可以為基于圖神經(jīng)網(wǎng)絡(luò)構(gòu)建的模型。在實施時，將每一數(shù)據(jù)子集輸入至待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型中，便可以得到每一數(shù)據(jù)子集中每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征。[0177]步驟S53、基于每一所述數(shù)據(jù)子集中的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征和每一模態(tài)數(shù)據(jù)的標(biāo)簽信息，確定目標(biāo)損失值。[0178]這里，目標(biāo)損失值用于表征每一模態(tài)數(shù)據(jù)的標(biāo)簽信息和目標(biāo)分布表征之間的差異。[0179]步驟S54、在所述目標(biāo)損失值滿足預(yù)設(shè)條件的情況下，對所述圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行更新。[0180]這里，預(yù)設(shè)條件可以包括但不限于滿足收斂條件等。其中，收斂條件可以包括但不限于目標(biāo)損失值大于閾值等。在實施時，本領(lǐng)域技術(shù)人員可以根據(jù)實際需求自主確定預(yù)設(shè)條件，本公開實施例不作限定。[0181]圖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)可以包括但不限于可學(xué)習(xí)門控殘差塊?、分布表征的相似[0182]在一些實施方式中，在所述目標(biāo)損失值不滿足預(yù)設(shè)條件的情況下，將當(dāng)前的圖神經(jīng)網(wǎng)絡(luò)模型作為已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型。[0183]例如，在目標(biāo)損失值小于閾值的情況下，將當(dāng)前的圖神經(jīng)網(wǎng)絡(luò)模型作為已訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型。[0185]步驟S521、利用待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行至少一次更新。[0186]在一些實施方式中，待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型至少包括分布圖神經(jīng)網(wǎng)絡(luò)，該分布圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的分布圖，該分布圖包括至少一個分布節(jié)點以及分布節(jié)點之間的分布連接關(guān)系，每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，每一分布連接關(guān)系用于表征每兩個分布節(jié)點屬于同一個對象的概率。通過該分布圖神經(jīng)網(wǎng)絡(luò)確定每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征?；诟聟?shù)，對分布圖神經(jīng)網(wǎng)絡(luò)構(gòu)建的分布圖中的每一分布節(jié)點及其分布連接關(guān)系進(jìn)行至少一次更新，將最后一次的分布圖中的每一分布節(jié)點作為該模態(tài)數(shù)據(jù)的目標(biāo)分布表征。其中，更新參數(shù)可以包括但不限于不同模態(tài)內(nèi)每兩個模態(tài)數(shù)據(jù)之間的第一特征相似度、同一模態(tài)內(nèi)每兩個模態(tài)數(shù)據(jù)之間的第二特征相似度、每兩個模態(tài)數(shù)據(jù)的融合分布關(guān)聯(lián)度等。所述第一特征相似度可以包括但不限于不同模態(tài)內(nèi)每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的相似度。這里，每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息。所述第二特征相似度可以包括但不限于同一模態(tài)內(nèi)每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的相似度。所述每兩個模態(tài)數(shù)據(jù)的融合分布關(guān)聯(lián)度可以包括但不限于每兩個模態(tài)數(shù)據(jù)的分布表征之間的關(guān)聯(lián)關(guān)系。[0187]在一些實施方式中，可以基于每兩個模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行初始化，并基于更新參數(shù)對分布表征進(jìn)行更新，以確定每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征。其中，該關(guān)聯(lián)關(guān)系可以包括但不限于屬于同一個對象等。在實施時，該關(guān)聯(lián)關(guān)系可以是用戶預(yù)先設(shè)定的，也可以是在獲取樣本集的過程中得到的。[0188]在實施時，通過每兩個模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行初始化，并基于更新參數(shù)，對初始化后的分布表征進(jìn)行至少一次更新。該v,;表示第i個模態(tài)數(shù)據(jù)與所有模態(tài)數(shù)據(jù)1,2,......,N屬于同一個對象的概率，可以基于每兩個模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，采用上述公式(1-1)對v8,進(jìn)行初始化。在實施時，本領(lǐng)域技術(shù)人員可以根據(jù)實際需求選擇分布表征的初始化的方式，本公開實施例不作限定。[0190]在一些實施方式中，可以將特征圖神經(jīng)網(wǎng)絡(luò)的輸出參數(shù)作為更新參數(shù)來更新分布圖中的每一模態(tài)數(shù)據(jù)的分布表征，將分布圖中更新后的分布表征作為更新參數(shù)來更新特征圖神經(jīng)網(wǎng)絡(luò)中的關(guān)聯(lián)表征，通過循環(huán)更新的方式，以得到每一模態(tài)數(shù)據(jù)的更準(zhǔn)確的分布表征。其中，特征圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的特征圖，該特征圖包括至少一個特征節(jié)點以及特征節(jié)點之間的特征連接關(guān)系，每一特征節(jié)點用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息，每一特征連接關(guān)系用于表征每兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)關(guān)系。其中，該特征關(guān)聯(lián)關(guān)系可以包括第一特征連接關(guān)系和第二特征連接關(guān)系，所述第一特征連接關(guān)系用于表征同一模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象的概率，所述第二特征連接關(guān)系用于表示不同模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象。在一些實施方式中，可以通過第一特征連接線來表示該第一特征連接關(guān)系，通過該第二特征連接線來表示該第二特征連接關(guān)系。[0191]步驟S522、在更新次數(shù)達(dá)到預(yù)設(shè)值的情況下，將每一模態(tài)數(shù)據(jù)的更新后的分布表征分別確定為每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征。[0192]這里，更新次數(shù)可以包括但不限于設(shè)定的經(jīng)驗值、根據(jù)多次聚類的聚類效果計算得到等。在實施時，本領(lǐng)域技術(shù)人員可以根據(jù)實際需求自主確定更新次數(shù)，本公開實施例不[0193]在一些實施方式中，所述圖神經(jīng)網(wǎng)絡(luò)模型包括特征圖神經(jīng)網(wǎng)絡(luò)，所述步驟S521,包[0194]步驟S5211、利用待訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，更新每一模態(tài)數(shù)據(jù)的分布表征，每一所述關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息。[0195]這里，待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型至少包括待訓(xùn)練的特征圖神經(jīng)網(wǎng)絡(luò)，該特征圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的特征圖，該特征圖包括至少一個特征節(jié)點以及特征節(jié)點之間的特征連接關(guān)系，每一特征節(jié)點用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，每一特征連接關(guān)系用于表征每兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)關(guān)系。其中，該特征關(guān)聯(lián)關(guān)系可以包括第一連接關(guān)系和第二連接關(guān)系，所述第一連接關(guān)系用于表征同一模態(tài)內(nèi)每兩個模態(tài)數(shù)據(jù)屬于同一個對象的概率，所述第二連接關(guān)系用于連接不同模態(tài)內(nèi)屬于同一個對象的兩個模態(tài)數(shù)據(jù)。在一些實施方式中，可以通過第一特征連接線來表示該第一連接關(guān)系，通過該第二特征連接線來表示該第二連接關(guān)系。[0196]在一些實施方式中，所述圖神經(jīng)網(wǎng)絡(luò)模型還包括分布圖神經(jīng)網(wǎng)絡(luò)，所述方法還包[0197]步驟S5212、利用待訓(xùn)練的所述分布圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)更新后的分布表征，更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征。[0198]這里，待訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型至少包括分布圖神經(jīng)網(wǎng)絡(luò)，該分布圖神經(jīng)網(wǎng)絡(luò)用于構(gòu)建每一模態(tài)數(shù)據(jù)的分布圖，該分布圖包括至少一個分布節(jié)點以及分布節(jié)點之間的分布連接關(guān)系，每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，每一分布連接關(guān)系用于表征每兩個分布節(jié)點屬于同一個對象的概率。在一些實施方式中，可以通過第一分布連接線來表示該分布連接關(guān)系。[0199]在實施時，可以預(yù)先對每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征進(jìn)行初始化，并基于每一模態(tài)數(shù)據(jù)更新后的分布表征，對初始化后的關(guān)聯(lián)表征進(jìn)行至少一次更新。那么V可以表示為(f?,……,fp,b,……,b,u,…,u),i個模態(tài)數(shù)據(jù)為包含人臉的模態(tài)數(shù)據(jù)、第i個模態(tài)數(shù)據(jù)為包含身體的模態(tài)數(shù)據(jù)、第k個模態(tài)數(shù)據(jù)為包含聲音的模態(tài)數(shù)據(jù)。在實施時，本領(lǐng)域技術(shù)人員可以根據(jù)實際需求選擇關(guān)聯(lián)表征的初始化的方式，本公開實施例不作限定。[0201]在一些實施方式中，每一所述數(shù)據(jù)子集包括至少兩個子數(shù)據(jù)集，每一所述子數(shù)據(jù)集分別對應(yīng)一種模態(tài)，所述步驟S53,包括：[0202]步驟S531、基于每一次更新中同一模態(tài)的子數(shù)據(jù)集中的每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第二特征相似度和每一模態(tài)數(shù)據(jù)的標(biāo)簽信息，確定特征相似度損失值。[0203]這里，第二特征相似度用于表征同一模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的相似度。標(biāo)簽信息用于指示每一模態(tài)數(shù)據(jù)所屬的對象。[0204]在實施時，可以通過如下公式(5-1)來確定特征相似度損失值：[0206]其中，L代表更新次數(shù)；N表示模態(tài)數(shù)據(jù)的總個數(shù)；S.;用于表征在第1次中，同一模態(tài)內(nèi)第i個模態(tài)數(shù)據(jù)和第j個模態(tài)數(shù)據(jù)的第二特征相似度；BCE表示二元交叉熵?fù)p失；o(i)表示1,在x為0的情況下，II(x)為0;y,;為一聯(lián)合標(biāo)簽，在第i個模態(tài)數(shù)據(jù)和第j個模態(tài)數(shù)據(jù)屬于同一對象的情況下，y,為1,否則y,;為0。[0207]在一些實施方式中，可以基于每個模態(tài)數(shù)據(jù)的標(biāo)簽信息，確定聯(lián)合標(biāo)簽。[0208]例如，標(biāo)簽信息i指示第i個模態(tài)數(shù)據(jù)屬于對象A,標(biāo)簽信息j指示第j個模態(tài)數(shù)據(jù)屬于對象A,此時聯(lián)合標(biāo)簽y,;為1。又例如，標(biāo)簽信息i指示第i個模態(tài)數(shù)據(jù)屬于對象A,標(biāo)簽信息j指示第j個模態(tài)數(shù)據(jù)屬于對象B,此時聯(lián)合標(biāo)簽y;,;為0。[0209]步驟S532、基于歷史每一次更新中每兩個模態(tài)數(shù)據(jù)的分布表征之間的分布相似度、每兩個模態(tài)數(shù)據(jù)的目標(biāo)分布表征之間的分布相似度和每一模態(tài)數(shù)據(jù)的標(biāo)簽信息，確定分布相似度損失值。[0210]這里，分布相似度用于表征每兩個模態(tài)數(shù)據(jù)的分布表征之間的相似度。標(biāo)簽信息用于指示每一模態(tài)數(shù)據(jù)所屬的對象。[0211]在實施時，可以通過如下公式(5-2)來確定特征相似度損失值：數(shù)據(jù)和第j個模態(tài)數(shù)據(jù)的分布表征之間的相似度；BCE表示二元交叉熵?fù)p失；u為權(quán)重值；Y?,;為一聯(lián)合標(biāo)簽，在第i個模態(tài)數(shù)據(jù)和第j個模態(tài)數(shù)據(jù)屬于同一對象的情況下，y?,;為1,否則y,;為0。[0214]步驟S533、基于所述特征相似度損失值和所述分布相似度損失值，確定目標(biāo)損失值。[0215]在一些實施方式中，可以通過如下公式(5-3)來確定特征相似度損失值：[0218]本公開實施例中，基于預(yù)設(shè)的帶有標(biāo)簽信息的樣本集，對圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，實現(xiàn)端到端的學(xué)習(xí)。這樣，訓(xùn)練得到的圖神經(jīng)網(wǎng)絡(luò)可以為每一模態(tài)數(shù)據(jù)構(gòu)建統(tǒng)一的目標(biāo)分布表征，利用該目標(biāo)分布表征對每一模態(tài)數(shù)據(jù)進(jìn)行聚類，實現(xiàn)了端到端的對屬于同一對象的至少一種模態(tài)的模態(tài)數(shù)據(jù)進(jìn)行聚類，不需要人工設(shè)定和維護(hù)大量的模態(tài)融合規(guī)則，不僅可以極大地減少人工成本，同時也提高了聚類效果。[0219]圖6A為本公開實施例提供的一種聚類系統(tǒng)60的示意圖，如圖6A所示，所述聚類系統(tǒng)60包括初始化模塊61、更新模塊62、聚類模塊63,其中：[0220]初始化模塊61,用于基于待處理數(shù)據(jù)集，對圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行初始化，其中，所述待處理數(shù)據(jù)集中包括至少兩個模態(tài)數(shù)據(jù)，所述至少兩個模態(tài)數(shù)據(jù)屬于至少一個對象。[0221]更新模塊62,用于基于圖神經(jīng)網(wǎng)絡(luò)，對每一模態(tài)數(shù)據(jù)的分布表征進(jìn)行至少一次更新，在更新次數(shù)達(dá)到預(yù)設(shè)值的情況下，將每一模態(tài)數(shù)據(jù)的更新后的分布表征分別確定為每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，每一所述模態(tài)數(shù)據(jù)的目標(biāo)分布表征至少用于表征每一所述模態(tài)數(shù)據(jù)與所述待處理數(shù)據(jù)集中的其它模態(tài)數(shù)據(jù)屬于同一對象的概率。[0222]聚類模塊63,用于基于每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，對每一模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇，每一所述聚類簇包括屬于同一對象的至少一個模態(tài)數(shù)據(jù)。[0223]在一些實施方式中，所述圖神經(jīng)網(wǎng)絡(luò)模型包括特征圖神經(jīng)網(wǎng)絡(luò)和分布圖神經(jīng)網(wǎng)絡(luò)，所述初始化模塊61包括特征初始化模塊和分布初始化模塊。[0224]所述特征初始化模塊，用于基于已訓(xùn)練的特征圖神經(jīng)網(wǎng)絡(luò)構(gòu)建每一模態(tài)數(shù)據(jù)的特征圖，該特征圖包括至少一個特征節(jié)點以及特征節(jié)點之間的特征連接關(guān)系，每一特征節(jié)點用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，每一特征連接關(guān)系用于表征每兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)關(guān)系。其中，該特征關(guān)聯(lián)關(guān)系可以包括第一特征連接關(guān)系和第二特征連接關(guān)系，所述第一特征連接關(guān)系用于表征同一模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象的概率，所述第二特征連接關(guān)系用于表示不同模態(tài)內(nèi)每兩個特征節(jié)點屬于同一個對象。[0225]在一些實施方式中，可以通過第一特征連接線來表示該第一特征連接關(guān)系，通過該第二特征連接線來表示該第二特征連接關(guān)系。[0226]所述分布初始化模塊，用于基于已訓(xùn)練的分布圖神經(jīng)網(wǎng)絡(luò)構(gòu)建每一模態(tài)數(shù)據(jù)的分布圖，該分布圖包括至少一個分布節(jié)點以及分布節(jié)點之間的分布連接關(guān)系，每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，每一分布連接關(guān)系用于表征每兩個分布節(jié)點屬于同一個對象的概率。[0227]在一些實施方式中，可以通過第一分布連接線來表示該分布連接關(guān)系。[0228]例如，待處理數(shù)據(jù)集包括6個模態(tài)數(shù)據(jù)，這6個模態(tài)數(shù)據(jù)分別表示對象A的兩個人臉數(shù)據(jù)和一個人體數(shù)據(jù)，對象B的一個人臉數(shù)據(jù)和兩個人體數(shù)據(jù)，那么通過該特征初始化模塊和分布初始化模塊，便可以得到初始化后的特征圖和分布圖，圖6B為本公開實施例提供的一種初始化模塊61的實現(xiàn)示意圖，如圖6B所示，此時，特征圖610中包括6個特征節(jié)點，第一特征節(jié)點為對象A的人臉數(shù)據(jù)NP1,第二特征節(jié)點為對象A的人臉數(shù)據(jù)NP2,第三特征節(jié)點為對象B的人臉數(shù)據(jù)NP3,第四特征節(jié)點為對象A的人體數(shù)據(jù)NP4,第五特征節(jié)點為對象B的人體數(shù)據(jù)NP5,第六特征節(jié)點為對象B的人體數(shù)據(jù)NP6,其中第一特征節(jié)點NP1至第三特征節(jié)點NP3構(gòu)成了屬于人臉類別的多個模態(tài)數(shù)據(jù)，第四特征節(jié)點NP4至第六特征節(jié)點NP6構(gòu)成了屬于人體類別的多個模態(tài)數(shù)據(jù)，通過第一特征連接線SP1來連接人臉類別中每兩個特征節(jié)點、人體類別中每兩個特征節(jié)點，通過第二特征連接線SP2來連接人臉類別與人體類別中屬于同一個對象的兩個特征節(jié)點，該每一第一特征連接線SP1用于表征連接的兩個特征節(jié)點屬于同一個對象的概率，該每一第二特征連接線SP2用于表征連接的兩個特征節(jié)點屬于同一個對象的概率；分布圖620中包括6個分布節(jié)點，分別為分布節(jié)點ND1至分布節(jié)點ND6,每一分布節(jié)點用于表征每一模態(tài)數(shù)據(jù)的分布表征，通過第一分布連接線SD1來連接每兩個分布節(jié)點，該每一第一分布連接線SD1用于表示連接的兩個分布節(jié)點屬于同一對象的概率。[0229]在一些實施方式中，所述更新模塊62可以包括分布更新模塊和特征更新模塊。[0230]所述分布更新模塊，用于利用已訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，更新每一模態(tài)數(shù)據(jù)的分布表征，每一所述關(guān)聯(lián)表征用于表征每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)信息。[0231]所述特征更新模塊，用于利用已訓(xùn)練的分布圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)更新后的分布表征，更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征。[0232]在一些實施方式中，分布更新模塊可以包括融合分布關(guān)聯(lián)度模塊和分布表征更新模塊。其中，所述融合分布關(guān)聯(lián)度模塊，用于利用已訓(xùn)練的所述特征圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度。所述分布表征更新模塊，用于基于每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度，更新每一模態(tài)數(shù)據(jù)的分布[0233]在一些實施方式中，所述待處理數(shù)據(jù)集包括至少兩個子數(shù)據(jù)集，每一所述子數(shù)據(jù)集分別對應(yīng)一種模態(tài)；所述融合分布關(guān)聯(lián)度模塊可以包括第一特征相似度模塊、第二特征相似度模塊和當(dāng)前融合分布關(guān)聯(lián)度模塊。其中，第一特征相似度模塊，用于確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第一特征相似度；第二特征相似度模塊，用于確定同一模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第二特征相似度；當(dāng)前融合分布關(guān)聯(lián)度模塊，用于基于每一所述第一特征相似度和每一所述第二特征相似度，確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合分布關(guān)聯(lián)度。[0234]在一些實施方式中，所述第一特征相似度模塊可以包括特征關(guān)聯(lián)度模塊、歸一化模塊及當(dāng)前第一特征相似度模塊。其中，所述特征關(guān)聯(lián)度模塊，用于確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)度；所述歸一化模塊，用于對每一所述第二特征相似度進(jìn)行歸一化處理；所述當(dāng)前第一特征相似度模塊，用于基于歸一化處理后的每一所述第二特征相似度和每一所述特征關(guān)聯(lián)度，確定每兩個模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第一特征相[0235]在一些實施方式中，所述特征關(guān)聯(lián)度模塊可以包括關(guān)聯(lián)關(guān)系模塊和當(dāng)前第一特征相似度模塊。其中，所述關(guān)聯(lián)關(guān)系模塊，用于確定不同模態(tài)的子數(shù)據(jù)集中每兩個模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系；所述當(dāng)前第一特征相似度模塊，用于基于每一所述關(guān)聯(lián)關(guān)系，確定每一所述特征關(guān)聯(lián)度。[0236]在一些實施方式中，所述第二特征相似度模塊可以包括當(dāng)前第二特征相似度模塊。其中，所述當(dāng)前第二特征相似度模塊，用于基于同一模態(tài)的子數(shù)據(jù)集中每一模態(tài)數(shù)據(jù)的前一次的關(guān)聯(lián)表征，確定每兩個所述模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征之間的第二特征相似度。[0237]在一些實施方式中，所述特征更新模塊可以包括融合特征關(guān)聯(lián)度模塊和關(guān)聯(lián)表征模塊。其中，所述融合特征關(guān)聯(lián)度模塊，用于利用已訓(xùn)練的所述分布圖神經(jīng)網(wǎng)絡(luò)，基于每一模態(tài)數(shù)據(jù)更新后的分布表征，確定每兩個模態(tài)數(shù)據(jù)之間的當(dāng)前融合特征關(guān)聯(lián)度；所述關(guān)聯(lián)表征模塊，用于基于每一所述當(dāng)前融合特征關(guān)聯(lián)度，更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征。[0238]在一些實施方式中，所述聚類模塊63包括當(dāng)前聚類模塊。所述當(dāng)前聚類模塊，用于基于每兩個所述目標(biāo)分布表征之間的相似度，對每一所述模態(tài)數(shù)據(jù)進(jìn)行聚類，得到至少一個聚類簇。[0239]本公開實施例提供的聚類方法與相關(guān)技術(shù)中的聚類方法相比，至少存在以下改[0240]1)相關(guān)技術(shù)中對人物聚類的方法通過只利用了人臉信息進(jìn)行聚類，也有少部分處理多模態(tài)信息的聚類方法，但都只是在特征空間進(jìn)行聚類，由于不同模態(tài)的特征是由不同的特征提取網(wǎng)絡(luò)來實現(xiàn)的，因此，該特征是與模態(tài)有關(guān)的，不能直接進(jìn)行相似度比較，也就無法直接進(jìn)行聚類。而本公開實施例中通過為每一模態(tài)數(shù)據(jù)構(gòu)建統(tǒng)一的分布表征，使得每一模態(tài)數(shù)據(jù)與模態(tài)類型無關(guān)，這樣便可以實現(xiàn)多模態(tài)的聚類。[0241]2)相關(guān)技術(shù)中，通過網(wǎng)絡(luò)學(xué)習(xí)的有監(jiān)督的聚類方法通常只是在特征空間內(nèi)進(jìn)行增強(qiáng)和更新。而本公開實施例中通過在分布空間中為每一模態(tài)數(shù)據(jù)構(gòu)建分布表征，利用特征圖神經(jīng)網(wǎng)絡(luò)和分布圖神經(jīng)網(wǎng)絡(luò)互相增強(qiáng)、循環(huán)更新的方式，可以得到更好的分布表征。[0242]3)相關(guān)技術(shù)中，有少部分處理多模態(tài)信息的聚類方法，會設(shè)計不同的策略處理不同模態(tài)的信息，因為依賴于人工設(shè)計的規(guī)則，很難處理實際場景下的復(fù)雜數(shù)據(jù)分布。而本公開實施例中通過為每一模態(tài)數(shù)據(jù)構(gòu)建統(tǒng)一的分布表征，使得每一模態(tài)數(shù)據(jù)與模態(tài)類型無關(guān)，通過計算每兩個模態(tài)數(shù)據(jù)的分布表征之間的相似度，便可以實現(xiàn)屬于同一對象的多個模態(tài)數(shù)據(jù)的聚類。[0243]本公開實施例提供的聚類方法至少具有以下有益效果：1)通過構(gòu)建每一模態(tài)數(shù)據(jù)的分布表征，使得每一模態(tài)數(shù)據(jù)與模態(tài)類型無關(guān)，這樣可以實現(xiàn)多模態(tài)的聚類；2)通過該模型的特征圖神經(jīng)網(wǎng)絡(luò)基于每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征更新每一模態(tài)的分布表征，通過該模型的分布圖神經(jīng)網(wǎng)絡(luò)基于每一模態(tài)數(shù)據(jù)更新后的分布表征更新每一模態(tài)數(shù)據(jù)的關(guān)聯(lián)表征，如此循環(huán)更新、相互增強(qiáng)的方式，可以得到更加準(zhǔn)確的每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征，從而提高了聚類效果；3)利用每一模態(tài)數(shù)據(jù)的目標(biāo)分布表征對每一模態(tài)數(shù)據(jù)進(jìn)行聚類，實現(xiàn)了端到端的對屬于同一對象的至少一種模態(tài)的模態(tài)數(shù)據(jù)進(jìn)行聚類，不需要人工設(shè)定和維護(hù)大量的模態(tài)融合規(guī)則，不僅可以極大地減少人工成本，同時也提高了聚類效果。[0244]為了更好地說明本公開實施例的有益效果，下面對本申請實施例提供的聚類方法與相關(guān)技術(shù)中的聚類方法的實驗數(shù)據(jù)進(jìn)行比較說明。[0246]采用數(shù)據(jù)集VPCD,其包含了電影1、電視劇2、電影3、電視劇4、電視劇5這5個數(shù)據(jù)集。其中，電視劇可以包含一集或幾集，每一集中包含至少一個對象。括了32999個人臉的模態(tài)數(shù)據(jù)、36724個身體的模態(tài)數(shù)據(jù)和9863個聲音的模態(tài)數(shù)據(jù)。[0248]分別采用歸一化互信息(NormalizedMutualInformation,NMI)、加權(quán)聚類純度CR)和F分?jǐn)?shù)(F-score,CF)。這些指標(biāo)的值越高表明聚類結(jié)果越準(zhǔn)確。[0250]采用交叉驗證來評估圖神經(jīng)網(wǎng)絡(luò)模型的聚類性能。具體來說，從五個子數(shù)據(jù)集中[0251](4)圖神經(jīng)網(wǎng)絡(luò)模型中部分參數(shù)的初始化[0252]所有實驗均使用Adam優(yōu)化器，初始學(xué)習(xí)率為10?3,學(xué)習(xí)率衰減為0.1。更新次數(shù)設(shè)置為2。損失權(quán)重λ和λ表示特征相似度損失值Lr和分布相似度損失值La的超參數(shù)，將除電視[0253](5)實驗結(jié)果[0254]1)與現(xiàn)有的聚類方法相比[0255]表1為本公開實施例提供的聚類方法與相關(guān)技術(shù)中的聚類方法的聚類結(jié)果。MuHPC聚類方法是利用人臉、身體和語音信息進(jìn)行人物聚類，因此其性能優(yōu)于B-ReID(僅包含身體信息)和B-C1C(包含面部和身體信息)。本公開實施例提供的聚類方法為與模態(tài)無關(guān)的分布圖神經(jīng)網(wǎng)絡(luò)(Modality-AgnosticdistributionGraphNETwork,MAGNET)和現(xiàn)有技術(shù)的聚了三種不同的規(guī)則來利用所有的模態(tài)信息，這可能無法捕捉到復(fù)雜場景下的不同人物。相比之下，本公開實施例提供的方法可以利用特征圖神經(jīng)網(wǎng)絡(luò)(Multi-modalityClueFeatureGraph,MMFG)和分布圖神經(jīng)網(wǎng)絡(luò)(Modality-AgnosticDistributionGraph,MADG)的循環(huán)更新策略學(xué)習(xí)分布圖上人物之間的相似性，從而可以捕獲復(fù)雜場景下的人物。電視劇2中：NMI+1.84%,在電影1中：+8.39%NMI和電視劇4中：+1.97NMI),這進(jìn)一步說明了(AutoencoderinAutoencoderNetworks,AE2?Nets)、COMIC和基于比對預(yù)測的缺失視圖聚這三種多視圖聚類方法進(jìn)行了比較，其中不同的模態(tài)可以被視為不同的視圖。利用不同視圖之間的相關(guān)性，將多視圖特征投影到統(tǒng)一的特征空間進(jìn)行聚類。然而，在人物聚類任務(wù)中，人臉特征、身體特征和聲音特征很難投影到一個統(tǒng)一的空間中，因為這些特征相關(guān)性很實施例提供的用與模態(tài)無關(guān)的分布表征對多模態(tài)數(shù)據(jù)進(jìn)行聚類。[0256]表1不同聚類方法的聚類結(jié)果電影1電視劇2電影3電視劇4電視劇5[0258]2)帶有噪聲關(guān)聯(lián)的人物聚類結(jié)果[0259]人物聚類依賴于不同模態(tài)給定的關(guān)聯(lián)信息。人臉和身體之間的關(guān)聯(lián)通常由人臉邊界框和身體邊界框之間的交集(IOU)決定，這在擁擠的情況下可能無效。在這種情況下，當(dāng)兩個人站得太近時，一個人的臉可能會錯誤地與另一個人的身體相關(guān)聯(lián)，這給跨模態(tài)的兩個模態(tài)數(shù)據(jù)之間的特征關(guān)聯(lián)度帶來了噪聲。[0260]為了證明MAGNET對噪聲關(guān)聯(lián)的魯棒性，通過以給定概率p在軌道之間隨機(jī)交換特征來模擬錯誤關(guān)聯(lián)的身體。將p表示為噪聲比，因為它可以控制隨機(jī)交換后噪聲關(guān)聯(lián)的比也僅降低了4.1%。由于MADG中的分布特征聚合了來自所有模態(tài)的信息，因此分布圖上的聚類結(jié)果對具有噪聲關(guān)聯(lián)的數(shù)據(jù)具有魯棒性。[0261]表2帶有噪聲關(guān)聯(lián)的人物聚類結(jié)果[0262]P電影1電視劇2電影3電視劇4電視劇5078.3061.8476.5685.0793.110.178.0961.6275.6284.0991.970.277.5561.3974.8983.5191.670.377.4261.5874.7682.7890.310.477.0260.8273.9981.7689.400.576.4960.6173.9581.1488.82only是沒有分布圖的模型，通過特征相似度進(jìn)行特征聚合。具有相同模態(tài)的模態(tài)數(shù)據(jù)在MMFG中單獨聚類，然后具有不同模態(tài)的模態(tài)數(shù)據(jù)根據(jù)在同一對象中的共現(xiàn)進(jìn)行分組。對于中的關(guān)聯(lián)度由原始特征的模態(tài)內(nèi)特征相似度固定。同時為了驗證多模態(tài)融合模塊的有效性，通過在公式(3-3)中設(shè)置α?=0來移除該模塊，將其表示NMI中提高了4%,因為它可以從所