(30)優(yōu)先權(quán)數(shù)據(jù)(62)分案原申請(qǐng)數(shù)據(jù)(71)申請(qǐng)人谷歌有限責(zé)任公司地址美國(guó)加利福尼亞州GO6N18/22(2023.01)T·J·迪里格(74)專利代理機(jī)構(gòu)北京市柳沈律師事務(wù)所權(quán)利要求書3頁(yè)說(shuō)明書17頁(yè)附圖10頁(yè)(54)發(fā)明名稱包括在計(jì)算機(jī)存儲(chǔ)介質(zhì)上編碼的計(jì)算機(jī)程序的用于訓(xùn)練圖像嵌入模型的方法、系統(tǒng)和裝練示例的訓(xùn)練數(shù)據(jù)，其中每個(gè)訓(xùn)練示例包括：包括第一圖像和第二圖像的圖像對(duì)；以及指示以下中的一項(xiàng)或更多項(xiàng)的選擇數(shù)據(jù)：(i)圖像對(duì)的共同點(diǎn)擊率，和(ii)圖像對(duì)的相似圖像點(diǎn)擊率；以及使用訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練具有多個(gè)圖像嵌入模型參數(shù)的圖像嵌入模型。歷史查詢訓(xùn)練數(shù)據(jù)搜索系統(tǒng)2一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其共同存儲(chǔ)指令，當(dāng)由所述一個(gè)或多個(gè)處理器獲得歷史查詢?nèi)罩緮?shù)據(jù)，其中，歷史查詢?nèi)罩緮?shù)據(jù)描述一個(gè)或多個(gè)搜索查詢、響應(yīng)于一個(gè)或多個(gè)搜索查詢的一個(gè)或多個(gè)圖像搜索結(jié)果、以及與一個(gè)或多個(gè)圖像搜索結(jié)果中的每一個(gè)相關(guān)聯(lián)的選擇；基于歷史查詢?nèi)罩緮?shù)據(jù)生成圖像-圖像訓(xùn)練示例，其中，圖像-圖像訓(xùn)練示例描述包含第一圖像和第二圖像的圖像對(duì)以及與所述圖像對(duì)相關(guān)聯(lián)的選擇數(shù)據(jù)；使用圖像嵌入模型處理第一圖像以生成第一圖像的嵌入；利用圖像嵌入模型處理第二圖像以生成第二圖像的嵌入；基于第一圖像的嵌入、第二圖像的嵌入以及與圖像對(duì)相關(guān)聯(lián)的選擇數(shù)據(jù)估計(jì)損失函基于基于第一圖像的嵌入、第二圖像的嵌入和與圖像對(duì)相關(guān)聯(lián)的選擇數(shù)據(jù)估計(jì)的損失函數(shù)來(lái)調(diào)整圖像嵌入模型的一個(gè)或多個(gè)參數(shù)。2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，選擇數(shù)據(jù)包含描述與多個(gè)用戶響應(yīng)于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時(shí)識(shí)別而選擇第一圖像和第二圖像兩者的頻率相關(guān)聯(lián)的圖像對(duì)的共同點(diǎn)擊率的數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，選擇數(shù)據(jù)包含描述與多個(gè)用戶響應(yīng)于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識(shí)別而選擇第一圖像的頻率相關(guān)聯(lián)的圖像對(duì)的相似圖像點(diǎn)擊率的數(shù)據(jù)。確定取決于以下因素的損失函數(shù)的梯度：(i)第一圖像的嵌入與第二圖像的嵌入之間的相似性度量，以及(ii)圖像-圖像訓(xùn)練示例的選擇數(shù)據(jù)。5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，調(diào)整圖像嵌入模型的一個(gè)或多個(gè)參數(shù)包括使用梯度來(lái)調(diào)整圖像嵌入模型的一個(gè)或多個(gè)參數(shù)。6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，損失函數(shù)包括基于訓(xùn)練示例的選擇數(shù)據(jù)確定的倍數(shù)縮放因子。7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，歷史查詢?nèi)罩緮?shù)據(jù)與一個(gè)或多個(gè)web搜索系統(tǒng)相關(guān)聯(lián)。8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，如果選擇數(shù)據(jù)的共同點(diǎn)擊率描述第一圖像和第二圖像相關(guān)，則調(diào)整一個(gè)或多個(gè)參數(shù)以生成第一圖像和第二圖像的相似嵌入。9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，如果選擇數(shù)據(jù)的相似圖像點(diǎn)擊率描述第一圖像和第二圖像相關(guān)，則調(diào)整一個(gè)或多個(gè)參數(shù)以生成第一圖像和第二圖像的相似嵌入。10.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，圖像嵌入模型包括被配置為處理圖像的特征表示的神經(jīng)網(wǎng)絡(luò)模型。11.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，圖像嵌入模型與文本嵌入模型聯(lián)合訓(xùn)練，其中，文本嵌入模型被訓(xùn)練為嵌入文本搜索查詢的一個(gè)或多個(gè)單詞。12.一種計(jì)算機(jī)實(shí)施的方法，所述方法包括：3由包括一個(gè)或多個(gè)處理器的計(jì)算系統(tǒng)從用戶計(jì)算系統(tǒng)獲得搜索查詢，其中，搜索查詢包括查詢圖像；由所述計(jì)算系統(tǒng)利用圖像嵌入模型處理查詢圖像以生成查詢圖像嵌入，其中，圖像嵌入模型在包含多個(gè)圖像-圖像訓(xùn)練示例的訓(xùn)練數(shù)據(jù)集上被訓(xùn)練，其中，每個(gè)圖像訓(xùn)練示例描述圖像對(duì)和與圖像對(duì)相關(guān)聯(lián)的選擇數(shù)據(jù)；由所述計(jì)算系統(tǒng)基于查詢圖像嵌入確定一個(gè)或多個(gè)圖像搜索結(jié)果，其中，一個(gè)或多個(gè)圖像搜索結(jié)果基于多個(gè)圖像中的每一個(gè)的相應(yīng)的相關(guān)性得分；并且由所述計(jì)算系統(tǒng)向用戶計(jì)算系統(tǒng)提供一個(gè)或多個(gè)圖像搜索結(jié)果。13.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)實(shí)施的方法，其中，相應(yīng)的相關(guān)性得分基于查詢圖像嵌入和相應(yīng)圖像的相應(yīng)圖像嵌入之間的相似性度量。14.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)實(shí)施的方法，其中，圖像嵌入模型基于圖像對(duì)的第一圖像的嵌入與圖像對(duì)的第二圖像的嵌入之間的相似性度量被訓(xùn)練。15.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)實(shí)施的方法，其中，圖像嵌入模型基于與圖像對(duì)相關(guān)聯(lián)的選擇數(shù)據(jù)被訓(xùn)練，其中，選擇數(shù)據(jù)描述與多個(gè)用戶響應(yīng)于第一圖像和第二圖像兩者由搜索結(jié)果同時(shí)識(shí)別而選擇第一圖像和第二圖像兩者的頻率相關(guān)聯(lián)的圖像對(duì)的共同點(diǎn)擊率。16.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)實(shí)施的方法，其中，圖像嵌入模型通過(guò)以下方式被訓(xùn)利用圖像嵌入模型處理圖像對(duì)的第一圖像以生成第一圖像的嵌入；利用圖像嵌入模型處理圖像對(duì)中的第二圖像以生成第二圖像的嵌入；基于第一圖像的嵌入、第二圖像的嵌入以及與圖像對(duì)相關(guān)聯(lián)的選擇數(shù)據(jù)估計(jì)損失函基于基于第一圖像的嵌入、第二圖像的嵌入和與圖像對(duì)相關(guān)聯(lián)的選擇數(shù)據(jù)估計(jì)的損失函數(shù)來(lái)調(diào)整圖像嵌入模型的一個(gè)或多個(gè)參數(shù)。17.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)實(shí)施的方法，其中，搜索查詢還包括一個(gè)或多個(gè)單詞，并且其中，一個(gè)或多個(gè)圖像搜索結(jié)果基于一個(gè)或多個(gè)單詞的嵌入被確定，其中，一個(gè)或多個(gè)單詞的嵌入是通過(guò)利用文本嵌入模型處理一個(gè)或多個(gè)單詞生成的。18.一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，包括指令，當(dāng)所述指令由一個(gè)或多個(gè)計(jì)算設(shè)獲得歷史查詢?nèi)罩緮?shù)據(jù)，其中，歷史查詢?nèi)罩緮?shù)據(jù)描述一個(gè)或多個(gè)搜索查詢、響應(yīng)于一個(gè)或多個(gè)搜索查詢的一個(gè)或多個(gè)圖像搜索結(jié)果、以及與一個(gè)或多個(gè)圖像搜索結(jié)果中的每一個(gè)相關(guān)聯(lián)的選擇；基于歷史查詢?nèi)罩緮?shù)據(jù)生成圖像-圖像訓(xùn)練示例，其中，圖像-圖像訓(xùn)練示例描述包括第一圖像和第二圖像的圖像對(duì)以及與所述圖像對(duì)相關(guān)聯(lián)的選擇數(shù)據(jù)；利用圖像嵌入模型處理第一圖像以生成第一圖像的嵌入；利用圖像嵌入模型處理第二圖像以生成第二圖像的嵌入；確定第一圖像的嵌入和第二圖像的嵌入之間的相似性度量；以及至少部分地基于以下來(lái)調(diào)整圖像嵌入模型的一個(gè)或多個(gè)參數(shù)：(i)第一圖像的嵌入與第二圖像的嵌入之間的相似性度量，以及(ii)圖像-圖像訓(xùn)練示例的選擇數(shù)據(jù)。19.根據(jù)權(quán)利要求18所述的一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，確定第一圖像4的嵌入與第二圖像的嵌入之間的相似性度量包括：確定第一圖像的嵌入和第二圖像的嵌入之間的歐幾里得距離。20.根據(jù)權(quán)利要求18所述的一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，選擇數(shù)據(jù)描述圖像對(duì)的共同點(diǎn)擊率和圖像對(duì)的相似圖像點(diǎn)擊率。5訓(xùn)練圖像嵌入模型和文本嵌入模型[0001]本申請(qǐng)是申請(qǐng)日為2019年10月24日、申請(qǐng)?zhí)枮?01980029223.1、發(fā)明名稱為“訓(xùn)練圖像嵌入模型和文本嵌入模型”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。技術(shù)領(lǐng)域[0002]本說(shuō)明書涉及使用機(jī)器學(xué)習(xí)模型來(lái)處理數(shù)據(jù)。背景技術(shù)學(xué)習(xí)模型是參數(shù)模型，并基于接收到的輸入和模型的參數(shù)值產(chǎn)生輸出。[0004]一些機(jī)器學(xué)習(xí)模型是深度模型，其采用多層模型針對(duì)接收到的輸入產(chǎn)生輸出。例如，深度神經(jīng)網(wǎng)絡(luò)是包括輸出層和一個(gè)或更多個(gè)隱藏層的深度機(jī)器學(xué)習(xí)模型，每個(gè)隱藏層將非線性轉(zhuǎn)換應(yīng)用于接收到的輸入以產(chǎn)生輸出。發(fā)明內(nèi)容[0005]本說(shuō)明書描述一種被實(shí)現(xiàn)為在一個(gè)或更多個(gè)位置中的一臺(tái)或更多臺(tái)計(jì)算機(jī)上的計(jì)算機(jī)程序的訓(xùn)練系統(tǒng)，該訓(xùn)練系統(tǒng)使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦?dǎo)出的訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練圖像嵌入模型和文本嵌入模型。[0006]根據(jù)第一方面，提供一種由一個(gè)或更多個(gè)數(shù)據(jù)處理裝置執(zhí)行的方法，該方法包括：獲得包括多個(gè)訓(xùn)練示例的訓(xùn)練數(shù)據(jù)，其中每個(gè)訓(xùn)練示例包括：包括第一圖像和第二圖像的圖像對(duì)；以及指示以下中的一項(xiàng)或更多項(xiàng)的選擇數(shù)據(jù)：(i)圖像對(duì)的共同點(diǎn)擊率，以及(ii)圖像對(duì)的相似圖像點(diǎn)擊率，其中：圖像對(duì)的共同點(diǎn)擊率表征用戶響應(yīng)于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時(shí)識(shí)別而選擇第一圖像和第二圖像兩者的頻率；以及圖像對(duì)的相似圖像點(diǎn)擊率表征用戶響應(yīng)于第一圖像或第二圖像由分別包括第二圖像或第一圖像的搜索查詢的搜索結(jié)果識(shí)別而選擇第一圖像或第二圖像的頻率；以及使用訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練具有多個(gè)圖像嵌入模型參數(shù)的圖像嵌入模型，其中，對(duì)于所述多個(gè)訓(xùn)練示例中的每個(gè)，所述訓(xùn)練包括：使用圖像嵌入模型處理訓(xùn)練示例的第一圖像，以生成第一圖像的嵌入；使用圖像嵌入模型處理訓(xùn)練示例的第二圖像，以生成第二圖像的嵌入；確定第一圖像的嵌入與第二圖像的嵌入之間的相似性度量；以及至少部分地基于以下來(lái)調(diào)整圖像嵌入模型參數(shù)：(i)第一圖像的嵌入與第二圖像的嵌入之間的相似性度量，以及(ii)訓(xùn)練示例的選擇數(shù)據(jù)。[0007]在一些實(shí)施方式中，訓(xùn)練數(shù)據(jù)使用網(wǎng)絡(luò)搜索系統(tǒng)的歷史查詢?nèi)罩旧伞0008]在一些實(shí)施方式中，每個(gè)訓(xùn)練示例的共同點(diǎn)擊率指示用戶響應(yīng)于該訓(xùn)練示例的第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時(shí)識(shí)別而選擇該訓(xùn)練示例的第一圖像和第二圖像兩者的次數(shù)的分?jǐn)?shù)。[0009]在一些實(shí)施方式中，每個(gè)訓(xùn)練示例的相似圖像點(diǎn)擊率指示用戶響應(yīng)于第一圖像或第二圖像由分別包括第二圖像或第一圖像的搜索查詢的搜索結(jié)果識(shí)別而選擇第一圖像或第二圖像的次數(shù)的分?jǐn)?shù)。6[0010]在一些實(shí)施方式中，圖像嵌入模型包括卷積神經(jīng)網(wǎng)絡(luò)。[0011]在一些實(shí)施方式中，調(diào)整圖像嵌入模型參數(shù)包括：確定損失函數(shù)的梯度，該損失函數(shù)取決于：(i)第一圖像的嵌入與第二圖像的嵌入之間的相似性度量，以及(ii)訓(xùn)練示例的選擇數(shù)據(jù)；以及使用該梯度來(lái)調(diào)整圖像嵌入模型參數(shù)。[0012]在一些實(shí)施方式中，損失函數(shù)包括基于訓(xùn)練示例的選擇數(shù)據(jù)確定的倍數(shù)縮放因[0013]在一些實(shí)施方式中，倍數(shù)縮放因子被確定為訓(xùn)練示例的共同點(diǎn)擊率和相似圖像點(diǎn)擊率的線性組合。[0014]在一些實(shí)施方式中，確定第一圖像的嵌入與第二圖像的嵌入之間的相似性度量包括：確定第一圖像的嵌入與第二圖像的嵌入之間的歐幾里德距離。[0015]在一些實(shí)施方式中，該方法可以進(jìn)一步包括接收查詢圖像以及使用通過(guò)根據(jù)在此描述的任何方面或?qū)嵤┓绞降姆椒ǐ@得的訓(xùn)練后的圖像嵌入模型來(lái)處理該查詢圖像。作為示例，處理查詢圖像可以包括確定查詢圖像與搜索索引中的多個(gè)圖像之間的相應(yīng)的相關(guān)性[0016]根據(jù)另一方面，提供一種方法，其包括：接收查詢圖像以及使用通過(guò)根據(jù)在此描述的任何方面或?qū)嵤┓绞降姆椒ǐ@得的訓(xùn)練后的圖像嵌入模型來(lái)處理該查詢圖像。作為示例，處理查詢圖像可以包括確定查詢圖像與搜索索引中的多個(gè)圖像之間的相應(yīng)的相關(guān)性得[0017]根據(jù)第二方面，提供一種系統(tǒng)，其包括：一臺(tái)或更多臺(tái)計(jì)算機(jī)；以及通信上耦合到所述一臺(tái)或更多臺(tái)計(jì)算機(jī)的一個(gè)或更多個(gè)存儲(chǔ)設(shè)備，其中所述一個(gè)或更多個(gè)存儲(chǔ)設(shè)備存儲(chǔ)指令，該指令在由所述一臺(tái)或更多臺(tái)計(jì)算機(jī)運(yùn)行時(shí)使所述一臺(tái)或更多臺(tái)計(jì)算機(jī)執(zhí)行包括先前描述的方法的操作的操作。[0018]根據(jù)第三方面，提供一種或更多種存儲(chǔ)指令的計(jì)算機(jī)存儲(chǔ)介質(zhì)(其可以是或可以不是非暫時(shí)性存儲(chǔ)介質(zhì)),該指令在由一臺(tái)或更多臺(tái)計(jì)算機(jī)運(yùn)行時(shí)使所述一臺(tái)或更多臺(tái)計(jì)算機(jī)執(zhí)行包括先前描述的方法的操作的操作。[0019]可以實(shí)施本說(shuō)明書中描述的主題的特定實(shí)施例，以實(shí)現(xiàn)以下優(yōu)點(diǎn)中的一個(gè)或更多[0020]本說(shuō)明書中描述的訓(xùn)練系統(tǒng)可以通過(guò)處理來(lái)自搜索系統(tǒng)的歷史查詢?nèi)罩镜臄?shù)據(jù)來(lái)生成用于訓(xùn)練圖像嵌入模型和文本嵌入模型的大量訓(xùn)練數(shù)據(jù)(例如，數(shù)十或數(shù)億個(gè)訓(xùn)練示例)?？蓮?例如，網(wǎng)絡(luò)搜索系統(tǒng)的)歷史查詢?nèi)罩居行?dǎo)出的大量訓(xùn)練數(shù)據(jù)使訓(xùn)練系統(tǒng)能夠訓(xùn)練出高度有效的圖像嵌入模型和文本嵌入模型。這樣的可縮放性(例如，對(duì)于可能潛在地包括數(shù)億個(gè)搜索查詢的訓(xùn)練示例)是模型訓(xùn)練領(lǐng)域的一項(xiàng)技術(shù)改進(jìn)。例如，該可縮放性能夠?qū)崿F(xiàn)圖像嵌入模型的訓(xùn)練，該圖像嵌入模型生成隱含地表征大范圍內(nèi)的概念(例如，食物、場(chǎng)景、地標(biāo)、人造產(chǎn)品等)的圖像嵌入。相比之下，一些常規(guī)的圖地表征小范圍內(nèi)的概念(例如，僅食物或僅地標(biāo))的圖像嵌入。[0021]訓(xùn)練系統(tǒng)可以處理歷史查詢?nèi)罩疽陨蓪⑽谋舅阉鞑樵兣c有關(guān)圖像(例如，用戶在其由文本搜索查詢的搜索結(jié)果識(shí)別時(shí)頻繁選擇的圖像)相關(guān)聯(lián)的“查詢-圖像”訓(xùn)練示例。具體地，查詢-圖像訓(xùn)練示例可以將高度特定的文本搜索查詢(例與有關(guān)圖像(例如，描繪由文本搜索查詢指定的對(duì)象)相關(guān)聯(lián)。通過(guò)使用從歷史查詢?nèi)罩緦?dǎo)7出的查詢-圖像訓(xùn)練示例聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型，訓(xùn)練系統(tǒng)可以使圖像嵌入模型生成隱含地表示高度特定的概念的圖像嵌入。例如，訓(xùn)練后的圖像嵌入模型可以處理圖像以生成隱含地表示圖像中描繪的汽車的顏色、樣式和型號(hào)的圖像嵌入。這是模型訓(xùn)練領(lǐng)域的一項(xiàng)技術(shù)改進(jìn)，相比之下，例如，使用如在一些常規(guī)訓(xùn)練數(shù)據(jù)集中那樣將圖像與通用標(biāo)簽(例如“汽車”)相關(guān)聯(lián)的訓(xùn)練示例來(lái)訓(xùn)練圖像嵌入模型和文本嵌入模型可能導(dǎo)致圖像嵌入模型生成相對(duì)無(wú)信息的嵌入。[0022]在一些實(shí)施方式中，訓(xùn)練系統(tǒng)可以生成查詢-圖像訓(xùn)練示例，其包括以大量不同的自然語(yǔ)言(例如，英語(yǔ)、法語(yǔ)、德語(yǔ)等)表達(dá)的搜索查詢。通過(guò)使用多語(yǔ)言查詢-圖像訓(xùn)練示例聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型，訓(xùn)練系統(tǒng)可以訓(xùn)練文本嵌入模型生成獨(dú)立于文本語(yǔ)言的含有信息的文本嵌入。例如，訓(xùn)練系統(tǒng)可以訓(xùn)練文本嵌入模型，以基于與包括文本“年輕的伊麗莎白女王”(英語(yǔ))和“年輕的伊麗莎白女王”(法語(yǔ))的搜索查詢相關(guān)聯(lián)的圖像的相似性生成該文本的相似嵌入。這是模型訓(xùn)練領(lǐng)域的另一項(xiàng)技術(shù)改進(jìn)，訓(xùn)練系統(tǒng)可以基于選擇數(shù)據(jù)訓(xùn)練圖像嵌入模型和文本嵌入模型，該選擇數(shù)據(jù)表征例如兩個(gè)圖像被“共同點(diǎn)擊”的頻率或給定圖像在其由搜索查詢的搜索結(jié)果(即通過(guò)“圖像-圖像”訓(xùn)練示例)識(shí)別時(shí)被選擇的頻率。選擇數(shù)據(jù)可以通過(guò)匯總數(shù)百萬(wàn)個(gè)用戶的用戶派生信號(hào)(例如，點(diǎn)擊)來(lái)確定，并使訓(xùn)練系統(tǒng)能夠更有效地訓(xùn)練圖像嵌入模型和文本嵌入模型。[0023]使用常規(guī)方法生成訓(xùn)練數(shù)據(jù)缺乏通過(guò)處理搜索系統(tǒng)的歷史查詢?nèi)罩緛?lái)生成訓(xùn)練數(shù)據(jù)的許多優(yōu)點(diǎn)。例如，手動(dòng)生成訓(xùn)練數(shù)據(jù)(例如，由人手動(dòng)指定圖像的文本標(biāo)簽)費(fèi)時(shí)且困難，并且一般只有相對(duì)少量的訓(xùn)練數(shù)據(jù)可以這種方式生成。作為另一示例，與從歷史查詢?nèi)罩旧捎?xùn)練數(shù)據(jù)相比，通過(guò)關(guān)聯(lián)從社交網(wǎng)絡(luò)(或其它來(lái)源)繪制的圖像和說(shuō)明文字來(lái)生成訓(xùn)練數(shù)據(jù)可能產(chǎn)生更少的且質(zhì)量更低的訓(xùn)練數(shù)據(jù)，例如，因?yàn)檎f(shuō)明文字可能不準(zhǔn)確地表征圖像的內(nèi)容。產(chǎn)生更多和/或質(zhì)量更高的訓(xùn)練數(shù)據(jù)并使用該訓(xùn)練數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型將提高可訓(xùn)練機(jī)器學(xué)習(xí)模型的準(zhǔn)確性(因此，提供比在使用常規(guī)方法生成的訓(xùn)練數(shù)據(jù)上訓(xùn)練的機(jī)器學(xué)習(xí)模型犯更少錯(cuò)誤的機(jī)器學(xué)習(xí)模型)。另外地或備選地，通過(guò)減少獲得標(biāo)記的訓(xùn)練數(shù)據(jù)所需的時(shí)間，在給定的時(shí)間段內(nèi)，可以建立更大的訓(xùn)練數(shù)據(jù)集，并且這還將提高可訓(xùn)練機(jī)器學(xué)習(xí)模型的準(zhǔn)確性。此外，提高可訓(xùn)練機(jī)器學(xué)習(xí)模型的準(zhǔn)確性可以使使用更簡(jiǎn)單的機(jī)器學(xué)習(xí)模型(例如具有更少的隱藏層)成為可能，并且這可以導(dǎo)致實(shí)現(xiàn)機(jī)器學(xué)習(xí)模型所需的計(jì)算資源減少。以互補(bǔ)的方式，可能需要將數(shù)據(jù)存儲(chǔ)更短的時(shí)間段，因此可能需要總體上更少的存儲(chǔ)器存儲(chǔ)。[0024]本說(shuō)明書的主題的一個(gè)或更多個(gè)實(shí)施例的細(xì)節(jié)在附圖和以下描述中闡述。該主題的其它特征、方面和優(yōu)點(diǎn)將由說(shuō)明書描述、附圖和權(quán)利要求變得明顯。附圖說(shuō)明[0025]圖1示出了示例圖像嵌入模型。[0026]圖2示出了示例文本嵌入模型。[0027]圖3示出了用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦?dǎo)出的訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練圖像嵌入模型和文本嵌入模型的示例訓(xùn)練系統(tǒng)。[0028]圖4示出了由搜索系統(tǒng)提供的示例搜索結(jié)果頁(yè)面，其包括搜索查詢的圖像搜索結(jié)果，該搜索查詢包括一個(gè)或更多個(gè)詞語(yǔ)的序列。8[0029]圖5示出了由搜索系統(tǒng)提供的示例搜索結(jié)果頁(yè)面，其包括搜索查詢的圖像搜索結(jié)[0030]圖6示出了用于使用查詢-圖像訓(xùn)練示例來(lái)聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型的示例過(guò)程。[0031]圖7A示出了用于使用圖像-圖像訓(xùn)練示例來(lái)訓(xùn)練圖像嵌入模型的示例過(guò)程。[0032]圖7B示出了用于使用查詢-圖像訓(xùn)練示例和圖像-圖像訓(xùn)練示例來(lái)聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型的示例過(guò)程。[0033]圖8是用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦?dǎo)出的查詢-圖像訓(xùn)練示例來(lái)聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型的示例過(guò)程的流程圖。[0034]圖9是用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦?dǎo)出的圖像-圖像訓(xùn)練示例來(lái)訓(xùn)練圖像嵌入模型的示例過(guò)程的流程圖。[0035]圖10示出了查詢-圖像訓(xùn)練示例和圖像-圖像訓(xùn)練示例的圖形表示的一部分的示例。[0036]圖11示出了示例搜索系統(tǒng)。[0037]圖12示出了示例計(jì)算機(jī)系統(tǒng)。[0038]在各個(gè)附圖中，相同的附圖標(biāo)記和符號(hào)指示相同的元件。具體實(shí)施方式[0039]本說(shuō)明書描述了用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦?dǎo)出的訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練圖像嵌入模型和文本嵌入模型的訓(xùn)練系統(tǒng)。從歷史查詢?nèi)罩緦?dǎo)出的訓(xùn)練數(shù)據(jù)可以包括查詢-圖像訓(xùn)練示例、圖像-圖像訓(xùn)練示例或兩者。[0040]查詢-圖像訓(xùn)練示例包括：(i)文本搜索查詢，(ii)圖像，以及(iii)選擇數(shù)據(jù)，其表征用戶響應(yīng)于圖像由文字搜索查詢的搜索結(jié)果識(shí)別而選擇該圖像的頻率。如果選擇數(shù)據(jù)指示用戶在圖像由搜索查詢的搜索結(jié)果識(shí)別時(shí)頻繁選擇該圖像，則訓(xùn)練系統(tǒng)可以聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型以生成文本搜索查詢和圖像的相似嵌入。[0041]圖像-圖像訓(xùn)練示例包括圖像對(duì)(包括第一圖像和第二圖像)和指示以下內(nèi)容的選擇數(shù)據(jù)：(i)圖像對(duì)的共同點(diǎn)擊率，(ii)圖像對(duì)的相似圖像點(diǎn)擊率，或(iii)兩者。圖像對(duì)的共同點(diǎn)擊率表征用戶響應(yīng)于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時(shí)識(shí)別而選擇第一圖像和第二圖像兩者的頻率。圖像對(duì)的相似圖像點(diǎn)擊率表征用戶響應(yīng)于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識(shí)別而選擇第一圖像的頻率，反之亦然。訓(xùn)練系統(tǒng)可以訓(xùn)練圖像嵌入模型，以在第一圖像和第二圖像的共同點(diǎn)擊率、相似圖像點(diǎn)擊率或兩者指示它們相關(guān)時(shí)生成第一圖像和第二圖像的相似嵌入。[0042]在一些實(shí)施方式中，訓(xùn)練系統(tǒng)可以使用從歷史查詢?nèi)罩緦?dǎo)出的查詢-圖像訓(xùn)練示例和圖像-圖像訓(xùn)練示例，以用圖形正則化的損失函數(shù)來(lái)聯(lián)合訓(xùn)練圖像嵌入模型和查詢嵌入模型。具體地，查詢-圖像訓(xùn)練示例和圖像-圖像訓(xùn)練示例可以被表示為圖結(jié)構(gòu)，并且訓(xùn)練系統(tǒng)可以基于該圖結(jié)構(gòu)使用損失函數(shù)來(lái)聯(lián)合訓(xùn)練圖像嵌入模型和查詢嵌入模型。[0043]這些特征和其它特征在下面被更詳細(xì)地描述。[0044]圖1示出了示例圖像嵌入模型100。圖像嵌入模型100配置為根據(jù)一組圖像嵌入模型參數(shù)的當(dāng)前值處理圖像102,以生成圖像102的嵌入104。嵌入104是作為數(shù)值的有序集合9(例如作為向量或矩陣)對(duì)圖像102的表示。如將在下面更詳細(xì)描述地，可以使用機(jī)器學(xué)習(xí)技術(shù)來(lái)訓(xùn)練圖像嵌入模型100,以生成圖像102的嵌入104,該嵌入104隱含地表示圖像102的語(yǔ)義內(nèi)容(例如，由圖像102描繪的對(duì)象)。[0045]圖像嵌入模型100可以配置為處理以任何適當(dāng)格式表示的圖像102。例如，圖像嵌入模型100可以配置為處理以紅綠藍(lán)(RGB)顏色格式(即，通過(guò)將各個(gè)紅色值、綠色值和藍(lán)色值與圖像的每個(gè)像素相關(guān)聯(lián)來(lái)表示圖像的格式)表示的圖像102。作為另一示例，圖像嵌入模型100可以配置為處理圖像102的特征表示，例如圖像102的方向梯度直方圖(HOG)表示、尺度不變特征變換(SIFT)表示或加速魯棒特征(SURF)表示。其它特征表示也可以用于訓(xùn)[0046]圖像嵌入模型100可以是由一個(gè)或更多個(gè)位置中的一臺(tái)或更多臺(tái)計(jì)算機(jī)上的計(jì)算機(jī)程序?qū)崿F(xiàn)的神經(jīng)網(wǎng)絡(luò)模型。例如，圖像嵌入模型100可以是具有從Inception神經(jīng)網(wǎng)絡(luò)或ResNet神經(jīng)網(wǎng)絡(luò)導(dǎo)出的架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)。[0047]圖2示出了示例文本嵌入模型200.文本嵌入模型200配置為根據(jù)一組文本嵌入模型參數(shù)的當(dāng)前值處理自然語(yǔ)言(即，文本202)中的一個(gè)或更多個(gè)單詞的序列的表示，以生成文本202的嵌入204.嵌入204是作為數(shù)值的有序集合(例如，作為向量或矩陣)對(duì)文本202的表示。如下面將更詳細(xì)描述地，可以使用機(jī)器學(xué)習(xí)技術(shù)來(lái)訓(xùn)練文本嵌入模型200以生成文本202的嵌入204,該嵌入204隱含地表示文本202的語(yǔ)義內(nèi)容(例如，由文本202描述的對(duì)象)。[0048]文本嵌入模型200可以配置為處理以任何適當(dāng)格式表示的文本202。例如，文本嵌入模型200可以配置為處理被表示為一系列“獨(dú)熱(one-hot)”向量的文本202,其中每個(gè)獨(dú)熱向量表示文本202的相應(yīng)字符(或單詞)。作為另一示例，文本嵌入模型200可以配置為處理由Word2vec模型的輸出表示的文本202。[0049]文本嵌入模型200可以是由一個(gè)或更多個(gè)位置中的一臺(tái)或更多臺(tái)計(jì)算機(jī)上的計(jì)算機(jī)程序?qū)崿F(xiàn)的神經(jīng)網(wǎng)絡(luò)模型。例如，文本嵌入模型200可以是具有包括多個(gè)一維(1D)卷積層的架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)。作為另一示例，文本嵌入模型200可以是從文本202到嵌入204的基于查找的映射。作為另一示例，文本嵌入模型200可以是配置為處理n-gram文本令牌的一系列全連接層。作為另一示例，文本嵌入模型可以是遞歸神經(jīng)網(wǎng)絡(luò)模型(例如，LSTM),其配置為順序地處理文本202的字符的表示。[0050]圖3示出了示例訓(xùn)練系統(tǒng)300,其用于使用從搜索系統(tǒng)306的歷史查詢?nèi)罩?04導(dǎo)出的訓(xùn)練數(shù)據(jù)302來(lái)訓(xùn)練圖像嵌入模型100和文本嵌入模型200。訓(xùn)練系統(tǒng)300通過(guò)確定圖像嵌入模型參數(shù)308和文本嵌入模型參數(shù)310的值來(lái)訓(xùn)練圖像嵌入模型100和文本嵌入模型200。例如，當(dāng)圖像嵌入模型100和文本嵌入模型200被實(shí)現(xiàn)為相應(yīng)的神經(jīng)網(wǎng)絡(luò)時(shí)，訓(xùn)練系統(tǒng)300可以使用損失函數(shù)的梯度迭代地調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)，如下面將更詳細(xì)描述地。訓(xùn)練系統(tǒng)300可以由一個(gè)或更多個(gè)位置中的一臺(tái)或更多臺(tái)計(jì)算機(jī)上的計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)。在一些實(shí)施方式中，訓(xùn)練系統(tǒng)300在圖像嵌入模型100和文本嵌入模型200的訓(xùn)練期間使用一個(gè)或更多個(gè)張量處理單元(TPU-為機(jī)器學(xué)習(xí)而設(shè)計(jì)的專用集成電路(ASIC))。[0051]搜索系統(tǒng)306可以是配置為通過(guò)處理包括文本、圖像或這兩者的搜索查詢執(zhí)行圖像搜索以生成響應(yīng)搜索查詢而識(shí)別圖像的搜索結(jié)果的任何系統(tǒng)。示例搜索系統(tǒng)將參照?qǐng)D11被更詳細(xì)地描述。[0052]搜索系統(tǒng)306的歷史查詢?nèi)罩?04為先前由搜索系統(tǒng)306處理的大量(例如，數(shù)百萬(wàn)個(gè))搜索查詢建立索引。具體地，歷史查詢?nèi)罩?04可以通過(guò)維護(hù)包括以下的數(shù)據(jù)為搜索查詢建立索引：(i)搜索查詢，以及(ii)指定由發(fā)送搜索查詢的設(shè)備的用戶選擇的一個(gè)或更多個(gè)搜索結(jié)果的數(shù)據(jù)。用戶可以通過(guò)經(jīng)由與搜索結(jié)果的任何種類的交互表達(dá)對(duì)搜索結(jié)果的興趣來(lái)“選擇”搜索結(jié)果。例如，用戶可以通過(guò)點(diǎn)擊搜索結(jié)果中包括的超文本鏈接或通過(guò)將光標(biāo)懸停在搜索結(jié)果上預(yù)定的時(shí)間段來(lái)選擇搜索結(jié)果，以生成對(duì)由搜索結(jié)果識(shí)別的電子文檔[0053]訓(xùn)練系統(tǒng)300可以處理來(lái)自歷史查詢?nèi)罩?04的數(shù)據(jù)，以生成用于訓(xùn)練圖像嵌入模型100和文本嵌入模型200的查詢-圖像訓(xùn)練示例和圖像-圖像訓(xùn)練示例。[0054]查詢-圖像訓(xùn)練示例包括：(i)文本搜索查詢，(ii)圖像，以及(iii)表征用戶響應(yīng)于圖像由文字搜索查詢的搜索結(jié)果識(shí)別而選擇圖像的頻率的選擇數(shù)據(jù)。如果選擇數(shù)據(jù)指示用戶在圖像由搜索查詢的搜索結(jié)果識(shí)別時(shí)頻繁選擇該圖像，則訓(xùn)練系統(tǒng)300可以聯(lián)合訓(xùn)練圖像嵌入模型100和文本嵌入模型200以生成搜索查詢和圖像的相似嵌入?？梢允褂萌魏芜m當(dāng)?shù)臄?shù)值相似性度量(例如，如果圖像嵌入模型100和文本嵌入模型200配置為生成相同維數(shù)的嵌入，則使用歐幾里德距離)來(lái)確定嵌入之間的相似性。[0055]圖像-圖像訓(xùn)練示例包括圖像對(duì)(其包括第一圖像和第二圖像)和選擇數(shù)據(jù)，該選擇數(shù)據(jù)指示：(i)圖像對(duì)的共同點(diǎn)擊率，(ii)圖像對(duì)的相似圖像點(diǎn)擊率，或(iii)兩者。圖像對(duì)的共同點(diǎn)擊率表征用戶響應(yīng)于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時(shí)識(shí)別而選擇第一圖像和第二圖像兩者的頻率。圖像對(duì)的相似圖像點(diǎn)擊率表征用戶響應(yīng)于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識(shí)別而選擇第一圖像的頻率，反之亦然。訓(xùn)練系統(tǒng)300可以訓(xùn)練圖像嵌入模型100,以在第一圖像和第二圖像的共同點(diǎn)擊率、相似圖像點(diǎn)擊率或這兩者指示它們相關(guān)時(shí)生成第一圖像和第二圖像的相似嵌入。[0056]圖4示出了由搜索系統(tǒng)306提供的示例搜索結(jié)果頁(yè)面400,該示例搜索結(jié)果頁(yè)面400包括搜索查詢的圖像搜索結(jié)果，該搜索查詢包括一個(gè)或更多個(gè)單詞的序列。具體地，搜索結(jié)[0057]圖5示出了由搜索系統(tǒng)306提供的示例搜索結(jié)果頁(yè)面500,該示例搜索結(jié)果頁(yè)面500包括搜索查詢的圖像搜索結(jié)果，該搜索查詢包括圖像。具體地，搜索結(jié)果頁(yè)面500顯示搜索查詢508的搜索結(jié)果502、504和506,搜索查詢508包括描繪卡車的圖像。響應(yīng)于接收到包括查詢圖像的搜索查詢，搜索系統(tǒng)306可以配置為提供識(shí)別與該查詢圖像相似的圖像的搜索結(jié)果。在該示例中，搜索結(jié)果502、504和506中的每個(gè)識(shí)別出[0058]如果用戶從同一組搜索結(jié)果中選擇分別識(shí)別出第一圖像和第二圖像的搜索結(jié)果，則稱用戶“共同點(diǎn)擊”第一圖像和第二圖像。例如，用戶可以兩個(gè)搜索結(jié)果(例如，一個(gè)接一個(gè))而共同點(diǎn)擊由搜索結(jié)果402識(shí)別的圖像和由搜索結(jié)果404識(shí)別的圖像。作為另一示例，用戶可以通過(guò)選擇搜索結(jié)果頁(yè)面500上的兩個(gè)搜索結(jié)果(例如，一個(gè)接一個(gè))而共同點(diǎn)擊由搜索結(jié)果504識(shí)別的圖像和由搜索結(jié)果506識(shí)別的圖像。如果用戶從同一組搜索結(jié)果中選擇三個(gè)或更多個(gè)搜索結(jié)果，則可以將由每對(duì)被選擇的搜索結(jié)果識(shí)別的圖像視為被共同點(diǎn)擊。例如，如果用戶從同一組搜索結(jié)果中選擇搜索結(jié)果A、B和C,則可以將由搜索結(jié)果{A,B}、{A,C}和{B,C}識(shí)別的圖像對(duì)都視為被共同點(diǎn)擊。[0059]圖6示出了用于使用查詢-圖像訓(xùn)練示例600來(lái)聯(lián)合訓(xùn)練圖像嵌入模型100和文本嵌入模型200的示例過(guò)程。查詢-圖像訓(xùn)練示例600包括搜索查詢602和圖像604,該搜索查詢11602包括一個(gè)或更多個(gè)單詞的序列。訓(xùn)練系統(tǒng)300使用圖像嵌入模型100并根據(jù)圖像嵌入模型200并根據(jù)文本嵌入模型參數(shù)310的當(dāng)前值處理搜索查詢602,以生成搜索查詢602的嵌入[0060]訓(xùn)練系統(tǒng)300確定圖像604的嵌入606與搜索查詢602的嵌入608之間的相似性度量610,并基于相似性度量610確定模型參數(shù)調(diào)整612。此后，訓(xùn)練系統(tǒng)300使用模型參數(shù)調(diào)整索查詢602的搜索結(jié)果識(shí)別而選擇圖像604的頻率。用于使用查詢-圖像訓(xùn)練示例聯(lián)合訓(xùn)練[0061]圖7A示出了用于使用包括第一圖像702和第二圖像704的圖像-圖像訓(xùn)練示例700來(lái)訓(xùn)練圖像嵌入模型100的示例過(guò)程。訓(xùn)練系統(tǒng)300使用圖像嵌入模型100并根據(jù)圖像嵌入300使用圖像嵌入模型100并根據(jù)圖像嵌入模型參數(shù)308的當(dāng)前值處理第二圖像704,以生成[0062]訓(xùn)練系統(tǒng)300確定第一圖像702的嵌入706與第二圖像704的嵌入708之間的相似性[0063]圖7B示出了用于使用查詢-圖像訓(xùn)練示例和圖像-圖像訓(xùn)練示例來(lái)聯(lián)合訓(xùn)練圖像查詢-圖像訓(xùn)練示例600和一個(gè)或更多個(gè)圖像-圖像訓(xùn)練示例700可以由圖像嵌入模型處理(如參照?qǐng)D6所述)和圖像-圖像訓(xùn)練示例(如參照?qǐng)D7A所述)來(lái)確定相應(yīng)的模型參數(shù)調(diào)整714.此后，訓(xùn)練系統(tǒng)300可以使用模型參數(shù)調(diào)整714來(lái)調(diào)整圖像嵌入模型參數(shù)308和文本嵌[0064]圖8是用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦?dǎo)出的查詢-圖像訓(xùn)練示例來(lái)聯(lián)合訓(xùn)集(802)。每個(gè)查詢-圖像訓(xùn)練示例包括：(i)包括一個(gè)或更多個(gè)單詞的序列的搜索查詢，(ii)圖像，以及(iii)表征用戶響應(yīng)于圖像由搜索查詢的搜索結(jié)果識(shí)別而選擇該圖像的頻訓(xùn)練圖像嵌入模型和文本嵌入模型的查詢-圖像訓(xùn)練示例(804)。例如，如果特定訓(xùn)練示例的圖像被用戶響應(yīng)于該圖像由特定的查詢-圖像訓(xùn)練示例的搜索查詢的搜索結(jié)果識(shí)別而最頻繁地選擇，則系統(tǒng)可以選擇該特定的查詢-圖像訓(xùn)練示例。作為另一示例，如果特定的查詢-圖像訓(xùn)練示例的圖像在由該特定的查詢-圖像訓(xùn)練示例的搜索查詢的搜索結(jié)果識(shí)別后被用戶最頻繁選擇的前N個(gè)圖像中，則系統(tǒng)可以選擇該特定的查詢-圖像訓(xùn)練示例。系統(tǒng)在選擇用于聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型的查詢-圖像訓(xùn)練示例時(shí)可以使用各種其它適當(dāng)標(biāo)準(zhǔn)中的任何一個(gè)。例如，系統(tǒng)可以限制被選擇的查詢-圖像訓(xùn)練示例的數(shù)量，該被選擇的查詢-圖像訓(xùn)練示例包括指定特定人員的姓名的搜索查詢以及描繪該特定人員的對(duì)應(yīng)圖像。在此示例中，因?yàn)橥粋€(gè)人的外觀在圖像之間可能發(fā)生顯著變化(例如，由于該人穿戴不同的衣服、鞋子、眼鏡等),所以包括大量的與特定人員對(duì)應(yīng)的查詢-圖像訓(xùn)練示例可能降低訓(xùn)練過(guò)程的有效性。[0067]步驟806-812描述了可以針對(duì)每個(gè)被選擇的查詢-圖像訓(xùn)練示例執(zhí)行以聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型的示例過(guò)程。為了方便起見(jiàn)，步驟806-812描述了可以針對(duì)給定的查詢-圖像訓(xùn)練示例執(zhí)行的步驟。更一般地，可以使用任何適當(dāng)?shù)姆椒▉?lái)聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型。例如，可以使用隨機(jī)梯度下降方法來(lái)聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型，其中針對(duì)查詢-圖像訓(xùn)練示例的“批(batch)”(即，集合)迭代地重復(fù)步驟806-812。在該示例中，當(dāng)滿足訓(xùn)練終止標(biāo)準(zhǔn)時(shí)，系統(tǒng)可以確定訓(xùn)練準(zhǔn)可以是已經(jīng)執(zhí)行了步驟806-812的預(yù)定數(shù)量的迭代。作為另一示例，訓(xùn)練終止標(biāo)準(zhǔn)可以是圖像嵌入模型和文本嵌入模型的參數(shù)的值在步驟806-812的迭代之間的變化低于預(yù)定閾值。[0068]系統(tǒng)使用圖像嵌入模型并根據(jù)圖像嵌入模型參數(shù)的當(dāng)前值處理給定的查詢-圖像訓(xùn)練示例的圖像以生成圖像的嵌入(806)。例如，如果圖像嵌入模型是神經(jīng)網(wǎng)絡(luò)模型，則系統(tǒng)使用由該神經(jīng)網(wǎng)絡(luò)模型的架構(gòu)限定的一系列神經(jīng)網(wǎng)絡(luò)層來(lái)處理圖像。[0069]系統(tǒng)使用文本嵌入模型并根據(jù)文本嵌入模型參數(shù)的當(dāng)前值處理給定的查詢-圖像訓(xùn)練示例的搜索查詢的表示以生成搜索查詢的嵌入(808)。例如，如果文本嵌入模型是神經(jīng)網(wǎng)絡(luò)模型，則系統(tǒng)使用由該神經(jīng)網(wǎng)絡(luò)模型的架構(gòu)限定的一系列神經(jīng)網(wǎng)絡(luò)層來(lái)處理搜索查詢的表示。[0070]系統(tǒng)確定給定的查詢-圖像訓(xùn)練示例的圖像的嵌入和搜索查詢的嵌入之間的相似性度量(810)。例如，圖像的嵌入和搜索查詢的嵌入可以具有相同的維數(shù)，并且系統(tǒng)可以通過(guò)確定相應(yīng)嵌入之間的歐幾里德距離或余弦相似性度量來(lái)確定相似性度量。[0071]系統(tǒng)至少部分地基于給定的查詢-圖像訓(xùn)練示例的圖像的嵌入和搜索查詢的嵌入之間的相似性度量來(lái)調(diào)整圖像嵌入模型參數(shù)和文本嵌入模型參數(shù)(812)。例如，當(dāng)圖像嵌入模型和文本嵌入模型是相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型時(shí)，系統(tǒng)可以確定損失函數(shù)的梯度，并使用該損失函數(shù)的梯度來(lái)調(diào)整圖像嵌入模型參數(shù)和文本嵌入模型參數(shù)。系統(tǒng)可以使用任何適當(dāng)?shù)姆椒?例如，反向傳播)確定損失函數(shù)的梯度。損失函數(shù)可以是取決于給定的查詢-圖像訓(xùn)練示例的圖像的嵌入和搜索查詢的嵌入之間的相似性度量的任何適當(dāng)?shù)膿p失函數(shù)。以下是一些示例。[0072]在一些實(shí)施方式中，損失函數(shù)可以是分類損失函數(shù)。在這些實(shí)施方式中，將給定的查詢-圖像訓(xùn)練示例的搜索查詢視為為該給定的查詢-圖像訓(xùn)練示例的圖像識(shí)別“正”標(biāo)簽。將其它的查詢-圖像訓(xùn)練示例的搜索查詢視為為該給定的查詢-圖像訓(xùn)練示例的圖像識(shí)別相應(yīng)的“負(fù)”標(biāo)簽。更具體地，系統(tǒng)可以將給定的查詢-圖像訓(xùn)練示例查詢-圖像訓(xùn)練示例的搜索查詢的嵌入之間的相似性度量確定為“正”得分。系統(tǒng)可以將每個(gè)其它訓(xùn)練示例的相應(yīng)的“負(fù)”得分確定為給定的查詢-圖像訓(xùn)練示例的圖像的嵌入與該其它訓(xùn)練示例的搜索查詢的嵌入之間的相似性度量。系統(tǒng)可以使用soft-max(或采樣的soft-max)函數(shù)處理正得分和負(fù)得分，并將soft-max(或采樣的soft-max)函數(shù)的輸出提供給交叉熵?fù)p失函數(shù)(或任何其它適當(dāng)?shù)姆诸悡p失函數(shù))。[0073]在一些實(shí)施方式中，損失函數(shù)可以是三重態(tài)損失函數(shù)。在這些實(shí)施方式中，系統(tǒng)可以將給定的查詢-圖像訓(xùn)練示例的圖像的嵌入確定為“錨”,將給定的查詢-圖像訓(xùn)練示例的[0074]可選地，損失函數(shù)可以取決于給定的查詢-圖像訓(xùn)練示例的選擇數(shù)據(jù)，該選擇數(shù)據(jù)表征用戶響應(yīng)于圖像由給定的查詢-圖像訓(xùn)練示例的搜索查詢的搜索結(jié)果識(shí)別而選擇該圖像的頻率。例如，損失函數(shù)可以包括倍數(shù)縮放因子，其基于用戶響應(yīng)于圖像由給定的查詢-圖像訓(xùn)練示例的搜索查詢的搜索結(jié)果識(shí)別而選擇圖像的次數(shù)的分?jǐn)?shù)。[0075]圖9是用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦?dǎo)出的圖像-圖像訓(xùn)練示例來(lái)訓(xùn)練圖像嵌入模型的示例過(guò)程900的流程圖。為了方便起見(jiàn)，過(guò)程900將被描述為由位于一個(gè)或更多個(gè)位置的一臺(tái)或更多臺(tái)計(jì)算機(jī)的系統(tǒng)執(zhí)行。例如，根據(jù)本說(shuō)明書適當(dāng)編程的訓(xùn)練系統(tǒng)(例如，圖3的訓(xùn)練系統(tǒng)300)可以執(zhí)行過(guò)程900。[0076]系統(tǒng)處理來(lái)自搜索系統(tǒng)的歷史查詢?nèi)罩镜臄?shù)據(jù)以生成圖像-圖像訓(xùn)練示例(902)。每個(gè)圖像-圖像訓(xùn)練示例包括：(i)包括第一圖像和第二圖像的圖像對(duì)，(ii)指示圖像對(duì)的共同點(diǎn)擊率、圖像對(duì)的相似圖像點(diǎn)擊率或兩者的選擇數(shù)據(jù)。[0077]圖像對(duì)的共同點(diǎn)擊率表征用戶響應(yīng)于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時(shí)識(shí)別而選擇第一圖像和第二圖像兩者的頻率。例如，圖像對(duì)的共同點(diǎn)擊率可以指示用于響應(yīng)于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時(shí)識(shí)別而選擇第一圖像和第二圖像兩者的次數(shù)的分?jǐn)?shù)。[0078]圖像對(duì)的相似圖像點(diǎn)擊率表征用戶響應(yīng)于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識(shí)別而選擇第一圖像的頻率，反之亦然。例如，圖像對(duì)的相似圖像點(diǎn)擊率可以指示用戶響應(yīng)于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識(shí)別而選擇第一圖像的次[0079]步驟904-908描述了可以針對(duì)每個(gè)圖像-圖像訓(xùn)練示例執(zhí)行以訓(xùn)練圖像嵌入模型的示例過(guò)程。為了方便起見(jiàn)，步驟904-908描述了可以針對(duì)每個(gè)圖像-圖像訓(xùn)練示例執(zhí)行的步驟。更一般地，可以使用任何適當(dāng)?shù)姆椒▉?lái)訓(xùn)練圖像嵌入模型。例如，可以使用隨機(jī)梯度下降方法來(lái)訓(xùn)練圖像嵌入模型，其中針對(duì)被選擇的訓(xùn)練示例的“批”(即，集合)迭代地重復(fù)步驟904-908。在該示例中，當(dāng)滿足訓(xùn)練終止標(biāo)準(zhǔn)時(shí)，系統(tǒng)可以止標(biāo)準(zhǔn)可以是已經(jīng)執(zhí)行了步驟904-908的預(yù)定數(shù)量的迭代。作為另一示例，訓(xùn)練終止標(biāo)準(zhǔn)可以是圖像嵌入模型的參數(shù)的值在步驟904-908的迭代之間的變化低于預(yù)定閾值。如將參照?qǐng)D10更詳細(xì)描述地，圖像-圖像訓(xùn)練示例也可以與查詢-圖像訓(xùn)練示例結(jié)合使用，以使用圖形正則化的損失函數(shù)聯(lián)合訓(xùn)練圖像嵌入模型和文本嵌入模型。[0080]系統(tǒng)使用圖像嵌入模型并根據(jù)圖像嵌入模型參數(shù)的當(dāng)前值處理訓(xùn)練示例的第一可以通過(guò)確定第一圖像和第二圖像的各自的嵌入之間的歐幾里德距離或余弦相似性度量傳播)確定損失函數(shù)的梯度。損失函數(shù)可以是取決于相應(yīng)嵌入與選擇數(shù)據(jù)之間的相似性度[0085]在一些實(shí)施方式中，訓(xùn)練系統(tǒng)300可以使用查詢-圖像訓(xùn)練示例和圖像-圖像訓(xùn)練對(duì)應(yīng)于第一查詢-圖像訓(xùn)練示例和第二查詢-圖像訓(xùn)練示例的第一節(jié)點(diǎn)和第二節(jié)點(diǎn)的邊可以由圖像-圖像訓(xùn)練示例限定，該圖像-圖像訓(xùn)練示例包括由第一查詢-圖像訓(xùn)練示例和第節(jié)點(diǎn)的圖像-查詢訓(xùn)練示例相關(guān)聯(lián)的損失函數(shù)(例如，參照812描述的分類損失或三重態(tài)損以將連接節(jié)點(diǎn)i和j的邊的強(qiáng)度w;;確定為共同點(diǎn)擊率和相似圖像點(diǎn)擊率的線性組合(例如，由等式2定義的損失的L?(I,Q)分量。[0089]訓(xùn)練系統(tǒng)300可以使用任何適當(dāng)?shù)臋C(jī)器學(xué)習(xí)訓(xùn)練技術(shù)、使用圖形正則化的損失函300可以使用等式2中的損失函數(shù)的替代表示通過(guò)隨機(jī)梯度下降來(lái)聯(lián)合訓(xùn)練圖像嵌入模型100和文本嵌入模型200:[0091]其中i和j為圖形表示的節(jié)點(diǎn)建立索引，如果節(jié)點(diǎn)i和節(jié)點(diǎn)j由圖形表示中的邊連的損失函數(shù)來(lái)訓(xùn)練圖像嵌入模型100和文本嵌入模型200的示例方法參照T.D.Bui,S.Ravi,V.Ramavajjala,"NeuralGraphMachines:LearningNeuralNetworksUsingGraphs",[0092]在訓(xùn)練系統(tǒng)300確定圖像嵌入模型參數(shù)308和文本嵌入模型參數(shù)310的值之后，訓(xùn)模型100來(lái)生成由搜索系統(tǒng)維護(hù)的搜索索引中的每個(gè)圖像的相應(yīng)嵌入(如參照?qǐng)D11所述)。在接收到包括查詢圖像的搜索查詢之后，搜索系統(tǒng)306可以使用圖像嵌入模型來(lái)生成查詢性得分。搜索系統(tǒng)306可以基于給定圖像的嵌入與查詢圖像的嵌入之間的相似性度量(例分地基于使用由圖像嵌入模型100生成的嵌入所確定的相關(guān)性得分來(lái)確定搜索查詢的圖像組件需要更換或維護(hù)則警告操作員。作為另一示例，查詢圖像可以是醫(yī)學(xué)圖像，并且圖像可以是有各種醫(yī)學(xué)狀況或處于各種健康狀態(tài)的患者的圖像。搜索系統(tǒng)可以處理接收到的組件圖像以獲得對(duì)圖像中體現(xiàn)的人的當(dāng)前醫(yī)療狀況的指示，例如，作為第一階段檢查以確定醫(yī)學(xué)圖像是否應(yīng)由?？漆t(yī)生審核。[0094]在另一示例中，訓(xùn)練后的文本嵌入模型和訓(xùn)練后的圖像嵌入模型都可以由搜索系統(tǒng)306用于響應(yīng)于包括一個(gè)或更多個(gè)單詞的序列的搜索查詢而對(duì)圖像搜索結(jié)果進(jìn)行排名。更具體地，搜索系統(tǒng)306可以使用圖像嵌入模型100來(lái)生成由搜索系統(tǒng)維護(hù)的搜索索引中的每個(gè)圖像的相應(yīng)嵌入。在接收到包括一個(gè)或更多個(gè)單詞的序列的搜索查詢之后，搜索系統(tǒng)可以使用文本嵌入模型來(lái)生成單詞序列的嵌入，此后使用所生成的嵌入來(lái)確定搜索索引中的多個(gè)圖像中的每個(gè)的相應(yīng)的相關(guān)性得分。搜索系統(tǒng)可以基于給定圖像的嵌入與搜索查詢的單詞序列的嵌入之間的相似性度量(例如，歐幾里得距離)來(lái)確定搜索索引中的給定圖像的相關(guān)性得分。搜索系統(tǒng)306可以至少部分地基于使用由圖像嵌入模型和文本嵌入模型生成的嵌入而確定的相關(guān)性分?jǐn)?shù)來(lái)確定搜索查詢的圖像搜索結(jié)果的排名。[0095]在另一示例中，訓(xùn)練后的文本嵌入模型可以用于確定相似關(guān)鍵詞(或關(guān)鍵詞序列)的“群(cluster)”,即表達(dá)相似語(yǔ)義內(nèi)容的關(guān)鍵詞集合。在具體示例中，相似關(guān)鍵詞的群可嵌入模型通過(guò)確定關(guān)鍵詞語(yǔ)料庫(kù)中的每個(gè)關(guān)鍵詞的相應(yīng)嵌入、此后使用聚類算法以基于其各自的嵌入對(duì)關(guān)鍵詞進(jìn)行聚類而生成關(guān)鍵詞群。聚類算法可以是例如k均值聚類算法或期望最大化聚類算法。使用訓(xùn)練后的文本嵌入模型生成的關(guān)鍵字群可以用作分發(fā)參數(shù)，該分發(fā)參數(shù)調(diào)節(jié)用于與電子文檔(例如，網(wǎng)頁(yè))一起呈現(xiàn)的數(shù)字組件(例如，廣告)的傳輸。[0096]在另一示例中，訓(xùn)練后的文本嵌入模型和訓(xùn)練后的圖像嵌入模型都可以用于圖像分類系統(tǒng)，該圖像分類系統(tǒng)配置為處理圖像以生成將該圖像與來(lái)自預(yù)定標(biāo)簽集合的標(biāo)簽相關(guān)聯(lián)的輸出。例如，標(biāo)簽可以指定對(duì)象類別(例如，人、貓、車系統(tǒng)以將圖像與圖像中描繪的對(duì)象的標(biāo)簽相關(guān)聯(lián)。在該示例中，圖像分類系統(tǒng)可以使用圖像嵌入模型100來(lái)生成輸入圖像的嵌入，并且可以使用文本嵌入模型來(lái)生成搜索查詢語(yǔ)料庫(kù)中的每個(gè)搜索查詢的相應(yīng)嵌入。圖像分類系統(tǒng)可以確定輸入圖像的嵌入與每個(gè)搜索查詢的相應(yīng)嵌入之間的相應(yīng)相似性度量，此后可以將輸入圖像與具有最高相似性度量的特定搜索查詢相關(guān)聯(lián)。圖像分類系統(tǒng)可以基于以下兩項(xiàng)來(lái)確定與輸入圖像相關(guān)聯(lián)的標(biāo)簽：(i)從輸入圖像得出的視覺(jué)特征，以及(ii)從特定搜索查詢得出的語(yǔ)義特征?？梢允褂梦谋厩度肽Ｐ?00和圖像嵌入模型100的圖像分類系統(tǒng)的示例參照美國(guó)專利申請(qǐng)第62/768,701號(hào)進(jìn)行描述。[0097]圖11示出了示例搜索系統(tǒng)100。搜索系統(tǒng)100是被實(shí)現(xiàn)為一個(gè)或更多個(gè)位置中的一臺(tái)或更多臺(tái)計(jì)算機(jī)上的計(jì)算機(jī)程序的系統(tǒng)的示例，在該計(jì)算機(jī)程序中實(shí)現(xiàn)了以下描述的系[0098]搜索系統(tǒng)1100配置為從用戶設(shè)備1104接收搜索查詢1102,以處理搜索查詢1102從而響應(yīng)于搜索查詢1102確定一個(gè)或更多個(gè)搜索結(jié)果1106,并向搜索設(shè)備1104提供搜索結(jié)果1106。搜索查詢1102可以包括以自然語(yǔ)言(例如，英語(yǔ))、圖像、音頻數(shù)據(jù)或任何其它適當(dāng)形式的數(shù)據(jù)表達(dá)的搜索項(xiàng)。搜索結(jié)果1106從網(wǎng)站1110識(shí)別響應(yīng)于搜索查詢1102的電子文檔1108,并包括指向電子文檔1108的鏈接。電子文檔1108可以包括例如圖像、HTML網(wǎng)頁(yè)、文字處理文檔、便攜式文檔格式(PDF)文檔和視頻。電子文檔1108可以包括諸如單詞、短語(yǔ)、圖像和音頻數(shù)據(jù)的內(nèi)容，并且可以包括嵌入式信息(例如，元信息和超鏈接)和嵌入式指令(例如，腳本)。網(wǎng)站1110是與域名相關(guān)聯(lián)并由一個(gè)或更多個(gè)服務(wù)器托管的一個(gè)或更多個(gè)電子文檔1108的集合。例如，網(wǎng)站1110可以是以超文本標(biāo)記語(yǔ)言(HTML)格式化的網(wǎng)頁(yè)集[0099]在具體示例中，搜索查詢1102可以包括搜索詞“阿波羅登月”,并且搜索系統(tǒng)1100可以配置為執(zhí)行圖像搜索，即，提供識(shí)別響應(yīng)搜索查詢1102的相應(yīng)圖像的搜索結(jié)果1106。具體地，搜索系統(tǒng)1100可以提供搜索結(jié)果1106,每個(gè)搜索結(jié)果包括：(i)網(wǎng)頁(yè)的標(biāo)題，(ii)從該網(wǎng)頁(yè)提取的圖像的表示，以及(iii)指向該網(wǎng)頁(yè)或該圖像本身的超文本鏈接(例如，指定統(tǒng)一資源定位符(URL))。在該示例中，搜索系統(tǒng)1100可以提供搜索結(jié)果1106,其包括：(i)網(wǎng)頁(yè)的標(biāo)題“阿波羅登月”,(ii)該網(wǎng)頁(yè)中包括的阿波羅航天器的圖像的縮小尺寸的表示(即，縮略圖),以及(iii)指向該圖像的超文本鏈接。[0100]諸如局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、互聯(lián)網(wǎng)、移動(dòng)電話網(wǎng)絡(luò)或其組合的計(jì)算機(jī)網(wǎng)絡(luò)1112連接網(wǎng)站1110、用戶設(shè)備1104和搜索系統(tǒng)1100(即，使它們能夠通過(guò)網(wǎng)絡(luò)1112發(fā)送和接收數(shù)據(jù))。一般而言，網(wǎng)絡(luò)1112可以將搜索系統(tǒng)1100連接到數(shù)千個(gè)網(wǎng)站1110和用戶設(shè)備[0101]用戶設(shè)備1104是在用戶控制下并能夠通過(guò)網(wǎng)絡(luò)1112發(fā)送和接收數(shù)據(jù)(包括電子文檔1108)的電子設(shè)備。示例用戶設(shè)備1104包括個(gè)人計(jì)算機(jī)、移動(dòng)通信設(shè)備、以及可通過(guò)網(wǎng)絡(luò)1112發(fā)送和接收數(shù)據(jù)的其它設(shè)備。用戶設(shè)備1104通常包括有助于通過(guò)網(wǎng)絡(luò)1112發(fā)送和接收數(shù)據(jù)的用戶應(yīng)用(例如，網(wǎng)頁(yè)瀏覽器)。具體地，用戶設(shè)備1104中包括的用戶應(yīng)用使用戶設(shè)備1104能夠通過(guò)網(wǎng)絡(luò)1112向搜索系統(tǒng)1100發(fā)送搜索查詢1102并接收由搜索系統(tǒng)1100響應(yīng)于搜索查詢1102提供的搜索結(jié)果1106。[0102]用戶設(shè)備1104中包括的用戶應(yīng)用可以向用戶設(shè)備的用戶呈現(xiàn)從搜索系統(tǒng)1100接收到的搜索結(jié)果1106(例如，通過(guò)渲染顯示搜索結(jié)果1106的有序列表的搜索結(jié)果頁(yè)面)。用戶可以選擇由用戶設(shè)備1104呈現(xiàn)的搜索結(jié)果1106之一(例如，通過(guò)點(diǎn)擊搜索結(jié)果1106中包括的超文本鏈接),這可以導(dǎo)致用戶設(shè)備1104生成對(duì)由搜索結(jié)果1106識(shí)別的電子文檔1108的請(qǐng)求。對(duì)由搜索結(jié)果1106識(shí)別的電子文檔1108的請(qǐng)求通過(guò)網(wǎng)絡(luò)1112被發(fā)送到托管電子文檔1108的網(wǎng)站1110。響應(yīng)于接收到對(duì)電子文檔1108的請(qǐng)求，托管電子文檔1108的網(wǎng)站1110可以向用戶設(shè)備1104發(fā)送電子文檔1108。[0103]搜索系統(tǒng)1100使用排名引擎1114處理搜索查詢1102以確定響應(yīng)搜索查詢1102的搜索結(jié)果1106。[0104]搜索系統(tǒng)1100使用索引引擎1120以通過(guò)“爬行(crawling)”(即，系統(tǒng)地瀏覽)網(wǎng)站1110的電子文檔1108生成并維護(hù)搜索索引1116。對(duì)于大量(例如，數(shù)百萬(wàn))電子文檔1108中的每個(gè)，搜索索引1116通過(guò)維護(hù)(i)標(biāo)識(shí)電子文檔1108(例如，通過(guò)指向電子文檔1108的鏈接)以及(ii)表征電子文檔1108的數(shù)據(jù)為電子文檔建議索引。表征電子文檔的由搜索索引檔的質(zhì)量(例如，電子文檔的分辨率(當(dāng)電子文檔是圖像或視頻時(shí)))、與電子文檔相關(guān)聯(lián)的關(guān)鍵詞、電子文檔的緩存副本或其組合的數(shù)據(jù)。[0105]搜索系統(tǒng)1100可以將搜索索引1116存儲(chǔ)在可包括數(shù)千個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備的數(shù)據(jù)存儲(chǔ)中。索引引擎1120可以通過(guò)持續(xù)更新搜索索引1116(例如，通過(guò)為新的申子文檔1108建立索引并從搜索索引1116中刪除不再可用的電子文檔1108)來(lái)維護(hù)搜索索引1116。[0106]搜索系統(tǒng)1100使用查詢?nèi)罩居涗浺?122來(lái)生成并維護(hù)歷史查詢?nèi)罩?118(如前所述)。搜索系統(tǒng)1100可以將歷史查詢?nèi)罩?118存儲(chǔ)在可包括數(shù)千個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備的數(shù)據(jù)存儲(chǔ)中。查詢?nèi)罩居涗浺?122可以通過(guò)持續(xù)更新歷史查詢?nèi)罩?118(例如，通過(guò)在新的搜索查詢由搜索系統(tǒng)1100處理時(shí)對(duì)其建立索引)來(lái)維護(hù)歷史查詢?nèi)罩?118。[0107]排名引擎1114通過(guò)對(duì)由搜索索引1116索引的電子文檔1108打分來(lái)確定響應(yīng)搜索查詢1102的搜索結(jié)果1106。排名引擎1114可以部分地基于從歷史查詢?nèi)罩?118訪問(wèn)的數(shù)據(jù)對(duì)電子文檔1108打分。由排名引擎1114為電子文檔1108確定的得分表征電子文檔對(duì)搜索查詢1102的響應(yīng)度(例如，相關(guān)性)。排名引擎1114基于由搜索索引1116索引的電子文檔1108的各自得分來(lái)確定其排名，并且基于排名來(lái)確定搜索結(jié)果。例如，排名引擎1114可以生成搜索結(jié)果1106,該搜索結(jié)果1106識(shí)別由搜索索引1116索引的排名最高的電子文檔1108。[0108]圖12是可用于執(zhí)行上述操作的示例計(jì)算機(jī)系統(tǒng)1200的框圖。系統(tǒng)1200包括處理器1210、存儲(chǔ)器1220、存儲(chǔ)設(shè)備1230和輸入/輸出設(shè)備1240。組件1210、1220、12每個(gè)可以例如使用系統(tǒng)總線1250互連。處理器1210能夠處理在系統(tǒng)1200內(nèi)運(yùn)行的指令。在一個(gè)實(shí)施方式中，處理器1210是單線程處理器。在另一實(shí)施方式中，處理器1210是多線程處理器。處理器1210能夠處理存儲(chǔ)在存儲(chǔ)器1220或存儲(chǔ)設(shè)備1230中的指令。[0109]存儲(chǔ)器1220將信息存儲(chǔ)在系統(tǒng)1200內(nèi)。在一個(gè)實(shí)施方式中，存儲(chǔ)器1220是計(jì)算機(jī)可讀介質(zhì)。在一個(gè)實(shí)施方式中，存儲(chǔ)器1220是易失性存儲(chǔ)器單元。在另一實(shí)施方式中，存儲(chǔ)器1220是非易失性存儲(chǔ)器單元。[0110]存儲(chǔ)設(shè)備1230能夠?yàn)橄到y(tǒng)1200提供大容量存儲(chǔ)。在一個(gè)實(shí)施方式中，存儲(chǔ)設(shè)備1230是計(jì)算機(jī)可讀介質(zhì)。在各種不同的實(shí)施方式中，存儲(chǔ)設(shè)備1230可以包括例如硬盤設(shè)備、光盤設(shè)備、由多個(gè)計(jì)算設(shè)備(例如，云存儲(chǔ)設(shè)備)在網(wǎng)絡(luò)上共享的存儲(chǔ)設(shè)備、或一些其它大容量存儲(chǔ)設(shè)備。[0111]輸入/輸出設(shè)備1240為系統(tǒng)1200提供輸入/輸出操作。在一個(gè)實(shí)施方式中，輸入/輸出設(shè)備1240可以包括一個(gè)或更多個(gè)網(wǎng)絡(luò)接口設(shè)備，例如以太網(wǎng)卡、串行通信設(shè)備(例如，RS-232端口)和/或無(wú)線接口設(shè)備(例如，802.11卡)。在另一實(shí)施方式中，輸入/輸出設(shè)備可以包括驅(qū)動(dòng)器設(shè)備，其配置為接收輸入數(shù)據(jù)并將輸出數(shù)據(jù)發(fā)送到其它輸入/輸出設(shè)備，例如鍵[0112]盡管已有在圖12中描述了示例處理系統(tǒng)，但是本說(shuō)明書中描述的主題的實(shí)施方式和功能性操作可以在其它類型的數(shù)字電子電路中實(shí)現(xiàn)，或在計(jì)算機(jī)軟件、固件或硬件(包括本說(shuō)明書中公開的結(jié)構(gòu)及其結(jié)構(gòu)等同物)中實(shí)現(xiàn)，或在其中的一種或更多種的組合中實(shí)現(xiàn)。[0113]本說(shuō)明書結(jié)合系統(tǒng)和計(jì)算機(jī)程序組件使用術(shù)語(yǔ)“配置”。對(duì)于要配置為執(zhí)行特定操作或動(dòng)作的一臺(tái)或更多臺(tái)計(jì)算機(jī)的系統(tǒng)，意味著該系統(tǒng)已在其上安裝了軟件、固件、硬件或其組合，所述軟件、固件、硬件或其組合在操作中使該系統(tǒng)執(zhí)行所述操作或動(dòng)作。對(duì)于要配置為執(zhí)行特定操作或動(dòng)作的一個(gè)或更多個(gè)計(jì)算機(jī)程序，意味著所述一個(gè)或更多個(gè)程序包括指令，該指令在由數(shù)據(jù)處理裝置運(yùn)行時(shí)使該裝置執(zhí)行所述操作或動(dòng)作。[0114]本說(shuō)明書中描述的主題的實(shí)施例和功能性操作可以在數(shù)字電子電路中實(shí)現(xiàn)，在有形體現(xiàn)的計(jì)算機(jī)軟件或固件中實(shí)現(xiàn)，在計(jì)算機(jī)硬件(包括本說(shuō)明書中公開的結(jié)構(gòu)及其結(jié)構(gòu)等同物)中實(shí)現(xiàn)，或在其中的一種或更多種的組合中實(shí)現(xiàn)。本說(shuō)明書中描述的主題的實(shí)施例可以被實(shí)現(xiàn)為一個(gè)或更多個(gè)計(jì)算機(jī)程序，即在有形的非暫時(shí)性存儲(chǔ)介質(zhì)上編碼以由數(shù)據(jù)處理裝置運(yùn)行或控制數(shù)據(jù)處理裝置的操作的計(jì)算機(jī)程序指令的一個(gè)或更多個(gè)模塊。計(jì)算機(jī)存儲(chǔ)介質(zhì)可以是機(jī)器可讀存儲(chǔ)設(shè)備、機(jī)器可讀存儲(chǔ)基板、隨機(jī)或串行訪問(wèn)存儲(chǔ)器設(shè)備或其中的一種或更多種的組合。備選地或另外地，程序指令可以被編碼在人工產(chǎn)生的傳播信號(hào)(例如，機(jī)器產(chǎn)生的電信號(hào)、光信號(hào)或電磁信號(hào))上，該傳播信號(hào)被產(chǎn)生以對(duì)信息進(jìn)行編碼而傳輸?shù)胶线m的接收器裝置供數(shù)據(jù)處理裝置運(yùn)行。[0115]術(shù)語(yǔ)“數(shù)據(jù)處理裝置”是指數(shù)據(jù)處理硬件，并涵蓋用于處理數(shù)據(jù)的各種裝置、設(shè)備和機(jī)器，例如包括可編程處理器、計(jì)算機(jī)、或者多個(gè)處理器或計(jì)算機(jī)。該裝置還可以是或可以進(jìn)一步包括專用邏輯電路，例如FPGA(現(xiàn)場(chǎng)可編程門陣列)或ASIC(專用集成電路)。除了硬件之外，該裝置可以可選地包括為計(jì)算機(jī)程序創(chuàng)建運(yùn)行環(huán)境的代碼，例如構(gòu)成處理器固本或代碼)可以以任何形式的編程語(yǔ)言(包括編譯或解釋性語(yǔ)言、或者聲明性或程序性語(yǔ)言)來(lái)編寫；它可以以任何形式(包括作為獨(dú)立程序或作為模塊、組件、子例程或適用于計(jì)算環(huán)境的其它單元)來(lái)部署。程序可以但不必對(duì)應(yīng)于文件系統(tǒng)中的文件。程序可以存儲(chǔ)在保持其它程序或數(shù)據(jù)的文件的一部分(例如，存儲(chǔ)在標(biāo)記語(yǔ)言文檔中的一個(gè)或更多個(gè)腳本)中，在專用于所討論的程序的單個(gè)文件中，或在多個(gè)協(xié)調(diào)文件(例如，存儲(chǔ)一個(gè)或更多個(gè)模塊、子程序或部分代碼的文件)中?？梢詫⒂?jì)算機(jī)程序部署為在一臺(tái)計(jì)算機(jī)上或在位于一個(gè)站點(diǎn)或分布于多個(gè)站點(diǎn)并通過(guò)數(shù)據(jù)通信網(wǎng)絡(luò)互連的多臺(tái)計(jì)算機(jī)上運(yùn)行。[0117]在本說(shuō)明書中，術(shù)語(yǔ)“引擎”廣泛地用于指代被編程以執(zhí)行一個(gè)或更多個(gè)特定功能的基于軟件的系統(tǒng)、子系統(tǒng)或過(guò)程。一般而言，引擎將被實(shí)現(xiàn)為安裝在一個(gè)或更多個(gè)位置中的一臺(tái)或更多臺(tái)計(jì)算機(jī)上的一個(gè)或更多個(gè)軟件模塊或組件。在一些情況下，一臺(tái)或更多臺(tái)計(jì)算機(jī)將專用于特定引擎；在其它情況下，可以在同一臺(tái)計(jì)算機(jī)或相同的多臺(tái)計(jì)算機(jī)上安裝并運(yùn)行多個(gè)引擎。[0118]本說(shuō)明書中描述的過(guò)程和邏輯流程可以由運(yùn)行一個(gè)或更多個(gè)計(jì)算機(jī)程序的一臺(tái)或更多臺(tái)可編程計(jì)算機(jī)執(zhí)行，以通過(guò)對(duì)輸入數(shù)據(jù)進(jìn)行操作并產(chǎn)生輸出來(lái)執(zhí)行功能。所述過(guò)程和邏輯流程還可以由專用邏輯電路(例如，F(xiàn)PGA或ASIC)執(zhí)行，或由專用邏輯電路和一臺(tái)或更多臺(tái)編程計(jì)算機(jī)的組合執(zhí)行。[0119]適合于運(yùn)行計(jì)算機(jī)程序的計(jì)算機(jī)可以基于通用微處理器或?qū)Ｓ梦⑻幚砥骰騼烧?，或者基于任何其它種類的中央處理單元。一般而言，中央處理單元將從只讀存儲(chǔ)器或隨機(jī)存取存儲(chǔ)器或兩者接收指令和數(shù)據(jù)。計(jì)算機(jī)的基本元件是用于執(zhí)行或運(yùn)行指令的中央處理單元以及用于存儲(chǔ)指令和數(shù)據(jù)的一個(gè)或更多個(gè)存儲(chǔ)器設(shè)備。中央處理單元和存儲(chǔ)器可以由專用邏輯電路補(bǔ)充或并入專用邏輯電路中。一般而言，計(jì)算機(jī)還將包括用于存儲(chǔ)數(shù)據(jù)的一個(gè)或更多個(gè)大容量存儲(chǔ)設(shè)備(例如，磁盤、磁光盤或光盤),或者在操作上耦合以從所述一個(gè)或更多個(gè)大容量存儲(chǔ)設(shè)備接收數(shù)據(jù)、或向所述一個(gè)或更多個(gè)大容量存儲(chǔ)設(shè)備發(fā)送數(shù)據(jù)、或既進(jìn)行所述接收又進(jìn)行所述發(fā)送。然而，計(jì)算機(jī)不必具有此類設(shè)備。此外，計(jì)算機(jī)可以被嵌視頻播放器、游戲主機(jī)、全球定位系統(tǒng)(GPS)接收器或便攜式存儲(chǔ)設(shè)備(例如，通用串行總線[0120]適合于存儲(chǔ)計(jì)算機(jī)程序指令和數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)包括所有形式的非易失性[0121]為了支持與用戶的交互，本說(shuō)明書中描述的主題的實(shí)施例可以在計(jì)算機(jī)上實(shí)現(xiàn)，該計(jì)算機(jī)具有用于向用戶顯示信息的顯示設(shè)備(例如，CRT(陰極射線管)或LCD(液晶顯示器)監(jiān)視器)以及用戶可通過(guò)其向計(jì)算機(jī)提供輸入的鍵盤和定點(diǎn)設(shè)備(例