(12)發(fā)明專利地址518000廣東省深圳市羅湖區(qū)深南東路5047號公司44570專利代理師蔡盧惠備及存儲介質(zhì)本發(fā)明提供一種推理服務(wù)的處理方法、裝理模型的復用；提高了AI芯片或2獲取推理服務(wù)請求中的服務(wù)類型；根據(jù)所述服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置；根據(jù)所述目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型；根據(jù)所述目標服務(wù)配置中的模型編排配置，對所述目標推理模型進行編排，得到目標服務(wù)模型；基于所述目標服務(wù)模型，對所述推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)進行推理，得到推理在所述根據(jù)所述服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置的步驟之前，還包括：獲取預(yù)設(shè)的初始配置模板中的目標配置模板以及所述目標配置模板對應(yīng)的目標配置參數(shù)；根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設(shè)置，得到所述初始服務(wù)配所述根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設(shè)置，得到所述初始服務(wù)根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設(shè)置，得到中間服務(wù)配置；根據(jù)所述中間服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的中間推理模型；根據(jù)所述中間服務(wù)配置中的模型編排配置，對所述中間推理模型進行編排，得到中間服務(wù)模型；獲取訓練樣本集，根據(jù)所述訓練樣本集對所述中間服務(wù)模型進行訓練，得到訓練好的中間服務(wù)模型；根據(jù)所述訓練好的中間服務(wù)模型的權(quán)重參數(shù)，對所述中間服務(wù)配置中的模型編排配置進行參數(shù)調(diào)整，得到所述初始服務(wù)配置，模型編排配置包括模型權(quán)重配置；模型編排配置包括模型關(guān)系配置和模型權(quán)重配置；所述根據(jù)所述目標服務(wù)配置中的模根據(jù)所述目標服務(wù)配置中的模型關(guān)系配置，對多個所述目標推理模型進行模型組合；根據(jù)所述目標服務(wù)配置中的模型權(quán)重配置，分別對多個所述目標推理模型進行權(quán)重設(shè)置。2.根據(jù)權(quán)利要求1所述的推理服務(wù)的處理方法，其特征在于，在所述獲取預(yù)設(shè)的初始配置模板中的目標配置模板的步驟之前，還包括：獲取模板構(gòu)建數(shù)據(jù)；根據(jù)所述模板構(gòu)建數(shù)據(jù)，渲染得到所述初始配置模板；所述初始配置模板包括串行編3.根據(jù)權(quán)利要求1所述的推理服務(wù)的處理方法，其特征在于，所述基于所述目標服務(wù)模調(diào)用所述目標服務(wù)模型中輸入端推理模型的暴露接口，接收所述推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)；基于所述目標服務(wù)模型，對所述待推理數(shù)據(jù)進行推理，得到所述推理結(jié)果；調(diào)用所述目標服務(wù)模型中輸出端推理模型的暴露接口，發(fā)送所述推理結(jié)果。4.根據(jù)權(quán)利要求3所述的推理服務(wù)的處理方法，其特征在于，在所述根據(jù)所述目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型的步驟之前，還3獲取模型部署數(shù)據(jù)；根據(jù)所述模型部署數(shù)據(jù)，部署得到所述初始推理模型；設(shè)置所述初始推理模型的暴露接口。類型獲取模塊，用于獲取推理服務(wù)請求中的服務(wù)類型；配置確定模塊，用于根據(jù)所述服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置；模型確定模塊，用于根據(jù)所述目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型；模型編排模塊，用于根據(jù)所述目標服務(wù)配置中的模型編排配置，對所述目標推理模型數(shù)據(jù)推理模塊，用于基于所述目標服務(wù)模型，對所述推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)配置設(shè)置模塊，用于在所述根據(jù)所述服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置的步驟之前，獲取預(yù)設(shè)的初始配置模板中的目標配置模板以及所述目標配置模板對應(yīng)的目標配置參數(shù)，根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設(shè)置，得到所述初始服務(wù)配置；配置設(shè)置模塊具體用于根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設(shè)置，得到中間服務(wù)配置，根據(jù)所述中間服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的中間推理模型，根據(jù)所述中間服務(wù)配置中的模型編排配置，對所述中間推理模型進行編排，得到中間服務(wù)模型，獲取訓練樣本集，根據(jù)所述訓練樣本集對所述中間服務(wù)模型進行訓練，得到訓練好的中間服務(wù)模型，根據(jù)所述訓練好的中間服務(wù)模型的權(quán)重參數(shù)，對所述中間服務(wù)配置中的模型編排配置進行參數(shù)調(diào)整，得到所述初始服務(wù)配置，模型編排配置包括模型權(quán)重配置；模型編排配置包括模型關(guān)系配置和模型權(quán)重配置；模型編排模塊具體用于根據(jù)所述目標服務(wù)配置中的模型關(guān)系配置，對多個所述目標推理模型進行模型組合，根據(jù)所述目標服務(wù)配置中的模型權(quán)重配置，分別對多個所述目標推理模型進行權(quán)重設(shè)置。6.一種計算機設(shè)備，其特征在于，包括存儲器和處理器；所述存儲器存儲有計算機程序，所述處理器用于運行所述存儲器內(nèi)的所述計算機程序，以執(zhí)行權(quán)利要求1至5任一項所述的推理服務(wù)的處理方法中的步驟。7.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器進行加載，以執(zhí)行權(quán)利要求1至5任一項所述的推理服務(wù)的處理方法中的步驟。4技術(shù)領(lǐng)域[0001]本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體涉及一種推理服務(wù)的處理方法、裝置、計算機設(shè)備及存儲介質(zhì)。背景技術(shù)[0002]模型部署是指部署人員將需要的服務(wù)模型部署在平臺上，該過程主要包括模型的(ArtificialIntelligence,人工智能)推理模型組成；推理服務(wù)是指使用部署在平臺上的目標服務(wù)模型對待推理數(shù)據(jù)進行推理并得到推理結(jié)果的過程。[0003]現(xiàn)有技術(shù)中，都是基于具體的服務(wù)場景來進行對應(yīng)的模型部署，比如服務(wù)場景為“圖像中的字符識別”,該服務(wù)場景需要用到兩個推理模型，則在模型部署時，會將這兩個推理模型按照該服務(wù)場景所需要的模型參數(shù)在平臺上進行部署，得到對應(yīng)的服務(wù)模型，也即最終提供推理服務(wù)的服務(wù)模型是直接通過部署得到，該服務(wù)模型對應(yīng)的兩個推理模型只能應(yīng)用在該服務(wù)場景中；導致部署的推理模型無法進行復用，由于推理模型基本都需要借助相應(yīng)的AI芯片或AI顯卡來提升推理性能，從而降低了AI芯片或AI顯卡的利用率，由于AI芯片或AI顯卡的成本較高，進而增加了使用成本；此外，由于無法復用，導致只能再次部署相應(yīng)的推理模型來得到其他服務(wù)場景所需要的服務(wù)模型，造成了資源的浪費。發(fā)明內(nèi)容[0004]針對現(xiàn)有技術(shù)中所存在的不足，本發(fā)明提供一種推理服務(wù)的處理方法、裝置、計算機設(shè)備及存儲介質(zhì)。[0005]第一方面，在一個實施例中，本發(fā)明提供一種推理服務(wù)的處理方法，包括：[0006]獲取推理服務(wù)請求中的服務(wù)類型；[0007]根據(jù)服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置；根據(jù)目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型；[0008]根據(jù)目標服務(wù)配置中的模型編排配置，對目標推理模型進行編排，得到目標服務(wù)模型；[0009]基于目標服務(wù)模型，對推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)進行推理，得到推理結(jié)果。[0010]在一個實施例中，在根據(jù)所述服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置的步驟之前，上述推理服務(wù)的處理方法還包括：[0011]獲取預(yù)設(shè)的初始配置模板中的目標配置模板以及目標配置模板對應(yīng)的目標配置參數(shù)；[0012]根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設(shè)置，得到初始服務(wù)配置。[0013]在一個實施例中，根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設(shè)置，得到初始服[0014]根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設(shè)置，得到中間服務(wù)配置；5[0015]根據(jù)中間服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的中間推理模型；[0016]根據(jù)中間服務(wù)配置中的模型編排配置，對中間推理模型進行編排，得到中間服務(wù)模型；[0017]獲取訓練樣本集，根據(jù)訓練樣本集對中間服務(wù)模型進行訓練，得到訓練好的中間服務(wù)模型；[0018]根據(jù)訓練好的中間服務(wù)模型的權(quán)重參數(shù)，對中間服務(wù)配置中的模型編排配置進行參數(shù)調(diào)整，得到初始服務(wù)配置，模型編排配置包括模型權(quán)重配置。[0019]在一個實施例中，在獲取預(yù)設(shè)的初始配置模板中的目標配置模板的步驟之前，上述推理服務(wù)的處理方法還包括：[0020]獲取模板構(gòu)建數(shù)據(jù)；[0021]根據(jù)模板構(gòu)建數(shù)據(jù)，渲染得到初始配置模板；初始配置模板包括串行編排模板、分支編排模板、切分編排模板、聚合編排模板中的任意一個。[0022]在一個實施例中，模型編排配置包括模型關(guān)系配置和模型權(quán)重配置；根據(jù)目標服務(wù)配置中的模型編排配置，對目標推理模型進行編排，包括：[0023]根據(jù)目標服務(wù)配置中的模型關(guān)系配置，對多個目標推理模型進行模型組合；[0024]根據(jù)目標服務(wù)配置中的模型權(quán)重配置，分別對多個目標推理模型進行權(quán)重設(shè)置。[0025]在一個實施例中，基于目標服務(wù)模型，對推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)進行推[0026]調(diào)用目標服務(wù)模型中輸入端推理模型的暴露接口，接收推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)；[0027]基于目標服務(wù)模型，對待推理數(shù)據(jù)進行推理，得到推理結(jié)果；[0028]調(diào)用目標服務(wù)模型中輸出端推理模型的暴露接口，發(fā)送推理結(jié)果。[0029]在一個實施例中，在根據(jù)目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型的步驟之前，上述推理服務(wù)的處理方法還包括：[0030]獲取模型部署數(shù)據(jù)；[0031]根據(jù)模型部署數(shù)據(jù)，部署得到初始推理模型；[0032]設(shè)置初始推理模型的暴露接口。[0033]第二方面，在一個實施例中，本發(fā)明提供一種推理服務(wù)的處理裝置，包括：[0034]類型獲取模塊，用于獲取推理服務(wù)請求中的服務(wù)類型；[0035]配置確定模塊，用于根據(jù)服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置；模型確定模塊，用于根據(jù)目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型；[0036]模型編排模塊，用于根據(jù)目標服務(wù)配置中的模型編排配置，對目標推理模型進行編排，得到目標服務(wù)模型；[0037]數(shù)據(jù)推理模塊，用于基于目標服務(wù)模型，對推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)進行推理，得到推理結(jié)果。[0038]第三方面，在一個實施例中，本發(fā)明提供一種計算機設(shè)備，包括存儲器和處理器；存儲器存儲有計算機程序，處理器用于運行存儲器內(nèi)的計算機程序，以執(zhí)行上述任一種實6施例中的推理服務(wù)的處理方法中的步驟。[0039]第四方面，在一個實施例中，本發(fā)明提供一種存儲介質(zhì)，存儲介質(zhì)存儲有計算機程序，計算機程序被處理器進行加載，以執(zhí)行上述任一種實施例中的推理服務(wù)的處理方法中的步驟。[0040]通過上述推理服務(wù)的處理方法、裝置、計算機設(shè)備及存儲介質(zhì)，預(yù)先部署的推理模型沒有被限制在任何一個服務(wù)場景中，即推理模型是一個初始化的狀態(tài)，當根據(jù)推理服務(wù)請求中的服務(wù)類型確定到目標服務(wù)配置后，即可根據(jù)目標服務(wù)配置對所需要的目標推理模型進行實時編排，從而得到對應(yīng)的目標服務(wù)模型，從而基于目標服務(wù)模型完成推理服務(wù)；由于目標服務(wù)模型是根據(jù)目標服務(wù)配置實時編排得到，部署的目標推理模型作為基礎(chǔ)，目標服務(wù)配置作為得到目標服務(wù)模型的核心變量，因此部署的推理模型可被不同的服務(wù)配置進行編排，從而得到不同的服務(wù)模型，實現(xiàn)了推理模型的復用；提高了AI芯片或AI顯卡的利用附圖說明[0041]為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附[0042]圖1為本發(fā)明一個實施例中推理服務(wù)的處理方法的應(yīng)用場景示意圖；[0043]圖2為本發(fā)明一個實施例中計算機設(shè)備的內(nèi)部結(jié)構(gòu)示意圖；[0044]圖3為本發(fā)明一個實施例中推理服務(wù)的處理方法的流程示意圖；[0045]圖4為本發(fā)明一個實施例中推理服務(wù)的處理裝置的結(jié)構(gòu)示意圖。具體實施方式[0046]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施理解為指示或暗示相對重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括一個或者更多個所述特征。在本申請的描述解釋為比其它實施例更優(yōu)選或更具優(yōu)勢。為了使本領(lǐng)域任何技術(shù)人員能夠?qū)崿F(xiàn)和使用本發(fā)普通技術(shù)人員可以認識到，在不使用這些特定細節(jié)的情況下也可以實現(xiàn)本發(fā)明。在其它實例中，不會對公知的結(jié)構(gòu)和過程進行詳細闡述，以避免不必要的細節(jié)使本發(fā)明的描述變得晦澀。因此，本發(fā)明并非旨在限于所示的實施例，而是與符合本申請所公開的原理和特征的最廣范圍相一致。7[0048]本發(fā)明實施例中的推理服務(wù)的處理方法應(yīng)用于推理服務(wù)的處理裝置，推理服務(wù)的處理裝置設(shè)置于計算機設(shè)備；計算機設(shè)備可以是終端，例如，手機或平板電腦，計算機設(shè)備還可以是一臺服務(wù)器，或者多臺服務(wù)器組成的服務(wù)集群。[0049]如圖1所示，圖1為本發(fā)明實施例中推理服務(wù)的處理方法的應(yīng)用場景示意圖，本發(fā)明實施例中推理服務(wù)的處理方法的應(yīng)用場景中包括計算機設(shè)備100(計算機設(shè)備100中集成有推理服務(wù)的處理裝置),計算機設(shè)備100中運行推理服務(wù)的處理方法對應(yīng)的計算機可讀存儲介質(zhì)，以執(zhí)行推理服務(wù)的處理方法的步驟。[0050]可以理解的是，圖1所示推理服務(wù)的處理方法的應(yīng)用場景中的計算機設(shè)備，或者計算機設(shè)備中包含的裝置并不構(gòu)成對本發(fā)明實施例的限制，即，推理服務(wù)的處理方法的應(yīng)用場景中包含的設(shè)備數(shù)量、設(shè)備種類，或者各個設(shè)備中包含的裝置數(shù)量、裝置種類不影響本發(fā)明實施例中技術(shù)方案整體實現(xiàn)，均可以算作本發(fā)明實施例要求保護技術(shù)方案的等效替換或衍生。[0051]本發(fā)明實施例中計算機設(shè)備100可以是獨立的設(shè)備，也可以是設(shè)備組成的設(shè)備網(wǎng)絡(luò)或設(shè)備集群，例如，本發(fā)明實施例中所描述的計算機設(shè)備100,其包括但不限于電腦、網(wǎng)絡(luò)主機、單個網(wǎng)絡(luò)設(shè)備、多個網(wǎng)絡(luò)設(shè)備集或多個設(shè)備構(gòu)成的云設(shè)備。其中，云設(shè)備由基于云計算(CloudComputing)的大量電腦或網(wǎng)絡(luò)設(shè)備構(gòu)成。[0052]本領(lǐng)域技術(shù)人員可以理解，圖1中示出的應(yīng)用場景，僅僅是與本發(fā)明的技術(shù)方案對應(yīng)的一種應(yīng)用場景，并不構(gòu)成對本發(fā)明的技術(shù)方案的應(yīng)用場景的限定，其他的應(yīng)用場景還可以包括比圖1中所示更多或更少的計算機設(shè)備，或者計算機設(shè)備網(wǎng)絡(luò)連接關(guān)系，例如圖1中僅示出1個計算機設(shè)備，可以理解的，該推理服務(wù)的處理方法的場景還可以包括一個或多個其他計算機設(shè)備，具體此處不作限定；該計算機設(shè)備100中還可以包括存儲器，用于存儲推理服務(wù)的處理方法相關(guān)的信息。[0053]此外，本發(fā)明實施例中的推理服務(wù)的處理方法的應(yīng)用場景中計算機設(shè)備100可以設(shè)置顯示裝置，或者計算機設(shè)備100中不設(shè)置顯示裝置并與外接的顯示裝置200通訊連接，顯示裝置200用于輸出計算機設(shè)備中推理服務(wù)的處理方法執(zhí)行的結(jié)果。計算機設(shè)備100可以訪問后臺數(shù)據(jù)庫300(后臺數(shù)據(jù)庫300可以是計算機設(shè)備100的本地存儲器，后臺數(shù)據(jù)庫300還可以設(shè)置在云端),后臺數(shù)據(jù)庫300中保存有推理服務(wù)的處理方法相關(guān)的信息。[0054]需要說明的是，圖1所示的推理服務(wù)的處理方法的應(yīng)用場景僅僅是一個示例，本發(fā)明實施例描述的推理服務(wù)的處理方法的應(yīng)用場景是為了更加清楚的說明本發(fā)明實施例的技術(shù)方案，并不構(gòu)成對于本發(fā)明實施例提供的技術(shù)方案的限定。[0055]如圖2所示，其示出了本發(fā)明所涉及的計算機設(shè)備的結(jié)構(gòu)，具體來講：[0056]該計算機設(shè)備可以包括一個或者一個以上處理核心的處理器201、一個或一個以上計算機可讀存儲介質(zhì)的存儲器202、電源203和輸入單元204等部件。本領(lǐng)域技術(shù)人員可以理解，圖2中示出的計算機設(shè)備的結(jié)構(gòu)并不構(gòu)成對計算機設(shè)備的限定，可以包括比圖示更多[0057]處理器201是該計算機設(shè)備的控制中心，利用各種接口和線路連接整個計算機設(shè)備的各個部分，通過運行或執(zhí)行存儲在存儲器202內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲在存儲器202內(nèi)的數(shù)據(jù)，執(zhí)行計算機設(shè)備的各種功能和處理數(shù)據(jù)，從而對計算機設(shè)備進行整體監(jiān)控?？蛇x的，處理器201可包括一個或多個處理核心；優(yōu)選的，處理器201可集成應(yīng)用處8理器和調(diào)制解調(diào)處理器，其中，應(yīng)用處理器主要處理操作系統(tǒng)、用戶界面和計算機程序等，調(diào)制解調(diào)處理器主要處理無線通信。可以理解的是，上述調(diào)制解調(diào)處理器也可以不集成到處理器201中。[0058]存儲器202可用于存儲軟件程序以及模塊，處理器201通過運行存儲在存儲器202的軟件程序以及模塊，從而執(zhí)行各種功能應(yīng)用以及數(shù)據(jù)處理。存儲器202可主要包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū)，其中，存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需的計算機程序(比如聲音播放功能、圖像播放功能等)等；存儲數(shù)據(jù)區(qū)可存儲根據(jù)服務(wù)器的使用所創(chuàng)建的數(shù)據(jù)等。此外，存儲器202可以包括高速隨機存取存儲器，還可以至少一個磁盤存儲器件、閃存器件、或其他易失性固態(tài)存儲器件。相包括存儲器控制器，以提供處理器201對存儲器202的訪問。[0059]計算機設(shè)備還包括給各個部件供電的電源203,優(yōu)選的，電源203可以通過電源管理系統(tǒng)與處理器201邏輯相連，從而通過電源管理系統(tǒng)實現(xiàn)管理充電、放電、以及功耗管理等功能。電源203還可以包括一個或一個以上的直流或交流電源、再充電系統(tǒng)、電源故障檢測電路、電源轉(zhuǎn)換器或者逆變器、電源狀態(tài)指示器等任意組件。[0060]該計算機設(shè)備還可包括輸入單元204,該輸入單元204可用于接收輸入的數(shù)字或字符信息，以及產(chǎn)生與用戶設(shè)置以及功能控制有關(guān)的鍵盤、鼠標、操作桿、光學或者軌跡球信號輸入。[0061]基于上述推理服務(wù)的處理方法的應(yīng)用場景，提出了推理服務(wù)的處理方法的實施例。[0063]步驟301,獲取推理服務(wù)請求中的服務(wù)類型；[0064]其中，本實施例主要用于提供線上的推理服務(wù)，即本實施例中的推理服務(wù)的處理方法的執(zhí)行主體為服務(wù)方，服務(wù)方接收請求方發(fā)送的推理服務(wù)請求；[0065]其中，服務(wù)類型主要是用于確定服務(wù)場景，從而才能夠確定該服務(wù)場景對應(yīng)的服務(wù)配置；請求方和服務(wù)方可預(yù)先約定服務(wù)類型的表示形式，從而當服務(wù)方獲取到請求方發(fā)送的服務(wù)類型時，能夠識別其表達的含義；具體的，服務(wù)方可預(yù)先提供每種初始服務(wù)配置各自對應(yīng)的服務(wù)類型，請求方可發(fā)送針對某個服務(wù)類型的選擇信息，從而服務(wù)方根據(jù)該選擇信息將對應(yīng)的服務(wù)類型確定為該服務(wù)處理請求中指定的服務(wù)類型；[0066]其中，服務(wù)方和請求方可以通過HTTP協(xié)議(超文本傳輸協(xié)議HyperTextTransferProtoco,它是基于TCP協(xié)議的應(yīng)用層傳輸協(xié)議，簡單來說就是客戶端和服務(wù)端進行數(shù)據(jù)傳輸?shù)囊环N規(guī)則)來發(fā)送和接收推理服務(wù)請求，即推理服務(wù)請求為http請求(http請求包括http請求行、http請求頭和http請求正文),在該http請求中，服務(wù)類型對應(yīng)數(shù)據(jù)存放在http請求正文中；[0067]步驟302,根據(jù)服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置；[0068]其中，服務(wù)類型和服務(wù)配置是對應(yīng)的，服務(wù)類型可作為服務(wù)配置的代號標識；具體的，可預(yù)先構(gòu)建服務(wù)配置庫，服務(wù)配置庫中包含多個初始服務(wù)配置以及每個初始服務(wù)配置各自對應(yīng)的初始服務(wù)類型，從而可根據(jù)推理服務(wù)請求中的服務(wù)類型在服務(wù)配置庫中匹配對應(yīng)的初始服務(wù)類型，然后將初始服務(wù)類型對應(yīng)的初始服務(wù)配置設(shè)置為本次推理服務(wù)需要的9目標服務(wù)配置；比如獲取到的服務(wù)類型表征的服務(wù)場景為“圖像的輪廓檢測”,則可確定到“圖像的輪廓檢測”對應(yīng)的目標服務(wù)配置；[0069]其中，服務(wù)配置包括模型類型配置以及模型編排配置；模型類型配置主要是指定需要用到的推理模型的模型類型，而模型編排配置主要是指定推理模型到服務(wù)模型的實現(xiàn)過程中所需要的各項參數(shù)；[0070]步驟303,根據(jù)目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型；[0071]其中，模型類型配置中的模型類型和推理模型是對應(yīng)的，模型類型可作為推理模型的代號標識；具體的，可預(yù)先構(gòu)建推理模型庫，推理模型庫中包含多個初始推理模型以及每個初始推理模型各自對應(yīng)的初始模型類型(需要說明的是，推理模型庫僅僅用于解釋本實施例的一種實施方法，而非將每個推理模型保存在推理模型庫中，實際上，每個推理模型都已經(jīng)部署在服務(wù)方的平臺上),從而可根據(jù)模型類型配置中的每個模型類型在推理模型庫中匹配對應(yīng)的初始模型類型，然后將初始模型類型對應(yīng)的初始推理模型設(shè)置為對應(yīng)的目標推理類型；比如得到“圖像的輪廓檢測”的目標服務(wù)配置，則對應(yīng)的模型類型配置為實現(xiàn)“圖像的輪廓檢測”所需要用到的目標推理模型，比如為推理模型A;[0072]步驟304,根據(jù)目標服務(wù)配置中的模型編排配置，對目標推理模型進行編排，得到目標服務(wù)模型；[0073]其中，確定到的目標推理模型僅僅是一個初始化的狀態(tài)，其權(quán)重參數(shù)為“可編輯”的狀態(tài)，在未編輯時，目標推理模型無法正常執(zhí)行或者執(zhí)行效果遠不如預(yù)期(該情況主要是指存在一個初始化的權(quán)重參數(shù)),因此，當確定到模型編排配置時，即可根據(jù)其中的權(quán)重參數(shù)來對目標推理模型進行參數(shù)設(shè)置，從而得到對應(yīng)的目標服務(wù)模型；具體的，比如目標推理模型只包括推理模型A,則模型編排配置中只包含推理模型A的權(quán)重參數(shù)，然后根據(jù)該權(quán)重參數(shù)對推理模型A進行參數(shù)設(shè)置，得到設(shè)有權(quán)重參數(shù)的推理模型A,即目標服務(wù)模型，在該舉例中，目標服務(wù)模型只由一個推理模型組成，當然在其他實施例中，目標推理模型還可以由兩個或以上的推理模型組成，具體取決于對應(yīng)的服務(wù)場景；[0074]步驟305,基于目標服務(wù)模型，對推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)進行推理，得到推理結(jié)果；服務(wù)場景為例，待推理數(shù)據(jù)即為待檢測圖像，推理結(jié)果即為待檢測圖像對應(yīng)的輪廓圖像；[0076]其中，待推理數(shù)據(jù)可以直接被包含在上述的推理服務(wù)請求中(在該方式中，需要通過解析推理服務(wù)請求來獲取該待推理數(shù)據(jù)),也可以存儲在某個地址中，而該地址被包含在請求方發(fā)送的推理服務(wù)請求中，從而可以降低推理服務(wù)請求的數(shù)據(jù)量，并且當該地址與服務(wù)方之間的通訊鏈路較近時，能夠節(jié)省傳輸資源。[0077]通過上述推理服務(wù)的處理方法，預(yù)先部署的推理模型沒有被限制在任何一個服務(wù)場景中，即推理模型是一個初始化的狀態(tài)，當根據(jù)推理服務(wù)請求中的服務(wù)類型確定到目標服務(wù)配置后，即可根據(jù)目標服務(wù)配置對所需要的目標推理模型進行實時編排，從而得到對應(yīng)的目標服務(wù)模型，從而基于目標服務(wù)模型完成推理服務(wù)；由于目標服務(wù)模型是根據(jù)目標服務(wù)配置實時編排得到，部署的目標推理模型作為基礎(chǔ)，目標服務(wù)配置作為得到目標服務(wù)模型的核心變量，因此部署的推理模型可被不同的服務(wù)配置進行編排，從而得到不同的服務(wù)模型，實現(xiàn)了推理模型的復用；提高了AI芯片或AI顯卡的利用率還避免了資源的浪費。[0078]在一個實施例中，在根據(jù)所述服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置的步驟之前，上述推理服務(wù)的處理方法還包括：[0079]獲取預(yù)設(shè)的初始配置模板中的目標配置模板以及目標配置模板對應(yīng)的目標配置參數(shù)；[0080]其中，服務(wù)方人員可通過可視化管理界面的方式，來構(gòu)建后續(xù)推理服務(wù)所需要用到的初始服務(wù)配置；具體的，該可視化管理界面中預(yù)設(shè)有多個初始配置模板，每個初始配置模板都采用DAG(Directedacyclicgraph,有向無環(huán)圖)的邏輯方式，服務(wù)方人員可根據(jù)需要的服務(wù)場景選擇對應(yīng)的初始配置模板，比如通過鼠標輸入一個針對可視化管理界面中某個初始配置模板的點擊指令，從而將該初始配置模板設(shè)置為目標配置模板；同理的，服務(wù)方人員可根據(jù)需要的服務(wù)場景來輸入相應(yīng)的目標配置參數(shù)，具體的，可直接通過鍵盤和/或鼠標輸入完整的目標配置參數(shù)，也可以選擇界面提供的多個典型配置參數(shù)的一種來作為目標配置參數(shù)，在此不做限定；[0081]根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設(shè)置，得到初始服務(wù)配置；[0082]其中，服務(wù)方人員通常是基于選擇的目標配置模板來輸入對應(yīng)的目標配置參數(shù)，DAG是由頂點和有向邊構(gòu)成的一種圖狀結(jié)構(gòu)，在該圖中，選定一個頂點v開始，沿著有序的邊在內(nèi)的每個節(jié)點對應(yīng)的含義，以及各節(jié)點之間的有向邊關(guān)系；比如最終期望得到的目標服理數(shù)據(jù)輸入到推理模型A中，然后得到推理模型A輸出的第一結(jié)果后，將第一結(jié)果分別輸入到推理模型B和推理模型C中，然后分別得到推理模型B輸出的第二結(jié)果和推理模型C輸出的第三結(jié)果，最終將第二結(jié)果和第三結(jié)果輸入到推理模型D中，然后得到推理模型D輸出的推別表征推理模型A(包括推理模型A的權(quán)重參數(shù))、推理模型B(包括推理模型B的權(quán)重參數(shù))、推理模型C(包括推理模型C的權(quán)重參數(shù))以及推理模型D(包括推理模型D的權(quán)重參數(shù)),然后節(jié)點A作為頂點分別與節(jié)點B和節(jié)點C連接，節(jié)點B和節(jié)點C再分別與節(jié)點D連接，而包含上述信息的DAG作為所需要的初始服務(wù)配置，在后續(xù)將該初始服務(wù)配置確定為目標服務(wù)配置后，即可根據(jù)目標服務(wù)配置得到對應(yīng)的目標服務(wù)模型；而服務(wù)方人員實質(zhì)在于構(gòu)建上述性質(zhì)的DAG,具體的，目標配置模板為一個空白的DAG,空白的DAG具有一定數(shù)量的節(jié)點且各節(jié)點之間具有一定的有向邊關(guān)系，服務(wù)方人員則通過調(diào)整空白的DAG的節(jié)點數(shù)量，以及節(jié)點之間的有向邊關(guān)系，并且設(shè)置每個節(jié)點所表征的含義，最終構(gòu)建得到一個初始服務(wù)配置；[0083]其中，服務(wù)方人員在進行參數(shù)設(shè)置時，還需要以責任鏈模式(定義：為了避免請求發(fā)送者與多個請求處理者耦合在一起，于是將所有請求的處理者通過前一對象記住其下一個對象的引用而連成一條鏈；當有請求發(fā)生時，可將請求沿著這條鏈傳遞，直到有對象處理它為止)添加自定義的業(yè)務(wù)邏輯中間價，從而保證后續(xù)能夠根據(jù)服務(wù)配置可靠的得到服務(wù)模型；[0084]其中，服務(wù)方人員在設(shè)置每個節(jié)點的權(quán)重參數(shù)時，輸入的權(quán)重參數(shù)可以是已經(jīng)訓練好的，也即服務(wù)方人員可在其他平臺或系統(tǒng)中部署該目標服務(wù)模型，然后對其進行訓練，11最終得到訓練好的目標服務(wù)模型以及訓練好的目標服務(wù)模型對應(yīng)的權(quán)重參數(shù)，然后直接根據(jù)該權(quán)重參數(shù)設(shè)置各節(jié)點的權(quán)重參數(shù)。[0085]通過可視化管理界面的方式，并開發(fā)對應(yīng)的初始配置模板，使得在后續(xù)創(chuàng)建初始[0086]在一個實施例中，根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設(shè)置，得到初始服[0087]根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設(shè)置，得到中間服務(wù)配置；[0088]其中，上述實施例提到，目標配置參數(shù)中的權(quán)重參數(shù)可以是訓練好的；而在本實施例中，目標配置參數(shù)中的權(quán)重參數(shù)可以是未訓練的，因此需要在本平臺中調(diào)用對應(yīng)的推理模型進行訓練；具體的，服務(wù)方人員可以輸入一個初始的權(quán)重參數(shù)進行參數(shù)設(shè)置，從而得到一個中間服務(wù)配置(在本實施例中，沒有側(cè)重描述模型類型以及有向邊關(guān)系，具體細節(jié)可參考上述實施例);[0089]根據(jù)中間服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的中間推理模型；[0090]根據(jù)中間服務(wù)配置中的模型編排配置，對中間推理模型進行編排，得到中間服務(wù)模型；[0091]其中，根據(jù)中間服務(wù)配置來得到對應(yīng)的中間服務(wù)模型，其具體過程可參考上述實施例中“根據(jù)目標服務(wù)配置來得到對應(yīng)的目標服務(wù)模型”的具體過程，兩者實質(zhì)步驟基本一[0092]獲取訓練樣本集，根據(jù)訓練樣本集對中間服務(wù)模型進行訓練，得到訓練好的中間服務(wù)模型；[0093]其中，訓練樣本集可以采用公開的樣本，訓練的目的在于使模型的輸出滿足期望要求；[0094]根據(jù)訓練好的中間服務(wù)模型的權(quán)重參數(shù)，對中間服務(wù)配置進行參數(shù)調(diào)整，得到初始服務(wù)配置；[0095]其中，對中間服務(wù)配置進行參數(shù)調(diào)整主要是針對中間服務(wù)配置中的權(quán)重參數(shù)部分，調(diào)整權(quán)重參數(shù)后，中間服務(wù)配置中的權(quán)重參數(shù)即為訓練好的權(quán)重參數(shù)，因此即可直接將中間服務(wù)配置確定為對應(yīng)的初始服務(wù)配置。[0096]在一個實施例中，獲取訓練樣本集，根據(jù)訓練樣本集對中間服務(wù)模型進行訓練，得[0097]獲取訓練樣本集，訓練樣本集中包括由多個訓練樣本，每個訓練樣本包括訓練待推理數(shù)據(jù)和訓練推理結(jié)果；[0098]其中，訓練推理結(jié)果由訓練待推理數(shù)據(jù)經(jīng)過人工處理得到；[0099]獲取一個訓練樣本，將訓練待推理數(shù)據(jù)作為中間服務(wù)模型的輸入，將訓練推理結(jié)果作為中間服務(wù)模型的期望輸出，對中間服務(wù)模型進行訓練，即完成一次訓練；[0100]確定中間服務(wù)模型的實際輸出與期望輸出的比對結(jié)果，若比對結(jié)果不滿足要求時，根據(jù)比對結(jié)果更新中間服務(wù)模型的模型參數(shù)；[0101]獲取下一個訓練樣本，然后重新進入將訓練待推理數(shù)據(jù)作為中間服務(wù)模型的輸入，將訓練推理結(jié)果作為中間服務(wù)模型的期望輸出，對中間服務(wù)模型進行訓練的步驟，直至得到的比對結(jié)果滿足要求時，停止訓練，得到訓練好的中間服務(wù)模型。[0102]在一個實施例中，確定中間服務(wù)模型的實際輸出與期望輸出的比對結(jié)果，若比對結(jié)果不滿足要求時，根據(jù)比對結(jié)果更新中間服務(wù)模型的模型參數(shù)，包括：[0103]確定中間服務(wù)模型的實際輸出與期望輸出的比對差值，根據(jù)比對差值計算得到損[0104]若損失值不滿足預(yù)設(shè)收斂條件時，根據(jù)損失值更新中間服務(wù)模型的模型參數(shù)。[0105]在一個實施例中，在獲取預(yù)設(shè)的初始配置模板中的目標配置模板的步驟之前，上述推理服務(wù)的處理方法還包括：[0107]其中，上述已經(jīng)提到，服務(wù)方人員可通過選擇可視化管理界面中的配置模板來得到對應(yīng)的初始服務(wù)配置，因此在此之前還需要構(gòu)建可視化管理界面中的配置模板；具體的，由于配置模板實質(zhì)是空白的DAG,因此服務(wù)方人員可通過圖元編輯的方式來構(gòu)建配置模板，模板構(gòu)建數(shù)據(jù)則是指在構(gòu)建的過程中，服務(wù)方人員輸入的各種指令或參數(shù)；[0109]其中，可視化管理界面實時根據(jù)服務(wù)方人員輸入的各種指令或參數(shù)在對應(yīng)的編輯界面進行實時渲染，當服務(wù)方人員完成所有指令或參數(shù)的輸入后，即可渲染得到對應(yīng)的初始配置模板；[0110]其中，初始配置模板包括串行編排模板、分支編排模板、切分編排模板、聚合編排模板中的任意一個。[0111]在一個實施例中，模型編排配置包括模型關(guān)系配置和模型權(quán)重配置；根據(jù)目標服[0112]根據(jù)目標服務(wù)配置中的模型關(guān)系配置，對多個目標推理模型進行模型組合；[0113]其中，上述已經(jīng)提到，目標服務(wù)配置是以DAG的形式存在，因此當對應(yīng)的目標服務(wù)模型由多個推理模型組成時，在DAG中會存在多個節(jié)點，除了需要設(shè)置各節(jié)點的含義(包括模型類型(即模型類型配置)以及權(quán)重參數(shù)(即本實施例中的模型權(quán)重配置))之外，還需要針對多個節(jié)點設(shè)置各節(jié)點之間的有向邊關(guān)系，即為本實施例中的模型關(guān)系配置；若目標服務(wù)模型只由一個推理模型組成，則DAG中只存在一個節(jié)點，因此也無需考慮節(jié)點之間的有向邊關(guān)系；[0114]根據(jù)目標服務(wù)配置中的模型權(quán)重配置，分別對多個目標推理模型進行權(quán)重設(shè)置；[0115]其中，模型權(quán)重配置主要是用于設(shè)置推理模型的權(quán)重參數(shù)，具體細節(jié)可參考上述[0116]在一個實施例中，基于目標服務(wù)模型，對推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)進行推[0117]調(diào)用目標服務(wù)模型中輸入端推理模型的暴露接口，接收推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)；[0118]其中，暴露接口為http標準推理接口，每個初始推理模型都存在對應(yīng)的暴露接口，當目標服務(wù)模型由多個推理模型組成時，用于最先對待推理數(shù)據(jù)進行處理的推理模型即為輸入端推理模型；比如最終期望得到的目標服務(wù)模型由推理模型A、推理模型B、推理模型C以及推理模型D組成，且實現(xiàn)過程包括：將待推理數(shù)據(jù)輸入到推理模型A中，然后得到推理模型A輸出的第一結(jié)果后，將第一結(jié)果分別輸入到推理模型B和推理模型C中，然后分別得到推理模型B輸出的第二結(jié)果和推理模型C輸出的第三結(jié)果，最終將第二結(jié)果和第三結(jié)果輸入到推理模型D中，然后得到推理模型D輸出的推理結(jié)果；則推理模型A為輸入端推理模型，當?shù)玫皆撃繕朔?wù)模型后，即可調(diào)用推理模型A的暴露接口，直接接收請求方發(fā)送的待推理數(shù)[0120]調(diào)用目標服務(wù)模型中輸出端推理模型的暴露接口，發(fā)送推理結(jié)果；[0121]其中，同理的，當目標服務(wù)模型由多個推理模型組成時，用于最后對待推理數(shù)據(jù)進行處理并得到推理結(jié)果的推理模型即為輸出端推理模型；以上個步驟的舉例為例，推理模型D為輸出端推理模型，用于將推理結(jié)果發(fā)送至請求方；[0122]其中，需要注意的是，當目標服務(wù)模型由一個推理模型組成時，則該推理模型即作為輸入端推理模型，也作為輸出端推理模型，待推理數(shù)據(jù)的接收以及推理結(jié)果的發(fā)送都通過該推理模型的暴露接口；[0123]其中，當存在暴露接口時，待處理數(shù)據(jù)無需被包含在推理服務(wù)請求中，也無需存儲在某個地址中。[0124]在一個實施例中，在根據(jù)目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型的步驟之前，上述推理服務(wù)的處理方法還包括：[0127]其中，模型部署主要是遵循數(shù)據(jù)壓縮、提高并發(fā)、提高與平臺的兼容性等要求，在平臺上裝配對應(yīng)的模型；模型部署的具體過程可參考現(xiàn)有技術(shù)，在此不再贅述；[0128]設(shè)置初始推理模型的暴露接口；[0129]其中，設(shè)置暴露接口用于實現(xiàn)后續(xù)待推理數(shù)據(jù)的接收以及推理結(jié)果的發(fā)送，具體細節(jié)可參考上述實施例，在此不再贅述。[0131]類型獲取模塊401,用于獲取推理服務(wù)請求中的服務(wù)類型；[0132]配置確定模塊402,用于根據(jù)服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配[0133]模型確定模塊403,用于根據(jù)目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型；[0134]模型編排模塊404,用于根據(jù)目標服務(wù)配置中的模型編排配置，對目標推理模型進[0135]數(shù)據(jù)推理模塊405,用于基于目標服務(wù)模型，對推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)進[0136]通過上述推理服務(wù)的處理裝置，預(yù)先部署的推理模型沒有被限制在任何一個服務(wù)場景中，即推理模型是一個初始化的狀態(tài)，當根據(jù)推理服務(wù)請求中的服務(wù)類型確定到目標服務(wù)配置后，即可根據(jù)目標服務(wù)配置對所需要的目標推理模型進行實時編排，從而得到對應(yīng)的目標服務(wù)模型，從而基于目標服務(wù)模型完成推理服務(wù)；由于目標服務(wù)模型是根據(jù)目標服務(wù)配置實時編排得到，部署的目標推理模型作為基礎(chǔ)，目標服務(wù)配置作為得到目標服務(wù)模型的核心變量，因此部署的推理模型可被不同的服務(wù)配置進行編排，從而得到不同的服還避免了資源的浪費。[0137]在一個實施例中，上述推理服務(wù)的處理裝置還包括：[0138]配置設(shè)置模塊，用于在根據(jù)所述服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置的步驟之前，獲取預(yù)設(shè)的初始配置模板中的目標配置模板以及目標配置模板對應(yīng)的[0139]在一個實施例中，配置設(shè)置模塊具體用于根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設(shè)置，得到中間服務(wù)配置；根據(jù)中間服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的中間推理模型；根據(jù)中間服務(wù)配置中的模型編排配置，對中間推理模型進行編排，得到中間服務(wù)模型；獲取訓練樣本集，根據(jù)訓練樣本集對中間服務(wù)模型進行訓練，得到訓練好的中間服務(wù)模型；根據(jù)訓練好的中間服務(wù)模型的權(quán)重參數(shù)，對中間服務(wù)配置中的模型編排配置進行參數(shù)調(diào)整，得到初始服務(wù)配置，模型編排配置包括模型權(quán)重配置。[0140]在一個實施例中，上述推理服務(wù)的處理裝置還包括：[0141]模板設(shè)置模塊，用于在獲取預(yù)設(shè)的初始配置模板中的目標配置模板的步驟之前，獲取模板構(gòu)建數(shù)據(jù)；根據(jù)模板構(gòu)建數(shù)據(jù)，渲染得到初始配置模板；初始配置模板包括串行編[0142]在一個實施例中，模型編排配置包括模型關(guān)系配置和模型權(quán)重配置；模型編排模塊具體用于根據(jù)目標服務(wù)配置中的模型關(guān)系配置，對多個目標推理模型進行模型組合；根據(jù)目標服務(wù)配置中的模型權(quán)重配置，分別對多個目標推理模型進行權(quán)重設(shè)置。[0143]在一個實施例中，數(shù)據(jù)推理模塊具體用于調(diào)用目標服務(wù)模型中輸入端推理模型的暴露接口，接收推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)；基于目標服務(wù)模型，對待推理數(shù)據(jù)進行推理，得到推理結(jié)果；調(diào)用目標服務(wù)模型中輸出端推理模型的暴露接口，發(fā)送推理結(jié)果。[0144]在一個實施例中，上述推理服務(wù)的處理裝置還包括：[0145]模型部署模塊，用于在根據(jù)目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型的步驟之前，獲取模型部署數(shù)據(jù)；根據(jù)模型部署數(shù)據(jù)，部署得到初始推理模型；設(shè)置初始推理模型的暴露接口。[0146]第三方面，在一個實施例中，本發(fā)明提供一種計算機設(shè)備，具體在本實施例中，計算機設(shè)備中的處理器201會按照如下的指令，將一個或一個以上的計算機程序的進程對應(yīng)的可執(zhí)行文件加載到存儲器202中，并由處理器201來運行存儲在存儲器202中的計算機程[0147]獲取推理服務(wù)請求中的服務(wù)類型；[0148]根據(jù)服務(wù)類型，確定預(yù)設(shè)的初始服務(wù)配置中的目標服務(wù)配置；根據(jù)目標服務(wù)配置中的模型類型配置，確定預(yù)先部署的初始推理模型中的目標推理模型；[0149]根據(jù)目標服務(wù)配置中的模型編排配置，對目標推理模型進行編排，得到目標服務(wù)模型；[0150]基于目標服務(wù)模型，對推理服務(wù)請求對應(yīng)的待推理數(shù)據(jù)進行推理，得到推理結(jié)果。[0151]通過上述計算機設(shè)備，預(yù)先部署的推理模型沒有被限制在任何一個服務(wù)場景中，即推理模型是一個初始化的狀態(tài)，當根據(jù)推理服務(wù)請求中的服務(wù)類型確定到目標服務(wù)配置后，即可根據(jù)目標服務(wù)配置對所需要的目標推理模型進行實時編排，從而得到對應(yīng)的目標服務(wù)模型，從而基于目標服務(wù)模型完成推理服務(wù)；由于目標服務(wù)模型是根據(jù)目標服務(wù)配置實時編排得到，部署的目標推理模型作為基礎(chǔ)，目標服務(wù)配置作為得到目標服務(wù)模型的核心變量，因此部署的推理模型可被不同的服務(wù)配置進行編排，從而得到不同的服務(wù)模型，實現(xiàn)了推理模