(12)發(fā)明專利地址518000廣東省深圳市羅湖區(qū)深南東路5047號公司44570專利代理師蔡盧惠備及存儲介質本發(fā)明提供一種推理服務的處理方法、裝理模型的復用；提高了AI芯片或2獲取推理服務請求中的服務類型；根據(jù)所述服務類型，確定預設的初始服務配置中的目標服務配置；根據(jù)所述目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型；根據(jù)所述目標服務配置中的模型編排配置，對所述目標推理模型進行編排，得到目標服務模型；基于所述目標服務模型，對所述推理服務請求對應的待推理數(shù)據(jù)進行推理，得到推理在所述根據(jù)所述服務類型，確定預設的初始服務配置中的目標服務配置的步驟之前，還包括：獲取預設的初始配置模板中的目標配置模板以及所述目標配置模板對應的目標配置參數(shù)；根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設置，得到所述初始服務配所述根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設置，得到所述初始服務根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設置，得到中間服務配置；根據(jù)所述中間服務配置中的模型類型配置，確定預先部署的初始推理模型中的中間推理模型；根據(jù)所述中間服務配置中的模型編排配置，對所述中間推理模型進行編排，得到中間服務模型；獲取訓練樣本集，根據(jù)所述訓練樣本集對所述中間服務模型進行訓練，得到訓練好的中間服務模型；根據(jù)所述訓練好的中間服務模型的權重參數(shù)，對所述中間服務配置中的模型編排配置進行參數(shù)調整，得到所述初始服務配置，模型編排配置包括模型權重配置；模型編排配置包括模型關系配置和模型權重配置；所述根據(jù)所述目標服務配置中的模根據(jù)所述目標服務配置中的模型關系配置，對多個所述目標推理模型進行模型組合；根據(jù)所述目標服務配置中的模型權重配置，分別對多個所述目標推理模型進行權重設置。2.根據(jù)權利要求1所述的推理服務的處理方法，其特征在于，在所述獲取預設的初始配置模板中的目標配置模板的步驟之前，還包括：獲取模板構建數(shù)據(jù)；根據(jù)所述模板構建數(shù)據(jù)，渲染得到所述初始配置模板；所述初始配置模板包括串行編3.根據(jù)權利要求1所述的推理服務的處理方法，其特征在于，所述基于所述目標服務模調用所述目標服務模型中輸入端推理模型的暴露接口，接收所述推理服務請求對應的待推理數(shù)據(jù)；基于所述目標服務模型，對所述待推理數(shù)據(jù)進行推理，得到所述推理結果；調用所述目標服務模型中輸出端推理模型的暴露接口，發(fā)送所述推理結果。4.根據(jù)權利要求3所述的推理服務的處理方法，其特征在于，在所述根據(jù)所述目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型的步驟之前，還3獲取模型部署數(shù)據(jù)；根據(jù)所述模型部署數(shù)據(jù)，部署得到所述初始推理模型；設置所述初始推理模型的暴露接口。類型獲取模塊，用于獲取推理服務請求中的服務類型；配置確定模塊，用于根據(jù)所述服務類型，確定預設的初始服務配置中的目標服務配置；模型確定模塊，用于根據(jù)所述目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型；模型編排模塊，用于根據(jù)所述目標服務配置中的模型編排配置，對所述目標推理模型數(shù)據(jù)推理模塊，用于基于所述目標服務模型，對所述推理服務請求對應的待推理數(shù)據(jù)配置設置模塊，用于在所述根據(jù)所述服務類型，確定預設的初始服務配置中的目標服務配置的步驟之前，獲取預設的初始配置模板中的目標配置模板以及所述目標配置模板對應的目標配置參數(shù)，根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設置，得到所述初始服務配置；配置設置模塊具體用于根據(jù)所述目標配置參數(shù)，對所述目標配置模板進行參數(shù)設置，得到中間服務配置，根據(jù)所述中間服務配置中的模型類型配置，確定預先部署的初始推理模型中的中間推理模型，根據(jù)所述中間服務配置中的模型編排配置，對所述中間推理模型進行編排，得到中間服務模型，獲取訓練樣本集，根據(jù)所述訓練樣本集對所述中間服務模型進行訓練，得到訓練好的中間服務模型，根據(jù)所述訓練好的中間服務模型的權重參數(shù)，對所述中間服務配置中的模型編排配置進行參數(shù)調整，得到所述初始服務配置，模型編排配置包括模型權重配置；模型編排配置包括模型關系配置和模型權重配置；模型編排模塊具體用于根據(jù)所述目標服務配置中的模型關系配置，對多個所述目標推理模型進行模型組合，根據(jù)所述目標服務配置中的模型權重配置，分別對多個所述目標推理模型進行權重設置。6.一種計算機設備，其特征在于，包括存儲器和處理器；所述存儲器存儲有計算機程序，所述處理器用于運行所述存儲器內的所述計算機程序，以執(zhí)行權利要求1至5任一項所述的推理服務的處理方法中的步驟。7.一種存儲介質，其特征在于，所述存儲介質存儲有計算機程序，所述計算機程序被處理器進行加載，以執(zhí)行權利要求1至5任一項所述的推理服務的處理方法中的步驟。4技術領域[0001]本發(fā)明涉及人工智能技術領域，具體涉及一種推理服務的處理方法、裝置、計算機設備及存儲介質。背景技術[0002]模型部署是指部署人員將需要的服務模型部署在平臺上，該過程主要包括模型的(ArtificialIntelligence,人工智能)推理模型組成；推理服務是指使用部署在平臺上的目標服務模型對待推理數(shù)據(jù)進行推理并得到推理結果的過程。[0003]現(xiàn)有技術中，都是基于具體的服務場景來進行對應的模型部署，比如服務場景為“圖像中的字符識別”,該服務場景需要用到兩個推理模型，則在模型部署時，會將這兩個推理模型按照該服務場景所需要的模型參數(shù)在平臺上進行部署，得到對應的服務模型，也即最終提供推理服務的服務模型是直接通過部署得到，該服務模型對應的兩個推理模型只能應用在該服務場景中；導致部署的推理模型無法進行復用，由于推理模型基本都需要借助相應的AI芯片或AI顯卡來提升推理性能，從而降低了AI芯片或AI顯卡的利用率，由于AI芯片或AI顯卡的成本較高，進而增加了使用成本；此外，由于無法復用，導致只能再次部署相應的推理模型來得到其他服務場景所需要的服務模型，造成了資源的浪費。發(fā)明內容[0004]針對現(xiàn)有技術中所存在的不足，本發(fā)明提供一種推理服務的處理方法、裝置、計算機設備及存儲介質。[0005]第一方面，在一個實施例中，本發(fā)明提供一種推理服務的處理方法，包括：[0006]獲取推理服務請求中的服務類型；[0007]根據(jù)服務類型，確定預設的初始服務配置中的目標服務配置；根據(jù)目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型；[0008]根據(jù)目標服務配置中的模型編排配置，對目標推理模型進行編排，得到目標服務模型；[0009]基于目標服務模型，對推理服務請求對應的待推理數(shù)據(jù)進行推理，得到推理結果。[0010]在一個實施例中，在根據(jù)所述服務類型，確定預設的初始服務配置中的目標服務配置的步驟之前，上述推理服務的處理方法還包括：[0011]獲取預設的初始配置模板中的目標配置模板以及目標配置模板對應的目標配置參數(shù)；[0012]根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設置，得到初始服務配置。[0013]在一個實施例中，根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設置，得到初始服[0014]根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設置，得到中間服務配置；5[0015]根據(jù)中間服務配置中的模型類型配置，確定預先部署的初始推理模型中的中間推理模型；[0016]根據(jù)中間服務配置中的模型編排配置，對中間推理模型進行編排，得到中間服務模型；[0017]獲取訓練樣本集，根據(jù)訓練樣本集對中間服務模型進行訓練，得到訓練好的中間服務模型；[0018]根據(jù)訓練好的中間服務模型的權重參數(shù)，對中間服務配置中的模型編排配置進行參數(shù)調整，得到初始服務配置，模型編排配置包括模型權重配置。[0019]在一個實施例中，在獲取預設的初始配置模板中的目標配置模板的步驟之前，上述推理服務的處理方法還包括：[0020]獲取模板構建數(shù)據(jù)；[0021]根據(jù)模板構建數(shù)據(jù)，渲染得到初始配置模板；初始配置模板包括串行編排模板、分支編排模板、切分編排模板、聚合編排模板中的任意一個。[0022]在一個實施例中，模型編排配置包括模型關系配置和模型權重配置；根據(jù)目標服務配置中的模型編排配置，對目標推理模型進行編排，包括：[0023]根據(jù)目標服務配置中的模型關系配置，對多個目標推理模型進行模型組合；[0024]根據(jù)目標服務配置中的模型權重配置，分別對多個目標推理模型進行權重設置。[0025]在一個實施例中，基于目標服務模型，對推理服務請求對應的待推理數(shù)據(jù)進行推[0026]調用目標服務模型中輸入端推理模型的暴露接口，接收推理服務請求對應的待推理數(shù)據(jù)；[0027]基于目標服務模型，對待推理數(shù)據(jù)進行推理，得到推理結果；[0028]調用目標服務模型中輸出端推理模型的暴露接口，發(fā)送推理結果。[0029]在一個實施例中，在根據(jù)目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型的步驟之前，上述推理服務的處理方法還包括：[0030]獲取模型部署數(shù)據(jù)；[0031]根據(jù)模型部署數(shù)據(jù)，部署得到初始推理模型；[0032]設置初始推理模型的暴露接口。[0033]第二方面，在一個實施例中，本發(fā)明提供一種推理服務的處理裝置，包括：[0034]類型獲取模塊，用于獲取推理服務請求中的服務類型；[0035]配置確定模塊，用于根據(jù)服務類型，確定預設的初始服務配置中的目標服務配置；模型確定模塊，用于根據(jù)目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型；[0036]模型編排模塊，用于根據(jù)目標服務配置中的模型編排配置，對目標推理模型進行編排，得到目標服務模型；[0037]數(shù)據(jù)推理模塊，用于基于目標服務模型，對推理服務請求對應的待推理數(shù)據(jù)進行推理，得到推理結果。[0038]第三方面，在一個實施例中，本發(fā)明提供一種計算機設備，包括存儲器和處理器；存儲器存儲有計算機程序，處理器用于運行存儲器內的計算機程序，以執(zhí)行上述任一種實6施例中的推理服務的處理方法中的步驟。[0039]第四方面，在一個實施例中，本發(fā)明提供一種存儲介質，存儲介質存儲有計算機程序，計算機程序被處理器進行加載，以執(zhí)行上述任一種實施例中的推理服務的處理方法中的步驟。[0040]通過上述推理服務的處理方法、裝置、計算機設備及存儲介質，預先部署的推理模型沒有被限制在任何一個服務場景中，即推理模型是一個初始化的狀態(tài)，當根據(jù)推理服務請求中的服務類型確定到目標服務配置后，即可根據(jù)目標服務配置對所需要的目標推理模型進行實時編排，從而得到對應的目標服務模型，從而基于目標服務模型完成推理服務；由于目標服務模型是根據(jù)目標服務配置實時編排得到，部署的目標推理模型作為基礎，目標服務配置作為得到目標服務模型的核心變量，因此部署的推理模型可被不同的服務配置進行編排，從而得到不同的服務模型，實現(xiàn)了推理模型的復用；提高了AI芯片或AI顯卡的利用附圖說明[0041]為了更清楚地說明本發(fā)明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附[0042]圖1為本發(fā)明一個實施例中推理服務的處理方法的應用場景示意圖；[0043]圖2為本發(fā)明一個實施例中計算機設備的內部結構示意圖；[0044]圖3為本發(fā)明一個實施例中推理服務的處理方法的流程示意圖；[0045]圖4為本發(fā)明一個實施例中推理服務的處理裝置的結構示意圖。具體實施方式[0046]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施理解為指示或暗示相對重要性或者隱含指明所指示的技術特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括一個或者更多個所述特征。在本申請的描述解釋為比其它實施例更優(yōu)選或更具優(yōu)勢。為了使本領域任何技術人員能夠實現(xiàn)和使用本發(fā)普通技術人員可以認識到，在不使用這些特定細節(jié)的情況下也可以實現(xiàn)本發(fā)明。在其它實例中，不會對公知的結構和過程進行詳細闡述，以避免不必要的細節(jié)使本發(fā)明的描述變得晦澀。因此，本發(fā)明并非旨在限于所示的實施例，而是與符合本申請所公開的原理和特征的最廣范圍相一致。7[0048]本發(fā)明實施例中的推理服務的處理方法應用于推理服務的處理裝置，推理服務的處理裝置設置于計算機設備；計算機設備可以是終端，例如，手機或平板電腦，計算機設備還可以是一臺服務器，或者多臺服務器組成的服務集群。[0049]如圖1所示，圖1為本發(fā)明實施例中推理服務的處理方法的應用場景示意圖，本發(fā)明實施例中推理服務的處理方法的應用場景中包括計算機設備100(計算機設備100中集成有推理服務的處理裝置),計算機設備100中運行推理服務的處理方法對應的計算機可讀存儲介質，以執(zhí)行推理服務的處理方法的步驟。[0050]可以理解的是，圖1所示推理服務的處理方法的應用場景中的計算機設備，或者計算機設備中包含的裝置并不構成對本發(fā)明實施例的限制，即，推理服務的處理方法的應用場景中包含的設備數(shù)量、設備種類，或者各個設備中包含的裝置數(shù)量、裝置種類不影響本發(fā)明實施例中技術方案整體實現(xiàn)，均可以算作本發(fā)明實施例要求保護技術方案的等效替換或衍生。[0051]本發(fā)明實施例中計算機設備100可以是獨立的設備，也可以是設備組成的設備網絡或設備集群，例如，本發(fā)明實施例中所描述的計算機設備100,其包括但不限于電腦、網絡主機、單個網絡設備、多個網絡設備集或多個設備構成的云設備。其中，云設備由基于云計算(CloudComputing)的大量電腦或網絡設備構成。[0052]本領域技術人員可以理解，圖1中示出的應用場景，僅僅是與本發(fā)明的技術方案對應的一種應用場景，并不構成對本發(fā)明的技術方案的應用場景的限定，其他的應用場景還可以包括比圖1中所示更多或更少的計算機設備，或者計算機設備網絡連接關系，例如圖1中僅示出1個計算機設備，可以理解的，該推理服務的處理方法的場景還可以包括一個或多個其他計算機設備，具體此處不作限定；該計算機設備100中還可以包括存儲器，用于存儲推理服務的處理方法相關的信息。[0053]此外，本發(fā)明實施例中的推理服務的處理方法的應用場景中計算機設備100可以設置顯示裝置，或者計算機設備100中不設置顯示裝置并與外接的顯示裝置200通訊連接，顯示裝置200用于輸出計算機設備中推理服務的處理方法執(zhí)行的結果。計算機設備100可以訪問后臺數(shù)據(jù)庫300(后臺數(shù)據(jù)庫300可以是計算機設備100的本地存儲器，后臺數(shù)據(jù)庫300還可以設置在云端),后臺數(shù)據(jù)庫300中保存有推理服務的處理方法相關的信息。[0054]需要說明的是，圖1所示的推理服務的處理方法的應用場景僅僅是一個示例，本發(fā)明實施例描述的推理服務的處理方法的應用場景是為了更加清楚的說明本發(fā)明實施例的技術方案，并不構成對于本發(fā)明實施例提供的技術方案的限定。[0055]如圖2所示，其示出了本發(fā)明所涉及的計算機設備的結構，具體來講：[0056]該計算機設備可以包括一個或者一個以上處理核心的處理器201、一個或一個以上計算機可讀存儲介質的存儲器202、電源203和輸入單元204等部件。本領域技術人員可以理解，圖2中示出的計算機設備的結構并不構成對計算機設備的限定，可以包括比圖示更多[0057]處理器201是該計算機設備的控制中心，利用各種接口和線路連接整個計算機設備的各個部分，通過運行或執(zhí)行存儲在存儲器202內的軟件程序和/或模塊，以及調用存儲在存儲器202內的數(shù)據(jù)，執(zhí)行計算機設備的各種功能和處理數(shù)據(jù)，從而對計算機設備進行整體監(jiān)控?？蛇x的，處理器201可包括一個或多個處理核心；優(yōu)選的，處理器201可集成應用處8理器和調制解調處理器，其中，應用處理器主要處理操作系統(tǒng)、用戶界面和計算機程序等，調制解調處理器主要處理無線通信?？梢岳斫獾氖牵鲜稣{制解調處理器也可以不集成到處理器201中。[0058]存儲器202可用于存儲軟件程序以及模塊，處理器201通過運行存儲在存儲器202的軟件程序以及模塊，從而執(zhí)行各種功能應用以及數(shù)據(jù)處理。存儲器202可主要包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū)，其中，存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需的計算機程序(比如聲音播放功能、圖像播放功能等)等；存儲數(shù)據(jù)區(qū)可存儲根據(jù)服務器的使用所創(chuàng)建的數(shù)據(jù)等。此外，存儲器202可以包括高速隨機存取存儲器，還可以至少一個磁盤存儲器件、閃存器件、或其他易失性固態(tài)存儲器件。相包括存儲器控制器，以提供處理器201對存儲器202的訪問。[0059]計算機設備還包括給各個部件供電的電源203,優(yōu)選的，電源203可以通過電源管理系統(tǒng)與處理器201邏輯相連，從而通過電源管理系統(tǒng)實現(xiàn)管理充電、放電、以及功耗管理等功能。電源203還可以包括一個或一個以上的直流或交流電源、再充電系統(tǒng)、電源故障檢測電路、電源轉換器或者逆變器、電源狀態(tài)指示器等任意組件。[0060]該計算機設備還可包括輸入單元204,該輸入單元204可用于接收輸入的數(shù)字或字符信息，以及產生與用戶設置以及功能控制有關的鍵盤、鼠標、操作桿、光學或者軌跡球信號輸入。[0061]基于上述推理服務的處理方法的應用場景，提出了推理服務的處理方法的實施例。[0063]步驟301,獲取推理服務請求中的服務類型；[0064]其中，本實施例主要用于提供線上的推理服務，即本實施例中的推理服務的處理方法的執(zhí)行主體為服務方，服務方接收請求方發(fā)送的推理服務請求；[0065]其中，服務類型主要是用于確定服務場景，從而才能夠確定該服務場景對應的服務配置；請求方和服務方可預先約定服務類型的表示形式，從而當服務方獲取到請求方發(fā)送的服務類型時，能夠識別其表達的含義；具體的，服務方可預先提供每種初始服務配置各自對應的服務類型，請求方可發(fā)送針對某個服務類型的選擇信息，從而服務方根據(jù)該選擇信息將對應的服務類型確定為該服務處理請求中指定的服務類型；[0066]其中，服務方和請求方可以通過HTTP協(xié)議(超文本傳輸協(xié)議HyperTextTransferProtoco,它是基于TCP協(xié)議的應用層傳輸協(xié)議，簡單來說就是客戶端和服務端進行數(shù)據(jù)傳輸?shù)囊环N規(guī)則)來發(fā)送和接收推理服務請求，即推理服務請求為http請求(http請求包括http請求行、http請求頭和http請求正文),在該http請求中，服務類型對應數(shù)據(jù)存放在http請求正文中；[0067]步驟302,根據(jù)服務類型，確定預設的初始服務配置中的目標服務配置；[0068]其中，服務類型和服務配置是對應的，服務類型可作為服務配置的代號標識；具體的，可預先構建服務配置庫，服務配置庫中包含多個初始服務配置以及每個初始服務配置各自對應的初始服務類型，從而可根據(jù)推理服務請求中的服務類型在服務配置庫中匹配對應的初始服務類型，然后將初始服務類型對應的初始服務配置設置為本次推理服務需要的9目標服務配置；比如獲取到的服務類型表征的服務場景為“圖像的輪廓檢測”,則可確定到“圖像的輪廓檢測”對應的目標服務配置；[0069]其中，服務配置包括模型類型配置以及模型編排配置；模型類型配置主要是指定需要用到的推理模型的模型類型，而模型編排配置主要是指定推理模型到服務模型的實現(xiàn)過程中所需要的各項參數(shù)；[0070]步驟303,根據(jù)目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型；[0071]其中，模型類型配置中的模型類型和推理模型是對應的，模型類型可作為推理模型的代號標識；具體的，可預先構建推理模型庫，推理模型庫中包含多個初始推理模型以及每個初始推理模型各自對應的初始模型類型(需要說明的是，推理模型庫僅僅用于解釋本實施例的一種實施方法，而非將每個推理模型保存在推理模型庫中，實際上，每個推理模型都已經部署在服務方的平臺上),從而可根據(jù)模型類型配置中的每個模型類型在推理模型庫中匹配對應的初始模型類型，然后將初始模型類型對應的初始推理模型設置為對應的目標推理類型；比如得到“圖像的輪廓檢測”的目標服務配置，則對應的模型類型配置為實現(xiàn)“圖像的輪廓檢測”所需要用到的目標推理模型，比如為推理模型A;[0072]步驟304,根據(jù)目標服務配置中的模型編排配置，對目標推理模型進行編排，得到目標服務模型；[0073]其中，確定到的目標推理模型僅僅是一個初始化的狀態(tài)，其權重參數(shù)為“可編輯”的狀態(tài)，在未編輯時，目標推理模型無法正常執(zhí)行或者執(zhí)行效果遠不如預期(該情況主要是指存在一個初始化的權重參數(shù)),因此，當確定到模型編排配置時，即可根據(jù)其中的權重參數(shù)來對目標推理模型進行參數(shù)設置，從而得到對應的目標服務模型；具體的，比如目標推理模型只包括推理模型A,則模型編排配置中只包含推理模型A的權重參數(shù)，然后根據(jù)該權重參數(shù)對推理模型A進行參數(shù)設置，得到設有權重參數(shù)的推理模型A,即目標服務模型，在該舉例中，目標服務模型只由一個推理模型組成，當然在其他實施例中，目標推理模型還可以由兩個或以上的推理模型組成，具體取決于對應的服務場景；[0074]步驟305,基于目標服務模型，對推理服務請求對應的待推理數(shù)據(jù)進行推理，得到推理結果；服務場景為例，待推理數(shù)據(jù)即為待檢測圖像，推理結果即為待檢測圖像對應的輪廓圖像；[0076]其中，待推理數(shù)據(jù)可以直接被包含在上述的推理服務請求中(在該方式中，需要通過解析推理服務請求來獲取該待推理數(shù)據(jù)),也可以存儲在某個地址中，而該地址被包含在請求方發(fā)送的推理服務請求中，從而可以降低推理服務請求的數(shù)據(jù)量，并且當該地址與服務方之間的通訊鏈路較近時，能夠節(jié)省傳輸資源。[0077]通過上述推理服務的處理方法，預先部署的推理模型沒有被限制在任何一個服務場景中，即推理模型是一個初始化的狀態(tài)，當根據(jù)推理服務請求中的服務類型確定到目標服務配置后，即可根據(jù)目標服務配置對所需要的目標推理模型進行實時編排，從而得到對應的目標服務模型，從而基于目標服務模型完成推理服務；由于目標服務模型是根據(jù)目標服務配置實時編排得到，部署的目標推理模型作為基礎，目標服務配置作為得到目標服務模型的核心變量，因此部署的推理模型可被不同的服務配置進行編排，從而得到不同的服務模型，實現(xiàn)了推理模型的復用；提高了AI芯片或AI顯卡的利用率還避免了資源的浪費。[0078]在一個實施例中，在根據(jù)所述服務類型，確定預設的初始服務配置中的目標服務配置的步驟之前，上述推理服務的處理方法還包括：[0079]獲取預設的初始配置模板中的目標配置模板以及目標配置模板對應的目標配置參數(shù)；[0080]其中，服務方人員可通過可視化管理界面的方式，來構建后續(xù)推理服務所需要用到的初始服務配置；具體的，該可視化管理界面中預設有多個初始配置模板，每個初始配置模板都采用DAG(Directedacyclicgraph,有向無環(huán)圖)的邏輯方式，服務方人員可根據(jù)需要的服務場景選擇對應的初始配置模板，比如通過鼠標輸入一個針對可視化管理界面中某個初始配置模板的點擊指令，從而將該初始配置模板設置為目標配置模板；同理的，服務方人員可根據(jù)需要的服務場景來輸入相應的目標配置參數(shù)，具體的，可直接通過鍵盤和/或鼠標輸入完整的目標配置參數(shù)，也可以選擇界面提供的多個典型配置參數(shù)的一種來作為目標配置參數(shù)，在此不做限定；[0081]根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設置，得到初始服務配置；[0082]其中，服務方人員通常是基于選擇的目標配置模板來輸入對應的目標配置參數(shù)，DAG是由頂點和有向邊構成的一種圖狀結構，在該圖中，選定一個頂點v開始，沿著有序的邊在內的每個節(jié)點對應的含義，以及各節(jié)點之間的有向邊關系；比如最終期望得到的目標服理數(shù)據(jù)輸入到推理模型A中，然后得到推理模型A輸出的第一結果后，將第一結果分別輸入到推理模型B和推理模型C中，然后分別得到推理模型B輸出的第二結果和推理模型C輸出的第三結果，最終將第二結果和第三結果輸入到推理模型D中，然后得到推理模型D輸出的推別表征推理模型A(包括推理模型A的權重參數(shù))、推理模型B(包括推理模型B的權重參數(shù))、推理模型C(包括推理模型C的權重參數(shù))以及推理模型D(包括推理模型D的權重參數(shù)),然后節(jié)點A作為頂點分別與節(jié)點B和節(jié)點C連接，節(jié)點B和節(jié)點C再分別與節(jié)點D連接，而包含上述信息的DAG作為所需要的初始服務配置，在后續(xù)將該初始服務配置確定為目標服務配置后，即可根據(jù)目標服務配置得到對應的目標服務模型；而服務方人員實質在于構建上述性質的DAG,具體的，目標配置模板為一個空白的DAG,空白的DAG具有一定數(shù)量的節(jié)點且各節(jié)點之間具有一定的有向邊關系，服務方人員則通過調整空白的DAG的節(jié)點數(shù)量，以及節(jié)點之間的有向邊關系，并且設置每個節(jié)點所表征的含義，最終構建得到一個初始服務配置；[0083]其中，服務方人員在進行參數(shù)設置時，還需要以責任鏈模式(定義：為了避免請求發(fā)送者與多個請求處理者耦合在一起，于是將所有請求的處理者通過前一對象記住其下一個對象的引用而連成一條鏈；當有請求發(fā)生時，可將請求沿著這條鏈傳遞，直到有對象處理它為止)添加自定義的業(yè)務邏輯中間價，從而保證后續(xù)能夠根據(jù)服務配置可靠的得到服務模型；[0084]其中，服務方人員在設置每個節(jié)點的權重參數(shù)時，輸入的權重參數(shù)可以是已經訓練好的，也即服務方人員可在其他平臺或系統(tǒng)中部署該目標服務模型，然后對其進行訓練，11最終得到訓練好的目標服務模型以及訓練好的目標服務模型對應的權重參數(shù)，然后直接根據(jù)該權重參數(shù)設置各節(jié)點的權重參數(shù)。[0085]通過可視化管理界面的方式，并開發(fā)對應的初始配置模板，使得在后續(xù)創(chuàng)建初始[0086]在一個實施例中，根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設置，得到初始服[0087]根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設置，得到中間服務配置；[0088]其中，上述實施例提到，目標配置參數(shù)中的權重參數(shù)可以是訓練好的；而在本實施例中，目標配置參數(shù)中的權重參數(shù)可以是未訓練的，因此需要在本平臺中調用對應的推理模型進行訓練；具體的，服務方人員可以輸入一個初始的權重參數(shù)進行參數(shù)設置，從而得到一個中間服務配置(在本實施例中，沒有側重描述模型類型以及有向邊關系，具體細節(jié)可參考上述實施例);[0089]根據(jù)中間服務配置中的模型類型配置，確定預先部署的初始推理模型中的中間推理模型；[0090]根據(jù)中間服務配置中的模型編排配置，對中間推理模型進行編排，得到中間服務模型；[0091]其中，根據(jù)中間服務配置來得到對應的中間服務模型，其具體過程可參考上述實施例中“根據(jù)目標服務配置來得到對應的目標服務模型”的具體過程，兩者實質步驟基本一[0092]獲取訓練樣本集，根據(jù)訓練樣本集對中間服務模型進行訓練，得到訓練好的中間服務模型；[0093]其中，訓練樣本集可以采用公開的樣本，訓練的目的在于使模型的輸出滿足期望要求；[0094]根據(jù)訓練好的中間服務模型的權重參數(shù)，對中間服務配置進行參數(shù)調整，得到初始服務配置；[0095]其中，對中間服務配置進行參數(shù)調整主要是針對中間服務配置中的權重參數(shù)部分，調整權重參數(shù)后，中間服務配置中的權重參數(shù)即為訓練好的權重參數(shù)，因此即可直接將中間服務配置確定為對應的初始服務配置。[0096]在一個實施例中，獲取訓練樣本集，根據(jù)訓練樣本集對中間服務模型進行訓練，得[0097]獲取訓練樣本集，訓練樣本集中包括由多個訓練樣本，每個訓練樣本包括訓練待推理數(shù)據(jù)和訓練推理結果；[0098]其中，訓練推理結果由訓練待推理數(shù)據(jù)經過人工處理得到；[0099]獲取一個訓練樣本，將訓練待推理數(shù)據(jù)作為中間服務模型的輸入，將訓練推理結果作為中間服務模型的期望輸出，對中間服務模型進行訓練，即完成一次訓練；[0100]確定中間服務模型的實際輸出與期望輸出的比對結果，若比對結果不滿足要求時，根據(jù)比對結果更新中間服務模型的模型參數(shù)；[0101]獲取下一個訓練樣本，然后重新進入將訓練待推理數(shù)據(jù)作為中間服務模型的輸入，將訓練推理結果作為中間服務模型的期望輸出，對中間服務模型進行訓練的步驟，直至得到的比對結果滿足要求時，停止訓練，得到訓練好的中間服務模型。[0102]在一個實施例中，確定中間服務模型的實際輸出與期望輸出的比對結果，若比對結果不滿足要求時，根據(jù)比對結果更新中間服務模型的模型參數(shù)，包括：[0103]確定中間服務模型的實際輸出與期望輸出的比對差值，根據(jù)比對差值計算得到損[0104]若損失值不滿足預設收斂條件時，根據(jù)損失值更新中間服務模型的模型參數(shù)。[0105]在一個實施例中，在獲取預設的初始配置模板中的目標配置模板的步驟之前，上述推理服務的處理方法還包括：[0107]其中，上述已經提到，服務方人員可通過選擇可視化管理界面中的配置模板來得到對應的初始服務配置，因此在此之前還需要構建可視化管理界面中的配置模板；具體的，由于配置模板實質是空白的DAG,因此服務方人員可通過圖元編輯的方式來構建配置模板，模板構建數(shù)據(jù)則是指在構建的過程中，服務方人員輸入的各種指令或參數(shù)；[0109]其中，可視化管理界面實時根據(jù)服務方人員輸入的各種指令或參數(shù)在對應的編輯界面進行實時渲染，當服務方人員完成所有指令或參數(shù)的輸入后，即可渲染得到對應的初始配置模板；[0110]其中，初始配置模板包括串行編排模板、分支編排模板、切分編排模板、聚合編排模板中的任意一個。[0111]在一個實施例中，模型編排配置包括模型關系配置和模型權重配置；根據(jù)目標服[0112]根據(jù)目標服務配置中的模型關系配置，對多個目標推理模型進行模型組合；[0113]其中，上述已經提到，目標服務配置是以DAG的形式存在，因此當對應的目標服務模型由多個推理模型組成時，在DAG中會存在多個節(jié)點，除了需要設置各節(jié)點的含義(包括模型類型(即模型類型配置)以及權重參數(shù)(即本實施例中的模型權重配置))之外，還需要針對多個節(jié)點設置各節(jié)點之間的有向邊關系，即為本實施例中的模型關系配置；若目標服務模型只由一個推理模型組成，則DAG中只存在一個節(jié)點，因此也無需考慮節(jié)點之間的有向邊關系；[0114]根據(jù)目標服務配置中的模型權重配置，分別對多個目標推理模型進行權重設置；[0115]其中，模型權重配置主要是用于設置推理模型的權重參數(shù)，具體細節(jié)可參考上述[0116]在一個實施例中，基于目標服務模型，對推理服務請求對應的待推理數(shù)據(jù)進行推[0117]調用目標服務模型中輸入端推理模型的暴露接口，接收推理服務請求對應的待推理數(shù)據(jù)；[0118]其中，暴露接口為http標準推理接口，每個初始推理模型都存在對應的暴露接口，當目標服務模型由多個推理模型組成時，用于最先對待推理數(shù)據(jù)進行處理的推理模型即為輸入端推理模型；比如最終期望得到的目標服務模型由推理模型A、推理模型B、推理模型C以及推理模型D組成，且實現(xiàn)過程包括：將待推理數(shù)據(jù)輸入到推理模型A中，然后得到推理模型A輸出的第一結果后，將第一結果分別輸入到推理模型B和推理模型C中，然后分別得到推理模型B輸出的第二結果和推理模型C輸出的第三結果，最終將第二結果和第三結果輸入到推理模型D中，然后得到推理模型D輸出的推理結果；則推理模型A為輸入端推理模型，當?shù)玫皆撃繕朔漳Ｐ秃螅纯烧{用推理模型A的暴露接口，直接接收請求方發(fā)送的待推理數(shù)[0120]調用目標服務模型中輸出端推理模型的暴露接口，發(fā)送推理結果；[0121]其中，同理的，當目標服務模型由多個推理模型組成時，用于最后對待推理數(shù)據(jù)進行處理并得到推理結果的推理模型即為輸出端推理模型；以上個步驟的舉例為例，推理模型D為輸出端推理模型，用于將推理結果發(fā)送至請求方；[0122]其中，需要注意的是，當目標服務模型由一個推理模型組成時，則該推理模型即作為輸入端推理模型，也作為輸出端推理模型，待推理數(shù)據(jù)的接收以及推理結果的發(fā)送都通過該推理模型的暴露接口；[0123]其中，當存在暴露接口時，待處理數(shù)據(jù)無需被包含在推理服務請求中，也無需存儲在某個地址中。[0124]在一個實施例中，在根據(jù)目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型的步驟之前，上述推理服務的處理方法還包括：[0127]其中，模型部署主要是遵循數(shù)據(jù)壓縮、提高并發(fā)、提高與平臺的兼容性等要求，在平臺上裝配對應的模型；模型部署的具體過程可參考現(xiàn)有技術，在此不再贅述；[0128]設置初始推理模型的暴露接口；[0129]其中，設置暴露接口用于實現(xiàn)后續(xù)待推理數(shù)據(jù)的接收以及推理結果的發(fā)送，具體細節(jié)可參考上述實施例，在此不再贅述。[0131]類型獲取模塊401,用于獲取推理服務請求中的服務類型；[0132]配置確定模塊402,用于根據(jù)服務類型，確定預設的初始服務配置中的目標服務配[0133]模型確定模塊403,用于根據(jù)目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型；[0134]模型編排模塊404,用于根據(jù)目標服務配置中的模型編排配置，對目標推理模型進[0135]數(shù)據(jù)推理模塊405,用于基于目標服務模型，對推理服務請求對應的待推理數(shù)據(jù)進[0136]通過上述推理服務的處理裝置，預先部署的推理模型沒有被限制在任何一個服務場景中，即推理模型是一個初始化的狀態(tài)，當根據(jù)推理服務請求中的服務類型確定到目標服務配置后，即可根據(jù)目標服務配置對所需要的目標推理模型進行實時編排，從而得到對應的目標服務模型，從而基于目標服務模型完成推理服務；由于目標服務模型是根據(jù)目標服務配置實時編排得到，部署的目標推理模型作為基礎，目標服務配置作為得到目標服務模型的核心變量，因此部署的推理模型可被不同的服務配置進行編排，從而得到不同的服還避免了資源的浪費。[0137]在一個實施例中，上述推理服務的處理裝置還包括：[0138]配置設置模塊，用于在根據(jù)所述服務類型，確定預設的初始服務配置中的目標服務配置的步驟之前，獲取預設的初始配置模板中的目標配置模板以及目標配置模板對應的[0139]在一個實施例中，配置設置模塊具體用于根據(jù)目標配置參數(shù)，對目標配置模板進行參數(shù)設置，得到中間服務配置；根據(jù)中間服務配置中的模型類型配置，確定預先部署的初始推理模型中的中間推理模型；根據(jù)中間服務配置中的模型編排配置，對中間推理模型進行編排，得到中間服務模型；獲取訓練樣本集，根據(jù)訓練樣本集對中間服務模型進行訓練，得到訓練好的中間服務模型；根據(jù)訓練好的中間服務模型的權重參數(shù)，對中間服務配置中的模型編排配置進行參數(shù)調整，得到初始服務配置，模型編排配置包括模型權重配置。[0140]在一個實施例中，上述推理服務的處理裝置還包括：[0141]模板設置模塊，用于在獲取預設的初始配置模板中的目標配置模板的步驟之前，獲取模板構建數(shù)據(jù)；根據(jù)模板構建數(shù)據(jù)，渲染得到初始配置模板；初始配置模板包括串行編[0142]在一個實施例中，模型編排配置包括模型關系配置和模型權重配置；模型編排模塊具體用于根據(jù)目標服務配置中的模型關系配置，對多個目標推理模型進行模型組合；根據(jù)目標服務配置中的模型權重配置，分別對多個目標推理模型進行權重設置。[0143]在一個實施例中，數(shù)據(jù)推理模塊具體用于調用目標服務模型中輸入端推理模型的暴露接口，接收推理服務請求對應的待推理數(shù)據(jù)；基于目標服務模型，對待推理數(shù)據(jù)進行推理，得到推理結果；調用目標服務模型中輸出端推理模型的暴露接口，發(fā)送推理結果。[0144]在一個實施例中，上述推理服務的處理裝置還包括：[0145]模型部署模塊，用于在根據(jù)目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型的步驟之前，獲取模型部署數(shù)據(jù)；根據(jù)模型部署數(shù)據(jù)，部署得到初始推理模型；設置初始推理模型的暴露接口。[0146]第三方面，在一個實施例中，本發(fā)明提供一種計算機設備，具體在本實施例中，計算機設備中的處理器201會按照如下的指令，將一個或一個以上的計算機程序的進程對應的可執(zhí)行文件加載到存儲器202中，并由處理器201來運行存儲在存儲器202中的計算機程[0147]獲取推理服務請求中的服務類型；[0148]根據(jù)服務類型，確定預設的初始服務配置中的目標服務配置；根據(jù)目標服務配置中的模型類型配置，確定預先部署的初始推理模型中的目標推理模型；[0149]根據(jù)目標服務配置中的模型編排配置，對目標推理模型進行編排，得到目標服務模型；[0150]基于目標服務模型，對推理服務請求對應的待推理數(shù)據(jù)進行推理，得到推理結果。[0151]通過上述計算機設備，預先部署的推理模型沒有被限制在任何一個服務場景中，即推理模型是一個初始化的狀態(tài)，當根據(jù)推理服務請求中的服務類型確定到目標服務配置后，即可根據(jù)目標服務配置對所需要的目標推理模型進行實時編排，從而得到對應的目標服務模型，從而基于目標服務模型完成推理服務；由于目標服務模型是根據(jù)目標服務配置實時編排得到，部署的目標推理模型作為基礎，目標服務配置作為得到目標服務模型的核心變量，因此部署的推理模型可被不同的服務配置進行編排，從而得到不同的服務模型，實現(xiàn)了推理模