人工智能大模型平臺模型樞紐需求說明1.模型樞紐平臺1.1.模型倉庫1.1.1.NLP基礎大模型本次項目建設的NLP基礎模型需要為商用閉源NLP大模型，支持包括但不限于文案生成、閱讀理解、摘要生成、單輪問答、多輪問答、數(shù)學能力、標簽生成、拒絕能力、記憶能力、工具調(diào)用等各類基礎能力；同時也能夠支持對接數(shù)據(jù)湖、RAG、內(nèi)容審核模型等模塊，使得NLP大模型能夠在業(yè)務領域快速構(gòu)建豐富的應用場景；具備兼容大模型混合云能力，包括云基礎設施層能力、模型層能力、應用層能力、安全能力及運營運維能力；指標項具體要求文案生成能夠根據(jù)用戶提供的信息或需求，自動生成符合語法和語義規(guī)則的文案內(nèi)容，支持公關稿件、通用公文、工作報告、寫作提綱、郵件、郵件回復等生成，支持根據(jù)主題、文本長度、風格、目錄、結(jié)構(gòu)等多種方式生成文案；摘要生成可自動對文本、新聞快訊、書籍、會議紀要、會議討論點等進行摘要和總結(jié)；標簽生成能夠?qū)ξ谋具M行標注；表格生成/轉(zhuǎn)換支持接收文本作為輸入，生成相應的表格結(jié)構(gòu)；單輪問答支持通用單輪問答、帶人設的單輪問答；多輪問答支持通用多輪閑聊、通用多輪知識問答、帶人設的多輪問答；知識問答支持業(yè)務通用知識問答、科學知識問答、生活常識知識問答、建議要點問答、頭腦風暴；拒絕能力能夠?qū)o法準確回答的問題、超出知識范圍的問題、包含敏感信息的問題，選擇不進行回答的能力；數(shù)學能力能夠根據(jù)用戶輸入的信息或需求，按照數(shù)學邏輯分解成數(shù)學算式或數(shù)學模塊，支持四則運算能力、常規(guī)計算問答、單位換算、解方程、邏輯證明；閱讀理解能夠基于輸入的文字內(nèi)容，對該段內(nèi)容進行針對性問題和回答，包括詞義理解、句子理解、段落理解、文本分析、政策和發(fā)文理解與問答、會議內(nèi)容理解與問答等；邏輯推理支持常識推理、時間邏輯序列推理、數(shù)理化等科學推理、符號推理、關系分析；工具調(diào)用支持工具識別、單輪單步調(diào)用、單輪多步調(diào)用、多輪單步調(diào)用、多輪多步調(diào)用，、工具并行調(diào)用、復雜API調(diào)用；記憶功能支持大模型記憶技能能力；訓練模塊提供有監(jiān)督學習能力；包括SFT全量微調(diào)和LoRA局部微調(diào)；推理模塊能夠提供推理任務的能力，包括生成文本、回答問題、翻譯文本等；效果評測支持對大模型在特定任務上的性能和泛化能力進行評估和測試；應用對接可通過RESTAPI/SDK調(diào)用的方式被業(yè)務應用集成；1.1.2.模型實驗室本次建設的模型實驗室主要包含模型創(chuàng)作、模型鏡像、模型對齊訓練相關能力；指標項具體要求模型實驗室1、支持模型版本新建、編輯、刪除操作，支持查看模型版本列表和模型版本名稱、Code、來源、文件路徑、創(chuàng)建時間、創(chuàng)建人等詳情信息；2、支持選擇本實驗室下已完成的訓練任務和相同空間下已上架的創(chuàng)作流作為模型版本；3、支持“運行中”狀態(tài)的模型服務，在詳情頁查看部署節(jié)點名稱、所屬集群和機器IP等信息，支持查看日志支持“運行中”狀態(tài)的模型服務進行API調(diào)試；4、支持選擇模型版本、組件，設置資源參數(shù)，創(chuàng)建模型服務；5、支持訓練任務新建、刪除操作支持查看訓練任務列表和訓練任務名稱、Code、版本、狀態(tài)、創(chuàng)建時間、創(chuàng)建人等信息，支持查看訓練日志；6、支持選擇模型版本、組件，設置資源參數(shù)，選擇資源池，創(chuàng)建訓練任務；7、支持組件的新建、編輯、刪除操作，支持查看組件列表和組件名稱、Code、類型、使用鏡像等信息；8、創(chuàng)建組件時，支持選擇“部署”或“任務”類型，支持選擇類型下的組件模板，支持選擇使用的鏡像；.模型創(chuàng)作本次項目建設的模型創(chuàng)作包含實驗室管理、實驗室詳情的模型版本、模型服務、訓練任務、組件列表、模型上架等能力；指標項具體要求實驗室管理在模型實驗室列表中，使用卡片方式，對每一個模型進行單獨管理；模型實驗室卡片支持對實驗室的名稱進行編輯，并支持刪除實驗室功能，同時支持查看實驗室列表、查看實驗室詳情、創(chuàng)建人、創(chuàng)建時間等多種信息；實驗室詳情-模型版本-版本管理在模型實驗室中，單個模型可創(chuàng)建多個模型版本，便于進行訓練、推理任務；當用戶完成對一個模型的訓練時，模型實驗室將依據(jù)歷史記錄自動生成新的模型版本，將訓練前后的模型版本進行區(qū)分；在創(chuàng)建訓練任務或推理服務時，用戶可通過選擇版本的方式，任意創(chuàng)建不同版本的訓練任務或推理服務，以便確認訓練前后、不同版本訓練、不同版本之間的推理效果區(qū)別；實驗室詳情-模型版本-模型管理在模型實驗室中，支持模型版本新建、編輯、刪除操作，支持查看模型版本列表和模型版本名稱、Code、來源、文件路徑、創(chuàng)建時間、創(chuàng)建人等詳情信息；實驗室詳情-模型版本-搜索當模型版本過多時，用戶可通過搜索框?qū)δＰ桶姹具M行搜索篩選；在搜索框中輸入模型版本名稱，即可搜索對應模型；實驗室詳情-模型版本-模型上傳模型上傳功能支持通過本地文件上傳的方式或http文件下載的方式進行上傳，用戶可自主根據(jù)網(wǎng)絡情況或模型形態(tài)進行選擇不同的上傳方式；由于大部分模型的參數(shù)文件為多個文件的合集，因此模型需要壓縮打包為“*.zip”格式后再進行上傳，平臺將自動對模型壓縮包進行解壓，并指定解壓后的新目錄為該模型的目錄；實驗室詳情-模型版本-額外功能當訓練任務結(jié)束后，用戶可自主根據(jù)需求，對訓練任務進行一個新版的創(chuàng)建；在模型訓練過程中，通常需要對參數(shù)、訓練集權(quán)重等進行多次調(diào)整，因此根據(jù)版本創(chuàng)立不同的模型版本，進而對不同的模型版本創(chuàng)建推理服務、測試服務、比對模型推理效果等多個流程而言十分重要；當模型參數(shù)文件已經(jīng)在平臺其他空間或模型實驗室中上傳過后，如需要引用其他模型，則可通過選擇模型創(chuàng)作流的方式創(chuàng)建新的模型版本，避免重復上傳浪費時間資源；實驗室詳情-模型服務-獨立管理模型服務全稱指模型推理服務，在加載模型參數(shù)文件后，平臺將自動創(chuàng)建模型服務，用于使用模型的推理能力，并提供對外接口，方便外部調(diào)用；每個模型實驗室均可以單獨管理各自的模型服務，同一個模型版本也可以在不同的推理參數(shù)下建立不同的模型服務；實驗室詳情-模型服務-管理模型推理服務支持新建、刪除等多種管理操作，并展示模型推理服務的名稱、Code、版本、模型推理狀態(tài)、創(chuàng)建時間和創(chuàng)建人信息，在使用時，根據(jù)不同的需求，對模型服務進行精細化管理；當模型服務處于“待部署”狀態(tài)下時，可以對模型服務信息進行編輯以及重新部署；實驗室詳情-模型服務-服務詳情當模型處于“運行中”狀態(tài)時，用戶可通過點擊“詳情”按鈕，進入模型詳情頁面，可查看模型部署的節(jié)點名稱、所屬集群信息和機器IP等多種信息，方便專業(yè)用戶在服務器上尋找該節(jié)點進行操作；用戶也可直接在頁面上查看推理服務日志，包括服務容器日志和服務日志兩種日志信息，分別對應不同調(diào)試需求；實驗室詳情-模型服務-調(diào)試模型在運行中時，若需要對模型推理服務進行測試或調(diào)試功能，則需要使用“API調(diào)試”功能；API調(diào)試最大程度支持多種模型服務，支持包括POST和GET兩種接口，只需在API頁面選擇接口類型，并輸入指定參數(shù)后，即可通過頁面調(diào)用模型服務的API接口功能；如若API調(diào)用成功，則頁面將完整返回接口完整出參和返回內(nèi)容，不成功則返回對應的失敗信息，方便用戶對接口進行調(diào)整；實驗室詳情-模型服務-服務部署模型實驗室支持模型推理服務的服務創(chuàng)建、啟動部署、停止推理等功能；當模型服務處于“待部署”狀態(tài)時，用戶可點擊“部署”按鈕，使用與上次相同的推理參數(shù)部署該推理服務；當模型服務處于“運行中”狀態(tài)時，支持點擊“取消部署”功能，對模型服務進行一鍵取消部署；該功能便于非專業(yè)用戶自主在多個模型版本和服務之間進行切換；實驗室詳情-模型服務-參數(shù)配置創(chuàng)建模型服務時，需要選擇模型版本，選擇部署組件，設置基礎的CPU、內(nèi)存、GPU（可選）、節(jié)點數(shù)等資源；無論是大模型，或是傳統(tǒng)的小模型算法，都可以通過版本、組件、資源三大要素，在模型實驗室創(chuàng)建對應的模型服務；實驗室詳情-訓練任務-獨立管理各個模型實驗室可單獨管理各自的訓練任務；針對不同的訓練數(shù)據(jù)集、驗證數(shù)據(jù)集、訓練參數(shù)等多種因素，需要建立不同的訓練任務，以便針對不同的需求場景、不同的行業(yè)要求創(chuàng)建解決方案；訓練任務完成后，均可生成新的模型參數(shù)文件，可直接將該訓練任務成果創(chuàng)建為新的模型版本；實驗室詳情-訓練任務-任務管理在模型實驗室中，可對訓練任務進行新建、刪除等操作，模型實驗室也支持查看訓練任務的列表和訓練任務名稱、Code、版本、狀態(tài)、創(chuàng)建時間、創(chuàng)建人等信息；支持查看訓練容器日志和訓練任務日志兩種不同的日志信息，方便專業(yè)用戶在使用過程中對訓練任務容器或訓練任務進行實時觀察、判斷和跟蹤；用戶也可以查看分布式訓練任務節(jié)點的Master和Worker信息；實驗室詳情-訓練任務-參數(shù)配置在模型實驗室中，訓練任務創(chuàng)建時，需要選擇模型版本，訓練組件、訓練數(shù)據(jù)集、驗證數(shù)據(jù)集和訓練資源；模型實驗室支持多種類型的模型訓練，包括大語言模型、專家模型和多模態(tài)模型，以及各種開源大小模型；模型實驗室也同樣支持分布式訓練功能，用戶可根據(jù)情況自由在模型實驗室中，對模型進行訓練；實驗室詳情-訓練任務-查詢用戶可通過訓練任務狀態(tài)，對訓練任務進行查詢、篩選等操作；訓練任務狀態(tài)包括“待訓練”、“待調(diào)度”、“初始化”、“啟動中”、“運行中”、“已完成”、“錯誤”等多種狀態(tài)，分別對應訓練任務中的不同階段或異常階段；實驗室詳情-組件列表-獨立管理每個空間可以維護一份本空間的組件列表，空間內(nèi)共享；組件指的是訓練任務或推理服務的參數(shù)模板；在每一次任務或推理中，通常需要設置大量的參數(shù)以保證訓練任務或推理服務能夠正常運行，輸出優(yōu)秀的訓練結(jié)果或推理結(jié)果；可使用組件對參數(shù)進行定義，并設置默認值，包括訓練數(shù)據(jù)集、驗證數(shù)據(jù)集，模型參數(shù)文件、訓練輪次、批次大小、學習率、CPU/GPU/內(nèi)存等資源信息等等，便于用戶重復利用調(diào)整參數(shù)；實驗室詳情-組件列表-組件管理在模型實驗室中，支持對組件進行新建、編輯和刪除等操作，并可查看組件列表以及其組件名稱、Code、類型、所使用鏡像等信息；一個模型可以對應多個組件使用，例如某參數(shù)量為72B的大模型，可建立4個組件，分別為72B預訓練組件、72B微調(diào)訓練組件、72B對齊訓練組件、72B模型推理服務組件，分別對應模型預訓練、微調(diào)、對齊訓練以及模型推理服務部署組件；實驗室詳情-組件列表-組件類型創(chuàng)建組件時，支持選擇“部署”或“任務”類型，分別對應模型推理服務和訓練任務的創(chuàng)建場景使用；支持選擇類型下的組件模板，在模板中，模型實驗室預置了部分規(guī)格參數(shù)，例如模型所在目錄、訓練數(shù)據(jù)集目錄、驗證數(shù)據(jù)集目錄、模型代碼示例；支持選擇使用的鏡像，鏡像均在“鏡像管理”頁面進行上傳，并用于執(zhí)行在組件中配置的“啟動命令”字段；實驗室詳情-組件列表-組件參數(shù)在模型實驗室創(chuàng)建組件時，需要完整將組件信息進行配置；例如訓練組件，需要定義輸入訓練的模型目錄，輸入訓練的訓練數(shù)據(jù)集和驗證數(shù)據(jù)集，以及輸出模型目錄；推理任務則僅需要輸入推理的模型目錄即可；輸入?yún)?shù)類型可選模型文件、多模型、平臺數(shù)據(jù)集、平臺多模態(tài)數(shù)據(jù)集等，輸出參數(shù)則不限定格式；實驗室詳情-組件列表-組件集格式為了保證訓練數(shù)據(jù)與模型需求數(shù)據(jù)一致，在創(chuàng)建組件時，支持自定義數(shù)據(jù)集格式，包括定義數(shù)據(jù)集格式名稱、Code和上傳示例文件；在用戶創(chuàng)建訓練任務時，可以查看此處規(guī)定的數(shù)據(jù)集格式，并可下載示例文件，避免因訓練數(shù)據(jù)與實際校驗不一致帶來的模型訓練報錯問題；實驗室詳情-模型上架-獨立管理每個模型實驗室可以單獨維護各自的模型上架創(chuàng)作流列表；模型上架功能是由專業(yè)用戶對模型進行訓練、推理的參數(shù)調(diào)整過后，將模型訓練開放給普通用戶的一種方式；在模型實驗室組件中定義好訓練和推理所需要使用的組件，并將訓練的整體流程進行編排，即可在后臺將模型進行上架，上架后的模型可開放權(quán)限給到“模型中心”進行訓練、推理使用，普通用戶僅需輸入?yún)?shù)值和訓練數(shù)據(jù)，即可開始訓練任務；實驗室詳情-模型上架-創(chuàng)作流管理模型實驗室支持創(chuàng)作流新建、刪除、編輯等操作，支持查看創(chuàng)作流名稱、Code、基礎模型、一級分類、二級分類、創(chuàng)建時間、創(chuàng)建人信息；支持點擊“詳情”進入創(chuàng)作流詳情頁，在創(chuàng)作流詳情頁中可查看創(chuàng)作流的基本信息，包括名稱、基礎模型、模型類型、說明等；創(chuàng)作流的狀態(tài)信息，包括訓練過程中的所有狀態(tài)，以及每個狀態(tài)的模型推理服務組件；創(chuàng)作流的流程編排順序、每個順序之間流轉(zhuǎn)關系條件等信息，以及該創(chuàng)作流模型服務的API接口信息；實驗室詳情-模型上架-創(chuàng)作流狀態(tài)在模型實驗室中可對模型狀態(tài)進行定義，在內(nèi)置狀態(tài)中，置有大語言模型通用的幾個狀態(tài)例如預訓練、微調(diào)、對齊、LoRA、量化狀態(tài)；用戶可自定義狀態(tài)，例如CV訓練的L1、L2訓練狀態(tài)等，僅需指定推理部署組件即可完成定義；在創(chuàng)作流編排中，可對不同狀態(tài)之間的流轉(zhuǎn)關系和順序進行定義，用戶可在該功能中定義完整的訓練流程后，上架至平臺給其他用戶，并指定配置完成的訓練流程進行使用；實驗室詳情-模型上架-創(chuàng)作流結(jié)構(gòu)模型實驗室創(chuàng)作流可定義API結(jié)構(gòu)，將模型服務支持的API結(jié)構(gòu)入?yún)?、出參以及接口類型、參?shù)結(jié)構(gòu)輸入至API功能，即可在模型服務API調(diào)試頁面使用該接口對模型服務進行調(diào)用；.模型鏡像本次建設的模型鏡像包含模型鏡像管理、本地上傳、http上傳、模型對齊訓練等能力；(要求提供包含DeepSeek等不少于5個第三方模型接入，商業(yè)版與開源版均可；)指標項具體要求模型鏡像管理在模型鏡像管理功能中，用戶可新建、刪除平臺鏡像；平臺端可查看模型鏡像列表中的鏡像Code、鏡像名稱和鏡像倉庫地址信息；平臺鏡像包含訓練、推理所需的要素信息，如若需要上傳第三方模型，則用戶可使用鏡像上傳功能，將模型參數(shù)文件對應的鏡像打包上傳；模型鏡像管理-本地上傳在新建模型鏡像時，支持本地上傳；本地上傳“.tar、.zip”格式文件；鏡像上傳后將進行自動解析，如果上傳文件是“*.tar”格式文件，則會將鏡像文件進行上傳至鏡像倉庫，并在鏡像倉庫中自動創(chuàng)建新版本；如果上傳文件是“*.zip”格式文件，平臺將首先解壓該文件，再執(zhí)行至上傳鏡像倉庫操作；鏡像上傳成功后，即可在平臺組件內(nèi)進行選擇，在訓練任務或推理服務啟動時，將首先啟動該鏡像，并執(zhí)行組件入口指令；模型鏡像管理-http上傳在新建模型鏡像時，支持http上傳；由于模型鏡像的文件大小通常比較大，因此用戶可首先將模型鏡像上傳至可分享鏈接的存儲工具，在新建模型鏡像時將該鏈接輸入至鏡像鏈接文本框，平臺將自動從鏈接拉取鏡像文件，并自動上傳至鏡像倉庫；模型對齊訓練平臺支持RLHF模式的對齊訓練，基于人類反饋的強化學習方法，基于成對的偏好標注數(shù)據(jù)訓練獎勵模型，并使用近端策略優(yōu)化方法最大化獎勵來調(diào)優(yōu)大模型，使得大模型與人類偏好和價值觀對齊；.模型對齊訓練（大語言）本次建設的模型對齊訓練主要是模型對齊訓練能力；指標項具體要求模型對齊訓練平臺支持RLHF模式的對齊訓練，基于人類反饋的強化學習方法，基于成對的偏好標注數(shù)據(jù)訓練獎勵模型，并使用近端策略優(yōu)化方法最大化獎勵來調(diào)優(yōu)大模型，使得大模型與人類偏好和價值觀對齊；1.1.3.多樣化評測本次建設的多樣化測評主要包含場景測評、預制測評集、我的測評集、裁判模型管理、平臺模型評測、參數(shù)對象管理、測評分析報告等能力；.場景評測指標項具體要求智能分析場景基于智能分析場景的問答能力評測，按照智能數(shù)據(jù)分析評測場景管理評測集、裁判模型、參評對象以及自動評測任務，切換后可進行智能分析的專屬自定義評測集接入、預置評測集管理；專屬外部裁判模型管理、預置裁判模型管理；智能分析參評對象接入；智能分析評測任務管理；智能分析評測分析報告等功能使用；智能文檔問答場景基于智能文檔問答場景的問答能力評測，按照智能文檔問答評測場景管理評測集、裁判模型、參評對象以及自動評測任務，切換后可進行智能文檔問答的專屬自定義評測集接入、預置評測集管理；專屬外部裁判模型管理、預置裁判模型管理；智能文檔問答參評對象接入；智能文檔問答評測任務管理；智能文檔問答評測分析報告等功能使用；自定義評測場景支持自定義評測場景上線后管理相應的評測集、裁判模型、參評對象以及自動評測任務；.預制評測集指標項具體要求預置評測集管理（BI類評測集）平臺支持管理預置BI場景評測集，一般為文本信息，主要問題內(nèi)容、答案內(nèi)容、表信息等，BI場景支持創(chuàng)建多個版本，且需要手動啟用以供后續(xù)評測調(diào)用；支持評測集的權(quán)限管控，對于無管理權(quán)限用戶，僅支持查看評測集詳情，包括評測集版本、評測集介紹、題目，對于有管理權(quán)限用戶，支持根據(jù)行業(yè)創(chuàng)建評測集分類，支持根據(jù)評測集分類創(chuàng)建評測集和查看評測集詳情，包括評測集明細ID、問題內(nèi)容、生成的標準SQL參考答案、正確表的參考答案、支持進行評測集版本管理，支持快速導入評測集問題以及下載評測集；預置評測集管理（專家模型評測集）平臺預置的專家模型場景評測集，主要為圖片信息，僅支持一個版本，需手動啟動該評測集以供后續(xù)評測調(diào)用；支持評測集的權(quán)限管控，對于無管理權(quán)限用戶，僅支持查看評測集詳情，包括評測集介紹、評測問題數(shù)量，對于有管理權(quán)限用戶，支持創(chuàng)建評測集分類類型，支持根據(jù)評測集分類類型創(chuàng)建評測集和查看評測集詳情，支持從圖像數(shù)據(jù)集中導入數(shù)據(jù)生成評測集；.我的評測集指標項具體要求我的BI評測集管理BI場景評測集管理，一般為文本信息，主要問題輪數(shù)、問題內(nèi)容、答案內(nèi)容、業(yè)務分類等，BI場景支持創(chuàng)建多個版本，且需要手動啟用以供后續(xù)評測調(diào)用；支持根據(jù)不同的行業(yè)、專業(yè)、領域創(chuàng)建BI類評測集分類，支持分類的樹狀層級管理；支持創(chuàng)建評測集和查看評測集，包括評測集明細ID、問題、選項、答案、問題類型、業(yè)務分類、參考信息、生成時間等關鍵信息；支持手工批量上傳測試集文件，支持xls、xlsx等格式，以及數(shù)據(jù)源；支持修改評測集名稱和評測集描述；支持刪除評測集；支持評測集下載；我的專家模型評測集管理自定義專家模型場景評測集管理，主要為圖片信息，僅支持一個版本，需手動啟動該評測集以供后續(xù)評測調(diào)用；支持分類的樹狀層級管理；支持通過名稱快速搜索評測集，支持創(chuàng)建評測集和查看評測集，支持查看評測集詳情，對于有管理權(quán)限用戶，支持根據(jù)行業(yè)創(chuàng)建評測集分類類型，支持根據(jù)評測集分類類型創(chuàng)建評測集和查看評測集詳情，支持從圖像數(shù)據(jù)集中導入數(shù)據(jù)生成評測集；.裁判模型管理指標項具體要求大語言模型評測的裁判模型管理支持接入外部的大語言模型評測的裁判模型；支持通過關鍵字快速檢索裁判模型，可自定義裁判模型名稱、模型描述信息等，通過服務地址、請求類型、請求頭、第三方模型請求參數(shù)、第三方模型返回參數(shù)等關鍵信息的填寫維護即可接入外部裁判模型，支持進行連通性測試；支持進行效果評測，包括單輪與多輪評測，支持查看測試日志，支持對裁判模型的啟用、禁用；支持刪除已禁用狀態(tài)的外部大語言模型裁判模型；大語言模型評測的預置裁判模型平臺內(nèi)置的大語言模型，支持對有參考答案的單選、多選、判斷、問答題的自動化測評，單選、多選、判斷題基于規(guī)則打分，問答題基于大模型打分、適用封閉領域的長文本問答，預置裁判模型不支持修改；CV專家模型評測的預置裁判模型平臺內(nèi)置的CV裁判模型，平臺默認內(nèi)置兩種CV裁判模型，目標檢測裁判模型以及實例分割裁判模型，支持輸入關鍵字搜索預置CV裁判模型，預置裁判模型不支持修改；BI評測的裁判裁判模型管理支持接入外部的BI評測的裁判模型；支持通過關鍵字快速檢索裁判模型，可自定義裁判模型名稱、模型描述信息等，通過服務地址、請求類型、請求頭、第三方模型請求參數(shù)、第三方模型返回參數(shù)等關鍵信息的填寫維護即可接入外部裁判模型，支持進行連通性測試；支持進行效果評測，支持查看測試日志，支持對裁判模型的啟用、禁用；支持刪除已禁用狀態(tài)的外部BI裁判模型；BI評測的預置裁判模型平臺內(nèi)置的BI裁判模型，支持輸入關鍵字快速檢索預置BI裁判模型，預置裁判模型不支持修改；文檔問答評測的裁判模型管理支持接入外部的文檔問答的裁判模型；支持通過關鍵字快速檢索裁判模型，可自定義裁判模型名稱、模型描述信息等，通過服務地址、請求類型、請求頭、第三方模型請求參數(shù)、第三方模型返回參數(shù)等關鍵信息的填寫維護即可接入外部裁判模型；支持進行連通性測試；支持進行效果評測，支持查看測試日志，支持對裁判模型的啟用、禁用；支持刪除已禁用狀態(tài)的外部裁判大模型；.平臺模型評測指標項具體要求平臺CV專家模型評測支持新建平臺CV模型自動評測任務，可自定義CV模型自動評測任務名稱；評測方式支持自定義，可選單輪問答與多輪問答；支持選擇評測集，包括平臺預置評測集與自定義評測集；支持自定義抽樣比例；支持自定義評測集順序，可選題目亂序評測與題目順序評測；支持選擇CV模型評測指標，包括平臺預置評測指標與自定義評測指標；創(chuàng)建CV模型評測任務后可全自動進行效果評測，支持設置定時任務，根據(jù)設定時間每月一次、每周一次或每天一次進行平臺CV專家模型全自動評測；平臺智能文檔問答插件評測支持新建平臺智能文檔問答插件自動評測任務，可自定義智能文檔問答插件自動評測任務名稱；評測方式支持自定義，可選單輪問答與多輪問答；支持選擇評測集，包括平臺預置評測集與自定義評測集；支持自定義抽樣比例；支持自定義評測集順序，可選題目亂序評測與題目順序評測；支持選擇智能文檔問答插件評測指標，包括平臺預置評測指標與自定義評測指標；創(chuàng)建智能文檔問答插件評測任務后可全自動進行效果評測，支持設置定時任務，根據(jù)設定時間每月一次、每周一次或每天一次進行平臺智能文檔問答插件全自動評測；平臺智能分析插件評測支持新建平臺智能分析插件自動評測任務，可自定義智能分析插件自動評測任務名稱；評測方式支持自定義，可選單輪問答與多輪問答；支持選擇評測集，包括平臺預置評測集與自定義評測集；支持自定義抽樣比例；支持自定義評測集順序，可選題目亂序評測與題目順序評測；支持選擇智能分析插件評測指標，包括平臺預置評測指標與自定義評測指標；創(chuàng)建智能分析插件評測任務后可全自動進行效果評測，支持設置定時任務，根據(jù)設定時間每月一次、每周一次或每天一次進行平臺智能分析插件全自動評測；.平臺模型評測指標項具體要求外部三方大語言模型評測支持新建平臺智能分析插件自動評測任務，可自定義智能分析插件自動評測任務名稱；評測方式支持自定義，可選單輪問答與多輪問答；支持選擇評測集，包括平臺預置評測集與自定義評測集；支持自定義抽樣比例；支持自定義評測集順序，可選題目亂序評測與題目順序評測；支持選擇智能分析插件評測指標，包括平臺預置評測指標與自定義評測指標；創(chuàng)建智能分析插件評測任務后可全自動進行效果評測，支持設置定時任務，根據(jù)設定時間每月一次、每周一次或每天一次進行平臺智能分析插件全自動評測；外部三方BI應用評測支持新建外部三方BI插件自動評測任務，可自定義外部三方BI自動評測任務名稱；評測方式支持自定義，可選單輪問答與多輪問答；支持選擇評測集，包括平臺預置評測集與自定義評測集；支持自定義抽樣比例；支持自定義評測集順序，可選題目亂序評測與題目順序評測；支持選擇外部三方BI評測指標，包括平臺預置評測指標與自定義評測指標；創(chuàng)建外部三方BI評測任務后可全自動進行效果評測，支持設置定時任務，根據(jù)設定時間每月一次、每周一次或每天一次進行外部三方BI全自動評測；外部三方CV專家模型評測支持新建外部三方CV專家模型自動評測任務，可自定義外部三方CV專家模型自動評測任務名稱；評測方式支持自定義，可選單輪問答與多輪問答；支持選擇評測集，包括平臺預置評測集與自定義評測集；支持自定義抽樣比例；支持自定義評測集順序，可選題目亂序評測與題目順序評測；支持選擇外部三方CV專家模型評測指標，包括平臺預置評測指標與自定義評測指標；創(chuàng)建外部三方CV專家模型評測任務后可全自動進行效果評測，支持設置定時任務，根據(jù)設定時間每月一次、每周一次或每天一次進行外部三方CV專家模型全自動評測；.參評對象管理指標項具體要求外部三方大語言模型參評對象管理支持通過接入外部三方大語言模型的API作為參評對象，支持通過關鍵字快速檢索參評對象，可自定義外部參評對象基本信息，包括模型名稱、模型描述等；可配置外部參評對象接入的配置信息，包括服務地址、請求類型、請求頭、外部參評對象請求參數(shù)、外部參評對象響應參數(shù)等；支持進行效果評測，支持查看測試日志，支持對外部參評對象的啟用、禁用；支持刪除已禁用狀態(tài)的外部參評對象；外部三方BI應用參評對象管理支持通過接入外部三方BI應用的API參評對象，支持通過關鍵字快速檢索參評對象，可自定義外部參評對象基本信息，包括模型名稱、模型描述等；可配置外部參評對象接入的配置信息，包括服務地址、請求類型、請求頭、外部參評對象請求參數(shù)、外部參評對象響應參數(shù)等；支持進行效果評測，支持查看測試日志，支持對外部參評對象的啟用、禁用；支持刪除已禁用狀態(tài)的外部參評對象；外部三方CV專家模型參評對象管理支持通過接入外部三方CV專家模型的API作為參評對象，支持通過關鍵字快速檢索參評對象，可自定義外部參評對象基本信息，包括模型名稱、模型描述等；可配置外部參評對象接入的配置信息，包括服務地址、請求類型、請求頭、外部參評對象請求參數(shù)、外部參評對象響應參數(shù)等；支持進行效果評測支持查看測試日志，支持對外部參評對象的啟用、禁用；支持刪除已禁用狀態(tài)的外部參評對象；.評測分析報告指標項具體要求評測集分析支持根據(jù)評測集維度將自動評測結(jié)果展示在頁面，支持通過評測集名稱和參評對象進行篩選，評測集基本信息包括評測集ID、評測集名稱、調(diào)用次數(shù)以及參評對象，評測集分析報告詳情包括參評對象最高得分、參評對象歷史得分以及按業(yè)務分類的參評對象橫評，其中參評對象最高得分信息包括參評對象、最高得分、評測任務ID、評測名稱、評測時間等；參評對象歷史得分信息包括所有使用此評測集的參評對象歷史得分情況；參評對象分析支持根據(jù)參評對象將自動評測結(jié)果展示在頁面，可進行參評對象、參評對象類型、指標和裁判模型等維度進行結(jié)果篩選，參評對象基本信息包括參評對象、參評對象類型、指標、裁判模型等；分析報告詳情包括評測集最高得分、評測集歷史得分以及題目詳情，評測集最高得分信息包括評測集、最高得分、評測任務ID、評測名稱與評測時間；評測集歷史得分支持查看該參評對象使用該評測集的所有得分情況；題目詳情支持查看單路及多輪答題詳情；1.2.多模態(tài)立方本次建設的多模態(tài)立方主要包含知識庫接入、知識庫索引與配置、多模態(tài)數(shù)據(jù)接入（圖文接入）、多模態(tài)數(shù)據(jù)處理（圖文批量操作）、多模態(tài)數(shù)據(jù)集管理（圖文數(shù)據(jù)集）、多模態(tài)知識庫管理（圖文知識庫）、多模態(tài)模型配置等能力；1.2.1.知識庫接入（數(shù)據(jù)源實例配置）指標項具體要求篩選數(shù)據(jù)源實例支持以數(shù)據(jù)源實例名稱、數(shù)據(jù)源2個維度對已創(chuàng)建的數(shù)據(jù)源實例進行篩選，能夠直接輸入或選擇特定的數(shù)據(jù)源實例名稱作為篩選條件，確保精準定位目標實例；數(shù)據(jù)源實例操作-同步支持同步數(shù)據(jù)源實例的數(shù)據(jù)庫源信息，包含數(shù)據(jù)源實例內(nèi)選定的表列的變更信息、列值明細詳情，識別并集成來自數(shù)據(jù)源實例的關鍵細節(jié)，聚焦于用戶選定的表及其列的任何變更信息，無論是結(jié)構(gòu)修改還是元數(shù)據(jù)更新；數(shù)據(jù)源實例操作-配置支持配置數(shù)據(jù)源實例的數(shù)據(jù)模型、數(shù)據(jù)維度、數(shù)據(jù)專家知識、樣例庫，定義清晰的數(shù)據(jù)維度，確保數(shù)據(jù)的多角度分析與解讀能力；同時，整合數(shù)據(jù)專家的知識，通過預構(gòu)建的規(guī)則和算法增強數(shù)據(jù)處理的智能化水平；數(shù)據(jù)源實例操作-數(shù)據(jù)模型配置數(shù)據(jù)模型：

支持從關聯(lián)的數(shù)據(jù)源選擇目標表的信息添加到數(shù)據(jù)源實例下；

支持修改選定的數(shù)據(jù)表的描述信息；

支持修改選定的表的字段描述；

支持設置字段的數(shù)據(jù)元屬性信息，包含維度、指標、時間；

支持設置表字段的關聯(lián)表列信息，支持批量設置；

支持設置選定表的默認時間查詢字段；

支持按照字段名稱或字段描述的關鍵字檢索字段；

支持按照表名稱或描述的關鍵字檢索表；數(shù)據(jù)源實例操作-批量操作表字段配置支持批量操作多個字段的數(shù)據(jù)元信息、關聯(lián)表列信息、允許累計標志、生效狀態(tài)標志信息；數(shù)據(jù)源實例操作-配置數(shù)據(jù)維度支持新增數(shù)據(jù)維度，并通過單條或批量導入的方式新增維度值（key和value）；

支持從數(shù)據(jù)源的選定表的列或從本地上傳模板要求的文件的形式，通過追加或覆蓋的方式，批量導入維度值；

支持批量刪除維度值內(nèi)容；數(shù)據(jù)源實例操作-配置數(shù)據(jù)專家知識支持新增知識詞條，選定全庫、指定表、指定列的生效范圍，并設置支持的的分組標簽；數(shù)據(jù)源實例操作-配置樣例庫支持新增樣例對，通過批量導入或者是任務生成的方式，批量生成樣例對數(shù)據(jù)；

支持按照query或者sql模糊搜索樣例對；數(shù)據(jù)源實例操作-編輯功能支持編輯修改數(shù)據(jù)源實例的名稱、描述信息，允許用戶輕松地編輯和修改數(shù)據(jù)源實例的名稱及描述信息；通過直觀的界面操作，用戶能夠即時更新這些數(shù)據(jù)源屬性，確保信息的準確性和時效性，從而提升數(shù)據(jù)源的可識別性和管理效率；數(shù)據(jù)源實例操作-刪除支持刪除數(shù)據(jù)源實例，選擇目標數(shù)據(jù)源實例，執(zhí)行刪除后基于該數(shù)據(jù)源實例創(chuàng)建的業(yè)務應用將不能繼續(xù)使用；1.2.2.知識庫搜索與配置指標項具體要求搜索數(shù)據(jù)表知識庫支持按照知識庫名稱的關鍵字、數(shù)據(jù)源實例搜索并過濾知識庫列表，允許用戶通過輸入知識庫名稱的關鍵字，以及指定的數(shù)據(jù)源實例，來動態(tài)篩選和獲取相關的知識庫列表；這不僅增強了用戶體驗，確保他們能迅速定位到目標知識庫，同時也提升了信息檢索的精準度和效率；配置知識庫-召回配置從關聯(lián)的數(shù)據(jù)源實例中挑選數(shù)據(jù)模型信息；支持按照召回需要單條或批量配置字段的值向量化要求，允許用戶根據(jù)特定的召回需求，對單個或批量數(shù)據(jù)字段進行精細化的值向量化設定，從而提升了數(shù)據(jù)處理的效率與適應性，同時也保障了向量化的數(shù)據(jù)能滿足多樣化應用場景的需求；配置知識庫-配置數(shù)據(jù)支持從關聯(lián)的數(shù)據(jù)源實例中，級聯(lián)添加數(shù)據(jù)模型所關聯(lián)的數(shù)據(jù)維度、數(shù)據(jù)數(shù)據(jù)知識、樣例數(shù)據(jù)，支持用戶從預定義的數(shù)據(jù)源實例中，無縫集成數(shù)據(jù)模型所需的各種關聯(lián)數(shù)據(jù)維度；它智能化地識別并添加相關數(shù)據(jù)知識，如元數(shù)據(jù)、數(shù)據(jù)規(guī)則，以增強數(shù)據(jù)理解；配置知識庫-關聯(lián)數(shù)據(jù)維度支持按照維度名稱的關鍵字篩選關聯(lián)數(shù)據(jù)源實例的數(shù)據(jù)維度，將對應數(shù)據(jù)維度值添加到知識庫內(nèi)，用戶通過輸入維度名稱的關鍵字，高效篩選出與之關聯(lián)的數(shù)據(jù)源實例中的特定數(shù)據(jù)維度；隨后，系統(tǒng)自動提取這些篩選出的數(shù)據(jù)維度值，并將其集成至知識庫中，確保信息的有序存儲與后續(xù)便捷查詢；配置知識庫-專家知識支持按照詞條名稱和描述的關鍵字篩選關聯(lián)數(shù)據(jù)源實例的數(shù)據(jù)專家知識，將對應知識詞條添加到知識庫內(nèi)，用戶通過輸入詞條名稱或描述中的關鍵字，高效地從眾多數(shù)據(jù)源中篩選出相關聯(lián)的實例；該模塊不僅強化了數(shù)據(jù)的針對性獲取能力，還具備將篩選出的精準知識詞條自動化集成至知識庫的功能，從而不斷豐富與更新知識庫內(nèi)容，為用戶提供即時、有價值的信息資源；配置知識庫-樣例庫支持按照query和sql的關鍵字篩選關聯(lián)數(shù)據(jù)源實例的樣例對信息，將對應樣例對添加到知識庫內(nèi)，用戶通過輸入特定的查詢（query）關鍵詞或結(jié)構(gòu)化查詢語言（SQL）關鍵字，來高效地篩選出與數(shù)據(jù)源實例相關的樣本對；該模塊智能化地匹配關鍵詞，從海量數(shù)據(jù)中挑選出相關聯(lián)的樣例，并自動將這些篩選出的樣例對整合到知識庫系統(tǒng)中，確保信息的準確性和時效性；配置知識庫-批量刪除支持批量刪除數(shù)據(jù)模型的字段、數(shù)據(jù)維度值、數(shù)據(jù)專家知識明細、樣例庫明細，用戶批量刪除數(shù)據(jù)模型中的多個元素，這一模塊不僅允許用戶一次性刪除多個字段和數(shù)據(jù)維度值，還特別融入了對數(shù)據(jù)專家知識明細及樣例庫明細的批量移除能力，確保了數(shù)據(jù)管理的高效性和準確性；編輯知識庫支持編輯修改知識庫的名稱和描述信息，支持開啟數(shù)據(jù)維度和數(shù)據(jù)專家知識的內(nèi)容，用戶可以根據(jù)需要啟用特定的數(shù)據(jù)維度及專家知識內(nèi)容，以便于管理和優(yōu)化知識庫的內(nèi)容結(jié)構(gòu)，提升信息檢索與利用的效率；1.2.3.多模態(tài)數(shù)據(jù)接入指標項具體要求多模態(tài)數(shù)據(jù)接入1、按照行業(yè)需要設計和維護知識體系，包含體系創(chuàng)建、分類創(chuàng)建，修改及刪除知識分類，知識分類層級支持5級以上；2、支持多模態(tài)文件解析后的解析詳情概覽：支持瀏覽原文檔內(nèi)容，并按照瀏覽的文檔頁定位并展示當前頁的解析出的全部文檔要素詳情，包含文本、圖片、公式、表格；3、支持多模態(tài)數(shù)據(jù)文件的批量操作，包括支持選擇多個文件并進行批量刪除；支持多個多模態(tài)文件的批量重解析；4、支持解析后多模態(tài)文件中的表格內(nèi)容、公式內(nèi)容、文本內(nèi)容、圖片內(nèi)容查看與操作；5、支持按照文檔、音頻、視頻、圖像進行類別分類導入的文件；6、支持文檔類文件接入，并支持單次批量導入多個文件，文件格式包括doc、docx、txt、pdf；7、支持視頻類文件接入，并支持單次導入多個文件，多模態(tài)模型支持文件格式包括mp4、avi、mov、wmv、mkv、flv、m4v、rmvb、webm、mpeg、3gp、vob、mpg；8、支持音頻類文件接入，并支持單次導入多個文件，多模態(tài)模型支持文件格式包括mp3、wav、aac、ogg、m4a、flac、wma、mid、amr）；1.2.4.多模態(tài)數(shù)據(jù)接入（圖文接入）指標項具體要求新建接入任務支持通過本地上傳和對象存儲上傳兩種方式導入圖片，允許用戶采用兩種便捷的圖片上傳途徑：一是直接從本地設備選擇并上傳圖片，確保了即選即傳的高效性；二是利用對象存儲服務上傳，為大量圖片或遠程操作場景提供穩(wěn)定、高效的上傳渠道，從而滿足不同用戶場景下的需求；查看已接入數(shù)據(jù)提供圖片數(shù)據(jù)集接入結(jié)果查詢?nèi)肟?，查看圖片數(shù)據(jù)集列表；查看接入詳情支持查看圖片存儲接入任務的基本信息，包括任務名稱、數(shù)據(jù)來源、導入到的數(shù)據(jù)集以及數(shù)據(jù)集名稱，點擊查看詳情可查看該接入任務所接入的所有圖片；1.2.5.多模態(tài)數(shù)據(jù)處理（圖文批量操作）指標項具體要求批量刪除批量刪除多個圖片接入任務；中止接入正在運行中的圖像接入任務，支持批量終止多個圖像接入任務；任務重跑異常和停止狀態(tài)的圖像接入任務，支持批量重跑多個圖像接入任務；1.2.6.多模態(tài)數(shù)據(jù)集管理（圖文數(shù)據(jù)集）指標項具體要求新建數(shù)據(jù)集提供圖片接入任務入口，可在創(chuàng)建圖片接入任務的完成后創(chuàng)建圖片數(shù)據(jù)集；允許用戶在創(chuàng)建圖片接入任務的完成后，生成相應的圖片數(shù)據(jù)集，從而極大地提升了工作效率和數(shù)據(jù)管理的便捷性；上傳分割檢測標注已上傳的圖片需要上傳對應的圖片分割與檢測的標注信息，只有已標注的圖片數(shù)據(jù)集才可在后續(xù)模型中心和評測中心調(diào)用；重傳分割檢測標注已上傳標注信息的圖片數(shù)據(jù)集支持重傳標注以更新或補充分割與檢測的額標注信息，旨在讓用戶能夠便捷地更新和豐富原有的標注信息，無論是修正錯誤還是增加新的標注細節(jié)，從而確保數(shù)據(jù)集的準確性和完整性得到持續(xù)改進；查看圖片數(shù)據(jù)集詳情支持查看圖片數(shù)據(jù)集詳情即該圖片數(shù)據(jù)集下的所有圖片，允許用戶直觀地瀏覽和交互，展示數(shù)據(jù)集中每張圖片的預覽，并附帶元數(shù)據(jù)信息；上傳圖文標注下載圖文標注模板并按要求填入標注信息，導入后關聯(lián)到對應的圖片，支持瀏覽標注信息、描述信息，支持修改和復核標注信息；智能圖生文調(diào)用多模態(tài)大模型對單張圖片，按照圖像-文本描述模型或者圖像-問答對模式不同，生成相應的標注信息，支持修改和復核標注信息；批量圖生文調(diào)用多模態(tài)大模型對選定的多張圖片，按照圖像-文本描述模型或者圖像-問答對模式不同，批量生成相應的標注信息，支持修改和復核標注信息；生成數(shù)據(jù)集已進行過圖像文本描述標注或者是圖像問答對標注的數(shù)據(jù)集，支持生成對應的數(shù)據(jù)集文件，用于多模態(tài)大模型訓練；復制圖片數(shù)據(jù)集圖片數(shù)據(jù)集支持復制，對于已上傳標注的圖片數(shù)據(jù)集復制后其標注內(nèi)容也會同樣被復制，系統(tǒng)不僅會復制圖片數(shù)據(jù)集本身，還會自動包含所有相關的標注內(nèi)容，確保復制出的數(shù)據(jù)集與原數(shù)據(jù)集在標注信息上完全一致，從而極大地提升了數(shù)據(jù)處理的效率；刪除圖片數(shù)據(jù)集不再使用的圖片數(shù)據(jù)集支持刪除，識別并標記不再需要的圖片數(shù)據(jù)集；被標記的數(shù)據(jù)集隨后將被系統(tǒng)安全地永久刪除，從而釋放存儲空間；1.2.7.多模態(tài)知識庫管理（圖文知識庫）指標項具體要求新建圖文知識庫新建知識庫：輸入知識庫名稱，選定知識庫的多模態(tài)向量化模型后創(chuàng)建一個空的圖文知識庫,用戶首先需要輸入預定的知識庫名稱，隨后從可供選擇的多模態(tài)向量化模型中作出抉擇，這些模型旨在高效整合文本與圖像信息；確認選擇后，系統(tǒng)將自動初始化一個空白的知識庫，該知識庫專門用于存儲和管理圖文結(jié)合的知識條目，為后續(xù)的信息添加與檢索打下基礎；搜索圖文知識庫支持按照知識庫名稱的關鍵字搜索并過濾知識庫列表，用戶通過輸入知識庫名稱的關鍵字，高效地篩選和獲取相關知識庫列表；該模塊將采用智能模糊匹配技術(shù)，確保即使關鍵字輸入不完全，也能準確識別并展示匹配度高的知識庫條目，從而極大地提升用戶在龐大知識庫體系中定位目標信息的效率與便捷性；1.2.8.多模態(tài)模型配置指標項具體要求新增多模態(tài)模型訓練支持用戶啟動多模態(tài)模型的訓練任務；多模態(tài)大模型可根據(jù)基礎模型情況支持微調(diào)訓練、意圖對齊；

微調(diào)訓練：當積累構(gòu)建的業(yè)務數(shù)據(jù)數(shù)量累積超過一定數(shù)量后（萬規(guī)模），可以對模型進行微調(diào)訓練；在這個功能中，模型會根據(jù)提供的數(shù)據(jù)調(diào)整參數(shù)，以提升在特定任務上的能力，一般多模態(tài)模型微調(diào)任務根據(jù)數(shù)據(jù)集的不同分為基于圖文描述和基于圖文問答，圖文描述數(shù)據(jù)集增強模型的描述感知能力，圖文問題對增強模型的理解問答能力；數(shù)據(jù)集配置支持用戶分別配置訓練數(shù)據(jù)集和評估數(shù)據(jù)集，支持從知識中心選擇圖文數(shù)據(jù)集和本地上傳離線圖文數(shù)據(jù)集文件；數(shù)據(jù)集的不同分為基于圖文描述和基于圖文問答，圖文描述數(shù)據(jù)集增強模型的描述感知能力，圖文問題對增強模型的理解問答能力；滿足不同場景下的數(shù)據(jù)處理需求，可分別配置訓練數(shù)據(jù)集和評估數(shù)據(jù)集，訓練數(shù)據(jù)集用于任務訓練，評估數(shù)據(jù)集用于模型任務自評，當兩中數(shù)據(jù)集一樣時評估數(shù)據(jù)集可作為模型任務自評，當兩種數(shù)據(jù)集不一樣時，評估數(shù)據(jù)集可作為訓練數(shù)據(jù)集增強任務訓練；超參配置支持自定義設置迭代