第第頁星火快答建設方案科大訊飛股份有限公司2025-4-7

版本說明日期版本作者說明審批人發(fā)布日期2025-04-071.0星火快答建設方案V1

目錄TOC\o"1-3"\h\u46371.建設背景 610431.1.大模型發(fā)展背景 6102371.2.虛擬人技術發(fā)展背景 7264461.3.企業(yè)數(shù)據(jù)應用發(fā)展背景 879052.現(xiàn)狀及需求分析 9295713.總體設計 9122133.1.設計目標 921193.2.設計原則 9258033.3.總體架構 11131903.4.使用流程 1255574.核心技術 13211084.1.大模型技術 13181774.2.虛擬人技術 14109944.3.語音識別技術 15134434.4.語音合成技術 19187034.5.意圖匹配技術 20172465.功能清單 2224435.1.智能展示 22166185.1.1.智能講解 22167785.1.2.多模態(tài)交互 25159065.1.3.移動端控制 26135355.1.4.桌面端演示 2749405.2.數(shù)據(jù)問答 27224125.2.1.數(shù)據(jù)問答 27138005.2.2.數(shù)據(jù)源 27318545.2.3.指標管理 2869695.2.4.指標實例庫 29251425.2.5.數(shù)據(jù)權限 29296575.3.公共組件 30227985.3.1.知識文檔 30126075.3.2.長文本知識庫 31201385.3.3.標準問答 3131045.3.4.技能和接口 31152465.3.5.監(jiān)控播放 32151085.3.6.專有詞庫 339745.3.7.日志管理 33170535.3.8.租戶和用戶管理 33119305.4.能力底座 33219075.4.1.系統(tǒng)意圖管理 33131335.4.2.接口技能 33102066.實施方案 34204466.1.需求調研 34312206.2.系統(tǒng)構建 34153276.3.部署上線 355876.4.測試驗收 36257117.部署方式及外部依賴 36204797.1.多模態(tài)硬件 362037.2.部署方式 3722432①SaaS公有云服務 373174②平臺私有化 379073③混合云模式 37建設背景大模型發(fā)展背景目前，大模型的發(fā)展已經(jīng)取得了顯著的進展，隨著計算能力的提高，大型模型的參數(shù)規(guī)模不斷擴大，基礎設施逐步完善，應用場景逐漸增加，大模型已成為邁向通用人工智能的最重要手段，同時大模型的自主完善和不斷自我優(yōu)化的能力，加快了通用人工智能到來。大模型未來將會助推數(shù)字經(jīng)濟，為智能化升級帶來新范式，直接影響人們生活、工作的各個方面，大模型從技術和應用兩個方面進行趨勢評估。（一）技術方面：大模型通用性持續(xù)加強，實現(xiàn)AI開發(fā)“大一統(tǒng)”模式。大模型由于其泛化性、通用性，為人工智能帶來了新機遇。通過無標注數(shù)據(jù)進行自監(jiān)督學習，從而降低標注數(shù)據(jù)的人力要求。同時，多模態(tài)大模型也逐漸興起，數(shù)據(jù)形態(tài)差異化問題也將得到解決，未來大模型將進一步致力于構建通用的人工智能底層算法框架，融合多領域的模型能力，不同領域中“自我學習”，通過一個大模型解決產(chǎn)業(yè)中各種問題，各行業(yè)正利用精調或prompt的方式加入任務間的差異化內容，提高模型的利用率，實現(xiàn)大模型統(tǒng)一部署，賦能于多場景應用的局面。（二）應用方面：通用認知智能技術將持續(xù)快速發(fā)展，給全世界帶來多方面的重大模式創(chuàng)新和產(chǎn)業(yè)變革：1）改變信息分發(fā)獲取模式，實現(xiàn)更高效的信息整合和更精準的知識推薦等，讓整個社會的信息獲取更加簡潔高效，深刻改變人們工作和學習方式；2）革新內容生產(chǎn)模式，機器的自動文章撰寫能力能顯著提升人們的寫作和辦公效率，帶動AIGC技術實現(xiàn)圖片、音視頻等多模態(tài)內容的自動生成；3）全面升級人機交互模式，未來人機之間可能實現(xiàn)多模態(tài)“類人”的自然對話，進一步降低學習成本、提高交互效率；總之，認知智能認知大模型的持續(xù)發(fā)展將有望支撐實現(xiàn)諸多此前技術不可達的行業(yè)重大創(chuàng)新應用，為各行各業(yè)帶來重大產(chǎn)業(yè)顛覆和發(fā)展機遇，同時認知智能認知大模型技術也有望演進成為每個人的人工智能助手，讓每個人能站在人工智能肩膀上發(fā)揮更大的創(chuàng)造力。虛擬人技術發(fā)展背景早期虛擬人受限于3D建模與動作捕捉技術，主要應用于影視特效領域。代表案例如《阿凡達》中的動作捕捉技術，奠定了數(shù)字形象構建基礎，但存在制作成本高、交互能力弱等瓶頸。語音合成（TTS）、自然語言處理（NLP）技術突破推動虛擬人進入對話交互階段。微軟小冰、蘋果Siri等智能助手驗證了語音交互可行性，日本初音未來等虛擬偶像驗證了IP商業(yè)化路徑。近期，生成式AI技術爆發(fā)重構產(chǎn)業(yè)格局，GPT-3實現(xiàn)自然對話生成、StyleGAN提升數(shù)字人形象真實度、NeRF技術突破3D建模效率、多模態(tài)交互框架成熟，使虛擬人具備情感表達與場景適應能力。目前，AIGC+大模型驅動“智能體”的進化，使數(shù)字員工實現(xiàn)與業(yè)務系統(tǒng)集成、數(shù)字分身實現(xiàn)企業(yè)個性化服務。Gartner預測到2026年，30%企業(yè)將部署虛擬員工處理客戶服務場景。企業(yè)數(shù)據(jù)應用發(fā)展背景隨著數(shù)字技術的持續(xù)突破與業(yè)務場景的深度耦合，企業(yè)數(shù)據(jù)應用已從基礎的信息化工具演變?yōu)轵寗又悄軟Q策的核心引擎。早期以關系型數(shù)據(jù)庫為核心的技術架構，僅能支撐結構化數(shù)據(jù)的靜態(tài)管理；大數(shù)據(jù)時代的Hadoop生態(tài)雖解決了海量數(shù)據(jù)處理難題，但實時分析與價值挖掘能力仍顯不足。近年來，云計算、機器學習與實時計算技術的融合，推動數(shù)據(jù)應用進入“感知-決策-執(zhí)行”一體化階段，數(shù)據(jù)湖倉、AI模型與低代碼平臺等技術重構了數(shù)據(jù)資產(chǎn)化路徑。IDC數(shù)據(jù)顯示，2023年數(shù)據(jù)智能市場規(guī)模突破3000億元，83%企業(yè)將數(shù)據(jù)應用列為最高優(yōu)先級投入，金融、制造、醫(yī)療等領域已涌現(xiàn)出客戶畫像精準度提升、設備運維成本降低的實踐標桿。政策與市場的雙重驅動加速了數(shù)據(jù)要素價值釋放。技術的普惠性也在持續(xù)增強：物聯(lián)網(wǎng)與5G實現(xiàn)工業(yè)設備數(shù)據(jù)覆蓋率提升。然而，企業(yè)仍面臨數(shù)據(jù)孤島、非結構化數(shù)據(jù)利用率不足等挑戰(zhàn)，未來向量數(shù)據(jù)庫與大模型的深度結合、湖倉一體架構的普及，將進一步推動數(shù)據(jù)應用從“輔助分析”向“自主決策”躍遷，為業(yè)務創(chuàng)新構建實時、閉環(huán)的智能底座。現(xiàn)狀及需求分析總體設計設計目標星火快答是一款專為企業(yè)打造的智能展示和智能數(shù)據(jù)問答場景的工具?；谙冗M的大模型構建，通過智能演示、數(shù)據(jù)管理、指標管理、知識管理、集成管理等核心功能，為企業(yè)用戶提供了互動的全新體驗。助力企業(yè)提高數(shù)據(jù)獲取和分析效率、降低數(shù)據(jù)分析應用開發(fā)成本、提升大屏交互體驗。設計原則為確保實現(xiàn)星火快答平臺建設目標，充分發(fā)揮產(chǎn)品核心技術能力，真正創(chuàng)造業(yè)務價值，系統(tǒng)在設計時遵循了如下設計原則。（1）標準化設計系統(tǒng)設計采用的各項軟、技術等均應符合國際通用標準，符合開放性原則，使用的技術要與技術發(fā)展的潮流吻合，保證系統(tǒng)的開放性和技術可伸性，與未來技術發(fā)展應具有良好的兼容性。系統(tǒng)嚴格遵循軟件相關標準和規(guī)范進行設計、實施，嚴格按照ISO9001:2000質量體系要求進行系統(tǒng)建設、實施。（2）平臺化設計系統(tǒng)按照平臺化的設計思想，利用SOA（ServiceOrientedArchitecture）技術，以松耦合的思路進行系統(tǒng)建設。系統(tǒng)由多個子模塊組成，每個子系統(tǒng)僅通過服務接口與外界聯(lián)系。這種設計架構盡可能的減少了平臺各子系統(tǒng)之間關聯(lián)，以及平臺自身與后臺支撐軟件和環(huán)境的關聯(lián)。最終系統(tǒng)可以方便掛接各類工具和數(shù)據(jù)，對現(xiàn)有的應用和以后新增加的應用，軟件無需二次開發(fā)。（3）模塊化設計系統(tǒng)采用模塊化設計方式，并對大部分功能實現(xiàn)插件化管理。平臺中各個服務和模塊的設計都采取“高內聚、低耦合”的原則。每個服務和模塊都應當是能夠獨立運行的模塊，模塊和服務之間通過基于業(yè)務的標準接口進行互聯(lián)。杜絕了模塊的復雜依賴關系，便于實現(xiàn)靈活的部署結構，以及單獨模塊的升級改造。系統(tǒng)中各模塊既是一個獨立的功能，又同時以WEBSERVICE的方式對外提供各種服務，各模塊服務接口進行了預先定義，使得用戶可以隨時擴展、更新，并以自定義方式實現(xiàn)模塊功能的修改，模塊的替換、加載和卸載的功能。（4）可擴展性為適應業(yè)務量的不斷增長，以及星火快答系統(tǒng)自身水平的發(fā)展，系統(tǒng)必須具備高度的可擴展性。系統(tǒng)整體的可擴展性要求系統(tǒng)在數(shù)據(jù)存儲、數(shù)據(jù)結構、接口和應用功能的實現(xiàn)上預留空間，系統(tǒng)架構設計上應可擴展，以滿足未來變化的需要。系統(tǒng)采用應用群集等技術，可隨未來業(yè)務量的變化，方便的實現(xiàn)橫向及縱向擴展。（5）穩(wěn)定性設計星火快答是關鍵業(yè)務系統(tǒng)，隨著未來業(yè)務的進一步開展，系統(tǒng)的穩(wěn)定性將越發(fā)關鍵。本系統(tǒng)在設計過程中，根據(jù)模塊和服務的功能、重要性等分別采用容錯、備份等技術，以保證局部的錯誤不影響整個平臺的運行。關鍵模塊和服務應當采用冗余設計，避免局部故障導致平臺整體應用崩潰?？傮w架構星火快答作為一款先進的人工智能應用產(chǎn)品，其技術架構遵循了行業(yè)標準的多層架構設計，以確保系統(tǒng)的高可用性、可擴展性和安全性。同時星火快答提供了一個直觀、響應式的界面，支持多種瀏覽器和設備，確保用戶可以從任何地點、任何設備訪問應用。結合虛擬人交互，提供全新的用戶交互體驗。為了滿足全球用戶的需求，平臺提供了多語言界面，方便不同語言背景的用戶使用。星火快答產(chǎn)品架構如下：整體架構分為四大核心模塊。在交互方式上，系統(tǒng)深度融合語音識別、文字輸入、發(fā)音人追蹤等自然語音輸入技術，同時輸出文字、語音、圖表等動態(tài)反饋。業(yè)務場景方面，無論是展廳自動講解、迎賓接待的智能演示，還是會議指揮中心的數(shù)據(jù)問答，系統(tǒng)都能化身工作助手，實時生成圖表、調取數(shù)據(jù)。功能實現(xiàn)上，我們通過PC端配置大屏與數(shù)據(jù)庫、大屏端支持多人互動與智能語境引導、移動端集成快問快答。底層能力則依托大模型、虛擬人、語義知識庫等核心技術，并與企業(yè)數(shù)據(jù)庫、數(shù)據(jù)中臺深度打通，讓每個交互動作都有強大的數(shù)據(jù)引擎驅動。使用流程核心技術大模型技術大模型為星火快答注入了先進的多領域處理能力，它不僅在文本生成、語言理解和多模態(tài)數(shù)據(jù)處理方面有著卓越的表現(xiàn)，還在邏輯推理、用戶問題匹配、Function-Call和上下文推理等多個維度上展現(xiàn)出了非凡的性能。在邏輯推理方面，大模型運用常識推理、科學推理和時空推理等方法，能夠深入分析并準確推理出復雜情境中的邏輯關系。這種能力讓模型在教育、市場策略制定和輿情分析等關鍵領域大放異彩，為用戶在面對錯綜復雜的問題時提供明晰而有效的解決策略。在本平臺中，大模型還能迅速地基于現(xiàn)有的指標體系，精確地理解和定位用戶提出的問題，實現(xiàn)對問題要素的精準捕捉，從而進行高效的數(shù)據(jù)分析和處理。借助大模型Function-Call能力，可以根據(jù)用戶的具體需求，靈活調用相應的算法或處理流程，例如進行數(shù)據(jù)分析和統(tǒng)計計算，為用戶提供定制化的服務和技術支持。同時上下文推理能力進一步強化了模型的問題解決實力，讓模型在理解問題的本質的同時，也能考慮到問題所處的具體環(huán)境和背景，從而提供更為全面和深刻的洞見和答案。星火快答支持訊飛星火商用大模型，同時也支持DeepSeekV3大模型、Qwen72B大模型等開源模型（應用前需進行適配）。虛擬人技術星火快答采用先進的虛擬人技術，打造了一種模擬真人的交互模式，極大地提升了實時匯報和溝通的自然性和親和力。這種交互方式不僅讓用戶感受到更加貼近人類伙伴的溝通體驗，還增強了信息傳遞的直觀性和易理解性。文字轉音頻：AI虛擬人，可直接通過輸入文字方式一鍵生產(chǎn)出新聞、資訊等內容的有聲播報，且聲音具有豐富的音色和風格，滿足不同領域新聞或資訊等內容對聲音的要求。文字轉視頻：AI虛擬人支持文字一鍵生產(chǎn)主播播報新聞視頻，生產(chǎn)的視頻具有口型匹配度高、表情自然、整體效果流暢真實，為視頻新聞等內容的生產(chǎn)助理，且虛擬主播形象造型豐富，在不同的場景下均可高度滿足使用需求。成品視頻混編功能：AI虛擬人提供文字生產(chǎn)虛擬人視頻功能外，還支持對外采視頻、外采視頻配音、視頻畫中畫、視頻標題等素材的混編，通過上述功能，可完成最終的成品視頻輸出，讓內容生產(chǎn)便捷高效。虛擬人技術的制作流程涵蓋了人物設計、模型構建、動畫制作和皮膚渲染等關鍵步驟，融合了人工智能（AI）、自然語言處理（NLP）、機器學習以及計算機視覺等多項前沿技術，共同營造出一種流暢而自然的交互體驗。為了滿足不同行業(yè)和領域的多樣化需求，星火快答內置了豐富的虛擬人形象和音色庫，用戶可以根據(jù)自己的偏好和場景需求進行個性化組合和選擇。這種靈活性確保了星火快答能夠無縫適應各種環(huán)境，為用戶提供定制化的交互體驗，無論是在商務匯報、營銷宣傳還是經(jīng)營分析等場景，都能發(fā)揮出色的表現(xiàn)。虛擬人技術主要功能參數(shù)如下：支持提供標準API接口或SDK，以接入第三方應用系統(tǒng)支持以語音對話的形式，為用戶提供服務交互打斷：支持全雙工交互方式，支持交互過程中隨時打斷，終止當前對話進入下一輪交互調整語速：支持對虛擬人說話語速進行調節(jié)切換分辨率：支持對虛擬人視頻進行分辨率切換，應支持1080P、720P、480P。切換幀率：支持對虛擬人視頻進行幀率設置。切換流格式：虛擬人視頻流支持H264、FLV格式切換，以滿足客戶端對不同視頻流的格式要求。橫豎屏：支持豎屏、橫屏展示，虛擬人形象大小、背景尺寸根據(jù)橫豎屏進行適應，滿足在不同終端屏幕尺寸下的顯示效果字幕顯示：數(shù)字人播報的同時，支持設置字幕顯示語義提取正確率和召回率F-1值平均≥80%語音識別技術語音識別，英文全稱AutomaticSpeechRecognition，簡稱ASR。其能力是將語音中包含的文字信息識別出來，實現(xiàn)把語音轉換成對應的文字信息，使得將音頻內容轉化為文本內容。語音識別是智能語音的核心能力，是語音處理的基礎。本項目所需的是在線實時進行語音識別的能力（音頻時長長度小于60s）。（1）主要功能支持中文和英文兩個語種的識別，同時還支持中文中夾帶英文單詞、簡單的英文語句，基本可以達到中國人日常生活的要求；可提供武漢話、四川話、粵語等不少于23種主流的方言的識別能；支持pcm、wav、speex、speex-wb、opus等音頻編解碼算法；支持熱詞設置方式，分為會話級熱詞、全局熱詞和個性化熱詞，且熱詞設置方式可同時設置生效；支持面向專業(yè)領域、場景優(yōu)化的定制訓練，以提升該場景的識別效果；支持對輸入的音頻流進行前后端點檢測的語音預處理，可以在會話啟動時動態(tài)設置前后端點超時時間，也可以關閉端點檢測功能以達到長音頻語音聽寫；針對口語化語音交互中因為不流暢停頓等現(xiàn)象導致的交互中斷現(xiàn)象，需具有基于語義信息的斷句能力，以提升非連貫交互場景中的識別準確率；支持對識別結果語句智能預測其對話語境的文本后處理，提供智能斷句和標點符號的預測；支持結果格式智能轉化，對結果中出現(xiàn)數(shù)字、日期、時間等內容格式化成規(guī)整的文本；支持動態(tài)修正及中間結果返回。中間結果，即識別過程中產(chǎn)生的過渡結果，這個結果可能會根據(jù)后面音頻的上下文分析發(fā)生修正。開啟中間結果功能可以減少識別結果返回的時間間隔，提高識別過程中的視覺流暢度，并達到動態(tài)修正的功能體驗。具備降噪處理能力；普通話識別支持采樣率支持8k/16k，采樣深度支持16bits;正常環(huán)境下中文普通話識別率達到95%。（2）技術特色深度神經(jīng)網(wǎng)絡（DNN）聲學建模技術支持海量數(shù)據(jù)的DNN并行訓練支持多語種共享結構的DNN訓練支持個性化DNN建模基于DNN的非線性建模提升魯棒性用戶個性化聲學建模技術和二遍解碼技術數(shù)萬小時聲學模型訓練數(shù)據(jù)，顯著提升通訊錄人名的個性化識別一遍解碼生成Lattice后，根據(jù)人名列表對Lattice進行優(yōu)化，再進行二遍解碼針對超大規(guī)模語言模型的快速更新技術支持小語言模型和WFST網(wǎng)絡建模并聯(lián)小語言模型網(wǎng)絡和更新通用超大規(guī)模語言模型網(wǎng)絡，并調節(jié)權重針對說話人和口音方言的自適應技術引入可變長度的碼字層，改變傳統(tǒng)DNN結構引入對模型參數(shù)變化的限制將目標函數(shù)從幀級別的信息熵擴展到串級別區(qū)分性準則海量多語種語言模型的高速訓練和數(shù)據(jù)資源庫構建支持T級以上語料的統(tǒng)計語言模型訓練覆蓋中英粵維藏等多語種海量語音語言數(shù)據(jù)的收集、整理和標注語音識別技術主要功能參數(shù)如下：標點智能預測：支持對識別結果語句智能預測其對話語境，提供智能斷句和標點符號的預測。智能端點檢測：支持對說話過程中進行前端點檢測，即智能檢測說話過程中的有效語音的開始位置；支持對說話過程中進行尾端點檢測，即智能檢測說話是否結束智能數(shù)字規(guī)整：支持將識別結果的數(shù)字如日期、分數(shù)、小數(shù)等，智能的轉換為易于理解的數(shù)字格式，使展現(xiàn)形式更符合人的習慣智能文本順滑：支持將識別結果中無意義的停頓詞、語氣詞、重復詞等進行智能過濾，使識別結果更易用閱讀和理解動態(tài)結果修正：支持字詞級識別結果實時返回，并根據(jù)上下文語境,對歷史返回結果進行動態(tài)修正。音頻編碼：支持pcm、wav、speex、opus等多種音頻編碼格式音頻采樣率：支持8k及16k的音頻，采樣精度為16bit通用場景語音識別率≥95%語音合成技術語音合成，英文全稱TextToSpeech，簡稱TTS。主要解決如何將文字信息轉化為可聽的聲音信息，涉及聲學、語言學、數(shù)字信號處理、計算機科學等多個學科技術，可以“讓機器像人一樣開口說話”?？拼笥嶏w采用最先進的中文文本、韻律分析算法和最大語料庫的合成方法，合成語音已經(jīng)接近真人的自然效果。語音合成引擎在完成文本到語音數(shù)據(jù)的轉化過程中可以簡單分解為兩個步驟的處理。文本先經(jīng)過前端的語法分析，通過科大訊飛公司精心制作的詞典和規(guī)則的處理，得到格式規(guī)范，攜帶語法層次的信息，傳送到后端。后端在前端分析的結果基礎上，經(jīng)過韻律方面的分析處理，得到語音的時長、音高等韻律信息，再根據(jù)這些信息在音庫中挑選最合適的語音單元，語音單元再經(jīng)過調整和拼接，就能得到最終的語音數(shù)據(jù)。在整個轉化處理的過程中牽涉到大量的中英文語法和韻律知識的運用，以及語法和語義分析的算法，最佳路徑搜索，單元挑選和調整的算法，語音數(shù)據(jù)編碼方面的知識。語音合成技術主要功能參數(shù)如下：音頻格式需要支持主流的音頻格式，如mp3、wav、m4a、pcm等。支持角色分離功能，可通過配置設定角色的數(shù)量，也可以不指定進行盲分。返回結果支持時間戳，即結果中的文本時間點，精確到毫秒。提供詞、句的置信度得分，便于業(yè)務判斷識別的準確度。支持標點預測功能，即識別的結果文本中的相關語句和段落已經(jīng)具備了標點符號。支持數(shù)字規(guī)整，即遇到時間、日期等識別內容可自動轉化為標準的數(shù)字書寫形式，例如十二點三十分轉寫為12:30。支持效果優(yōu)化能力，主要為通過熱詞的形式即時解決特定的專業(yè)術語識別不準確問題并支持相應語料的模型訓練，來進一步提升識別率。在安靜環(huán)境下，中文標準普通話的綜合識別率大于95%。意圖匹配技術為了確保用戶輸入能夠精確對應到相應的意圖，系統(tǒng)采取了精準的意圖識別和匹配策略。首先，利用預訓練的語義相似度模型（SimBERTv2）對意圖進行向量化處理，這一步驟將意圖轉化為高維空間中的向量表示，以便更精確地捕捉和存儲意圖的語義信息。這些向量化的意圖隨后被存儲在一個專門的向量數(shù)據(jù)庫中，以便快速檢索和比對。當用戶發(fā)起輸入時，我們同樣使用Embedding技術將用戶的輸入轉換為向量形式，并在向量數(shù)據(jù)庫中進行高效檢索。一旦檢索到與用戶輸入向量高度一致的意圖向量，我們便可以確認用戶的輸入已經(jīng)成功匹配到了相應的意圖。確認匹配后，系統(tǒng)將進入下一階段，即實體提取和執(zhí)行器執(zhí)行。實體提取過程將從用戶輸入中識別出關鍵信息，而執(zhí)行器則根據(jù)已識別的意圖和實體信息執(zhí)行相應的操作或服務。這整個過程的設計旨在提高系統(tǒng)的響應速度和準確性，確保用戶能夠獲得滿足其需求的精準服務。具備知識編譯及語義解析能力，支持將知識庫的數(shù)據(jù)資源編譯成語義資源，能夠根據(jù)語義資源將文本解析成固定格式的json；提供語義理解并發(fā)能力；支持實現(xiàn)長、短句的分詞能力；相同詞義的短詞規(guī)整、合并；上下文指代詞的歧義；在交互過程中自動緩存、匹配上下文信息、歷史數(shù)據(jù)等，提供多輪人機交互記憶機制；配合知識庫，實現(xiàn)對話意圖的關鍵詞槽抽取、如地址、時間、關鍵動作；支持對相關業(yè)務以外的話題拒識功能；支持敏感詞過濾功能；支持復雜任務的多輪對話以及多輪糾錯；用戶可在任意時間打斷對話并發(fā)出需求，引擎可以對非相關交互進行拒識；通過知識圖譜、生成式問答等引擎處理，可以做到有問必答，無應答率大大下降。功能清單智能演示智能演示可以實現(xiàn)進行演示場景的新建、并在新建時選擇單屏或多實體大屏聯(lián)動演示。場景列表可展示本用戶創(chuàng)建場景或本租戶下所有用戶新建的場景。新建場景后可以對場景界面進行可視化配置，包括頁面設計和問答設計。智能講解虛擬人自動講解虛擬人根據(jù)配置好的講解詞進行自動講解，講解的內容可以通過單頁、多頁、多大屏的方式進行展示，當展示內容為多個大屏時支持大屏之間的聯(lián)動。虛擬人講解的對象可以是公司不同的產(chǎn)品介紹、數(shù)據(jù)大屏、公司文化簡介等，展示的方式可以是通過瀏覽器打開的大屏、PPT頁面、數(shù)字孿生大屏等。講解的場景可以是展會、展廳、公司大廳展臺等。頁面調度支持在講解詞中配置固定的切換動作，即虛擬人講到大屏中哪一頁內容的同時將大屏切換到對應的頁面，也可以在不講解時通過自然語言的方式切換大屏頁面；切換頁面的方式有接口調度、模擬點擊大屏按鈕、RPA方式操作大屏。虛擬人走動虛擬人講解過程中支持根據(jù)高亮走動到對應位置指示講解內容；配置虛擬人消失與出現(xiàn)的位置，可避免因為虛擬人走動導致的大屏數(shù)據(jù)遮擋。虛擬人跨屏講解在多屏講過的過程中，支持多個大屏之間的聯(lián)動，在虛擬人講解完前一個大屏內容之后自動走動到下一個需要講解的大屏上。單屏循環(huán)講解在無人值守或需要重復講解大屏內容時，可以通過循環(huán)講解的意圖讓虛擬人不斷的講解當前大屏內容。多套解說詞在一個頁面下支持有多種風格的講解詞，在遇到不同的參觀對象時可以給出不同的講解；可以通過多套講解詞的功能實現(xiàn)多語言講解，每一套講解詞都是不同的語種；多套講解詞支持隨機切換或固定講解，且可以通過手機控制器上一鍵完成。多語言交互在長文本知識庫模式下，用戶可通過自然語言直接切換當前交互的語言，例如給出“接下來我們用英語交流吧”之后虛擬人即可進行英文交互。目錄可以設置講解內容輪播，展示了當前大屏講解的產(chǎn)品（分類）；可在目錄項中配置縮略圖、slogan等，同時可通過自然語言直接切換到對應的產(chǎn)品下進行講解。分類講解將大屏中某幾頁內容貼上分類的標簽組成一個整體，講解過程中可以按順序講解全部的內容也可以按照分類進行單獨講解；適合在一個大屏上對多個產(chǎn)品或多個不同的模塊單獨進行介紹。高亮展示在講解詞中配置高亮展示，可在虛擬人講解到當前位置時通過高亮框的方式標記大屏中的位置，這樣就可以指示出目前的講解內容與大屏的關聯(lián)；也可通過自然語言的方式直接高亮標記大屏中的區(qū)域。技能調度在自定義操作中關聯(lián)技能，將技能配置到講解詞中在虛擬人講解到當前位置時即可執(zhí)行該技能；該功能是通過向第三方系統(tǒng)的接口對接固定的參數(shù)實現(xiàn)調度；目前主要應用有，為講解詞獲取實時數(shù)據(jù)，或自動切換大屏頁面。模擬點擊通過在大屏上以簡單的畫框方式，為虛擬人指示點擊位置；可以將模擬點擊配置在講解詞中，這樣在虛擬人講解到當前位置時即可點擊大屏，讓講解與大屏進行聯(lián)動；也可以將模擬點擊直接配置在大屏上，通過自然語言的方式進行調度；模擬點擊的方法配置起來簡單方便，但是效果會受到大屏分辨率變化等的影響。多模態(tài)交互（1）多模態(tài)設備將多模態(tài)設備接入快答平臺，同時關聯(lián)到對應的大屏上這樣即可實現(xiàn)無需喚醒的自然語言交流；多模態(tài)設備同時還可以支持圖像識別、肢體語言交互。（2）歡迎語在多模態(tài)交互模式下，觀眾經(jīng)過展臺時（3米內），多模態(tài)通過圖像識別到人員走過可主動進行打招呼，邀請觀眾進行交流，提高展臺人氣。（3）邀請語在多模態(tài)交互模式下，觀眾經(jīng)過展臺時（3米內），多模態(tài)通過圖像識別到人員走過可主動進行打招呼，邀請觀眾進行交流，提高展臺人氣。移動端控制（1）手機控制器每個演示都會自動生成一個手機控制器的二維碼，用手機掃碼進入，鏈接到對應的演示大屏上，可對大屏進行操作；一方面是功能性的操作，虛擬人切換、多套解說詞切換、頁面刷新、語言切換等，這些操作需要產(chǎn)研側開發(fā)完成之后才能使用；另一方面是指令，可在手機上點擊語音輸入按鈕直接向關聯(lián)的大屏發(fā)送語音指令；也可提前講意圖等指令配置好直接點擊發(fā)送，將意圖發(fā)送到大屏上。（2）虛擬人切換通過手機控制器上的虛擬人切換功能直接在演示過程中一鍵切換虛擬人形象；虛擬人形象需要提前配置。（3）頁面刷新手機控制器上的固定功能，需要先連接到對應的大屏，點擊刷新按鈕之后即可將正在展示的大屏頁面（快答平臺可刷新，外部大屏只有在接入快答平臺的情況下才刷新）進行刷新；在虛擬人或其他頁面元素出現(xiàn)故障時可通過一鍵刷新的方式重新開始。桌面端演示（1）多種不同的形式的大屏接入通過桌面端插件，通過在用戶系統(tǒng)上覆蓋虛擬人交互圖層，能夠直接在客戶桌面端系統(tǒng)上進行演示。目前可支持的外部大屏形態(tài)有：①鏈接地址②C/S應用，如數(shù)字孿生③桌面應用，如微信、QQ等④圖片。（2）RPA流程在講解詞編輯中可添加RPA流程，目前支持固定的動作執(zhí)行，有20種，包括了瀏覽器打開、關閉、元素點擊、輸入內容等；這些功能可被編輯為一個固定的流程按順序去執(zhí)行，在虛擬人講到此處時執(zhí)行該流程動作。數(shù)據(jù)問答數(shù)據(jù)問答數(shù)據(jù)源星火快答的底層數(shù)據(jù)來源，支持鏈接多種類型數(shù)據(jù)庫（數(shù)據(jù)庫類型支持MySQL、GAUSS、SQLServer、POSTGRESQL、DORIS、STARROCKS等）和csv數(shù)據(jù)文件上傳，提供了詳細的連接參數(shù)配置和連接測試，確保了數(shù)據(jù)的準確接入和高效處理。同時針對上傳后的數(shù)據(jù)支持添加字段描述，提高大模型對于數(shù)據(jù)的理解能力。指標管理指標分類采用“指標域”分類管理指標數(shù)據(jù)，“指標域”是一類指標的集合，可將指標按照應用場景進行分類。目前系統(tǒng)支持3類指標類型：原子指標：即最小粒度的數(shù)據(jù)指標，構建一些簡單的不需要涉及指標之間的計算。例如“銷售額數(shù)值”、“新客戶數(shù)量”。也是組成復合指標的最小顆粒度。系統(tǒng)默認數(shù)據(jù)源充分的條件下不需要配置則支持原子指標查詢其同比與環(huán)比。復合指標：構建一些較為復雜的數(shù)據(jù)指標需要涉及原子指標間的計算，例如“銷售額”，通過“銷售單價”*“銷售數(shù)量”計算得出。明細指標：用于查詢數(shù)據(jù)源中的某個數(shù)據(jù)明細，例如上傳的數(shù)據(jù)csv文件中的某一單元格的數(shù)據(jù)值，無聚合方式。指標構建支持多層次、多維度的指標體系構建。設置相應的數(shù)據(jù)指標描述，可增強大模型對數(shù)據(jù)指標的理解能力，從而更加精準的深度分析數(shù)據(jù)；設置數(shù)據(jù)指標的數(shù)據(jù)格式和計算方式，幫助平臺準確快速的計算處理數(shù)據(jù)并呈現(xiàn)。數(shù)據(jù)維度：在數(shù)據(jù)分析中，業(yè)務需要在得到特定條件或分類下的數(shù)據(jù)指標數(shù)值，某個特定條件和分類就是單個的數(shù)據(jù)維度。設置數(shù)據(jù)維度得到各分類和分組下的數(shù)據(jù)指標值，幫助更深入地理解和分析數(shù)據(jù)，發(fā)現(xiàn)潛在的趨勢和模式。設置數(shù)據(jù)篩選條件，可過濾無用的數(shù)據(jù)源，增加數(shù)據(jù)的可靠性和數(shù)據(jù)分析的真實性。設置時間維度：年、季度、月、日等，平臺將按照選擇的時間顆粒度對數(shù)據(jù)進行統(tǒng)計與分析。指標實例庫數(shù)據(jù)權限問數(shù)類型舉例：問數(shù)類型問題示例直接問數(shù)-單指標2024年1月SUV的銷量是多少？直接問數(shù)-多指標今年SUV的產(chǎn)量、銷量、市占率分別是多少？直接問數(shù)-計數(shù)查詢今年李四負責了多少項目直接問數(shù)-維度模糊查詢今年學習機在各個渠道的市場表現(xiàn)怎么樣？直接問數(shù)-均值計算今年第一季度所有項目的合同總金額均值直接問數(shù)-最值今年1月合同總金額最低的是哪個項目直接問數(shù)-聚合計算2024年1季度SUV的銷量是多少？今年生產(chǎn)調度部人工費用累計是多少？明細指標查看所有合同金額大于10萬的項目信息數(shù)據(jù)羅列今年各月人工費用的變化趨勢？2024年各種車型的銷量是多少？2023年各月肥東服務區(qū)和巢湖服務區(qū)人流量對比情況TOPN2023年12月，哪個城市的倉儲費用最高？排名前3的城市是哪些？查詢今年合同總金額最高的10個項目？占比問題本月的管理費用中，各類費用占比情況今年公司各級別員工分布情況同環(huán)比問題看一下本月SUV銷量環(huán)比情況看一下今年各事業(yè)部人數(shù)同比情況復合指標本月新能源車型滲透率是多少？今年各月X3學習機利潤率變化情況？連續(xù)追問（上下文）本周SUV銷量是多少？哪家車企第一？哪家品牌第一？xx車企排名第幾？快照數(shù)據(jù)（累計數(shù)）去年公司有多少人（默認查詢最近賬期的數(shù)據(jù)，非一整年的合計）維度澄清-時間第一事業(yè)部的收入是多少（無時間維度）維度澄清-重復維度今年特斯拉的收入是多少（品牌和車企兩列數(shù)據(jù)中均有“特斯拉”）寬泛性問答今年生產(chǎn)一部的費用是多少？（沒有明確指標，會查詢多個“費用”關聯(lián)的指標）公共組件知識文檔知識文檔指的是RAG模式的知識庫，用戶將文檔上傳知識庫之后系統(tǒng)可自動切片或用戶自定義切片；通過匹配問題與知識切片的方式實現(xiàn)知識問答。平臺提供多種格式的知識文檔上傳，上傳到平臺的知識文檔平臺會自動對文檔做切片分割，用戶也可以自己整理文檔并根據(jù)標識符切割文檔切片。完成文檔切片后，用戶就可以對綁定了該知識的大屏應用做知識問答。用戶提問后，平臺會檢索知識文檔，找到相關的文檔切片，打包處理后，交流星火大模型來完成對知識問題的回答。長文本知識庫長文本是為了對比RAG模式的知識庫，知識問答上傳之后不再進行切片，直接將問題放置在整個文檔上進行語義的匹配獲取回答的知識，文檔長度可達10W字。為支持長文本知識庫需要單獨配置一張A100的GPU，獲取的知識準確快速。標準問答不管是RAG知識庫還是長文本知識庫，模型都會對獲取的知識進行總結后回答，但是在某些嚴肅的場合或回答一些嚴肅的問題，答案是不允許更改的。標準問答的功能提供了問題可泛化理解，答案固定輸出的配置。技能和接口接口管理功能允許用戶將外部接口與星火快答平臺連接，實現(xiàn)數(shù)據(jù)和服務的無縫對接。用戶需要提供接口的相關信息，包括接口名稱、路徑、服務地址、請求頭部和請求參數(shù)等，以確保系統(tǒng)能夠正確地與接口進行通信。接口創(chuàng)建用戶可以通過單擊【新建接口】按鈕來創(chuàng)建新的接口。在創(chuàng)建過程中，用戶需要填寫接口的基礎配置信息，包括接口名稱、接口路徑、服務地址等。此外，用戶還需要定義請求頭部和請求參數(shù)，以確保接口的正確調用。接口測試為了驗證接口的功能和穩(wěn)定性，用戶可以通過【測試接口】功能對接口進行測試。這有助于在正式使用前確保接口的可靠性。接口刪除用戶可以通過單擊【刪除】按鈕來刪除不再需要的接口。這有助于維護接口列表的清晰性和減少潛在的安全風險。接口環(huán)境變量管理接口環(huán)境變量管理功能允許用戶為接口設置環(huán)境變量，這些變量可以在接口調用時使用。用戶可以通過【新建環(huán)境變量】按鈕來添加新的環(huán)境變量，或通過【編輯】和【移除】按鈕來管理現(xiàn)有的環(huán)境變量。監(jiān)控播放通過將接口技能的功能在?？低暰C合安防平臺上進行落地，用戶可以通過填寫地址、賬號、密碼的方式快速將自己的監(jiān)控信息接入到快答平臺，接入之后用戶只需要通過自然語言說出監(jiān)控名稱即可在大屏上展示對應的監(jiān)控畫面。專有詞庫日志管理租戶和用戶管理能力底座系統(tǒng)意圖管理通過大模型自動理解用戶的自然語言在當前頁面下的意圖，對平臺進行操作；避免了前期通過固定話術去配置意圖的方式中存在的需要配置大量的話術的問題，同時也讓意圖更加的靈活。實體管理：支持實體的新增、刪除、編輯、查詢及及批量處理，支持實體詞條的批量導入及同義拓展，并具備實體模糊功能