公司內(nèi)部A訊飛星火生成式智慧駕駛艙技術(shù)方案2024年5月目錄TOC\o"1-3"\h\u188631.產(chǎn)品簡(jiǎn)介 4192901.1.產(chǎn)品介紹 4140521.2.產(chǎn)品架構(gòu) 4164691.3.關(guān)鍵技術(shù) 599301.4.部署方式 14302702.產(chǎn)品特點(diǎn) 1576362.1.智能分析 15189282.2.術(shù)語(yǔ)理解 16284082.3.知識(shí)問(wèn)答 1635772.4.多模態(tài)交互 16102652.5.自由問(wèn)答 16204813.主要功能 1788053.1.大屏應(yīng)用 1715533.1.1.應(yīng)用管理 17243033.1.2.場(chǎng)景設(shè)計(jì) 18192993.2.數(shù)據(jù)管理 18227343.2.1.數(shù)據(jù)源 18205823.2.2.指標(biāo)管理 183933.2.3.知識(shí)庫(kù) 19153.3.集成 204133.3.1.接口管理 20114573.3.2.意圖管理 20261983.3.3.SDK 22269523.3.4.瀏覽器插件 23285024.成功案例 2458084.1.北京能源集團(tuán)有限責(zé)任公司經(jīng)管駕駛艙 243874.2.浙江省政協(xié)展廳升級(jí) 25138454.3.古井貢酒數(shù)字人品牌營(yíng)銷 26128494.4.永達(dá)傳媒營(yíng)銷標(biāo)準(zhǔn)化 27178104.5.華夏廣電導(dǎo)游一體機(jī) 28135055.技術(shù)支持 29271245.1.部署要求 2915455.1.1.硬件和軟件環(huán)境要求 29294225.1.2.外部依賴服務(wù) 30195285.1.3.安全性和合規(guī)性要求 31301575.1.4.網(wǎng)絡(luò)和基礎(chǔ)設(shè)施要求 31223885.1.5.部署工具和自動(dòng)化 31233055.1.6.數(shù)據(jù)遷移和備份 31197395.2.實(shí)施路徑 32238455.2.1.需求調(diào)研 3292685.2.2.系統(tǒng)構(gòu)建 32111915.2.3.部署上線 32308625.2.4.測(cè)試驗(yàn)收 33152525.3.售后支持 33150545.3.1.培訓(xùn)和支持 33218735.3.2.后續(xù)支持和升級(jí) 33105026.產(chǎn)品Q&A 33

產(chǎn)品簡(jiǎn)介產(chǎn)品介紹定位：星火生成式智慧駕駛艙是一款專為企業(yè)打造的大屏智能化升級(jí)工具。基于先進(jìn)的訊飛星火大模型構(gòu)建，通過(guò)數(shù)據(jù)管理、指標(biāo)管理、知識(shí)管理、集成管理、大屏應(yīng)用管理等核心功能，為企業(yè)用戶提供了與駕駛艙自由互動(dòng)的全新體驗(yàn)。場(chǎng)景：星火生成式智慧駕駛艙主要面向經(jīng)營(yíng)大屏和展廳大屏2大應(yīng)用場(chǎng)景。在經(jīng)營(yíng)大屏場(chǎng)景下，平臺(tái)可實(shí)現(xiàn)通過(guò)自然語(yǔ)言進(jìn)行指標(biāo)問(wèn)答和數(shù)據(jù)分析，并通過(guò)自適應(yīng)可視化實(shí)現(xiàn)自動(dòng)出圖。通過(guò)建立知識(shí)庫(kù)，實(shí)現(xiàn)文檔問(wèn)答，還能理解專業(yè)術(shù)語(yǔ)、進(jìn)行互聯(lián)網(wǎng)查詢，并提供多模態(tài)交互體驗(yàn)，極大的提升了數(shù)據(jù)分析效率和交互體驗(yàn)。在展廳大屏場(chǎng)景下，平臺(tái)支持虛擬人大屏內(nèi)容自動(dòng)講解、大屏語(yǔ)音調(diào)度以及自由問(wèn)答等操作，打造展廳大屏交互新模式，提升交互體驗(yàn)。價(jià)值：助力企業(yè)提高數(shù)據(jù)獲取和分析效率、降低數(shù)據(jù)分析應(yīng)用開發(fā)成本、提升大屏交互體驗(yàn)。產(chǎn)品架構(gòu)星火生成式智慧駕駛艙作為一款先進(jìn)的大屏智能化升級(jí)產(chǎn)品，其技術(shù)架構(gòu)遵循了行業(yè)標(biāo)準(zhǔn)的多層架構(gòu)設(shè)計(jì)，以確保系統(tǒng)的高可用性、可擴(kuò)展性和安全性。同時(shí)星火生成式智慧駕駛艙提供了一個(gè)直觀、響應(yīng)式的界面，支持多種瀏覽器和設(shè)備，確保用戶可以從任何地點(diǎn)、任何設(shè)備訪問(wèn)應(yīng)用。結(jié)合虛擬人交互，提供全新的用戶交互體驗(yàn)。為了滿足全球用戶的需求，駕駛艙平臺(tái)提供了多語(yǔ)言界面，方便不同語(yǔ)言背景的用戶使用。生成式智慧駕駛艙平臺(tái)產(chǎn)品架構(gòu)如下：圖SEQ圖\*ARABIC1星火生成式智慧駕駛艙產(chǎn)品架構(gòu)關(guān)鍵技術(shù)訊飛星火通用大模型訊飛星火大模型為智慧駕駛艙注入了先進(jìn)的多領(lǐng)域處理能力，它不僅在文本生成、語(yǔ)言理解和多模態(tài)數(shù)據(jù)處理方面有著卓越的表現(xiàn)，還在邏輯推理、用戶問(wèn)題匹配、Function-Call和上下文推理等多個(gè)維度上展現(xiàn)出了非凡的性能。在邏輯推理方面，星火大模型運(yùn)用常識(shí)推理、科學(xué)推理和時(shí)空推理等方法，能夠深入分析并準(zhǔn)確推理出復(fù)雜情境中的邏輯關(guān)系。這種能力讓模型在教育、市場(chǎng)策略制定和輿情分析等關(guān)鍵領(lǐng)域大放異彩，為用戶在面對(duì)錯(cuò)綜復(fù)雜的問(wèn)題時(shí)提供明晰而有效的解決策略。在本平臺(tái)中，星火大模型還能迅速地基于現(xiàn)有的指標(biāo)體系，精確地理解和定位用戶提出的問(wèn)題，實(shí)現(xiàn)對(duì)問(wèn)題要素的精準(zhǔn)捕捉，從而進(jìn)行高效的數(shù)據(jù)分析和處理。借助星火Function-Call能力，模型可以根據(jù)用戶的具體需求，靈活調(diào)用相應(yīng)的算法或處理流程，例如進(jìn)行數(shù)據(jù)分析和統(tǒng)計(jì)計(jì)算，為用戶提供定制化的服務(wù)和技術(shù)支持。同時(shí)上下文推理能力進(jìn)一步強(qiáng)化了模型的問(wèn)題解決實(shí)力，讓模型在理解問(wèn)題的本質(zhì)的同時(shí)，也能考慮到問(wèn)題所處的具體環(huán)境和背景，從而提供更為全面和深刻的洞見(jiàn)和答案。技術(shù)能力：序號(hào)能力項(xiàng)核心技術(shù)能力1性能首響應(yīng)≤500ms（從請(qǐng)求送給認(rèn)知大模型推理服務(wù)到認(rèn)知大模型推理服務(wù)輸出第一個(gè)字的時(shí)間間隔），10路并發(fā)下，平均吞吐率不少于25tokens/s，2平均吐字率：25tokens/s（認(rèn)知大模型在單位時(shí)間內(nèi)輸出的tokens數(shù)量）3支持簡(jiǎn)單查詢1-2秒，復(fù)雜查詢3-5秒;4穩(wěn)定性系統(tǒng)可用性≥99.9%5集成方式支持WebAPI、SDK的方式接入大模型6國(guó)產(chǎn)化能穩(wěn)定運(yùn)行在安裝有國(guó)產(chǎn)化CPU、加速卡和操作系統(tǒng)的服務(wù)器上；大模型推理服務(wù)支持多種國(guó)產(chǎn)化芯片，如華為昇騰等7數(shù)據(jù)處理支持?jǐn)?shù)據(jù)預(yù)處理，如數(shù)據(jù)清洗;8插件工具支持選配多種模型參數(shù)，可應(yīng)用在不同場(chǎng)景中，9大模型插件/工具包含:智能文檔問(wèn)答內(nèi)容運(yùn)營(yíng)工具和糾錯(cuò)等;10文檔問(wèn)答文檔問(wèn)答支持多種文檔格式導(dǎo)入，例如pdf(包含圖片)、doc、txt和md等格式;11文檔切分規(guī)則支持自定義規(guī)則;12支持文檔問(wèn)答溯源等功能;13支持多種回答模式，同時(shí)可自定義回復(fù)模版;14模型訓(xùn)練支持低代碼可視化工具進(jìn)行模型訓(xùn)練，支持多種模型訓(xùn)練方案，如LoRa、SFT和預(yù)訓(xùn)練等;15訓(xùn)練平臺(tái)支持算力管理、數(shù)據(jù)管理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)處理、模型倉(cāng)庫(kù)、模型測(cè)試及評(píng)分和模型部署等;16模型訓(xùn)練支持?jǐn)帱c(diǎn)續(xù)訓(xùn)和版本管理等功能;實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫生成式智慧駕駛艙平臺(tái)配備了高效的實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫功能，通過(guò)WebSocket協(xié)議與強(qiáng)大的語(yǔ)言轉(zhuǎn)寫核心引擎建立穩(wěn)定的長(zhǎng)連接。這一創(chuàng)新設(shè)計(jì)使得連續(xù)的音頻流能夠被實(shí)時(shí)捕捉并精準(zhǔn)轉(zhuǎn)換為文字流，為用戶提供即時(shí)、準(zhǔn)確的文字記錄。引擎內(nèi)部采用了深度學(xué)習(xí)、自然語(yǔ)言處理和大數(shù)據(jù)處理等尖端技術(shù)，確保了語(yǔ)音識(shí)別的高精準(zhǔn)度。深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)在此過(guò)程中發(fā)揮著關(guān)鍵作用，它能夠有效地從語(yǔ)音信號(hào)中提取信息并將其轉(zhuǎn)換為文本格式，而自然語(yǔ)言處理技術(shù)則進(jìn)一步提升了識(shí)別的效率和準(zhǔn)確性，所有這些都無(wú)需依賴于特定的語(yǔ)法結(jié)構(gòu)。該引擎還支持個(gè)性化詞表的定制，以滿足特定行業(yè)或用戶的特殊需求，從而進(jìn)一步提升識(shí)別的精準(zhǔn)度。同時(shí)，動(dòng)態(tài)修正功能的加入，為轉(zhuǎn)寫文本的準(zhǔn)確性提供了額外保障，確保用戶獲得的文本記錄既準(zhǔn)確又可靠。這些功能的結(jié)合，使得生成式智慧駕駛艙在實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫方面表現(xiàn)出色，為用戶提供了一種高效、智能的溝通和記錄解決方案。技術(shù)能力：序號(hào)能力項(xiàng)核心技術(shù)能力1實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫支持5小時(shí)內(nèi)的連續(xù)語(yǔ)音流的實(shí)時(shí)識(shí)別。2支持中文、英文、中英文混合識(shí)別，支持方言識(shí)別，方言數(shù)量不低于6個(gè)。3支持降噪算法，可有效進(jìn)行音頻前端降噪，有效提升識(shí)別精度。4支持中英文混合識(shí)別，即中文普通話中夾雜英語(yǔ)單詞或句子。5音頻格式需要支持主流的音頻格式，如mp3、wav、m4a、pcm等。6集成接口支持Windows、Linux、Android、i0s等主流平臺(tái)集成，支持C/C++、Java、C、Python等主流開發(fā)語(yǔ)音集成，便于應(yīng)用開發(fā)集成。7支持角色分離功能，可通過(guò)配置設(shè)定角色的數(shù)量，也可以不指定進(jìn)行盲分。8返回結(jié)果支持時(shí)間戳，即結(jié)果中的文本時(shí)間點(diǎn)，精確到毫秒，便于業(yè)務(wù)開發(fā)進(jìn)行時(shí)間進(jìn)度定位。9提供詞、句的置信度得分，便于業(yè)務(wù)判斷識(shí)別的準(zhǔn)確度。10支持標(biāo)點(diǎn)預(yù)測(cè)功能，即識(shí)別的結(jié)果文本中的相關(guān)語(yǔ)句和段落已經(jīng)具備了標(biāo)點(diǎn)符號(hào)。11支持?jǐn)?shù)字規(guī)整，即遇到時(shí)間、日期等識(shí)別內(nèi)容可自動(dòng)轉(zhuǎn)化為標(biāo)準(zhǔn)的數(shù)字書寫形式，例如十二點(diǎn)三十分轉(zhuǎn)寫為12:30。12支持效果優(yōu)化能力，主要為通過(guò)熱詞的形式即時(shí)解決特定的專業(yè)術(shù)語(yǔ)識(shí)別不準(zhǔn)確問(wèn)題并支持相應(yīng)語(yǔ)料的模型訓(xùn)練，來(lái)進(jìn)一步提升識(shí)別率。13在安靜環(huán)境下，中文標(biāo)準(zhǔn)普通話的綜合識(shí)別率大于95%，并提供第三方檢測(cè)機(jī)構(gòu)證明材料。14系統(tǒng)服務(wù)能夠適配穩(wěn)定運(yùn)行在安裝有國(guó)產(chǎn)化CPU的服務(wù)器上;15.系統(tǒng)服務(wù)能夠適配穩(wěn)定運(yùn)行在安裝有國(guó)產(chǎn)化操作系統(tǒng)的服務(wù)器上。虛擬人技術(shù)生成式智慧駕駛艙采用先進(jìn)的虛擬人技術(shù)，打造了一種模擬真人的交互模式，極大地提升了實(shí)時(shí)匯報(bào)和溝通的自然性和親和力。這種交互方式不僅讓用戶感受到更加貼近人類伙伴的溝通體驗(yàn)，還增強(qiáng)了信息傳遞的直觀性和易理解性。虛擬人技術(shù)的制作流程涵蓋了人物設(shè)計(jì)、模型構(gòu)建、動(dòng)畫制作和皮膚渲染等關(guān)鍵步驟，融合了人工智能（AI）、自然語(yǔ)言處理（NLP）、機(jī)器學(xué)習(xí)以及計(jì)算機(jī)視覺(jué)等多項(xiàng)前沿技術(shù)，共同營(yíng)造出一種流暢而自然的交互體驗(yàn)。為了滿足不同行業(yè)和領(lǐng)域的多樣化需求，智慧駕駛艙精心內(nèi)置了豐富的虛擬人形象和音色庫(kù)，用戶可以根據(jù)自己的偏好和場(chǎng)景需求進(jìn)行個(gè)性化組合和選擇。這種靈活性確保了智慧駕駛艙能夠無(wú)縫適應(yīng)各種環(huán)境，為用戶提供定制化的交互體驗(yàn)，無(wú)論是在商務(wù)匯報(bào)、營(yíng)銷宣傳還是經(jīng)營(yíng)分析等場(chǎng)景，都能發(fā)揮出色的表現(xiàn)。技術(shù)能力：序號(hào)能力項(xiàng)核心技術(shù)能力1語(yǔ)音識(shí)別標(biāo)點(diǎn)智能預(yù)測(cè)：支持對(duì)識(shí)別結(jié)果語(yǔ)句智能預(yù)測(cè)其對(duì)話語(yǔ)境，提供智能斷句和標(biāo)點(diǎn)符號(hào)的預(yù)測(cè)。2智能端點(diǎn)檢測(cè)：支持對(duì)說(shuō)話過(guò)程中進(jìn)行前端點(diǎn)檢測(cè)，即智能檢測(cè)說(shuō)話過(guò)程中的有效語(yǔ)音的開始位置；支持對(duì)說(shuō)話過(guò)程中進(jìn)行尾端點(diǎn)檢測(cè)，即智能檢測(cè)說(shuō)話是否結(jié)束3智能數(shù)字規(guī)整：支持將識(shí)別結(jié)果的數(shù)字如日期、分?jǐn)?shù)、小數(shù)等，智能的轉(zhuǎn)換為易于理解的數(shù)字格式，使展現(xiàn)形式更符合人的習(xí)慣4智能文本順滑：支持將識(shí)別結(jié)果中無(wú)意義的停頓詞、語(yǔ)氣詞、重復(fù)詞等進(jìn)行智能過(guò)濾，使識(shí)別結(jié)果更易用閱讀和理解5動(dòng)態(tài)結(jié)果修正：支持字詞級(jí)識(shí)別結(jié)果實(shí)時(shí)返回，并根據(jù)上下文語(yǔ)境,對(duì)歷史返回結(jié)果進(jìn)行動(dòng)態(tài)修正。6音頻編碼：支持pcm、wav、speex、opus等多種音頻編碼格式7音頻采樣率：支持8k及16k的音頻，采樣精度為16bit8通用場(chǎng)景語(yǔ)音識(shí)別率≥95%（可提供省級(jí)或以上第三方檢驗(yàn)檢測(cè)機(jī)構(gòu)出具的測(cè)檢驗(yàn)報(bào)告掃描件）9語(yǔ)音合成多語(yǔ)種語(yǔ)音合成:合成聲音應(yīng)音質(zhì)清晰、音色飽滿、合成聲音自然流暢，支持中英文混合語(yǔ)音合成。后期如有需要，支持拓展方言，包括：臺(tái)灣普通話、東北話、四川話、廣東話、湖南話、河南話、山東話、湖北話等語(yǔ)音合成10多字符集輸入：合成文本支持輸入GB2312、GBK、Big5、Unicode和UTF-8等多種字符集11多數(shù)據(jù)格式輸出：支持輸出線性wav，pcm等格式的語(yǔ)音數(shù)據(jù)12簡(jiǎn)單文本標(biāo)記：支持對(duì)文本添加標(biāo)注，設(shè)置朗讀方式，讓用戶自行設(shè)置如何合成，自行控制合成效果13中文語(yǔ)音合成的讀音和文本對(duì)比正確率≥98.3%（可提供省級(jí)或以上第三方檢驗(yàn)檢測(cè)機(jī)構(gòu)出具的檢驗(yàn)報(bào)告掃描件）14網(wǎng)絡(luò)正常環(huán)境下，輸入文本后合成音頻平均成功率≥99.8%（可提供省級(jí)或以上第三方檢驗(yàn)檢測(cè)機(jī)構(gòu)出具的檢驗(yàn)報(bào)告掃描件）15語(yǔ)音合成自然度MOS得分≥4.5（可提供省級(jí)或以上第三方檢驗(yàn)檢測(cè)機(jī)構(gòu)出具的檢驗(yàn)報(bào)告掃描件）16虛擬人智能交互虛擬人交互系統(tǒng)應(yīng)支持提供標(biāo)準(zhǔn)API接口或SDK，以接入第三方應(yīng)用系統(tǒng)17虛擬人交互系統(tǒng)應(yīng)支持以語(yǔ)音對(duì)話的形式，為用戶提供服務(wù)18交互打斷：系統(tǒng)應(yīng)支持全雙工交互方式，支持交互過(guò)程中隨時(shí)打斷，終止當(dāng)前對(duì)話進(jìn)入下一輪交互19更換背景：虛擬人應(yīng)支持更換視頻流的背景。（可自行準(zhǔn)備演示環(huán)境，并提供演示）20更換Logo：背景圖支持更換logo，可自定義上傳logo圖片，實(shí)時(shí)進(jìn)行更換21調(diào)整語(yǔ)速：支持對(duì)虛擬人說(shuō)話語(yǔ)速進(jìn)行調(diào)節(jié)22切換分辨率：支持對(duì)虛擬人視頻進(jìn)行分辨率切換，應(yīng)支持1080P、720P、480P。（可自行準(zhǔn)備演示環(huán)境，并提供演示）23切換幀率：支持對(duì)虛擬人視頻進(jìn)行幀率設(shè)置。（可自行準(zhǔn)備演示環(huán)境，并提供演示）24切換流格式：虛擬人視頻流應(yīng)支持H264、FLV格式切換，以滿足客戶端對(duì)不同視頻流的格式要求。（可自行準(zhǔn)備演示環(huán)境，并提供演示）25橫豎屏：支持豎屏、橫屏展示，虛擬人形象大小、背景尺寸根據(jù)橫豎屏進(jìn)行自適應(yīng)，滿足在不同終端屏幕尺寸下的顯示效果26字幕顯示：數(shù)字人播報(bào)的同時(shí)，支持設(shè)置字幕顯示27語(yǔ)義提取正確率和召回率F-1值平均≥80%（可提供省級(jí)或以上第三方檢驗(yàn)檢測(cè)機(jī)構(gòu)出具的檢驗(yàn)報(bào)告掃描件）28數(shù)字人交互管理后臺(tái)可提供數(shù)字人交互管理后臺(tái)，并提供可視化操作界面，對(duì)數(shù)字人交互系統(tǒng)進(jìn)行統(tǒng)一的后臺(tái)管理。29數(shù)據(jù)統(tǒng)計(jì)：應(yīng)支持統(tǒng)計(jì)累計(jì)交互次數(shù)、當(dāng)前并發(fā)路數(shù)、累計(jì)客戶/租戶數(shù)量。應(yīng)支持已圖標(biāo)形式對(duì)于交互次數(shù)、并發(fā)容量進(jìn)行顯示，且支持按照時(shí)間維度進(jìn)行統(tǒng)計(jì)。30客戶/租戶管理：支持針對(duì)客戶/租戶進(jìn)行統(tǒng)一管理，支持對(duì)可用數(shù)字人形象、授權(quán)時(shí)間、并發(fā)路數(shù)進(jìn)行配置。31數(shù)字人資產(chǎn)管理：應(yīng)支持對(duì)數(shù)字人聲音和形象進(jìn)行統(tǒng)一后臺(tái)管理，以列表形式展示。32操作日志：應(yīng)提供操作日志，并對(duì)操作的IP地質(zhì)、操作動(dòng)作、操作人、操作時(shí)間進(jìn)行統(tǒng)一記錄。33系統(tǒng)管理：應(yīng)支持對(duì)系統(tǒng)用戶和權(quán)限進(jìn)行管理。34數(shù)字人形象與聲音定制提供3D數(shù)字人形象定制服務(wù)，服務(wù)內(nèi)容包括原畫設(shè)計(jì)、3D建模、骨骼綁定等35提供數(shù)字人聲音定制服務(wù)，采集真人說(shuō)話聲音后，經(jīng)機(jī)器學(xué)習(xí)、訓(xùn)練，在語(yǔ)音合成系統(tǒng)中復(fù)刻對(duì)應(yīng)聲音意圖匹配技術(shù)為了確保用戶輸入能夠精確對(duì)應(yīng)到相應(yīng)的意圖，系統(tǒng)采取了精準(zhǔn)的意圖識(shí)別和匹配策略。首先，利用預(yù)訓(xùn)練的語(yǔ)義相似度模型（SimBERTv2）對(duì)意圖進(jìn)行向量化處理，這一步驟將意圖轉(zhuǎn)化為高維空間中的向量表示，以便更精確地捕捉和存儲(chǔ)意圖的語(yǔ)義信息。這些向量化的意圖隨后被存儲(chǔ)在一個(gè)專門的向量數(shù)據(jù)庫(kù)中，以便快速檢索和比對(duì)。當(dāng)用戶發(fā)起輸入時(shí)，我們同樣使用Embedding技術(shù)將用戶的輸入轉(zhuǎn)換為向量形式，并在向量數(shù)據(jù)庫(kù)中進(jìn)行高效檢索。一旦檢索到與用戶輸入向量高度一致的意圖向量，我們便可以確認(rèn)用戶的輸入已經(jīng)成功匹配到了相應(yīng)的意圖。確認(rèn)匹配后，系統(tǒng)將進(jìn)入下一階段，即實(shí)體提取和執(zhí)行器執(zhí)行。實(shí)體提取過(guò)程將從用戶輸入中識(shí)別出關(guān)鍵信息，而執(zhí)行器則根據(jù)已識(shí)別的意圖和實(shí)體信息執(zhí)行相應(yīng)的操作或服務(wù)。這整個(gè)過(guò)程的設(shè)計(jì)旨在提高系統(tǒng)的響應(yīng)速度和準(zhǔn)確性，確保用戶能夠獲得滿足其需求的精準(zhǔn)服務(wù)。技術(shù)能力：序號(hào)模塊能力項(xiàng)核心技術(shù)能力1語(yǔ)音平臺(tái)基礎(chǔ)服務(wù)語(yǔ)音平臺(tái)部署語(yǔ)音引擎基礎(chǔ)部署平臺(tái)，支撐語(yǔ)音引擎的運(yùn)行2接入服務(wù)平臺(tái)對(duì)外提供標(biāo)準(zhǔn)的SDK,面向Android、iPhone以及Web客戶端提供便捷的控件層接口，支持Andoid/IOS/H5等渠道的接入，實(shí)現(xiàn)語(yǔ)音平臺(tái)語(yǔ)音能力的開放共享，SDK風(fēng)格支持C++和JAVA；3鑒權(quán)服務(wù)平臺(tái)具備對(duì)外部應(yīng)用能力接入的授權(quán)控制功能；4負(fù)載服務(wù)能力組件支持負(fù)載均衡的部署方式；5路由服務(wù)支持外部應(yīng)用調(diào)用的路由服務(wù)；6應(yīng)用管理滿足不同應(yīng)用場(chǎng)景的管理需求，應(yīng)提供系統(tǒng)截圖證明；7語(yǔ)音指令識(shí)別用戶發(fā)出語(yǔ)音命令，語(yǔ)音命令通過(guò)麥克風(fēng)輸入，經(jīng)過(guò)智能語(yǔ)音識(shí)別控制系統(tǒng)中語(yǔ)音識(shí)別、語(yǔ)義理解等核心引擎處理，語(yǔ)音命令轉(zhuǎn)換為文字指令，再通過(guò)接口協(xié)議的對(duì)接，傳輸?shù)綐I(yè)務(wù)系統(tǒng)8設(shè)備及設(shè)施聯(lián)動(dòng)控制如果用戶的指令意圖是要執(zhí)行某個(gè)設(shè)備或產(chǎn)品的一段動(dòng)作，系統(tǒng)就會(huì)將指令意圖通過(guò)協(xié)議轉(zhuǎn)換為設(shè)備或產(chǎn)品能識(shí)別的命令行，再將命令行傳達(dá)到設(shè)備或產(chǎn)品的控制系統(tǒng)，執(zhí)行相應(yīng)的動(dòng)作。9語(yǔ)義理解引擎核心能力具備知識(shí)編譯及語(yǔ)義解析能力，支持將知識(shí)庫(kù)的數(shù)據(jù)資源編譯成語(yǔ)義資源，能夠根據(jù)語(yǔ)義資源將文本解析成固定格式的json；10并發(fā)能力提供語(yǔ)義理解并發(fā)能力；11分詞支持實(shí)現(xiàn)長(zhǎng)、短句的分詞能力；12詞義歸一相同詞義的短詞規(guī)整、合并；13指代消解上下文指代詞的歧義14上下文理解在交互過(guò)程中自動(dòng)緩存、匹配上下文信息、歷史數(shù)據(jù)等，提供多輪人機(jī)交互記憶機(jī)制；15提槽抽取配合知識(shí)庫(kù)，實(shí)現(xiàn)對(duì)話意圖的關(guān)鍵詞槽抽取、如地址、時(shí)間、關(guān)鍵動(dòng)作；16拒識(shí)功能支持對(duì)相關(guān)業(yè)務(wù)以外的話題拒識(shí)功能；17敏感詞過(guò)濾支持敏感詞過(guò)濾功能；18多輪對(duì)話支持復(fù)雜任務(wù)的多輪對(duì)話以及多輪糾錯(cuò)19全雙工用戶可在任意時(shí)間打斷對(duì)話并發(fā)出需求，引擎可以對(duì)非相關(guān)交互進(jìn)行拒識(shí)20兜底業(yè)務(wù)通過(guò)知識(shí)圖譜、生成式問(wèn)答等引擎處理，可以做到有問(wèn)必答，無(wú)應(yīng)答率大大下降。21語(yǔ)義開發(fā)平臺(tái)場(chǎng)景管理為滿足不同場(chǎng)景的應(yīng)用落地，語(yǔ)義開發(fā)平臺(tái)支持按場(chǎng)景進(jìn)行語(yǔ)義技能、問(wèn)答庫(kù)的配置，實(shí)時(shí)構(gòu)建語(yǔ)義理解模型。22技能管理不同的業(yè)務(wù)功能對(duì)應(yīng)不同的語(yǔ)義技能，支持語(yǔ)義技能的新增、刪除、編輯、查詢及批量處理。23意圖管理支持意圖的新增、刪除、編輯、查詢及批量處理，支持用戶不同意圖表達(dá)方式的語(yǔ)料編寫，具備智能貼弧、句式模糊等功能，快速完成語(yǔ)義開發(fā)。24實(shí)體管理支持實(shí)體的新增、刪除、編輯、查詢及及批量處理，支持實(shí)體詞條的批量導(dǎo)入及同義拓展，并具備實(shí)體模糊功能。25問(wèn)答庫(kù)支持一問(wèn)一答、一問(wèn)多答、多問(wèn)一答、多問(wèn)多答的問(wèn)答庫(kù)建立方式，支持問(wèn)題的模糊匹配26效果優(yōu)化提供可視化頁(yè)面展示日常使用中無(wú)法理解的用戶說(shuō)法，支持將無(wú)法理解的用戶說(shuō)法維護(hù)已創(chuàng)建的語(yǔ)義意圖中，使不能理解的用戶說(shuō)法及時(shí)優(yōu)化。知識(shí)庫(kù)技術(shù)平臺(tái)提供多種格式的知識(shí)文檔上傳，上傳到平臺(tái)的知識(shí)文檔平臺(tái)會(huì)自動(dòng)對(duì)文檔做切片分割，用戶也可以自己整理文檔并根據(jù)標(biāo)識(shí)符切割文檔切片。完成文檔切片后，用戶就可以對(duì)綁定了該知識(shí)的大屏應(yīng)用做知識(shí)問(wèn)答。用戶提問(wèn)后，平臺(tái)會(huì)檢索知識(shí)文檔，找到相關(guān)的文檔切片，打包處理后，交流星火大模型來(lái)完成對(duì)知識(shí)問(wèn)題的回答。序號(hào)能力項(xiàng)核心技術(shù)能力1知識(shí)庫(kù)支持文檔智能切分，根據(jù)不同類型文件，設(shè)置不同切分規(guī)則2支持高精度高維度（2560維）Embedding模型，Embedding基于大模型訓(xùn)練3檢索模式支持向量檢索、全文檢索多種模式4檢索的文本可以通過(guò)閾值設(shè)置取精度更高的分片，不同場(chǎng)景可以設(shè)置不同閾值（例如寬松、嚴(yán)格）5用戶問(wèn)題可進(jìn)行自動(dòng)改寫泛化6支持圖文OCR&文檔版面分析7支持分片上下文追加，使得提供給大模型的文本語(yǔ)義更連貫8文檔問(wèn)答支持多種文檔格式導(dǎo)入，例如pdf（包含圖片）、doc、txt和md等格式；文檔切分規(guī)則支持自定義規(guī)則；支持多種回答模式，同時(shí)可自定義回復(fù)模版；支持文檔問(wèn)答溯源等功能部署方式智慧駕駛艙支持SaaS公有云服務(wù)、私有化部署、混合云部署等多種部署方式，客戶可以根據(jù)自身需求選擇最合適的部署模式。SaaS公有云服務(wù)圖SEQ圖\*ARABIC2公有云部署模式駕駛艙平臺(tái)私有化圖SEQ圖\*ARABIC3私有化部署模式混合云模式圖SEQ圖\*ARABIC4混合云部署模式產(chǎn)品特點(diǎn)智能分析依托星火認(rèn)知大模型強(qiáng)大的語(yǔ)義理解和數(shù)據(jù)分析能力，平臺(tái)打造了智能數(shù)據(jù)分析功能。用戶只需自然語(yǔ)言提問(wèn)，平臺(tái)可以將問(wèn)題轉(zhuǎn)化為精準(zhǔn)的SQL語(yǔ)句，進(jìn)而查詢到數(shù)據(jù)。對(duì)查詢到的數(shù)據(jù)，平臺(tái)可以自適應(yīng)提供最佳圖表展示，包括柱狀圖、餅圖、條形圖、表格等，不同圖表可按需自由切換。在展示數(shù)據(jù)的同時(shí)，星火大模型會(huì)對(duì)數(shù)據(jù)做總結(jié)性的分析，給用戶提供對(duì)數(shù)據(jù)的洞察和見(jiàn)解。術(shù)語(yǔ)理解用戶可以在平臺(tái)上自由配置企業(yè)經(jīng)營(yíng)管理指標(biāo)數(shù)據(jù)，包括指標(biāo)的定義和計(jì)算口徑，配置完成后，就可以對(duì)綁定了該指標(biāo)的大屏應(yīng)用提問(wèn)關(guān)于指標(biāo)術(shù)語(yǔ)的相關(guān)問(wèn)題，平臺(tái)會(huì)快速檢索到相關(guān)指標(biāo)，并讓星火大模型完成對(duì)術(shù)語(yǔ)問(wèn)題的準(zhǔn)確回答。知識(shí)問(wèn)答平臺(tái)提供pdf、doc、txt、md多種格式的知識(shí)文檔上傳，平臺(tái)會(huì)自動(dòng)對(duì)文檔做切片分割，用戶也可以自己整理文檔并根據(jù)標(biāo)識(shí)符切割文檔切片。完成文檔切片后，用戶可以對(duì)綁定了該知識(shí)的大屏應(yīng)用做知識(shí)問(wèn)答。用戶提問(wèn)后，平臺(tái)會(huì)檢索知識(shí)文檔，找到相關(guān)的文檔切片，打包處理后，交給星火大模型來(lái)完成對(duì)知識(shí)問(wèn)題的回答。當(dāng)用戶想一邊回答問(wèn)題，一邊展示相關(guān)的視頻或圖片時(shí)，只需將素材上傳到平臺(tái)，并在相應(yīng)的切片處綁定圖片和視頻資源，即可實(shí)現(xiàn)邊答邊看的交互效果。多模態(tài)交互用戶可以使用文本或語(yǔ)音對(duì)駕駛艙的大屏應(yīng)用提問(wèn)，平臺(tái)分析出結(jié)果后，會(huì)根據(jù)不同的結(jié)果給出文本或數(shù)據(jù)圖表。同時(shí)虛擬人會(huì)將分析結(jié)果進(jìn)行播報(bào)。整個(gè)問(wèn)答過(guò)程，包含了文本、語(yǔ)音、視頻推流等多種信息流交互模態(tài)。自由問(wèn)答駕駛艙可作為星火大模型的客戶端進(jìn)行自由問(wèn)答。當(dāng)用戶不熟悉數(shù)據(jù)內(nèi)容、含糊提問(wèn)時(shí)，駕駛艙也會(huì)根據(jù)應(yīng)用綁定的數(shù)據(jù)，給出最合適的數(shù)據(jù)內(nèi)容，幫助用戶獲得想要的結(jié)果。當(dāng)大模型無(wú)法用已有數(shù)據(jù)和知識(shí)回答用戶問(wèn)題，會(huì)交給大模型進(jìn)行兜底，做到有問(wèn)必答。主要功能大屏應(yīng)用應(yīng)用：為了完成某種特定任務(wù)而設(shè)計(jì)的構(gòu)駕駛艙應(yīng)用，包括場(chǎng)景設(shè)計(jì)與應(yīng)用配置。場(chǎng)景：生成式智慧駕駛艙應(yīng)用的場(chǎng)景，例如營(yíng)銷、文旅、政務(wù)等，一個(gè)應(yīng)用下面支持設(shè)計(jì)多個(gè)場(chǎng)景。大屏：生成式智慧駕駛艙的產(chǎn)品展現(xiàn)形態(tài)。素材庫(kù)：集中存儲(chǔ)和管理生成式智慧駕駛艙展示背景創(chuàng)作素材的地方。應(yīng)用管理靈活可定制化的應(yīng)用開發(fā)用戶通過(guò)產(chǎn)品頁(yè)面操作快速創(chuàng)建應(yīng)用，填寫應(yīng)用名稱、應(yīng)用描述、角色扮演、情景提示來(lái)設(shè)定應(yīng)用中駕駛艙的應(yīng)用背景、虛擬人扮演的角色以及交互情景，以區(qū)分和適配不同的業(yè)務(wù)需求和使用場(chǎng)景。獨(dú)立便捷的應(yīng)用配置創(chuàng)建場(chǎng)景頁(yè)面：根據(jù)業(yè)務(wù)需求創(chuàng)建1個(gè)或多個(gè)場(chǎng)景頁(yè)面，并填寫場(chǎng)景名稱與場(chǎng)景描述以區(qū)分和識(shí)別一個(gè)應(yīng)用下的多個(gè)場(chǎng)景。配置基本信息：填寫應(yīng)用名稱、應(yīng)用描述以區(qū)分和識(shí)別應(yīng)用；填寫虛擬人角色扮演、情景提示以虛擬人角色以及交互情景；綁定外部能力賦能應(yīng)用，實(shí)現(xiàn)更多場(chǎng)景功能。綁定應(yīng)用數(shù)據(jù)：綁定指標(biāo)域和知識(shí)庫(kù)以保證應(yīng)用使用特定數(shù)據(jù)源，確保應(yīng)用之間的數(shù)據(jù)隔離，為確保特定應(yīng)用使用特定數(shù)據(jù)源并保證不同應(yīng)用間的數(shù)據(jù)隔離，綁定指標(biāo)域和知識(shí)庫(kù)（指標(biāo)域與知識(shí)庫(kù)見(jiàn)下文，寫好后下劃線鏈接到對(duì)應(yīng)目錄）來(lái)與應(yīng)用進(jìn)行關(guān)聯(lián)，確保應(yīng)用只能訪問(wèn)到預(yù)先定義和授權(quán)的數(shù)據(jù)。增強(qiáng)數(shù)據(jù)安全性，防止未經(jīng)授權(quán)的數(shù)據(jù)訪問(wèn)，同時(shí)提高數(shù)據(jù)的準(zhǔn)確性和一致性，平臺(tái)能夠更好地跟蹤各個(gè)應(yīng)用的數(shù)據(jù)使用情況，對(duì)數(shù)據(jù)流進(jìn)行有效監(jiān)控，以支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的決策和優(yōu)化。簡(jiǎn)單高效的應(yīng)用管理系統(tǒng)提供了一套完整的大屏應(yīng)用生命周期管理工具供用戶使用，包括預(yù)覽、發(fā)布、復(fù)制和刪除來(lái)支持應(yīng)用的快速迭代和靈活部署。場(chǎng)景設(shè)計(jì)可視化的場(chǎng)景設(shè)計(jì)支持用戶根據(jù)具體的業(yè)務(wù)場(chǎng)景設(shè)計(jì)駕駛艙頁(yè)面，支持用戶對(duì)頁(yè)面布局、顏色方案、交互邏輯等進(jìn)行細(xì)致的調(diào)整，以實(shí)現(xiàn)最佳的用戶體驗(yàn)和視覺(jué)效果。通過(guò)鏈接外部大屏或者系統(tǒng)模板或者用戶自定義圖片，個(gè)性化設(shè)計(jì)駕駛艙背景。通過(guò)拖拽式的頁(yè)面設(shè)計(jì)器，添加可視化組件，如虛擬人、文字總結(jié)、圖表、字幕、高亮區(qū)域等。設(shè)置組件位置、大小、層級(jí)、透明度，靈活多樣。精細(xì)化的虛擬人交互支持用戶對(duì)虛擬人物的外貌、聲音、動(dòng)作等進(jìn)行個(gè)性化設(shè)置，使得虛擬人物更加生動(dòng)、真實(shí)。實(shí)現(xiàn)更加自然的人機(jī)對(duì)話和交互，另外還支持定制化虛擬人。統(tǒng)一的綜合素材管理支持圖片文件的上傳、素材分類、預(yù)覽、搜索和重用機(jī)制，實(shí)現(xiàn)素材的集中管理，簡(jiǎn)化素材的更新和維護(hù)工作。數(shù)據(jù)管理數(shù)據(jù)源駕駛艙的底層數(shù)據(jù)來(lái)源，支持鏈接多種類型數(shù)據(jù)庫(kù)（數(shù)據(jù)庫(kù)類型支持MySQL、GAUSS、SQLServer、POSTGRESQL、DORIS、STARROCKS等）、csv數(shù)據(jù)文件上傳、支持接口數(shù)據(jù)源，提供了詳細(xì)的連接參數(shù)配置和連接測(cè)試，確保了數(shù)據(jù)的準(zhǔn)確接入和高效處理。同時(shí)針對(duì)上傳后的數(shù)據(jù)支持添加字段描述，提高大模型對(duì)于數(shù)據(jù)的理解能力。指標(biāo)管理指標(biāo)分類采用“指標(biāo)域”分類管理指標(biāo)數(shù)據(jù)，“指標(biāo)域”是一類指標(biāo)的集合，可將指標(biāo)按照應(yīng)用場(chǎng)景進(jìn)行分類。目前系統(tǒng)支持3類指標(biāo)類型：原子指標(biāo)：即最小粒度的數(shù)據(jù)指標(biāo)，構(gòu)建一些簡(jiǎn)單的不需要涉及指標(biāo)之間的計(jì)算。例如“銷售額數(shù)值”、“新客戶數(shù)量”。也是組成復(fù)合指標(biāo)的最小顆粒度。系統(tǒng)默認(rèn)數(shù)據(jù)源充分的條件下不需要配置則支持原子指標(biāo)查詢其同比與環(huán)比。復(fù)合指標(biāo)：構(gòu)建一些較為復(fù)雜的數(shù)據(jù)指標(biāo)需要涉及原子指標(biāo)間的計(jì)算，例如“銷售額”，通過(guò)“銷售單價(jià)”*“銷售數(shù)量”計(jì)算得出。明細(xì)指標(biāo)：用于查詢數(shù)據(jù)源中的某個(gè)數(shù)據(jù)明細(xì)，例如上傳的數(shù)據(jù)csv文件中的某一單元格的數(shù)據(jù)值，無(wú)聚合方式指標(biāo)構(gòu)建支持多層次、多維度的指標(biāo)體系構(gòu)建。設(shè)置相應(yīng)的數(shù)據(jù)指標(biāo)描述，可增強(qiáng)大模型對(duì)數(shù)據(jù)指標(biāo)的理解能力，從而更加精準(zhǔn)的深度分析數(shù)據(jù)；設(shè)置數(shù)據(jù)指標(biāo)的數(shù)據(jù)格式和計(jì)算方式，幫助平臺(tái)準(zhǔn)確快速的計(jì)算處理數(shù)據(jù)并呈現(xiàn)。數(shù)據(jù)維度：在數(shù)據(jù)分析中，業(yè)務(wù)需要在得到特定條件或分類下的數(shù)據(jù)指標(biāo)數(shù)值，某個(gè)特定條件和分類就是單個(gè)的數(shù)據(jù)維度。設(shè)置數(shù)據(jù)維度得到各分類和分組下的數(shù)據(jù)指標(biāo)值，幫助更深入地理解和分析數(shù)據(jù)，發(fā)現(xiàn)潛在的趨勢(shì)和模式。設(shè)置數(shù)據(jù)篩選條件，可過(guò)濾無(wú)用的數(shù)據(jù)源，增加數(shù)據(jù)的可靠性和數(shù)據(jù)分析的真實(shí)性。設(shè)置時(shí)間維度：年、季度、月、日等，平臺(tái)將按照選擇的時(shí)間顆粒度對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)與分析。知識(shí)庫(kù)支持多種文檔格式的上傳：doc、pdf、txt，并以文件夾形式進(jìn)行分類管理，系統(tǒng)支持默認(rèn)規(guī)則的文檔切片，用戶可自行調(diào)整，并綁定圖片或者視頻，以增強(qiáng)駕駛艙在知識(shí)庫(kù)模塊對(duì)企業(yè)專有名詞、規(guī)則、文化等知識(shí)的展示與講解，使得企業(yè)內(nèi)部的知識(shí)資源可以得到有效整合和充分利用，實(shí)現(xiàn)知識(shí)的快速檢索和智能推薦，提升知識(shí)共享和應(yīng)用的效率。集成接口管理接口管理功能允許用戶將外部接口與星火生成式智慧駕駛艙連接，實(shí)現(xiàn)數(shù)據(jù)和服務(wù)的無(wú)縫對(duì)接。用戶需要提供接口的相關(guān)信息，包括接口名稱、路徑、服務(wù)地址、請(qǐng)求頭部和請(qǐng)求參數(shù)等，以確保系統(tǒng)能夠正確地與接口進(jìn)行通信。接口創(chuàng)建用戶可以通過(guò)單擊【新建接口】按鈕來(lái)創(chuàng)建新的接口。在創(chuàng)建過(guò)程中，用戶需要填寫接口的基礎(chǔ)配置信息，包括接口名稱、接口路徑、服務(wù)地址等。此外，用戶還需要定義請(qǐng)求頭部和請(qǐng)求參數(shù)，以確保接口的正確調(diào)用。接口測(cè)試為了驗(yàn)證接口的功能和穩(wěn)定性，用戶可以通過(guò)【測(cè)試接口】功能對(duì)接口進(jìn)行測(cè)試。這有助于在正式使用前確保接口的可靠性。接口刪除用戶可以通過(guò)單擊【刪除】按鈕來(lái)刪除不再需要的接口。這有助于維護(hù)接口列表的清晰性和減少潛在的安全風(fēng)險(xiǎn)。接口環(huán)境變量管理接口環(huán)境變量管理功能允許用戶為接口設(shè)置環(huán)境變量，這些變量可以在接口調(diào)用時(shí)使用。用戶可以通過(guò)【新建環(huán)境變量】按鈕來(lái)添加新的環(huán)境變量，或通過(guò)【編輯】和【移除】按鈕來(lái)管理現(xiàn)有的環(huán)境變量。意圖管理意圖管理功能是星火生成式智慧駕駛艙的核心組成部分，是駕駛艙能夠理解和響應(yīng)用戶的意圖的關(guān)鍵。用戶可以通過(guò)配置應(yīng)用意圖和系統(tǒng)意圖，以及創(chuàng)建和管理應(yīng)用實(shí)體和執(zhí)行器，來(lái)實(shí)現(xiàn)對(duì)用戶輸入的智能解析和響應(yīng)。什么是意圖意圖識(shí)別（IntentRecognition）是自然語(yǔ)言處理（NLP）中的一個(gè)重要任務(wù)，它旨在確定用戶輸入的語(yǔ)句中所表達(dá)的意圖或目的。簡(jiǎn)單來(lái)說(shuō)，意圖識(shí)別就是對(duì)用戶的話語(yǔ)進(jìn)行語(yǔ)義理解，以便更好地回答用戶的問(wèn)題或提供相關(guān)的服務(wù)。下面是一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明意圖識(shí)別的概念：用戶輸入："我想訂一張從北京到上海的機(jī)票。意圖識(shí)別：預(yù)訂機(jī)票。在這個(gè)例子中，通過(guò)將用戶輸入的語(yǔ)句分類到“預(yù)訂機(jī)票”這個(gè)意圖類別中，系統(tǒng)可以理解用戶的意圖并為其提供相關(guān)的服務(wù)。星火生成式駕駛艙平臺(tái)提供意圖加執(zhí)行器管理模塊管理用戶重要意圖，幫助系統(tǒng)更好地理解用戶的需求和意圖，從而為用戶提供更加智能和高效的服務(wù)。平臺(tái)意圖相關(guān)的術(shù)語(yǔ)意圖：用戶的意圖或目的，如切換場(chǎng)景實(shí)體：您可以從對(duì)話中提取的數(shù)據(jù)點(diǎn)或值（并且可以放入類別/類型中），如具體場(chǎng)景值話術(shù)：最終用戶與系統(tǒng)交互時(shí)提供的輸入執(zhí)行器：響應(yīng)對(duì)應(yīng)意圖的程序意圖是用戶想要執(zhí)行的操作，實(shí)體是平臺(tái)想要從用戶的話語(yǔ)中提取的關(guān)鍵字。執(zhí)行器是命中意圖后系統(tǒng)采取的動(dòng)作。應(yīng)用意圖是指用戶在特定應(yīng)用中定義的意圖。用戶可以通過(guò)創(chuàng)建應(yīng)用意圖來(lái)識(shí)別用戶的特定需求，并根據(jù)這些需求執(zhí)行相應(yīng)的操作。系統(tǒng)意圖是指在星火生成式智慧駕駛艙中預(yù)定義的意圖。用戶可以通過(guò)選擇和配置系統(tǒng)意圖來(lái)擴(kuò)展駕駛艙的功能。通過(guò)默認(rèn)系統(tǒng)意圖可執(zhí)行的操作切換大屏：切換到應(yīng)用內(nèi)其他大屏模擬點(diǎn)擊：語(yǔ)音控制模擬點(diǎn)擊原有大屏模塊，完成數(shù)據(jù)原有數(shù)據(jù)下鉆分析高亮：用戶可通過(guò)設(shè)置高亮意圖和位置實(shí)現(xiàn)查詢?cè)写笃翑?shù)據(jù)時(shí)相關(guān)區(qū)域高亮展示調(diào)用API：允許設(shè)置、配置和執(zhí)行API調(diào)用和功能執(zhí)行代碼：允許您設(shè)置和編寫自定義Javascript函數(shù)和命令指令：返回，確認(rèn)，返回首頁(yè)SDK星火生成式智慧駕駛艙交互JSSDK（以下簡(jiǎn)稱“星火SDK”）是一款為智慧駕駛艙交互體驗(yàn)量身定制的軟件開發(fā)工具包。自2024年3月29日推出v1.0.0版本以來(lái)，該SDK憑借其基于vue3架構(gòu)的設(shè)計(jì)，確保了與現(xiàn)代前端開發(fā)框架的兼容性，同時(shí)在主流瀏覽器如Chrome78+上提供了穩(wěn)定的運(yùn)行環(huán)境。星火SDK旨在優(yōu)化智慧駕駛艙產(chǎn)品的交互流程，通過(guò)高效集成預(yù)配置的組件，為用戶提供了一系列直觀、便捷的交互功能。這些功能不僅提高了用戶體驗(yàn)的質(zhì)量，也增強(qiáng)了數(shù)據(jù)處理和信息展示的效率。功能特點(diǎn)虛擬數(shù)字人與多媒體交互：星火SDK集成了虛擬數(shù)字人技術(shù)，實(shí)現(xiàn)了語(yǔ)音合成與字幕展示的同步進(jìn)行，為用戶提供了一種新穎的交互方式。多模式輸入：支持文字與語(yǔ)音兩種輸入方式，使得用戶可以根據(jù)自己的偏好和場(chǎng)景需求，靈活地與系統(tǒng)進(jìn)行溝通。數(shù)據(jù)互動(dòng)與可視化：通過(guò)大數(shù)據(jù)分析技術(shù)，星火SDK能夠?qū)?shù)據(jù)進(jìn)行深入的問(wèn)答和直觀的可視化展示，幫助用戶更好地理解和利用數(shù)據(jù)。知識(shí)庫(kù)互動(dòng)：結(jié)合知識(shí)庫(kù)，SDK提供了問(wèn)答功能，并通過(guò)視頻和圖片等多媒體形式增強(qiáng)信息的傳遞和理解。自由問(wèn)答系統(tǒng)：用戶可以與星火SDK進(jìn)行自然語(yǔ)言的自由問(wèn)答，系統(tǒng)能夠智能地理解并回應(yīng)用戶的需求。交互記錄管理：星火SDK能夠記錄用戶與系統(tǒng)的交互歷史，便于用戶回顧和追蹤操作過(guò)程。技術(shù)規(guī)格與兼容性星火SDK遵循現(xiàn)代Web開發(fā)的技術(shù)標(biāo)準(zhǔn)，基于vue3架構(gòu)構(gòu)建，確保了其在主流瀏覽器上的優(yōu)秀表現(xiàn)和良好的兼容性。該SDK對(duì)Chrome78+版本的瀏覽器提供了優(yōu)化支持，為用戶提供了流暢的開發(fā)和使用體驗(yàn)。集成與使用指南星火SDK的集成流程簡(jiǎn)潔明了，開發(fā)者可以通過(guò)簡(jiǎn)單的步驟將SDK融入現(xiàn)有的項(xiàng)目中。通過(guò)引入核心模塊sparkdash.core.esm.js，即可實(shí)現(xiàn)websocket的建立和消息的雙向通信。在Vue.js3框架下，通過(guò)引入sparkdash.runtime.vue.esm.js，開發(fā)者可以輕松地集成豐富的交互組件，實(shí)現(xiàn)高效的輸入輸出交互。安全性與隱私保護(hù)星火SDK高度重視用戶數(shù)據(jù)的安全性和隱私保護(hù)。采用嚴(yán)格的簽名計(jì)算和認(rèn)證機(jī)制，確保了接口調(diào)用的安全性。通過(guò)服務(wù)端生成并下發(fā)token，SDK在每次請(qǐng)求中驗(yàn)證身份，保障了數(shù)據(jù)傳輸?shù)陌踩院陀脩粜畔⒌谋Ｃ苄?。瀏覽器插件插件概述瀏覽器插件是為了進(jìn)一步增強(qiáng)星火生成式智慧駕駛艙產(chǎn)品的易用性和可訪問(wèn)性而設(shè)計(jì)的配套工具。用戶安裝此插件后，無(wú)需打開駕駛艙平臺(tái)的網(wǎng)站，便能在瀏覽器環(huán)境中直接使用駕駛艙的核心交互功能。這包括但不限于虛擬人展示、超擬人合成朗讀、語(yǔ)音交互問(wèn)答、數(shù)據(jù)可視化與總結(jié)、知識(shí)庫(kù)問(wèn)答以及多媒體內(nèi)容展示、歷史聊天記錄查看等。此插件的引入顯著提升了用戶體驗(yàn)，尤其是在內(nèi)網(wǎng)環(huán)境下，用戶可以無(wú)需擔(dān)心瀏覽器同源策略的限制，實(shí)現(xiàn)駕駛艙功能的原生集成和語(yǔ)音調(diào)度模擬點(diǎn)擊。兼容性星火生成式駕駛艙瀏覽器插件支持Chrome78+版本的瀏覽器，確保了在主流的瀏覽器環(huán)境下都能提供穩(wěn)定和流暢的使用體驗(yàn)。功能特點(diǎn)星火生成式駕駛艙瀏覽器插件提供了一系列豐富的功能，包括：虛擬人展示：通過(guò)插件，用戶可以在瀏覽器中直接與虛擬數(shù)字人進(jìn)行互動(dòng)，享受逼真的交互體驗(yàn)。超擬人合成朗讀：插件支持將文本信息轉(zhuǎn)化為自然流暢的語(yǔ)音朗讀，提升信息獲取的便捷性。語(yǔ)音交互問(wèn)答：用戶可以直接通過(guò)語(yǔ)音與駕駛艙平臺(tái)進(jìn)行交流，實(shí)現(xiàn)快速的信息查詢和任務(wù)執(zhí)行。數(shù)據(jù)可視化與總結(jié)：插件能夠?qū)?fù)雜的數(shù)據(jù)信息以直觀的圖表形式展現(xiàn)，幫助用戶更好地理解和分析數(shù)據(jù)。知識(shí)庫(kù)問(wèn)答及多媒體展示：集成知識(shí)庫(kù)，提供問(wèn)答功能，并支持圖片和視頻等多媒體內(nèi)容的展示。歷史聊天記錄查看：用戶可以回顧與駕駛艙的交互歷史，便于追蹤和復(fù)盤之前的會(huì)話內(nèi)容。安裝和配置用戶可以通過(guò)以下步驟輕松獲取和安裝星火生成式駕駛艙瀏覽器插件：在星火生成式駕駛艙平臺(tái)下載插件安裝包。在Chrome瀏覽器中進(jìn)入管理擴(kuò)展程序的界面，打開開發(fā)者模式。選擇“已解壓的擴(kuò)展程序”，并加載星火SDK的安裝包，完成插件的安裝。另外，用戶也可以直接訪問(wèn)Chrome的擴(kuò)展程序商店，搜索星火生成式駕駛艙插件，進(jìn)行下載和安裝。安裝完成后，用戶需要使用星火生成式駕駛艙賬號(hào)進(jìn)行登錄，并選擇相應(yīng)的應(yīng)用以開啟駕駛艙功能。隨后，駕駛艙的組件將在瀏覽器頁(yè)面上展示，用戶即可開始進(jìn)行交互操作。未來(lái)發(fā)展隨著技術(shù)的不斷進(jìn)步和用戶需求的發(fā)展，星火生成式駕駛艙瀏覽器插件將持續(xù)進(jìn)行功能升級(jí)和優(yōu)化。未來(lái)的發(fā)展方向包括但不限于：中端用戶屏幕使用方式：提供更加直觀的對(duì)話面板，優(yōu)化文字交流的體驗(yàn)。功能擴(kuò)展：根據(jù)用戶反饋和市場(chǎng)趨勢(shì)，不斷增加新的功能模塊，以滿足用戶的多樣化需求。性能優(yōu)化：持續(xù)改進(jìn)插件的性能，確保在各種網(wǎng)絡(luò)環(huán)境下都能提供穩(wěn)定流暢的使用體驗(yàn)。用戶體驗(yàn)提升：通過(guò)用戶研究和反饋收集，不斷優(yōu)化插件的交互設(shè)計(jì)，使其更加人性化和易用。成功案例北京能源集團(tuán)有限責(zé)任公司經(jīng)管駕駛艙客戶需求領(lǐng)導(dǎo)隨機(jī)提問(wèn)需要即時(shí)回答：針對(duì)重點(diǎn)問(wèn)題，決策者會(huì)進(jìn)行追問(wèn)，匯報(bào)人沒(méi)有提前準(zhǔn)備時(shí)被問(wèn)到詳細(xì)數(shù)據(jù)時(shí)匯報(bào)人答不上來(lái)，給不了數(shù)據(jù)，被問(wèn)責(zé)。領(lǐng)導(dǎo)決策問(wèn)題時(shí)需豐富準(zhǔn)確數(shù)據(jù)支撐：經(jīng)營(yíng)會(huì)上針對(duì)某個(gè)事項(xiàng)大家集思廣益，產(chǎn)生了新的想法和方案后，想要論證卻發(fā)現(xiàn)缺少數(shù)據(jù)支撐，只能準(zhǔn)備好數(shù)據(jù)二次再議；數(shù)據(jù)準(zhǔn)備好了但是已經(jīng)過(guò)去一周，領(lǐng)導(dǎo)關(guān)注度減弱、重心偏移，導(dǎo)致決策擱置。數(shù)據(jù)開發(fā)周期長(zhǎng)：領(lǐng)導(dǎo)關(guān)注的重點(diǎn)指標(biāo)和數(shù)據(jù)，需專業(yè)人員進(jìn)行開發(fā)，開發(fā)周期長(zhǎng)，領(lǐng)導(dǎo)難以及時(shí)拿到所需數(shù)據(jù)應(yīng)用成效提升會(huì)議效率80%提升領(lǐng)導(dǎo)決策效率60%浙江省政協(xié)展廳升級(jí)客戶需求采用統(tǒng)一定制形象，IP新升級(jí)：根據(jù)不同來(lái)訪人員要求，定制不同的專屬虛擬人形象，提升科技感，解決人員不合適的問(wèn)題。展廳大屏多樣化靈活掌控：對(duì)已有大屏審美疲勞，需對(duì)大屏進(jìn)行升級(jí)，用插件式工具和較低的成本讓老屏幕煥發(fā)新生機(jī)，提升交互體驗(yàn)多模態(tài)互動(dòng)全面升級(jí)：打造新的互動(dòng)模式，通過(guò)與虛擬人進(jìn)行問(wèn)答式交互，解決講解資源不足，講解水平參差不齊等問(wèn)題應(yīng)用成效7大場(chǎng)景互動(dòng)200+直接問(wèn)答7xN動(dòng)態(tài)問(wèn)答古井貢酒數(shù)字人品牌營(yíng)銷客戶需求在新時(shí)代背景下，數(shù)字化轉(zhuǎn)型已成為白酒企業(yè)發(fā)展的必然趨勢(shì)，白酒營(yíng)銷也必須緊跟時(shí)代步伐，推陳出新，助力白酒銷售。數(shù)字化轉(zhuǎn)型助力白酒行業(yè)發(fā)展：通過(guò)大數(shù)據(jù)、云計(jì)算、人工智能等技術(shù)手段，白酒企業(yè)可以實(shí)現(xiàn)對(duì)消費(fèi)者行為的精準(zhǔn)分析，獲知消費(fèi)者的消費(fèi)偏好。線上線下融合打造全渠道營(yíng)銷體系，提升品牌傳播力度：在新零售的大潮下，積極拓展線上市場(chǎng)，通過(guò)線上營(yíng)銷互動(dòng)，宣傳企業(yè)形象，傳播品牌故事，提升品牌美譽(yù)度。綠色環(huán)保理念引領(lǐng)白酒行業(yè)新風(fēng)尚：綠色環(huán)保已經(jīng)成為白酒行業(yè)的一大發(fā)展趨勢(shì)，白酒營(yíng)銷也積極擁抱綠色環(huán)保理念，減少塑料和紙張的使用，降低對(duì)環(huán)境的影響，實(shí)現(xiàn)可持續(xù)發(fā)展。應(yīng)用成效古井酒瓶包裝印刷的二維碼綜合掃碼率達(dá)到56%品牌故事播放率達(dá)到51%，播放時(shí)長(zhǎng)均值2分鐘（總長(zhǎng)4分鐘）地域特色行酒令、酒桌小故事活動(dòng)參與率達(dá)到68%。永達(dá)傳媒營(yíng)銷標(biāo)準(zhǔn)化客戶需求提升銷售講解水平：在客戶獲取與溝通環(huán)節(jié)，銷售人員在講解時(shí)銷售話術(shù)不統(tǒng)一、可能存在內(nèi)容遺漏、存在風(fēng)險(xiǎn)內(nèi)容等問(wèn)題；在與客戶交流過(guò)程中，需要捕獲客戶真實(shí)需求；在面對(duì)客戶提問(wèn)時(shí)，需要實(shí)現(xiàn)秒級(jí)輸出。提升媒體展示效果：銷售人員在與客戶展示資源時(shí)，通過(guò)產(chǎn)品手冊(cè)或案例圖片等傳統(tǒng)方式，效果不夠直觀，無(wú)法有效吸引客戶，客戶體驗(yàn)和營(yíng)銷效果不佳。提升銷控?cái)?shù)據(jù)及時(shí)率：銷控狀態(tài)線下管理、手工更新，銷售團(tuán)隊(duì)獲取信息不及時(shí)，影響合同簽訂效率。應(yīng)用成效以平板為載體的數(shù)字員工，實(shí)現(xiàn)銷售業(yè)務(wù)的標(biāo)準(zhǔn)化、統(tǒng)一化、智能化根據(jù)客戶畫像，提供個(gè)性化服務(wù)，高效管理客戶關(guān)系產(chǎn)出客戶需求和市場(chǎng)趨勢(shì)，優(yōu)化銷售決策及產(chǎn)品定位華夏廣電導(dǎo)游一體機(jī)客戶需求2023年上半年，國(guó)內(nèi)旅游總?cè)舜芜_(dá)到了23.84億，同期相比增加了9.29億，同比增長(zhǎng)率為63.9%，面對(duì)后疫情時(shí)代的文旅消費(fèi)井噴式增長(zhǎng)，華夏廣電對(duì)交互產(chǎn)品有更高的要求，需要深度文化體驗(yàn)、塑造品牌形象、滿足多樣化需求。應(yīng)用成效星火生成式駕駛艙，自然語(yǔ)言全域知識(shí)交互透明顯示屏，展示方式更通透技術(shù)支持部署要求私有化部署星火生成式智慧駕駛艙需要考慮硬件資源、軟件環(huán)境以及外部依賴服務(wù)。以下是平臺(tái)的詳細(xì)部署要求，旨在幫助用戶順利部署和運(yùn)行整個(gè)系統(tǒng)。硬件和軟件環(huán)境要求后端服務(wù)：建議配置為CPU4核、內(nèi)存16G、硬盤500G，用于部署駕駛艙后臺(tái)管理服務(wù)和數(shù)據(jù)分析服務(wù)。至少需要1臺(tái)服務(wù)器以單實(shí)例部署，推薦2臺(tái)服務(wù)器以高可用性部署。前端頁(yè)面：建議配置為CPU4核、內(nèi)存8G、硬盤200G，用于部署駕駛艙的前端頁(yè)面。至少需要1臺(tái)服務(wù)器。反向代理服務(wù)器Nginx：建議配置為CPU4核、內(nèi)存8G、硬盤200G，用于處理前端頁(yè)面的請(qǐng)求。至少需要1臺(tái)服務(wù)器。數(shù)據(jù)庫(kù)和存儲(chǔ)服務(wù)：建議配置為CPU16核、內(nèi)存32G、硬盤500G，用于部署MySQL、Redis、Elasticsearch和MinIO等服務(wù)。數(shù)據(jù)庫(kù)服務(wù)推薦一主一從配置以確保數(shù)據(jù)安全和高可用性。Docker和AI模型服務(wù)：建議配置為CPU32核、內(nèi)存64G、硬盤500G、顯卡T4單卡，用于提供意圖匹配等功能。顯卡非必選，但可以顯著提高處理效率。服務(wù)部署清單見(jiàn)下表。序號(hào)服務(wù)名稱推薦配置最低配置備注操作系統(tǒng)1駕駛艙后臺(tái)管理服務(wù)

駕駛艙數(shù)據(jù)分析服務(wù)

反向代理服務(wù)器Nginx

前端頁(yè)面CPU：4核

內(nèi)存：16G

硬盤：500GCPU：4核

內(nèi)存：8G

硬盤：200G用于部署駕駛艙前后端服務(wù)、nginx等服務(wù)，后端服務(wù)集群部署Centos7+(推薦)/Ubuntu-22.04+/麒麟v102駕駛艙后臺(tái)管理服務(wù)

駕駛艙數(shù)據(jù)分析服務(wù)CPU：4核

內(nèi)存：16G

硬盤：500G/駕駛艙后端服務(wù)集群部署Centos7+(推薦)/Ubuntu-22.04+/麒麟v103MySQLRedis

Elasticsearch

MinIOCPU：16核

內(nèi)存：32G

硬盤：500GCPU：16核

內(nèi)存：32G

硬盤：200G數(shù)據(jù)庫(kù)、文件存儲(chǔ)、文本檢索、分部署緩存等服務(wù)部署Centos7+(推薦)/Ubuntu-22.04+/麒麟v104Docker

語(yǔ)義匹配模型

向量數(shù)據(jù)庫(kù)CPU：32核

內(nèi)存：64G

硬盤：500G

顯卡：T4單卡CPU：16核

內(nèi)存：32G

硬盤：200G提供意圖匹配等功能；顯卡非必選，可提高意圖識(shí)別效率。Ubuntu-22.04+(推薦)/麒麟v10備注：部署過(guò)程中需要連接到公網(wǎng)以下載必要的資源，或者提供內(nèi)網(wǎng)鏡像源地址。外部依賴服務(wù)訊飛星火大模型服務(wù)：提供邏輯推理和交互功能，是系統(tǒng)的核心組件?？梢运接谢渴穑覟楸剡x服務(wù)。訊飛星火文檔問(wèn)答服務(wù)：提供知識(shí)問(wèn)答功能，可私有化部署，為可選服務(wù)。訊飛虛擬人服務(wù)：提供虛擬人形象和語(yǔ)音合成功能，可私有化部署，為可選服務(wù)。訊飛實(shí)時(shí)語(yǔ)音聽(tīng)寫服務(wù)：將語(yǔ)音轉(zhuǎn)換為文字輸入，可私有化部署，為可選服務(wù)。訊飛實(shí)時(shí)語(yǔ)音合成服務(wù)：在沒(méi)有虛擬人的情況下提供語(yǔ)音播報(bào)功能，可私有化部署，為可選服務(wù)。訊飛AIUI服務(wù)：支持硬件配套的語(yǔ)音轉(zhuǎn)寫功能，可私有化部署，為可選服務(wù)。安全性和合規(guī)性要求在實(shí)施星火生成式智慧駕駛艙平臺(tái)時(shí)，安全性和合規(guī)性是至關(guān)重要的考慮因素。我們的安全策略包括接口簽名算法鑒權(quán)訪問(wèn)，確保所有接口調(diào)用都經(jīng)過(guò)嚴(yán)格的身份驗(yàn)證。此外，我們承諾數(shù)據(jù)不出庫(kù)，保障用戶數(shù)據(jù)的隱私和安全。對(duì)于大模型服務(wù)，我們支持私有化部署，進(jìn)一步增強(qiáng)數(shù)據(jù)安全性。網(wǎng)絡(luò)和基礎(chǔ)設(shè)施要求為了確保星火生成式智慧駕駛艙平臺(tái)的性能和穩(wěn)定性，我們建議部署在具備50M以上專線的網(wǎng)絡(luò)環(huán)境中，這將有效保障虛擬數(shù)字人的流暢推流。至于基礎(chǔ)設(shè)施，我們提供靈活的選擇，支持云服務(wù)和物理服務(wù)器部署，用戶可以根據(jù)自身需求和資源情況選擇最合適的部署方式。部署工具和自動(dòng)化我們提供全面的自動(dòng)化腳本，包括服務(wù)部署自動(dòng)化腳本和數(shù)據(jù)庫(kù)初始化自動(dòng)腳本，以簡(jiǎn)化部署流程并減少人為錯(cuò)誤。此外，所有日志均留存在磁盤中，便于進(jìn)行系統(tǒng)監(jiān)控和問(wèn)題排查。我們還將介紹如何設(shè)置和使用監(jiān)控工具來(lái)跟蹤系統(tǒng)性能和健康狀況，確保系統(tǒng)的穩(wěn)定運(yùn)行。數(shù)據(jù)遷移和備份數(shù)據(jù)是企業(yè)寶貴的資產(chǎn)，因此我們提供定期數(shù)據(jù)庫(kù)備份策略，確保數(shù)據(jù)的安全性和可恢復(fù)性。我們建議用戶根據(jù)數(shù)據(jù)的重要性和變更頻率，制定合適的備份計(jì)劃