2025年智慧園區(qū)系列-新質(zhì)生產(chǎn)力探索高品質(zhì)協(xié)作技術(shù)白皮書_第1頁
2025年智慧園區(qū)系列-新質(zhì)生產(chǎn)力探索高品質(zhì)協(xié)作技術(shù)白皮書_第2頁
2025年智慧園區(qū)系列-新質(zhì)生產(chǎn)力探索高品質(zhì)協(xié)作技術(shù)白皮書_第3頁
2025年智慧園區(qū)系列-新質(zhì)生產(chǎn)力探索高品質(zhì)協(xié)作技術(shù)白皮書_第4頁
2025年智慧園區(qū)系列-新質(zhì)生產(chǎn)力探索高品質(zhì)協(xié)作技術(shù)白皮書_第5頁
已閱讀5頁,還剩46頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

新質(zhì)生產(chǎn)力探索高品質(zhì)協(xié)作技術(shù)白皮書智慧園區(qū)系列新質(zhì)生產(chǎn)力是現(xiàn)代化產(chǎn)業(yè)體系建設(shè)和高質(zhì)量發(fā)展的強(qiáng)勁推動力。高品質(zhì)協(xié)作作為新質(zhì)生產(chǎn)力的具體實(shí)踐探索,體現(xiàn)了科技創(chuàng)新與生產(chǎn)實(shí)踐的深度融合,是推動經(jīng)濟(jì)增長和高質(zhì)量發(fā)展的重要動能。在科技創(chuàng)新的過程中,新技術(shù)、新產(chǎn)品或新服務(wù)的研發(fā)過程中,高品質(zhì)協(xié)作通過提供智能化的協(xié)作平臺,使得科技創(chuàng)新成果能夠更便捷、更高效地與實(shí)際應(yīng)用相結(jié)合,從而實(shí)現(xiàn)科技成果的轉(zhuǎn)化。高品質(zhì)協(xié)作作為新業(yè)態(tài)下的勞動工具和工作模式,擔(dān)任了信息傳遞的媒介,讓跨地域、跨產(chǎn)業(yè)、跨場景的合作交流更加協(xié)同。它推動著園區(qū)業(yè)務(wù)場景和商業(yè)模式的不斷升級和革新,加速園區(qū)向一體化、生態(tài)化的可持續(xù)發(fā)展智慧空間不斷演進(jìn),助力戰(zhàn)略性新興領(lǐng)域的高質(zhì)量發(fā)展。華為與中國質(zhì)量認(rèn)證中心(CQC)

攜手伙伴同行,

共同探索更集約、更綠色、更高效的增長方式,讓每個人、每個組織、每個園區(qū)都能從高品質(zhì)協(xié)作的技術(shù)中受益,享有智能化的工作方式。本白皮書分析了協(xié)作技術(shù)的發(fā)展趨勢和歷程,總結(jié)高品質(zhì)協(xié)作的“泛在化、智能化、融合化”特征,全面闡述辦公協(xié)作和生產(chǎn)協(xié)作的價值場景、關(guān)鍵技術(shù)特征以及參考架構(gòu),并提供行業(yè)優(yōu)秀實(shí)踐,以期與業(yè)界同仁分享研究成果,共謀發(fā)展。引言

第一章協(xié)作發(fā)展和演進(jìn)趨勢/011.1協(xié)作是提升生產(chǎn)力的關(guān)鍵因素.................................................................................021.2協(xié)作技術(shù)發(fā)展歷程....................................................................................................021.3高品質(zhì)協(xié)作的演進(jìn)趨勢

............................................................................................031.3.1泛在化:接入終端更多樣、行業(yè)應(yīng)用更廣泛、生產(chǎn)協(xié)同更深入....................031.3.2智能化:從感知智能到認(rèn)知智能,加速辦公生產(chǎn)系統(tǒng)人機(jī)協(xié)同....................041.3.3融合化:走向辦公與生產(chǎn)業(yè)務(wù)數(shù)據(jù)融合和場景虛實(shí)融合.................................04第二章高品質(zhì)協(xié)作典型場景/072.1高品質(zhì)辦公協(xié)作.......................................................................................................082.1.1行政視頻會議

...............................................................................................................092.1.2員工協(xié)同辦公

...............................................................................................................112.2高品質(zhì)生產(chǎn)協(xié)作.......................................................................................................

132.2.1可視指揮調(diào)度

...............................................................................................................132.2.2產(chǎn)線數(shù)字化協(xié)同...........................................................................................................14第三章

關(guān)鍵技術(shù)特征與參考架構(gòu)/163.1高品質(zhì)協(xié)作關(guān)鍵技術(shù)特征

........................................................................................

173.1.1極致高清.......................................................................................................................173.1.2視網(wǎng)聯(lián)動.......................................................................................................................223.1.3

智簡交互

.......................................................................................................................253.1.4

泛在智能

.......................................................................................................................273.1.5

安全可靠

.......................................................................................................................293.1.6智能運(yùn)維.......................................................................................................................323.2高品質(zhì)協(xié)作參考架構(gòu)................................................................................................35目錄

CONTENTS第四章高品質(zhì)協(xié)作典型實(shí)踐/374.1高品質(zhì)辦公協(xié)同支撐華為高速發(fā)展.....................................................................................384.1.1建設(shè)背景及內(nèi)容.........................................................................................................................384.1.2行政視頻會議建設(shè)成效............................................................................................................394.1.3協(xié)同辦公會議建設(shè)成效............................................................................................................394.2智慧生產(chǎn)協(xié)同為汽車制造企業(yè)提質(zhì)增效.............................................................................404.2.1

行業(yè)概述和特點(diǎn)

........................................................................................................................404.2.2

車廠智慧班組系統(tǒng)實(shí)踐...........................................................................................................404.2.3

遠(yuǎn)程輔助維修建設(shè)實(shí)踐...........................................................................................................404.3五級聯(lián)動可視化指揮提升應(yīng)急管理現(xiàn)代化能力..................................................................41第五章合作生態(tài)與發(fā)展倡議/425.1

共建開放互聯(lián)生態(tài)......................................................................................................................

435.2

高品質(zhì)協(xié)作發(fā)展倡議..................................................................................................................

43附錄A

關(guān)鍵指標(biāo)體系....................................................................................................................

45第一章協(xié)作發(fā)展和演進(jìn)趨勢01新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書從人類發(fā)展的角度,

協(xié)作模式與社會生產(chǎn)力發(fā)展息息相關(guān)。農(nóng)耕時代,以小體量手工作坊的協(xié)作模式為主,生產(chǎn)效率低下;工業(yè)時代,人們開始聚集到工廠中進(jìn)行大規(guī)模生產(chǎn),生產(chǎn)效率提升帶來生活質(zhì)量改善;信息化時代,隨著人機(jī)協(xié)同、

AI

技術(shù)的發(fā)展,

人類可以從重復(fù)性勞動中解脫,

專注于創(chuàng)造力和策略性的任務(wù),

并享受自己的生活。新質(zhì)生產(chǎn)力作為信息化時代高質(zhì)量發(fā)展的內(nèi)在要求和重要著力點(diǎn),其核心在于擺脫傳統(tǒng)經(jīng)濟(jì)增長方式,通過技術(shù)革命性突破、生產(chǎn)要素創(chuàng)新性配置、產(chǎn)業(yè)深度轉(zhuǎn)型升級來實(shí)現(xiàn)生產(chǎn)力質(zhì)的提升。這不僅要求勞動者素質(zhì)的提高,還要求勞動資料和勞動對象的高效協(xié)作。在智慧園區(qū)中,

新質(zhì)生產(chǎn)力要求多方合作和協(xié)作,特別是在數(shù)字化、智能化的生產(chǎn)模式下,各個環(huán)節(jié)之間需要密切配合,這種合作式生產(chǎn)關(guān)系促使不同類型的企業(yè)園區(qū)更加緊密地合作,共同推動辦公協(xié)同、生產(chǎn)過程的優(yōu)化和升級,從而提高整體效能。圖1-1:協(xié)作技術(shù)的發(fā)展歷程新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

02隨著跨空間、跨領(lǐng)域的行業(yè)溝通和合作在組織活動中的重要性不斷提升,人、機(jī)、物之間的協(xié)作場景、協(xié)作模式也幾經(jīng)變遷。在信息技術(shù)的不斷更新迭代下,協(xié)作技術(shù)也朝著多元化、數(shù)字化、智能化方向發(fā)展,統(tǒng)觀協(xié)作的發(fā)展歷程,我們可以將其總結(jié)為五個階段。

協(xié)作1.0協(xié)作2.0協(xié)作3.0

協(xié)作4.0協(xié)作5.0>1.1

協(xié)作是提升生產(chǎn)力的關(guān)鍵因素視頻會議高品質(zhì)協(xié)作1.2

協(xié)作技術(shù)發(fā)展歷程關(guān)鍵詞:遠(yuǎn)程視頻會議、SIP/H.323/H.320特征:人與人之間跨地域“面對面”互動關(guān)鍵詞:云會議、桌面共享創(chuàng)作特征:跨設(shè)備、跨地域、隨時隨地協(xié)作關(guān)鍵詞:全息交互、虛擬現(xiàn)實(shí)特征:沉浸式全息體驗(yàn)數(shù)字孿生交互關(guān)鍵詞:泛在化、智能化、融合化特征:基于視網(wǎng)聯(lián)動的智能化協(xié)作全息協(xié)作本地共享混合辦公關(guān)鍵詞:物理白板、投影顯示特征:內(nèi)容本地投影和傳遞疫情帶來了混合辦公的巨大需求,在云計算技術(shù)加持下,遠(yuǎn)程協(xié)作服務(wù)逐步從本地走向云端?;旌限k公提供了一種高效、便捷、低成本的網(wǎng)絡(luò)協(xié)作形式,

參與者只需通過多種終端設(shè)備,

如手機(jī)、電腦等,

登錄到服務(wù)提供商提供的會議接入號碼和網(wǎng)址,

即可隨時隨地通過語音、視頻進(jìn)行多方遠(yuǎn)程交流。數(shù)字化技術(shù)通過遠(yuǎn)程桌面共享和遠(yuǎn)程標(biāo)注技術(shù),讓不同地點(diǎn)的員工共同辦公、協(xié)作和交流,這種模式不依賴于專網(wǎng),可以通過泛在接入的方式實(shí)現(xiàn)多樣化的終端接入。遠(yuǎn)程桌面共享技術(shù)可以讓多個用戶同時訪問和操作同一臺計算機(jī),實(shí)現(xiàn)遠(yuǎn)程辦公和協(xié)作。而遠(yuǎn)程標(biāo)注技術(shù)則可以讓多個用戶在共享的文檔或應(yīng)用程序上進(jìn)行標(biāo)注和注釋,方便多人共同編輯和審閱文件。混合辦公模式可以讓員工在不同地點(diǎn)靈活辦公,減少因地域限制而導(dǎo)致的協(xié)作不便,通過泛在接入和多樣化的終端接入,提高工作的便捷性和靈活性。隨著計算機(jī)通信技術(shù)的發(fā)展,

20世紀(jì)中期,出現(xiàn)了視頻會議系統(tǒng),它將視頻、音頻等多媒體信息進(jìn)行綜合處理、通過通信網(wǎng)絡(luò)對多媒體數(shù)據(jù)進(jìn)行實(shí)時傳輸,利用計算機(jī)系統(tǒng)提供良好的交互功能和管理功能,實(shí)現(xiàn)了人與人之間“面對面”的虛擬會議環(huán)境,極大的改變了人們的生活和工作方式,對社會的運(yùn)行產(chǎn)生深遠(yuǎn)的影響。視頻會議使在地理上分散的用戶可以通過圖像、聲音、數(shù)據(jù)等多種方式實(shí)時交流信息,把分散在不同地域、各個決策層的人們匯集在視頻會議空間中,進(jìn)行實(shí)時信息交流、共享及開展協(xié)同工作,視頻會議系統(tǒng)的廣泛應(yīng)用加快了信息的交流傳播、催化決策速度、提高工作效率,并且能夠極大的減少差旅費(fèi)用。成為政府,企業(yè)、醫(yī)院、學(xué)校等等眾多領(lǐng)域的重要溝通方式,為人們的溝通和協(xié)作帶來了革命性的突破。在缺乏通信技術(shù)的時代,協(xié)作方式局限于本地化,參會者在會議室圍著物理白板、幻燈片投影展開討論。這種方式下,參與人員有限、手段單一,協(xié)作效率低。由于無法隨時隨地獲取必要的信息和資源,工作效率和企業(yè)運(yùn)營效率不高,企業(yè)迫切希望新技術(shù)帶來溝通方式變革。協(xié)作2.0視頻會議協(xié)作3.0混合辦公03新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書協(xié)作

1.0本地共享隨著云計算、人工智能、物聯(lián)網(wǎng)、無線通信等數(shù)字化技術(shù)的發(fā)展,

以智能感知和全聯(lián)接為基礎(chǔ),

高品質(zhì)協(xié)作提供一種沉浸式溝通、主動式服務(wù)、全流程智能、高效率協(xié)同的新型協(xié)作模式,其具備一體化、高清、動態(tài)感知、實(shí)時傳輸(隨時隨地)、快速分析與處理、精準(zhǔn)執(zhí)行等優(yōu)勢,能夠通過搭建環(huán)境空間最優(yōu)組合,使不同的智能體(人、智能終端、智慧屏、應(yīng)用系統(tǒng)以及管理平臺等)協(xié)同工作,以提高工作效率、創(chuàng)新能力和決策質(zhì)量。在協(xié)作內(nèi)容方面,

各種AI技術(shù)逐漸應(yīng)用到園區(qū)的辦公協(xié)同、生產(chǎn)班組運(yùn)營、設(shè)備預(yù)測性維護(hù)、質(zhì)量檢測、應(yīng)急指揮等多種業(yè)務(wù)場景中,形成了以數(shù)據(jù)為關(guān)鍵驅(qū)動、以業(yè)務(wù)為核心的創(chuàng)新協(xié)作新模式。在協(xié)作體驗(yàn)方面,視網(wǎng)聯(lián)動技術(shù)可縱向貫通端、網(wǎng)、云,對視頻會議進(jìn)行應(yīng)用標(biāo)簽識別,用切片技術(shù)劃分視頻專屬通道,

提供

VIP

會議重保。使用隨流檢測技術(shù)實(shí)時感知會議質(zhì)量,打造視網(wǎng)一張圖,

故障分鐘級自動定位,讓網(wǎng)絡(luò)無卡頓,

會議無干擾,

為企業(yè)數(shù)字化轉(zhuǎn)型提供更加穩(wěn)定、安全、可靠的智能化支持和保障。強(qiáng)大的“AI+視網(wǎng)聯(lián)動”為用戶帶來了更加極致高效、便捷舒適的人機(jī)協(xié)同體驗(yàn),是促進(jìn)協(xié)作應(yīng)用場景不斷拓寬的動力。高品質(zhì)協(xié)作作為新業(yè)態(tài)下的新型工作模式,不僅擔(dān)任了信息傳遞的媒介,讓跨地域、跨產(chǎn)業(yè)、跨場景的合作交流更加協(xié)同,

實(shí)現(xiàn)了零散集群的網(wǎng)聯(lián)化、高效化,

而且還激發(fā)了生產(chǎn)力的發(fā)展活力,讓勞動作業(yè)更加自動化、智能化。數(shù)字孿生、

5.5G

/6G

、AI

視覺與全息交互、XR

與傳感、情感交互等核心技術(shù)的發(fā)展,使得園區(qū)活動將從單一的工作、生產(chǎn)逐漸向文化、娛樂、消費(fèi)等場景拓展,全息會議、虛擬研討、虛擬洽談、虛擬觀展將帶來虛實(shí)共存、雙線同步的沉浸式高互動體驗(yàn),這將改變?nèi)藗冞h(yuǎn)程協(xié)作方式,使得無論身處何地都能像在真實(shí)環(huán)境中一樣進(jìn)行高效的溝通和協(xié)作。全息可視化協(xié)作呈現(xiàn)、全方位智能態(tài)勢感知,能夠幫助園區(qū)管理者實(shí)現(xiàn)更加動態(tài)化、智能化的園區(qū)管理,輔助園區(qū)智能指揮和應(yīng)急調(diào)度,助力園區(qū)運(yùn)營可視、可管、可控,保障園區(qū)體驗(yàn)更智慧、運(yùn)行更智能、管理更高效。協(xié)作4.0高品質(zhì)協(xié)作協(xié)作5.0

全息協(xié)作新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

04各行各業(yè)的日常工作和生產(chǎn)業(yè)務(wù)中,高效的信息交互及協(xié)作是提升政府和企業(yè)效率不可或缺的重要工作模式。在政府行業(yè),指揮調(diào)度系統(tǒng)需要融合包括視頻會商、視頻監(jiān)控、寬窄帶集群系統(tǒng)、無人機(jī)系統(tǒng)、互聯(lián)網(wǎng)會議系統(tǒng)互聯(lián)互通,服務(wù)于應(yīng)急、消防、水利、地震、氣象等多領(lǐng)域。在制造行業(yè),通過協(xié)作實(shí)現(xiàn)從辦公到生產(chǎn)的企業(yè)數(shù)據(jù)協(xié)同,通過數(shù)字化運(yùn)營進(jìn)行產(chǎn)線現(xiàn)場流程和工人的協(xié)同管理,晨會抽檢、

AI數(shù)字人培訓(xùn)等進(jìn)一步推進(jìn)質(zhì)量管理落地。AR遠(yuǎn)程協(xié)作實(shí)現(xiàn)設(shè)計遠(yuǎn)程評審、故障遠(yuǎn)程診斷,大大提升交互協(xié)作效率和響應(yīng)速度。在數(shù)字經(jīng)濟(jì)高速發(fā)展、前瞻技術(shù)加速創(chuàng)新和社會需求革命的驅(qū)動下,協(xié)作3.0向協(xié)作4.0時代邁進(jìn),高品質(zhì)協(xié)作向泛在化、智能化、融合化發(fā)展。1.3.1泛在化:接入終端更多樣、行業(yè)應(yīng)用更廣泛、生產(chǎn)協(xié)同更深入在教育行業(yè),老師與學(xué)生通過現(xiàn)場協(xié)作實(shí)現(xiàn)課堂教學(xué)實(shí)時評估、作業(yè)隨堂互動。通過沉浸式虛擬教室,使得身處各地的學(xué)生能夠進(jìn)行實(shí)時互動學(xué)習(xí)和討論。全球的技術(shù)工作者也可以通過遠(yuǎn)程接入進(jìn)行課題研討和技術(shù)標(biāo)準(zhǔn)研究。協(xié)作泛在化正推動著各個行業(yè)工作模式的深刻變革,不僅提升了工作效率,還為企業(yè)帶來了更高的靈活性和創(chuàng)新能力。隨著技術(shù)的不斷演進(jìn),可預(yù)見的是協(xié)作泛在化將繼續(xù)深化其在各行各業(yè)的應(yīng)用,推動企業(yè)實(shí)現(xiàn)更廣泛的業(yè)務(wù)協(xié)同和價值創(chuàng)造。1.3

高品質(zhì)協(xié)作的演進(jìn)趨勢05新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書在數(shù)字化轉(zhuǎn)型的浪潮中,辦公業(yè)務(wù)和生產(chǎn)業(yè)務(wù)正在向融合化發(fā)展,正成為推動企業(yè)創(chuàng)新和效率提升的關(guān)鍵力量。技術(shù)和業(yè)務(wù)應(yīng)用數(shù)據(jù)通過云計算、大數(shù)據(jù)、視頻會議、網(wǎng)絡(luò)等技術(shù)加速融合,構(gòu)建統(tǒng)一的工作平臺,實(shí)現(xiàn)信息資源的集中管理、信息交互。辦公和生產(chǎn)方式將發(fā)生根本性變革,遠(yuǎn)程辦公、移動辦公、居家辦公成為主流辦公模式。區(qū)別于傳統(tǒng)指令性執(zhí)行,虛實(shí)融合協(xié)作將在生產(chǎn)領(lǐng)域廣泛應(yīng)用,使得專家技能得以保存和傳播沉淀,安全生產(chǎn)活動得到更好地執(zhí)行和抽檢監(jiān)督,維護(hù)人員可以實(shí)時查看設(shè)備的運(yùn)行狀態(tài)和故障信息并根據(jù)提示進(jìn)行維修。沉浸式培訓(xùn)為員工培訓(xùn)提供更加真實(shí)、沉浸式的培訓(xùn)環(huán)境,通過創(chuàng)建虛擬工廠環(huán)境,員工可以在不接觸實(shí)際設(shè)備的情況下進(jìn)行模擬操作并熟悉生產(chǎn)流程和操作規(guī)范。高品質(zhì)的辦公網(wǎng)絡(luò)提升了信息傳輸?shù)乃俾始百|(zhì)量,疊加數(shù)字孿生技術(shù)將全面賦能沉浸式辦公,打通物理空間與數(shù)字世界壁壘,為園區(qū)用戶提供跨時空、跨地域的沉浸式隨時隨地辦公服務(wù),實(shí)現(xiàn)異地溝通的高實(shí)時性及高互動性。值得強(qiáng)調(diào)的是,在辦公數(shù)字化、生產(chǎn)智能化的發(fā)展趨勢下,數(shù)據(jù)安全和隱私保護(hù)是不可忽視的議題。企業(yè)在大力推進(jìn)數(shù)字辦公和高效生產(chǎn)的同時需要建立嚴(yán)格的數(shù)據(jù)安全管理體系,確保員工信息和涉密數(shù)據(jù)的安全。高品質(zhì)協(xié)作將大大提升辦公和生產(chǎn)效率,從而加速生產(chǎn)方式綠色化、生活方式低碳化的發(fā)展。AI內(nèi)生是指將人工智能與協(xié)作系統(tǒng)融合,使系統(tǒng)具備自我優(yōu)化的能力。這種系統(tǒng)能夠根據(jù)實(shí)時數(shù)據(jù)和歷史經(jīng)驗(yàn),不斷調(diào)整自身的工作模式,以適應(yīng)不斷變化的辦公和生產(chǎn)的工作環(huán)境和需求。AI內(nèi)生不僅提高了生產(chǎn)效率,還極大地提升了系統(tǒng)的適應(yīng)性和靈活性。協(xié)作智能化的發(fā)展也體現(xiàn)在提供個性化服務(wù)。例如,協(xié)作系統(tǒng)可以自動更新信息,推薦用戶當(dāng)前工作流可能會使用的素材和信息,甚至預(yù)測用戶的工作流程,進(jìn)行后續(xù)流程安排的方案推薦,從而提高工作效率和滿意度。隨著科技的飛速發(fā)展,

協(xié)作不再局限于簡單地將任務(wù)自動化,而是向更深層次發(fā)展,這包括從感知智能到認(rèn)知智能的演進(jìn),以及AI

技術(shù)在協(xié)作系統(tǒng)中的內(nèi)生應(yīng)用。感知智能是指協(xié)作系統(tǒng)通過視覺、聽覺等感官接收外部信息并進(jìn)行處理的能力。而認(rèn)知智能則是在此基礎(chǔ)上,通過自學(xué)習(xí)實(shí)現(xiàn)對信息的深層理解,這意味著協(xié)作系統(tǒng)能夠更準(zhǔn)確地理解用戶需求,并提供個性化的服務(wù)和解決方案。1.3.2智能化:從感知智能到認(rèn)知智能,加速辦公生產(chǎn)系統(tǒng)人機(jī)協(xié)同1.3.3融合化:走向辦公與生產(chǎn)業(yè)務(wù)數(shù)據(jù)融合和場景虛實(shí)融合新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

06第二章高品質(zhì)協(xié)作典型場景07新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書協(xié)作前協(xié)作中預(yù)約/通知智能聯(lián)動智能保障超高清交流智簡交互實(shí)時日程燈光窗簾聯(lián)動超寬網(wǎng)絡(luò)4K/8K高清智能書寫智能簽到設(shè)備聯(lián)動會議流量識別智能導(dǎo)播白板協(xié)作環(huán)境監(jiān)測智能調(diào)度智能拾音多屏協(xié)作協(xié)作后協(xié)作中設(shè)備運(yùn)維智慧紀(jì)要安全保障沉浸體驗(yàn)智能助手設(shè)備遠(yuǎn)程可視智能摘要音頻水印追溯視頻增強(qiáng)智能字幕人機(jī)共創(chuàng)設(shè)備集中控制智能分析視頻水印追溯沉浸音頻語音助手質(zhì)量可視裸眼3D高效協(xié)作溝通一直是各組織提升工作效率的重要手段。高品質(zhì)協(xié)作以組織業(yè)務(wù)目標(biāo)為核心,實(shí)現(xiàn)人與人,組織與組織的協(xié)調(diào)與配合。視頻會議突破了空間的界限,不同地點(diǎn)的會議室通過網(wǎng)絡(luò)與多媒體設(shè)備實(shí)現(xiàn)實(shí)時交互;員工協(xié)同辦公會議基于云技術(shù)提供大容量接入,實(shí)現(xiàn)了員工之間的高效連接。同時近幾年快速發(fā)展的云技術(shù)、AI技術(shù)、Wi-Fi

7技術(shù)、

AR/VR技術(shù)等也支撐協(xié)作從辦公走向生產(chǎn),支撐企業(yè)數(shù)字化轉(zhuǎn)型。本章對協(xié)作的典型場景和新技術(shù)應(yīng)用進(jìn)行探討。在中大型組織中,大部分的決策都在會議室產(chǎn)生,組織內(nèi)部的會議從與會人規(guī)模和會議目標(biāo)上來說,可以分為兩大類:行政視頻會議和員工協(xié)同辦公。高品質(zhì)辦公協(xié)同貫穿協(xié)作前、協(xié)作中、協(xié)作后全流程,為行政視頻會議以及員工協(xié)同辦公提供流暢高清的音視頻體驗(yàn)、高效智能的協(xié)作體驗(yàn)、安全可靠的會議過程。員工協(xié)同辦公應(yīng)急指揮產(chǎn)線協(xié)同行政視頻會議高品質(zhì)智能協(xié)作底座辦公協(xié)作生產(chǎn)協(xié)作2.1

高品質(zhì)辦公協(xié)作連接人與人聯(lián)接組織聯(lián)接萬物連接會議室新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

08圖2-2:高品質(zhì)辦公協(xié)作圖2-1:典型協(xié)作場景2.1.1行政視頻會議行政視頻會議是指由公司或組織的高層管理人員組成的會議,旨在討論和決策與公司或組織戰(zhàn)略等方面的問題,并做出相應(yīng)的決策,并包含對組織成員進(jìn)行宣貫的會議。典型的會議場景包含決策匯報會議、傳達(dá)型會議等。高品質(zhì)行政會議在會前會議預(yù)約、會議環(huán)境聯(lián)動,會中高清體驗(yàn)、安全保障,會后智能運(yùn)維等方面大幅提升會議效率。會議室環(huán)境與會議預(yù)約智能協(xié)同;會議前5分鐘會議室自動進(jìn)入會議模式,燈光、窗簾、空調(diào)自動調(diào)節(jié)到預(yù)設(shè)置狀態(tài);同時支持會議開始后15

分鐘,AI

傳感器精準(zhǔn)進(jìn)行人員檢測,自動釋放會議室,聯(lián)動關(guān)閉會議環(huán)境設(shè)備,提升會議室效率。會中提供語音等多種交互方式,便捷切換會議模式、離開模式。同時,AI

智能會議能夠根據(jù)室外天氣、室內(nèi)環(huán)境、辦公人員等變化,實(shí)時動態(tài)調(diào)整照明、溫度等參數(shù),保障辦公環(huán)境時刻處于體感最優(yōu)、能耗最低的舒適狀態(tài),為辦公人員提供個性化的智慧辦公環(huán)境。并關(guān)注會議室的溫度、光線、噪音等環(huán)境因素,

確保會議環(huán)境的舒適性和適宜性。針對傳統(tǒng)會議室利用率不高,會議室預(yù)約難等問題,

高品質(zhì)協(xié)作方案提供

AI智能預(yù)約功能,AI助手可根據(jù)與會成員的會議日歷推薦會議時間,根據(jù)與會人數(shù)、會議室預(yù)約情況自動預(yù)約會議室。同時會議信息\議題支持自動通知參會人員,避免會議通知的遺漏。環(huán)境智能聯(lián)動09新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書會前智能預(yù)約傳統(tǒng)會議存在會議視頻不清晰,視頻卡頓、聲音嘯叫等問題嚴(yán)重影響會議效率,高品質(zhì)會議通過全鏈路超清采編顯提供極致高清音/視頻體驗(yàn):高清視頻體驗(yàn):

采集、編碼到顯示的全鏈路4/8K超高清視頻將給行政會議帶來顛覆性的視頻體驗(yàn);高品質(zhì)時代的會議提供高動態(tài)范圍(

HDR

)體驗(yàn),在對比度、灰,度、色彩等維度上提升影像質(zhì)量,使畫面中所有色彩最大程度保留明暗變化的細(xì)節(jié),讓用戶眼中的影像更加細(xì)膩真實(shí),更富有感染力。同時支持發(fā)言人自動跟蹤切換,提供更佳的攝像機(jī)視角,確保發(fā)言人時刻呈現(xiàn)為最佳構(gòu)圖,領(lǐng)導(dǎo)坐遠(yuǎn)處時仍處于黃金C位構(gòu)圖。高清語音交流:

會議終端自動檢測和跟蹤聲音位置,

實(shí)現(xiàn)

12米遠(yuǎn)距清晰拾音;

并提供智能降噪功能,智能識別和過濾鍵盤聲、關(guān)門聲、走路聲音等環(huán)境噪音。大部分的會議和討論都會涉及到秘密信息,如企業(yè)內(nèi)部的項(xiàng)目溝通會、銷售例會、政府部門的政策討論會,在沒有正式對外公布結(jié)論時,

都需要遵循保密原則。因此在會議過程中,對會議內(nèi)容進(jìn)行必要的保護(hù)成為了與會者關(guān)注的重要內(nèi)容。面向會議安全訴求,

提供端到端的安全保障,

提供會前會議權(quán)限管理、會中音視頻媒體加密,會后安全水印追溯的安全保障。視頻水印和音頻水印技術(shù),可以把參會者身份信息以隱形方式疊加到會議視頻圖像和會議音頻流上,不影響正常與會者收聽和觀看會議內(nèi)容,如果出現(xiàn)會議內(nèi)容被偷拍、偷錄,就很容易從泄漏的信息中追溯到泄密者。傳統(tǒng)會議室存在會議保障難、會議故障發(fā)現(xiàn)慢、故障定位難等問題,隨著網(wǎng)絡(luò)、

AI等技術(shù)的發(fā)展,會議設(shè)備運(yùn)維、重要會議保障、會議故障定位等功能極大提高了會議的管理效率。會議運(yùn)維管理平臺,

提供一鍵遠(yuǎn)程查看會議室設(shè)備狀態(tài),

一鍵遠(yuǎn)程控制,

提升運(yùn)維效率。面向會議網(wǎng)絡(luò)故障問題,基于網(wǎng)絡(luò)隨流檢測等技術(shù),實(shí)時上報會議音視頻質(zhì)量,實(shí)現(xiàn)會議音視頻流的丟包、時延、抖動全鏈路可視,

并基于數(shù)字地圖實(shí)時呈現(xiàn),

會議故障定位時間由數(shù)天降低到分鐘級。高清音視頻極簡運(yùn)維安全可靠新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

10面向傳統(tǒng)統(tǒng)協(xié)作時投屏困難、文件共享難等問題,高品質(zhì)會議基于鴻蒙分布式等技術(shù)支持多端協(xié)同,實(shí)現(xiàn)協(xié)作信息自由流轉(zhuǎn),提升會議效率。白板協(xié)同:基于筆跡追蹤算法,

大幅降低書寫時延,

書寫與顯示同步同幀,

如同紙上書寫;支持文字識別等智能書寫輔助,手寫體自動轉(zhuǎn)化為書寫體,板書更美觀易懂;會議紀(jì)要可通過掃碼隨身帶走。多屏協(xié)同:

在協(xié)作體驗(yàn)方面,支持免配網(wǎng)投屏一鍵投屏,徹底解決各種轉(zhuǎn)接頭和連接線的適配問題。面向企業(yè)無紙化的業(yè)務(wù)訴求,

分布式多屏聯(lián)動技術(shù)實(shí)現(xiàn)多屏內(nèi)容聯(lián)動展示,會議大屏展示內(nèi)容支持流轉(zhuǎn)到會議多個

PC

、PAD小屏,支持小屏支持批注、遠(yuǎn)程控制大屏能力,會議效率更高。信息自由流轉(zhuǎn):

基于鴻蒙分布式技術(shù)實(shí)現(xiàn)協(xié)作內(nèi)容在

PC、大屏、手機(jī)等設(shè)備自由流轉(zhuǎn);用戶手機(jī)”

碰一碰”即可將手機(jī)圖片、文件分享到大屏;PC、手機(jī)上的會議軟件可調(diào)用大屏的陣列麥克風(fēng)、高清攝像機(jī)進(jìn)行會議。2.1.2員工協(xié)同辦公協(xié)同辦公會議是指企業(yè)或組織成員通過網(wǎng)絡(luò)或云平臺等技術(shù)手段,實(shí)現(xiàn)多人遠(yuǎn)程協(xié)同辦公的會議形式。協(xié)同辦公會議通常由多個參與者組成,他們可以在不同的地點(diǎn)、不同的時間

,

自主組織/參與會議,通過網(wǎng)絡(luò)或云平臺進(jìn)行實(shí)時交流和協(xié)作;包含遠(yuǎn)程協(xié)作、小組會議、遠(yuǎn)程培訓(xùn)、面試等應(yīng)用場景?;诟咂焚|(zhì)的辦公網(wǎng)絡(luò)和以大模型等為底層支撐的AI

技術(shù),提供“懂需求、專業(yè)化、個性化”的智能會議體驗(yàn),全面提升員工辦公協(xié)作效率。極簡交互11新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書大模型為AI智能會議“注入靈魂”,AI在音視頻會議領(lǐng)域的落地正加速,全面提升會議體驗(yàn)和協(xié)作效率。利用自然語言處理(NLP)和機(jī)器學(xué)習(xí)技術(shù),AI智能會議可以深入理解會議內(nèi)容,

識別關(guān)鍵議題、觀點(diǎn)和情感傾向。通過對歷史會議數(shù)據(jù)的分析預(yù)測會議趨勢,為參會者提供有價值的建議和信息。通過語音識別技術(shù)能夠準(zhǔn)確地實(shí)現(xiàn)多語種實(shí)時翻譯和無障礙交流,實(shí)現(xiàn)會議內(nèi)容的實(shí)時記錄和搜索。圖像識別技術(shù)可以識別參會者的身份、情緒以及會議場景中的關(guān)鍵元素,為后續(xù)的決策和分析提供數(shù)據(jù)支持。智能會議助手:

會前支持一鍵自動呼叫未入會成員,會中支持會議語音會控,并支持查詢會議議程查詢;

并支持會議個性化提醒:

用戶可以自定義設(shè)置提醒條件,

如個人名稱、特定參會者的發(fā)言或關(guān)鍵詞的提及等.

一旦滿足條件,AI小助手將即時發(fā)送提醒,

確保用戶不遺漏任何重要信息。會議知識沉淀:

會后基于會議錄制內(nèi)容,AI深入理解會議內(nèi)容,自動提前會議主要觀點(diǎn)和遺留問題,形成分角色的會議紀(jì)要;并自動形成會議遺留問題。同時

AI

基于NLP大模型,對會議過程中的觀點(diǎn)、決策依據(jù)、決策過程進(jìn)行大模型AI智能提取、萃取,形成企業(yè)自身的知識庫歸檔。白板共創(chuàng):基于用戶的提示,

基于多模態(tài)大模型生成白板內(nèi)容,

例如生成圖像、生成表格、生成思維導(dǎo)圖等,提升企業(yè)白板創(chuàng)作效率。全息會議將虛擬會議空間、虛擬參會者、線下參會者深度整合,帶來沉浸式的遠(yuǎn)程實(shí)時協(xié)作,參與者將通過簡單操作實(shí)現(xiàn)與遠(yuǎn)程用戶的空間交互,沉浸式地打開進(jìn)入對方世界的通道,開啟“虛擬會議傳送門”。數(shù)字人秘書依托全息影像、虛擬漫游等技術(shù)手段,將代替人工來處理日程安排、差旅安排等工作,并在業(yè)務(wù)接洽高峰期,以數(shù)字分身線上出席活動與會議,實(shí)現(xiàn)跨空間的遠(yuǎn)程溝通與高效協(xié)作的需求。虛實(shí)交互協(xié)作新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

12AI智能會議融合指揮使用場景,領(lǐng)導(dǎo)可以在應(yīng)急指揮大廳,通過可視決策指揮調(diào)度臺,調(diào)度應(yīng)急指揮會議,會議中可調(diào)度各級視頻會議終端視頻、監(jiān)控視頻和移動視頻等。這些視頻可以通過統(tǒng)一上墻調(diào)度系統(tǒng),統(tǒng)一控制和顯示到指揮中心大屏上。同時指揮中心大屏還可以顯示各種應(yīng)急數(shù)據(jù)。同時在總部應(yīng)急指揮大廳,可基于GIS

調(diào)度臺,在GIS地圖上進(jìn)行圈選調(diào)度,選擇某個區(qū)域的視頻監(jiān)控、會商終端等一起加入可視決策會議。并可在GIS地圖上,直接控制監(jiān)控攝像機(jī)等視頻源統(tǒng)一上墻顯示。除了在GIS地圖上直接調(diào)度可視決策指揮會議,監(jiān)控大屏可同時顯示GIS

地圖上的各種數(shù)據(jù),例如現(xiàn)場執(zhí)法人員位置等。隨著社會發(fā)展,各行各業(yè)對可視化調(diào)度融合指揮的需求日益強(qiáng)烈,傳統(tǒng)的語音或者視頻會商已無法滿足可視指揮的需求。在各種突發(fā)事件的情況下,往往需要協(xié)同不同部門的各個通信系統(tǒng),進(jìn)行統(tǒng)一的調(diào)度和控制。同時為了能詳細(xì)了解現(xiàn)場真實(shí)情況,幫助各級指揮中心與救援現(xiàn)場更好的進(jìn)行遠(yuǎn)程溝通和指揮調(diào)度,需要整合現(xiàn)場監(jiān)控視頻,各種單兵設(shè)備、移動終端、無人機(jī)等多種視頻源,

以及接入各個相關(guān)部門和各領(lǐng)域?qū)<遥?/p>

到統(tǒng)一的應(yīng)急決策指揮會議中。各行各業(yè)的生產(chǎn)業(yè)務(wù)中,高效的信息交互及協(xié)作是提升生產(chǎn)效率的重要手段,高品質(zhì)協(xié)作在政府、制造、教育、醫(yī)療等行業(yè)生產(chǎn)發(fā)揮著重要作用;本節(jié)以指揮調(diào)度以及產(chǎn)線數(shù)字化協(xié)同為例對高品質(zhì)生產(chǎn)協(xié)作的場景進(jìn)行探討。全場景多維調(diào)度2.2

高品質(zhì)生產(chǎn)協(xié)作2.2.1可視指揮調(diào)度13新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書依托可視指揮解決方案+聯(lián)動指揮平臺,可構(gòu)建5級聯(lián)動視頻指揮系統(tǒng),為各級指揮中心提供多級融合會商、協(xié)同標(biāo)繪、屏幕批示等指揮調(diào)度能力。上下級單位高效協(xié)同,

上級指令信息及時下發(fā),下級動態(tài)信息及時上報,實(shí)現(xiàn)上下一體,多級聯(lián)動的可視指揮場景應(yīng)用。視頻會商場景,用戶在總部視頻會商室接入,總部會商會議室部署視頻指揮調(diào)度統(tǒng)一上墻調(diào)度系統(tǒng),將各分會議室視頻會議畫面,視頻監(jiān)控畫面,其他分析數(shù)據(jù)等統(tǒng)一顯示在大屏上,支撐領(lǐng)導(dǎo)會商決策。制造行業(yè)是近年數(shù)字化轉(zhuǎn)型變革應(yīng)用的高地。智能工廠、數(shù)字化車間在提升要素生產(chǎn)率、發(fā)展新質(zhì)生產(chǎn)力方面作用明顯。當(dāng)前制造行業(yè)普遍存在上下鏈條長、周邊協(xié)同多、內(nèi)外交互頻繁、協(xié)作要求高等特點(diǎn),

對于高質(zhì)量、高效能、高智能的信息流轉(zhuǎn)和交互方式訴求強(qiáng)烈。生產(chǎn)協(xié)作數(shù)字班組管理節(jié)點(diǎn)班組會議信息發(fā)布日常培訓(xùn)遠(yuǎn)程維修領(lǐng)導(dǎo)評審端視頻連線沉浸指導(dǎo)作業(yè)留存知識沉淀超高清協(xié)同會商2.2.2產(chǎn)線數(shù)字化協(xié)同新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

14跨級跨域高效聯(lián)動圖2-3:產(chǎn)線數(shù)字化協(xié)作班組一線班組一線遠(yuǎn)程指導(dǎo)端一線操作員遠(yuǎn)程知識庫班組一線工作流任務(wù)協(xié)同工作流任務(wù)協(xié)同數(shù)據(jù)稽查系統(tǒng)數(shù)據(jù)稽查系統(tǒng)Industry結(jié)合高清音視頻、大模型等技術(shù),在產(chǎn)線班組等一線生產(chǎn)場所進(jìn)行高效協(xié)作和互動,實(shí)現(xiàn)工段班組標(biāo)準(zhǔn)化作業(yè)檢測、可視化數(shù)據(jù)流轉(zhuǎn)、體系化工人培養(yǎng)、敏捷化運(yùn)營管理。生產(chǎn)班組會議:

產(chǎn)線班組長面向班組工人,結(jié)合大數(shù)據(jù)生產(chǎn)看板等直觀的多媒體材料,書寫式、批注式進(jìn)行工作任務(wù)部署和安排,強(qiáng)化重點(diǎn)工作和相關(guān)要領(lǐng)。班組會議接受上級遠(yuǎn)程視頻督導(dǎo)和抽查,以AI數(shù)字人等智能化形式與班組成員進(jìn)行模擬數(shù)字人對話、實(shí)時音視頻對話,

了解工作狀態(tài)、審視工作進(jìn)展,并留存歸檔供后續(xù)智能分析,

形成體系化的數(shù)字化生產(chǎn)運(yùn)營資料。生產(chǎn)數(shù)據(jù)看板:

產(chǎn)線班組點(diǎn)閱大數(shù)據(jù)生產(chǎn)數(shù)字看板,協(xié)同確認(rèn)工作流細(xì)節(jié),通過智能語音等方式進(jìn)行數(shù)據(jù)校對和信息回饋。同時,協(xié)同上級單位/周邊班組發(fā)過來的工藝質(zhì)量等圍堵任務(wù),將任務(wù)圍堵結(jié)果通過生產(chǎn)數(shù)據(jù)看板實(shí)時反饋。生產(chǎn)技能培訓(xùn):

針對班組一線工人需要的操作技巧、崗位知識、安全意識等各類型內(nèi)容素材,通過智能化技術(shù)固化、萃取和沉淀,自動生成和優(yōu)化數(shù)字化培訓(xùn)內(nèi)容,以本地展播、現(xiàn)場講解、遠(yuǎn)程實(shí)時視頻互動、

AI數(shù)字人模擬問答考試等形式,進(jìn)行常態(tài)化、體系化的班組工人技能培養(yǎng)。面向復(fù)雜的產(chǎn)品裝配維修等場景,提升沉浸式遠(yuǎn)程協(xié)同指導(dǎo)的體驗(yàn),集約化專家資源、降低異地/跨國差旅成本。通常情況下,近端維修工人技能和經(jīng)驗(yàn)有限,無法有效處理設(shè)備的拆裝、檢修、接線、巡查等操作,借助AR遠(yuǎn)程智能協(xié)作系統(tǒng),在近端(操作端)通過AR眼鏡、手機(jī)、

PAD等載體與遠(yuǎn)端(專家指導(dǎo)端)的智能互動大屏終端等載體實(shí)現(xiàn)互動:跨國跨網(wǎng)一鍵協(xié)同:操作端和專家端通過各自的終端,共同加入高清視頻會議,并可隨時跨國跨網(wǎng),邀約其他操作端和指導(dǎo)端以及第三方指揮端進(jìn)行有品質(zhì)保障的高清音視頻交流。沉浸式指導(dǎo):

操作端或者專家端發(fā)起沉浸式協(xié)作任務(wù),

操作端通過AR眼鏡/手機(jī)/PAD等的攝像頭將現(xiàn)場畫面?zhèn)鬟f至專家端,專家獲取到操作端的第一視角,在智能互動大屏進(jìn)行立體式空間圈選、標(biāo)注等操作。操作軌跡實(shí)時在操作端呈現(xiàn)。操作端也可以協(xié)同進(jìn)行共同標(biāo)注/操作。同時也可以將圖片、文本等素材托拉拽至AR視頻流,進(jìn)行精準(zhǔn)提示。數(shù)字班組AR遠(yuǎn)程維修15新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書第三章關(guān)鍵技術(shù)特征與參考架構(gòu)新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

16圖3-1:高品質(zhì)協(xié)作關(guān)鍵技術(shù)特征3.1.1極致高清傳統(tǒng)的音視頻采集&呈現(xiàn)技術(shù)以二維內(nèi)容為主,表現(xiàn)形式升級勢在必行。以全景視頻、自由視覺、三維聲等為代表的沉浸音視頻采集、高效編碼與呈現(xiàn)等方向進(jìn)行技術(shù)演進(jìn),實(shí)現(xiàn)虛擬與現(xiàn)實(shí)融合的沉浸式體驗(yàn)。

全景超高清沉浸超高清視音頻呈現(xiàn),需要以用戶為中心的視覺和聽覺采集,要有配套的更高自由度的交互能力。如全景場景三自由度

3-DoF(Degree

of

freedom)交互,以及自由視覺等六自由度6-DOF交互。全景超高清需要在采集端以及編碼端實(shí)現(xiàn),其中視頻采集可分為單目視頻采集、3-DoF全景視頻采集和6-DoF多攝視頻采集幾種方法。高品質(zhì)協(xié)作融合音視頻技術(shù)、網(wǎng)絡(luò)、AI大模型、鴻蒙等多種關(guān)聯(lián)技術(shù),

形成針對橫向技術(shù)棧的端到端解決方案,助力新質(zhì)生產(chǎn)力的發(fā)展。如圖

7

所示,我們認(rèn)為高品質(zhì)智能協(xié)作將具備極致高清、視網(wǎng)聯(lián)動、泛在智能、智簡交互、安全可靠、智能運(yùn)維六大關(guān)鍵技術(shù)特征?;跇I(yè)務(wù)的新需求,研究探討協(xié)作關(guān)鍵技術(shù)特征,對于提升協(xié)作體驗(yàn),具有重要的技術(shù)支撐作用,本章后續(xù)內(nèi)容將針對上述關(guān)鍵技術(shù)特征展開探討。極致高清全景超高清智能沉浸音頻關(guān)鍵技術(shù)特征視網(wǎng)聯(lián)動萬兆超寬音視頻智能調(diào)度泛在智能多模態(tài)助理

生成式會議智簡交互自然人機(jī)互動鴻蒙多端協(xié)同智能運(yùn)維會議質(zhì)量檢測會議智能重保3.1

高品質(zhì)協(xié)作關(guān)鍵技術(shù)特征安全韌性內(nèi)生安全零信任協(xié)作17新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書視頻編碼主要功能是將采集到的視頻通過壓縮算法壓縮后,并傳輸?shù)竭h(yuǎn)端。隨著應(yīng)用場景和技術(shù)的發(fā)展,面向AI和VR編碼是未來的趨勢。AI與編解碼也進(jìn)行了深度得結(jié)合。通常在編碼預(yù)處理

(降噪、場景檢測等)

、ROI感興趣區(qū)域編碼、碼率自適應(yīng)算法、編碼工具選擇等方面都能進(jìn)一步提上編碼器的性能且保持兼容性?!馠.266編解碼:

H.266/VVC是由

MPEG和

ITU聯(lián)合開發(fā)的視頻編解碼標(biāo)準(zhǔn),同等畫質(zhì)下

H.266/VVC

H.265/HEVC節(jié)省近30%~50%的傳輸流量。

H.266/VVC支持更高的分辨率,包括4K到

16K的分辨率,更高的位寬,包括從8位到

16位。這些特性使得

H.266/VVC在高清視頻、超高清視頻、高動態(tài)范圍視頻的應(yīng)用中表現(xiàn)出色。●AVS

編解碼:AVS編解碼標(biāo)準(zhǔn)是中國自主研發(fā)的數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn),目前已經(jīng)演進(jìn)到第三代標(biāo)準(zhǔn)AVS3

。AVS3適應(yīng)多種位寬、分辨率和質(zhì)量要求。

AVS3的編碼性能和國際視頻編碼標(biāo)準(zhǔn)

H.265相比,性能提升接近30%,是全球首個已推出使用的面向8K及5G產(chǎn)業(yè)應(yīng)用的音視頻信源編碼標(biāo)準(zhǔn)?!袢耙曨l和自由視角視頻編碼:自由視點(diǎn)視頻實(shí)現(xiàn)了

6DOF

觀看體驗(yàn)。面向自由視點(diǎn)視頻,

MPEG

制定了沉浸式視頻(MIV)標(biāo)準(zhǔn),旨在提供沉浸式、

6DOF立體視覺場景的高效編碼,可用于虛擬現(xiàn)實(shí)(

VR)、增強(qiáng)現(xiàn)實(shí)(

AR)和混合現(xiàn)實(shí)(MR

)。MPEG

計劃基于視覺體積視頻編碼V3C的框架進(jìn)行技術(shù)集成和擴(kuò)展?!顸c(diǎn)云和3D

Mesh

編碼:

3D

網(wǎng)格已成為視覺沉浸媒體主要的數(shù)據(jù)格式之一

。一個

3D網(wǎng)格由以下部分組成:拓?fù)湫畔ⅰ缀涡畔?、映射信息、頂點(diǎn)屬性、屬性映射。上述五部分中,若任一部分包含時變,即為動態(tài)網(wǎng)格。相較于靜態(tài)網(wǎng)格,

一個動態(tài)網(wǎng)格序列的數(shù)據(jù)量更為龐大,因?yàn)樗罅侩S時間變化的信息。

3DMesh網(wǎng)格壓縮標(biāo)準(zhǔn)用以壓縮具有時變拓?fù)湫畔⒑涂蛇x時變屬性映射的動態(tài)網(wǎng)格。該標(biāo)準(zhǔn)面向各類應(yīng)用場景,如實(shí)時沉浸式通信、自由視點(diǎn)視頻、AR

VR

等。其中

HDR

Vivid標(biāo)準(zhǔn)對圖像提出了更高的要求:

更大的動態(tài)范圍、更深的色深

(10/12比特)、更廣的色域

(BT2020/REC2020)。同時高分辨率

(8K)和高幀率

(90FPS)對于大屏顯示設(shè)備是必備要求。3-DoF

全景視頻采集:

全景視頻是常見的沉浸媒體格式之一,屬于3-DoF視角視頻。全景視頻具有高分辨率、高幀率、數(shù)據(jù)量大的特點(diǎn)。全景視頻的采集通常由多個攝像頭同時采集并拼接組成;為了降低多攝像頭之間的視差,可以采用共光心的硬件方案,或者通過高算力的軟件算法實(shí)現(xiàn)無縫多攝拼接。6-DoF

多攝視頻采集:

把多個攝像頭放在同一個場景中的不同位置,通過算法進(jìn)行三維重建,實(shí)現(xiàn)實(shí)時3D的視頻采集。以神經(jīng)輻射場

(NeRF)為代表的AI技術(shù)可以實(shí)現(xiàn)完整的三維重建,使觀察者實(shí)現(xiàn)自由視角的觀看。超高清視頻編碼單目視頻采集:單目視頻采集的關(guān)鍵指標(biāo)包括:分辨率、幀率、動態(tài)范圍、色深和色域。新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

18超高清視頻采集雙講效果,通過傳統(tǒng)自適應(yīng)濾波結(jié)合

AI

殘留回聲抑制,在低信回比如

<-12dB

的情況下,仍然可以達(dá)到全雙工的體驗(yàn)?!裨肼曇种疲?/p>

會議環(huán)境存在各種噪聲干擾,噪聲分為平穩(wěn)噪聲和突發(fā)噪聲,傳統(tǒng)的噪聲抑制算法不能很好去除突發(fā)噪聲,

通過

AI噪聲抑制技術(shù)能過夠去除常見的辦公室噪聲,開放環(huán)境中的噪聲,保證通話不受噪聲干擾。●去混響技術(shù):

會議室部署環(huán)境復(fù)雜多樣,在玻璃房或者簡陋的白墻會議室存在嚴(yán)重的混響,RT60甚至到了

1s以上;同時遠(yuǎn)距離情況下直達(dá)混響比低,混響的存在影響了語音的可懂度。通過AI的去混響技術(shù),把遠(yuǎn)場拾音的效果還原成近場的拾音效果,使得語音清晰可懂?!覃溈孙L(fēng)陣列技術(shù):

相比單麥克風(fēng)的采集,陣列技術(shù)能夠提供空間濾波,聲源方位信息的能力,結(jié)合AI噪聲抑制、AI去混響技術(shù),能夠大大提高降噪和去混響的效果。通過多通道的陣列技術(shù)可以在3m的距離內(nèi)達(dá)到高音質(zhì)拾音,

6m的距離內(nèi)達(dá)到良好音質(zhì)拾音,在

12m的范圍內(nèi)達(dá)到較能接受的音質(zhì)。●錄音棚拾音效果:

隨著AI生成式語音技術(shù)的發(fā)展,將可能從噪聲、混響環(huán)境中提取清晰的目標(biāo)聲音,從具有失真,剪切、染色的被處理信號恢復(fù)出高質(zhì)量的語音,如通過頻譜擴(kuò)展恢復(fù)出缺失的高低頻信號。通過波形預(yù)測,恢復(fù)出被剪切的語音。通過AI大模型提升帶噪語音的特征提取能力,通過AI語音合成方式合成錄音棚音質(zhì)語音,最終達(dá)到面對面交流的體驗(yàn)。同時通過AI的調(diào)音技術(shù),能夠?qū)W習(xí)到調(diào)音師的調(diào)音技能,對語音音量、音色、音調(diào)、甚至是語調(diào)語速等進(jìn)行調(diào)整,從而達(dá)到超越現(xiàn)實(shí)的高音質(zhì)。

智能沉浸音頻在中小會議場景,

一般采用會議一體機(jī)進(jìn)行拾音。拾音距離一般要求在3~12m之間,音頻采集需要做好遠(yuǎn)距離前端拾音處理,

主要包含了回聲抵消、噪聲抑制、去混響,

麥克風(fēng)陣列技術(shù)。這些技術(shù)經(jīng)歷了從傳統(tǒng)算法到AI算法的演進(jìn):●回聲抵消:

回聲是遠(yuǎn)程會議常見的現(xiàn)象,回聲抵消要求單講無回聲,并且具備良好的面向常規(guī)噪聲干擾已有技術(shù)處理方案,在開放區(qū)或者半開放區(qū)避免人聲的干擾問題突出,人聲干擾直接影響到了會議的體驗(yàn),以及影響ASR識別類應(yīng)用如字幕的準(zhǔn)確性。對于單個用戶,可以通過個性化降噪,來抑制其他非目標(biāo)人聲干擾,通過注冊目標(biāo)說話人的聲紋來輔助抑制掉其他人聲和噪聲干擾。對于開放區(qū)域的會議,通過智能音幕的方式,形成一定區(qū)域的拾音范圍,只拾取指定范圍內(nèi)的聲音,不拾取指定范圍外的干擾人聲和噪聲。智能音幕AI

遠(yuǎn)距拾音技術(shù)19新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書智能會議時代,語音人機(jī)交互、信息搜索、會議記錄、會議摘要等智能化的應(yīng)用越來越普遍。提升智能應(yīng)用效果體驗(yàn),從拾音的角度上看,需要能夠在單人講話,準(zhǔn)確拾取目標(biāo)說話人的聲音;在多講的場景下,

需要區(qū)分不同的人的聲音。硬件上結(jié)合攝像頭、陣列麥克風(fēng),軟件上融合聲源定位、人臉識別、發(fā)言人跟蹤,聲紋識別、語音分離、智能音幕及其他多模態(tài)技術(shù);在會中提供實(shí)時高準(zhǔn)確,

抗干擾的語音識別,

實(shí)時高準(zhǔn)確的身份識別和跟蹤,支撐實(shí)時字幕,會議記錄和摘要等其他智能業(yè)務(wù)。另一方面,云端的大模型對于語音識別也在增強(qiáng)抗噪聲人聲干擾,抗混響的能力,以達(dá)到高準(zhǔn)確率的效果。通過端側(cè)處理和補(bǔ)充額外的信息,將提升智能會議應(yīng)用中的準(zhǔn)確率和效果體驗(yàn)。傳統(tǒng)的會議音頻無法準(zhǔn)確傳達(dá)與會者的聲音方向和空間感。

空間音頻技術(shù)能夠精準(zhǔn)地定位與會者的聲音,使會議中的每個人都能清晰地聽到對方的聲音。這種定位能力不僅有助于減少混淆,還能改善對話的自然流暢性,使得遠(yuǎn)程參與者感受到更真實(shí)的面對面交流體驗(yàn)。會議中空間音頻的采集方式主要有三種,

1)基于多聲道的采集,比如

5.1聲道;2)基于聲音對象的采集,通過陣列采集聲音,并提取各個聲源對象;

3)基于聲場的通過FOA(First

Order

Ambisonics)或者

HOA(High

Order

Ambisonics)陣列麥克風(fēng)采集聲場信息。在會議場景,基于聲音對象采集和基于聲場的采集使用的是陣列麥克風(fēng)部署上更方便,適合會議場景部署,并且方便在耳機(jī)、揚(yáng)聲器上呈現(xiàn)??臻g音頻的渲染方式涉及將三維音頻信息轉(zhuǎn)換成可聽的音頻信號,以創(chuàng)建沉浸感和真實(shí)感。主要包括基于揚(yáng)聲器渲染的和基于雙耳的渲染,基于揚(yáng)聲器的渲染能通過多個揚(yáng)聲器重建環(huán)繞聲、聲源高度、聲源的移動等復(fù)雜聲場,

以達(dá)到聽聲辯位,

甚至能夠區(qū)分出聲音的遠(yuǎn)近的效果。雙耳渲染使用頭相關(guān)傳遞函數(shù)(HRTF

)模擬聲音的傳遞過程能夠帶來很好臨場感。VR/AR虛擬會議中,結(jié)合空間音頻技術(shù)和VR/AR環(huán)境,通過動態(tài)調(diào)整音頻源的位置和方向,實(shí)現(xiàn)與虛擬環(huán)境的音效同步,達(dá)到沉浸式的體驗(yàn)??臻g音頻面向識別的拾音新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

20采用多顏色校正(3DLUT),針對色準(zhǔn)標(biāo)準(zhǔn)47顏色pattern進(jìn)行顏色驗(yàn)證,基于

RGB和XYZ色彩空間轉(zhuǎn)換算法,插值、構(gòu)建映射模型,生成

RGB三維空間映射表,提升顯示準(zhǔn)確性和縮小片間差,

DE2000實(shí)現(xiàn)

1.5甚至是

1.0以下。建立多色域自適應(yīng)管理體系,支持

HDR

、HD

video等多場景輸入應(yīng)用,每個色域做到精準(zhǔn)還原。無線投屏、云會議等場景,因經(jīng)過壓縮編碼,造成輸入低分辨率、低碼率,進(jìn)而導(dǎo)致畫面清晰度降低,

文字邊緣模糊,

細(xì)節(jié)丟失,無法清晰顯示原有畫面和文字細(xì)節(jié)。通過計算畫質(zhì)AI超分,針對細(xì)節(jié)進(jìn)行重構(gòu),將

1080P超分至4K,實(shí)現(xiàn)畫面顯示細(xì)節(jié)提升,投屏膠片清晰銳利。護(hù)眼顯示已成為顯示的重要演進(jìn)方向,使用戶在感受超高清顯示精彩效果的同時,減少設(shè)備對人眼的負(fù)面影響。降低顯示光譜中的低波段

(450nm以下)藍(lán)光比例、顯示光線的圓偏化

(圓偏率80%以上)、顯示器件表面低反射率等等,將顯示出射光線朝向類自然光線轉(zhuǎn)化,無限接近對人眼友好的光線形態(tài),提升設(shè)備顯示護(hù)眼水準(zhǔn)。

超高清顯示超高清顯示要求顯示分辨率≥4K,實(shí)現(xiàn)圖片、視頻以及文字信息的細(xì)節(jié)呈現(xiàn)。關(guān)鍵指標(biāo)包括:刷新率、響應(yīng)時間、色域、亮度、可視角、畫面均一性、節(jié)能護(hù)眼等。通過硬件設(shè)計與畫質(zhì)調(diào)優(yōu)算法結(jié)合,實(shí)現(xiàn)色彩的精準(zhǔn)顯示、還原,以及不同顯示格式輸入的自動匹配等;通過AI算法,將低分辨率輸入超分至高清分辨率,提升畫質(zhì)顯示效果。21新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書AI

超分辨率精準(zhǔn)還原護(hù)眼顯示MLO+技術(shù),

允許在同一臺設(shè)備上同時利用多個鏈路進(jìn)行數(shù)據(jù)傳輸,

并且支持高性能模式&高可靠性模式。高性能模式,采用鏈路級逐包動態(tài)智能分流,精準(zhǔn)利用各鏈路信道條件、傳輸帶寬能力和接收終端能力,閉環(huán)反饋給報文分包機(jī)制,達(dá)成在多鏈路空口高效傳輸,消減單一鏈路卡窗影響,避免空口擁塞導(dǎo)致的空口氣泡,單終端實(shí)測速率高達(dá)3.4Gbps,傳輸效率比傳統(tǒng)方案高

10%。高可靠模式下,通過業(yè)務(wù)識別,體驗(yàn)類報文分配到高優(yōu)先級隊(duì)列,監(jiān)控高優(yōu)先級業(yè)務(wù)隊(duì)列時延,時延超標(biāo),則任意獲得發(fā)送機(jī)會的鏈路均會進(jìn)行發(fā)送,提升發(fā)送成功的概率,通過雙發(fā)選收實(shí)現(xiàn)

10倍高可靠,下行時延<20ms,實(shí)現(xiàn)99.999%的可靠性。多用戶場景下,不同用戶的業(yè)務(wù)報文到達(dá)AP時間不一致,這就導(dǎo)致AP在轉(zhuǎn)發(fā)時不能滿足MU

配對的要求,因此無法使用MU-MIMO。通過空口流量預(yù)聚合來提升MU

配對概率,即通過對到達(dá)AP的業(yè)務(wù)報文做一個合理的等待,達(dá)成

MU配對要求,使用

MU-MIMO來發(fā)包,以此減少空口發(fā)送的頻次,提升空口發(fā)送效率。多用戶并發(fā)場景下,上行的TCP

ACK與下行數(shù)據(jù)報文存在較大沖突碰撞概率,會導(dǎo)致錯包丟包。針對該場景,通過OFDMA+MU-MIMO聯(lián)合調(diào)度,多用戶上行業(yè)務(wù)報文可同

一時刻發(fā)包,降低了空口上下行碰撞的概率,提升了多用戶的并發(fā)能力。MU+OFDMA融合調(diào)度實(shí)現(xiàn)單AP接入30路4K高清視頻會議,空口吞吐比Wi-Fi6提升30%

。多AP協(xié)同方案中,主AP負(fù)責(zé)搶占空口傳輸時間,并請求從AP協(xié)同一起調(diào)度Wi-Fi終端并行傳輸數(shù)據(jù)、在協(xié)同過程中,主

AP

將控制協(xié)商各自的發(fā)射功率,相互不干擾對方終端。COSR

(協(xié)同空間復(fù)用技術(shù))

技術(shù)能在存在同頻干擾的高密度辦公場景下提升20%系統(tǒng)的并發(fā)性能。3.1.2視網(wǎng)聯(lián)動面向超高清音視頻的大帶寬、低時延的要求,超寬網(wǎng)絡(luò)提供萬兆超寬接入,智能識別協(xié)作音視頻流,提供全鏈路的智能調(diào)度,保障高清0卡頓的會議體驗(yàn)。

萬兆超寬Wi-Fi

7在Wi-Fi

6的基礎(chǔ)上的引入了320MHz帶寬、

4096-QAM

、Multi-RU、多鏈路操作、增強(qiáng)

MU-MIMO

、多AP協(xié)作等技術(shù),使得Wi-Fi

7相較于Wi-Fi

6將提供更高的數(shù)據(jù)傳輸速率和更低的時延。

Wi-Fi

7的理論速率高達(dá)23Gbps的吞吐量,大約是Wi-Fi

6(9.6Gbps)的

2.4倍。MU+OFDMA融合調(diào)度新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

22多AP

協(xié)同MLO

技術(shù)在Wi-Fi技術(shù)中,

傳統(tǒng)QoS是通過

EDCA競爭參數(shù)控制的,

主要邏輯是對不同業(yè)務(wù)配置不同的隨機(jī)回退參數(shù),調(diào)整其空口搶占能力,實(shí)現(xiàn)不同業(yè)務(wù)的差異化調(diào)度能力,但是存在不同業(yè)務(wù)搶占空口導(dǎo)致應(yīng)用質(zhì)量變差的問題。比如,在存在大文件上傳下載的業(yè)務(wù),會搶占同時進(jìn)行的多媒體業(yè)務(wù)

(語音/視頻)的發(fā)送機(jī)會,導(dǎo)致其體驗(yàn)變差。多媒體智能調(diào)度算法基于應(yīng)用識別技術(shù)來區(qū)分高優(yōu)先級多媒體業(yè)務(wù)和低優(yōu)先級貪婪業(yè)務(wù),再對多媒體業(yè)務(wù)的業(yè)務(wù)時延進(jìn)行監(jiān)測,發(fā)現(xiàn)這些業(yè)務(wù)受損時,通過擁塞控制算法抑制貪婪業(yè)務(wù)流量,讓用戶享受高速網(wǎng)絡(luò)的同時,語音視頻業(yè)務(wù)也不受影響。通過基于擁塞控制的多媒體業(yè)務(wù)保障算法,可以在網(wǎng)絡(luò)出現(xiàn)因?yàn)樨澙窐I(yè)務(wù)而擁塞的情況下,精準(zhǔn)抑制和調(diào)度,讓關(guān)鍵的多媒體業(yè)務(wù)時延有邊界,達(dá)成整網(wǎng)不限速的目標(biāo)。自定義應(yīng)用識別五元組自定義SA

特征庫識別(DPI)未分類報文SA

引擎

音視頻智能調(diào)度超高清顯示要求顯示分辨率≥4K,實(shí)現(xiàn)圖片、視頻以及文字信息的細(xì)節(jié)呈現(xiàn)。關(guān)鍵指標(biāo)包括:刷新率、響應(yīng)時間、色域、亮度、可視角、畫面均一性、節(jié)能護(hù)眼等。通過硬件設(shè)計與畫質(zhì)調(diào)優(yōu)算法結(jié)合,實(shí)現(xiàn)色彩的精準(zhǔn)顯示、還原,以及不同顯示格式輸入的自動匹配等;通過AI算法,將低分辨率輸入超分至高清分辨率,提升畫質(zhì)顯示效果。智能應(yīng)用識別SAC(Smart

Application

Control)是一個智能的應(yīng)用協(xié)議識別與分類引擎,應(yīng)用識別利用業(yè)務(wù)感知技術(shù),對報文中的第4

~7

層內(nèi)容和一些動態(tài)協(xié)議

(

HTTP

、RTP)

進(jìn)行檢測和識別,根據(jù)分類結(jié)果實(shí)施精細(xì)化體驗(yàn)分析和QoS

策略控制。多媒體智能調(diào)度特征字識別關(guān)聯(lián)識別行為識別......23新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書圖3-2:智能應(yīng)用識別VIP超幀搶占擁塞場景(空口信道利用率>80%)環(huán)境下客戶端可能出現(xiàn)卡頓,體驗(yàn)差,業(yè)務(wù)受損。當(dāng)前傳統(tǒng)解決方案通過VIP資源預(yù)留僅能保障VIP數(shù)據(jù)在AP

內(nèi)部進(jìn)入優(yōu)先隊(duì)列轉(zhuǎn)發(fā),無法控制空口上行是否發(fā)生碰撞,擁塞條件下易碰撞回退,

非確定性保障。VIP超幀搶占可以針對VIP預(yù)留時間片(包含上下行)來實(shí)現(xiàn)VIP保障,如果無VIP用戶和VIP無流量的場景則不會進(jìn)行時間片預(yù)留。VIP超幀可為VIP用戶預(yù)留25%的時間片(預(yù)留時間片VIP用戶的帶寬平均分配)

,剩余的

75%的時間片VIP用戶和普通用戶一起競爭,剩余的時間片里VIP空口帶寬預(yù)留的功能仍然生效。VIP逐包功控VIP終端在移動場景,

或者關(guān)聯(lián)在遠(yuǎn)距離AP場景下,

協(xié)商帶寬和吞吐速率隨距離而降低,超幀搶占無法有效改善此類VIP終端體驗(yàn)。VIP逐包功控,動態(tài)檢測VIP下行接受信號,智能計算,弱網(wǎng)下(信號小于-68dbm)逐包調(diào)整發(fā)射功率,吞吐有效提升20%+

智能感知通感一體是將通信感知融合,是通信技術(shù)在感知領(lǐng)域的外延。新標(biāo)準(zhǔn)

IEEE

802.11bf

定義了Wi-Fi

的感知標(biāo)準(zhǔn),

基于unlicense

頻段信號,

探測和感知周邊環(huán)境,

識別事件發(fā)生,并產(chǎn)生對應(yīng)數(shù)據(jù)信息,為園區(qū)室內(nèi)、室外、車內(nèi)、倉庫、貨場等場景,提供高精度定位、姿態(tài)/

手勢識別、呼吸檢測、情緒識別、等功能。WLAN

通感一體系統(tǒng)通過復(fù)用通信站點(diǎn)硬件、芯片、射頻端口和工作頻段,將通信感知和信號處理、信道資源調(diào)度相融合,在滿足原有通信帶寬、時延、傳輸和能耗的要求下,實(shí)現(xiàn)高精度感知探測。

WLAN通感一體支持會議室人員智能識別,實(shí)現(xiàn)會議環(huán)境自動聯(lián)動控制。新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

24動作捕捉交互通過捕捉用戶的動作作為用戶輸入的交互信號。其中動作捕捉可分為穿戴式和非穿戴式動作捕捉。穿戴式動作捕捉包括慣性捕捉、光學(xué)捕捉、激光捕捉等幾種方式。非穿戴式捕捉即利用攝像頭等傳感器采集人體運(yùn)動視頻數(shù)據(jù),通過智能算法計算關(guān)鍵點(diǎn)數(shù)據(jù)完成人體運(yùn)動捕捉。眼球追蹤交互,利用傳感器捕獲、提取眼球特征信息對眼睛的運(yùn)動情況進(jìn)行測量并估算視線方向或眼睛注視點(diǎn)位置,并基于眼球追蹤進(jìn)行內(nèi)容的更新呈現(xiàn)。手勢跟蹤交互通過手勢的識別方法可以分為兩種方式:使用光學(xué)跟蹤的手勢跟蹤和使用傳感器的手勢跟蹤。前者通過在VR

、協(xié)作設(shè)備上部署光學(xué)手部跟蹤設(shè)備進(jìn)行手勢跟蹤;后者則通過可穿戴的傳感器來跟蹤用戶的手指乃至整個手臂的運(yùn)動。智能語音交互是基于ASR語音識別、語音合成、

NLP大模型等技術(shù),機(jī)器結(jié)合上下文對語音指令進(jìn)行識別,

用于語音指令、實(shí)時記錄、智能助手等多種應(yīng)用場景。聽感自然的語言交流、個性化音色變化、多語種支持、高識別率實(shí)時的語音交互,

是未來人機(jī)交互的發(fā)展方向。3.1.3智簡交互

人機(jī)自然互動在沉浸式協(xié)作時代的視音頻中,智能交互是衡量用戶體驗(yàn)的一個重要指標(biāo)。用戶通過與協(xié)作設(shè)備的交互,能夠?qū)崟r地反饋?zhàn)陨頎顟B(tài),

并根據(jù)自身反饋操控音視頻設(shè)備或控制視音頻內(nèi)容,從而使用戶獲得更加貼近真實(shí)世界的視音頻體驗(yàn)。當(dāng)前業(yè)界支持的用戶交互手段通常包括動作捕捉交互、眼球追蹤交互、手勢跟蹤交互以及語音交互。25新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書動作捕捉交互手勢跟蹤交互眼球追蹤交互語音交互是一種基于短距離無線通信的技術(shù),

主要用于實(shí)現(xiàn)設(shè)備之間的快速、低延遲的數(shù)據(jù)傳輸。它可以在多個設(shè)備之間實(shí)現(xiàn)無縫的連接和通信,從而實(shí)現(xiàn)多端協(xié)同。在多端協(xié)同方面,星閃技術(shù)可以應(yīng)用于各種場景,音頻播放、信息采集、多端數(shù)據(jù)共享等。例如,基于星閃完成會議全向拾音器與會議終端聯(lián)接,提供更大帶寬,更低傳輸時延。是一種分布式系統(tǒng)通信技術(shù),它可以實(shí)現(xiàn)不同設(shè)備之間的高效通信和數(shù)據(jù)共享。鴻蒙分布式軟總線采用了輕量級的通信協(xié)議,可以在不同的設(shè)備之間進(jìn)行快速、可靠的數(shù)據(jù)傳輸,同時還支持多種通信模式,

包括點(diǎn)對點(diǎn)通信、廣播通信和組播通信等。此外,

鴻蒙分布式軟總線還具有高度的可擴(kuò)展性和靈活性,可以根據(jù)不同的應(yīng)用場景進(jìn)行定制化配置,從而滿足不同的需求。鴻蒙分布式軟總線技術(shù)和星閃將在PC和會議智慧屏、手機(jī)之間的應(yīng)用場景中發(fā)揮重要作用。例如,在

PC和智慧屏之間,用戶可以通過鴻蒙分布式軟總線技術(shù)實(shí)現(xiàn)數(shù)據(jù)的快速傳輸和共享,使得

PC和智慧屏可以無縫協(xié)同工作,提高工作效率。在手機(jī)和智慧屏之間,鴻蒙分布式軟總線技術(shù)可以實(shí)現(xiàn)手機(jī)和智慧屏之間的協(xié)同控制?;邙櫭煞植际杰浛偩€技術(shù),可以實(shí)現(xiàn)

BYOM會議,手機(jī)和

PC直接調(diào)用大屏的拾音、視頻采集能力,會議效果更佳;同時可實(shí)現(xiàn)多屏互動的功能,小屏免入會觀看大屏內(nèi)容,提供無紙化會議能力;并且支持小屏標(biāo)注大屏、小屏控制大屏,實(shí)現(xiàn)多屏互動。

鴻蒙多端互動基于鴻蒙分布式軟總線、星閃等能力實(shí)現(xiàn)協(xié)作終端、手機(jī)、

PC

、VR等設(shè)備的采集數(shù)據(jù)、內(nèi)容的自由流轉(zhuǎn)。鴻蒙分布式軟總線新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書

26多端互動星閃技術(shù)AI成為高品質(zhì)協(xié)作發(fā)展的關(guān)鍵驅(qū)動力,

AI在高品質(zhì)協(xié)作是泛在化的,

AI智能在優(yōu)化音視頻效果、提升會議互動效率、提升會議組織效率等上發(fā)揮著越來越重要的作用。

多模態(tài)會議助理實(shí)時語音識別ASR(Automatic

Speech

Recognition)是一種實(shí)時分析

PCM或WAV格式音頻包,結(jié)合語義感知、上下文推理等人工智能技術(shù),最終實(shí)時輸出語音對應(yīng)文字的技術(shù)。它能夠自動識別語音對應(yīng)的語言。機(jī)器翻譯

MT(Machine

Translation

)是一種自動根據(jù)源語言內(nèi)容翻譯成指定目標(biāo)語言的技術(shù)。結(jié)合ASR和

MT,會議參會人員可以選擇觀看自己母語對應(yīng)的字幕。

沉浸協(xié)作體驗(yàn)沉浸式協(xié)作的演變可以定義為從線下到線上,單空間到多空間,從紙筆口舌的交互到數(shù)字化信息實(shí)時協(xié)作,并一直以體驗(yàn)為中心。沉浸式會議是沉浸式協(xié)作系統(tǒng)的典型代表,沉浸式會議的技術(shù)演進(jìn)方向也代表著沉浸式協(xié)作系統(tǒng)的技術(shù)演進(jìn)方向,將給人們帶來從平面高清走向3D

沉浸式視聽、全景智慧協(xié)作新體驗(yàn)。VR會議是一種基于虛擬現(xiàn)實(shí)技術(shù)的遠(yuǎn)程會議形式,

通過頭戴式顯示器、手柄等設(shè)備,

將參會者帶入虛擬的會議場景中,

實(shí)現(xiàn)身臨其境的交流和協(xié)作。VR會議技術(shù)主要包括虛擬現(xiàn)實(shí)技術(shù)、

3D建模技術(shù)、語音識別技術(shù)、手勢識別技術(shù)等。其中,虛擬現(xiàn)實(shí)技術(shù)是VR會議的核心技術(shù),通過模擬真實(shí)場景,讓參會者感受到身臨其境的感覺。

3D建模技術(shù)則用于構(gòu)建虛擬會議場景,語音識別技術(shù)和手勢識別技術(shù)則用于實(shí)現(xiàn)參會者之間的語音交流和手勢操作。裸眼3D會議無需佩戴專門的3D眼睛,即可與遠(yuǎn)程與會者進(jìn)行”面對面”的交流。裸眼3D

通過陣列攝像機(jī)進(jìn)行空間信息的采集,并基于AI

算法對人員的多個視覺人像進(jìn)行還原,并采用光場技術(shù)渲染出3D畫面,實(shí)現(xiàn)自由視覺觀看。同時配合空間聲音采集以及聲場還原,構(gòu)筑遠(yuǎn)程3D會議體驗(yàn)。VR

會議智能字幕裸眼3D會議3.1.4泛在智能27新質(zhì)生產(chǎn)力探索

高品質(zhì)協(xié)作技術(shù)白皮書智能紀(jì)要AI服務(wù)通過對會議錄音進(jìn)行語音解析,并基于發(fā)言者以及會議議題,經(jīng)過多模態(tài)大模型進(jìn)行推理歸納后,

最終輸出一份會議紀(jì)要,

包含各會議議題的討論進(jìn)展,

責(zé)任人,

遺留問題等,大幅度簡化會務(wù)秘書或紀(jì)要人的工作量和難度。智能助手智能助手對會議參會方提供較強(qiáng)的輔助能力,提供會前會中會后的全流程輔助。會前提供語音進(jìn)行會議預(yù)約,通過語音輸出會議時間、參會人、會議議題、會議室,助手自動完成會議預(yù)約以及會議通知;會中提供一鍵呼叫會議未入會與會人等功能,會后結(jié)合會議智能摘要功能,能形成會議關(guān)鍵信息總結(jié),自動整理會議遺留問題,大幅提升會議組織效率。

生成式會議數(shù)字人會議數(shù)字人或虛擬人(

Virtual

Human

)是一種能夠通過視頻學(xué)習(xí)訓(xùn)練以及聲音克隆生成在數(shù)字虛擬空間中高真實(shí)度的虛擬形象。會議參會人在自身不方便參會或不方便語音發(fā)言時,可通過驅(qū)動自己的數(shù)字人形象參會并發(fā)言。同時數(shù)字人與會議摘要等功能聯(lián)動,自動識別會議中對被數(shù)字人替代的人員相關(guān)議題以及被點(diǎn)名發(fā)言時能提醒用戶發(fā)言或代提發(fā)言。傳譯通過結(jié)合字幕翻譯以及數(shù)字人技術(shù),可以通過發(fā)言人的數(shù)字人分身直接講述目標(biāo)語言,相比人工傳譯員,各目標(biāo)語言的發(fā)言音色和情感都得到了較好的呈現(xiàn)。人機(jī)共創(chuàng)智能白板通過OCR能力支持識別用戶書寫的符號、文字,將手寫體變成打印體,提高白板材料可讀性。面向數(shù)學(xué)公式、化學(xué)符號等書寫難的問題,白板可基于語音識別和用戶意圖識別,完成數(shù)學(xué)公式等在白板的書寫,提升教學(xué)效率。同時基于用戶的提示,基于多模態(tài)大模型生成白板內(nèi)容,

例如生成

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論