紫東太初大模型一體機(jī)

大模型開(kāi)啟人工智能新一代技術(shù)革命“大算力+大數(shù)據(jù)+大模型”標(biāo)志著通用人工智能技術(shù)產(chǎn)品化的來(lái)臨，成為產(chǎn)業(yè)化分水嶺，

將實(shí)現(xiàn)對(duì)勞動(dòng)力、資本等生產(chǎn)要素的智能替代和功能倍增，促進(jìn)全要素生產(chǎn)率的提高。全程自動(dòng)設(shè)計(jì)重塑辦公模式悟道2.0參數(shù):

1.75萬(wàn)億悟道

·文源

-

參數(shù)26億

圖文:90TB文本：2TBGPT-3參數(shù):

1750億文本:45TB->570GXLNet

OpenAI2020.06參數(shù):

140GCMU2020.01盤古參數(shù):2000億

文本:1.1TB華為云2021.04國(guó)內(nèi)外大模型井噴式爆發(fā)（語(yǔ)言模型為主）通過(guò)自監(jiān)督+學(xué)習(xí)條件下實(shí)現(xiàn)“大數(shù)據(jù)+大模型”方式，

引發(fā)人工智能發(fā)展新浪潮。Google、某著名企業(yè)、OpenAI、阿里、百度、華為等智源、中科院自動(dòng)化所、上海人工智能實(shí)驗(yàn)室、某著名企業(yè)等StableDiffusion模型參數(shù):14.5億圖文:58.5億對(duì)StabilityAI2022.4Florence模型參數(shù):6.37億圖文:9億對(duì)某著名企業(yè)2021.11知識(shí)增強(qiáng)文心大模型參數(shù):2600億數(shù)據(jù):海量無(wú)監(jiān)督文本鵬城/百度2021.121TB

=

1024GB

1GB

=

1024MB

1MB

=

1024KB

1KB

=

1024BDALLE-參數(shù)120億

圖文：4億對(duì)OpenAI2021.01源1.0模型參數(shù):2457億

文本:約5T浪潮2021.10悟道

文匯

-

參數(shù)113億

BAAI

2021.063000

1000

0紫東太初1.0參數(shù):

1000億

圖文音:50TB4000

2000數(shù)據(jù)：未知StabilityAI2023.3GPT-4模型參數(shù):1估計(jì)00億·

文本:3TB中科院自動(dòng)化所,2021.07產(chǎn)業(yè)界：學(xué)術(shù)界：數(shù)據(jù)量（GB

）BAAI2021.03一個(gè)場(chǎng)景一個(gè)模型模型參數(shù)量小，泛化性差1000100001000020000參數(shù)多個(gè)場(chǎng)景一個(gè)模型模型參數(shù)大，泛化性強(qiáng)1000億

參數(shù)紫東太初大模型攻關(guān)歷程全球HC大會(huì)發(fā)布“紫東太初”

21年9月“紫東太初”服務(wù)

紫東太初2.0平臺(tái)完成千億參數(shù)模型調(diào)試21年7月集團(tuán)式攻關(guān)

20年1月圖文音

單獨(dú)攻關(guān)08年-20年百億模型21年1月算力中心

（北京-武漢）22年10月

23年6月多模態(tài)大模型吸收海量知識(shí)不同場(chǎng)景對(duì)應(yīng)不同小模型語(yǔ)言數(shù)據(jù)模態(tài)多樣化摘要、續(xù)寫、問(wèn)答...圖像描述聲紋識(shí)別端點(diǎn)檢測(cè)語(yǔ)種識(shí)別.........語(yǔ)音

視覺(jué)同時(shí)知識(shí)的構(gòu)建也使得“紫東太初”

可以一個(gè)模型實(shí)現(xiàn)圖像識(shí)別、

語(yǔ)言翻譯、

圖像描述、

語(yǔ)音合成等50余種功能，

并初步具備了人機(jī)交互、認(rèn)知推理、藝術(shù)創(chuàng)作等創(chuàng)新能力。例如

我們可以以音生圖、可以理解圖像含義?！白蠔|太初”大模型1.0：

一個(gè)模型支撐多個(gè)任務(wù)圖像識(shí)別目標(biāo)檢測(cè)

語(yǔ)義分割視頻生成

...跨模態(tài)檢索領(lǐng)域應(yīng)用

多樣化輸入：桌子上的藍(lán)色小碗里盛著水果和堅(jiān)果語(yǔ)音合成語(yǔ)音識(shí)別圖像生成

視覺(jué)問(wèn)答以音生圖語(yǔ)言翻譯以文搜圖視頻分類...文本視覺(jué)語(yǔ)音文本機(jī)器以文語(yǔ)音翻譯生圖合成視覺(jué)視覺(jué)圖像以圖描述搜索生音語(yǔ)音語(yǔ)音以音多語(yǔ)識(shí)別生圖翻譯三模態(tài)：

利用文本、圖片、音頻等三種模態(tài)數(shù)據(jù)進(jìn)行跨模態(tài)的統(tǒng)一表征和學(xué)習(xí)，是更接近人類的學(xué)習(xí)方式。紫東太初2.0：從三模態(tài)到全模態(tài)全模態(tài)：

利用文本、圖片、音頻、

視頻、

3D、等所有模態(tài)數(shù)據(jù)進(jìn)

行跨模態(tài)的統(tǒng)一表征和學(xué)習(xí)。單模態(tài)分離：

分別對(duì)文本、圖片、音頻和視頻等不同模態(tài)數(shù)據(jù)單模型建模。全模態(tài)AI大模型語(yǔ)音模態(tài)

數(shù)據(jù)語(yǔ)言模態(tài)

數(shù)據(jù)語(yǔ)音模態(tài)

數(shù)據(jù)AI模型2訓(xùn)練語(yǔ)言模態(tài)

數(shù)據(jù)圖像模態(tài)

數(shù)據(jù)視頻模態(tài)

數(shù)據(jù)圖像模態(tài)

數(shù)據(jù)語(yǔ)音文本AI模型1訓(xùn)練AI模型3訓(xùn)練Al大模型視覺(jué)

首次提出全模態(tài)多任務(wù)統(tǒng)一生成式學(xué)習(xí)框架：全模態(tài)分組對(duì)齊、分組解碼和聯(lián)合解碼的學(xué)習(xí)方式。

全模態(tài)低成本協(xié)同關(guān)聯(lián)優(yōu)化學(xué)習(xí)，融合多任務(wù)全模態(tài)能力，更具拓展性。

全模態(tài)認(rèn)知增強(qiáng)：面向物聯(lián)世界多源輸入的認(rèn)知，具有全模態(tài)能力涌現(xiàn)，認(rèn)知效率更高。物聯(lián)數(shù)據(jù)

全模態(tài)認(rèn)知增強(qiáng)

全模態(tài)生成全

模

態(tài)

認(rèn)

知

關(guān)

聯(lián)

融

合全

模

態(tài)

認(rèn)

知

解

碼文本紫東太初2.0：

面向數(shù)字物聯(lián)時(shí)代的全模態(tài)認(rèn)知大模型全

模

態(tài)

分組

編

碼圖像生成音樂(lè)生成文本生成圖像音頻1準(zhǔn)備行業(yè)數(shù)據(jù)，

在線編寫指令/標(biāo)注行

業(yè)

場(chǎng)景

模

型2基于預(yù)訓(xùn)練大模型指令微調(diào)文旅

交通

血

醫(yī)療

政務(wù)

生產(chǎn)3模型一鍵部署服務(wù)使用大模型開(kāi)放服務(wù)平臺(tái)，用戶可以快速基于平臺(tái)預(yù)置的基礎(chǔ)大模型定制出專屬的行業(yè)模型。在學(xué)習(xí)了行業(yè)知識(shí)數(shù)據(jù)后，行業(yè)模型在專業(yè)領(lǐng)域和細(xì)分場(chǎng)景有更加出色的表現(xiàn)音頻圖片文本視頻紫東太初開(kāi)放服務(wù)平臺(tái)行業(yè)數(shù)據(jù)+AI4服務(wù)編排發(fā)布應(yīng)用開(kāi)

放服

務(wù)

平

臺(tái)

》》》

平臺(tái)優(yōu)勢(shì)大模型微調(diào)組件?一鍵式微調(diào)：

參數(shù)凍結(jié)，

內(nèi)置微調(diào)模板，支持下游任務(wù)靈活配置?低參數(shù)調(diào)優(yōu)：

低參數(shù)微調(diào)新范式，小樣本學(xué)習(xí)，實(shí)現(xiàn)低參數(shù)微調(diào)AI框架AI硬件公有云私有云混合云融合云原生組件，模型某省市，體驗(yàn)最新SOTA模型數(shù)據(jù)安全性高，

輕量，異構(gòu)，可集成企業(yè)內(nèi)

部系統(tǒng)人工智能計(jì)算中心超大規(guī)模普惠算力紫東太初開(kāi)放服務(wù)平臺(tái)2.0功能全覽高性能計(jì)算支持公有云/私

有化部署高效率開(kāi)發(fā)低門檻一站式開(kāi)發(fā)可視化建模Notebook分布式訓(xùn)練主流AI框架應(yīng)用調(diào)度A/B實(shí)驗(yàn)數(shù)據(jù)處理BI報(bào)表模型評(píng)測(cè)格式轉(zhuǎn)換平臺(tái)優(yōu)勢(shì)內(nèi)置多任務(wù)模板開(kāi)箱即用，

一鍵微調(diào)，低參數(shù)調(diào)優(yōu)依托昇騰AI基礎(chǔ)軟硬件平臺(tái)、

昇思MindSpore框架，實(shí)現(xiàn)

高性能計(jì)算，加速訓(xùn)練效率數(shù)據(jù)中心

訓(xùn)練中心

模型中心

推理中心離線批量預(yù)測(cè)云邊端協(xié)同多模型編排模型壓縮模型優(yōu)化第三方導(dǎo)入訓(xùn)練任務(wù)導(dǎo)入數(shù)據(jù)接入版本管理特征管理數(shù)據(jù)標(biāo)注預(yù)置算子超參搜索SDK開(kāi)放預(yù)訓(xùn)練微調(diào)在線服務(wù)紫東太初開(kāi)放服務(wù)平臺(tái)界面行業(yè)大模型倉(cāng)庫(kù)醫(yī)療大模型教育大模型交通大模型政務(wù)大模型建筑大模型三大

工具鏈核心優(yōu)勢(shì)

大模型開(kāi)放服務(wù)平臺(tái)加速行業(yè)模型生產(chǎn)應(yīng)用行業(yè)模型應(yīng)用數(shù)據(jù)工具鏈模型選配推理工具鏈微調(diào)工具鏈零代碼開(kāi)發(fā)開(kāi)箱即用代碼驗(yàn)證教案生成虛擬偶像智能客服新聞校對(duì)法律助手滿足多場(chǎng)景下的企業(yè)大模型定制需求，軟

硬一體化交付，保障私域數(shù)據(jù)隱私及安全

合規(guī)，快速構(gòu)建多場(chǎng)景下游任務(wù)，加速大

模型賦能業(yè)務(wù)。

紫東太初大模型訓(xùn)推一體機(jī)全流程工具鏈?zhǔn)鼓苄袠I(yè)模型開(kāi)發(fā)，實(shí)現(xiàn)從數(shù)據(jù)到訓(xùn)練到模型推理的自動(dòng)化閉環(huán)管理融合一站式管理能力，一鍵開(kāi)局工具、開(kāi)箱即用，軟硬件統(tǒng)一運(yùn)維監(jiān)測(cè)、故障點(diǎn)快速識(shí)別模型集成某省市場(chǎng)按需選擇和部署需要的大模型，減少軟硬件平臺(tái)兼容性障礙開(kāi)發(fā)工具全自動(dòng)預(yù)標(biāo)注

人工確認(rèn)?

雷達(dá)、紅外和信令檢測(cè)_

目標(biāo)檢測(cè)多邊形?

物品產(chǎn)地歸屬國(guó)_實(shí)體關(guān)系抽取?

語(yǔ)音情感識(shí)別_語(yǔ)音分類圖片文本

音頻

雷達(dá)

三維?

多模態(tài)圖片描述?

視覺(jué)目標(biāo)檢測(cè)_矩形框/多邊形?

文本分類、實(shí)體關(guān)系抽取?

音頻分類?

標(biāo)簽?zāi)０骞芾砣B(tài)智能化標(biāo)注，支持未知目標(biāo)和關(guān)系發(fā)現(xiàn)支持全模態(tài)物聯(lián)數(shù)據(jù)

預(yù)置全模態(tài)模型智能標(biāo)注和未知目標(biāo)發(fā)現(xiàn)

內(nèi)置圖、文、音等不同數(shù)據(jù)類型標(biāo)注任務(wù)的標(biāo)注模板，支持通過(guò)修改配置文件，快速拓展和自定義標(biāo)注模板圖像和視頻描述未標(biāo)注數(shù)據(jù)目標(biāo)檢測(cè)_分割實(shí)體關(guān)系抽取文本分類待確認(rèn)數(shù)據(jù)已標(biāo)注數(shù)據(jù)n大模型催生新的AI開(kāi)發(fā)與服務(wù)模式，大模型研發(fā)與AI應(yīng)用服務(wù)分離，AI應(yīng)用服務(wù)公司研發(fā)

成本降低，可以重點(diǎn)發(fā)展落地應(yīng)用大算力+大模型形成AI開(kāi)發(fā)與服務(wù)模式模型微調(diào)適配少量行業(yè)或

場(chǎng)景數(shù)據(jù)少

數(shù)

據(jù)

量“大模型+微調(diào)+模型服務(wù)”

AI工業(yè)化開(kāi)發(fā)模式“算法+數(shù)據(jù)+算力”AI

“手工作坊”式開(kāi)發(fā)模式模型微調(diào)適

配模型部署模型部署大規(guī)模任務(wù)無(wú)關(guān)

無(wú)標(biāo)注數(shù)據(jù)大規(guī)模預(yù)訓(xùn)練模型場(chǎng)景1有標(biāo)注數(shù)據(jù)場(chǎng)景N有標(biāo)注數(shù)據(jù)少量行業(yè)或

場(chǎng)景數(shù)據(jù)模型N部署模型1部署模型1訓(xùn)練模型N訓(xùn)練應(yīng)用場(chǎng)景N應(yīng)用場(chǎng)景1…↓九州通骨科手上醫(yī)療器械耗材識(shí)別基于紫東太初大模型開(kāi)放服務(wù)平臺(tái)，

實(shí)現(xiàn)骨科器械/耗材的自動(dòng)識(shí)別和清

點(diǎn)，實(shí)現(xiàn)智能化、

精細(xì)化管理，

革

新了手術(shù)器械耗材管理范式基于紫東太初大模型，研發(fā)了力、位、

形多模態(tài)融合的控制算法，打造手術(shù)

多模態(tài)智能助手，充分提高手術(shù)成功

率和效率基于紫東太初大模型，融合醫(yī)學(xué)文獻(xiàn)、

臨床試驗(yàn)、患者問(wèn)診、專業(yè)指南等業(yè)

務(wù)數(shù)據(jù)，

打造面向醫(yī)生等專業(yè)人士的

醫(yī)療行業(yè)大模型成功案例—

醫(yī)療行業(yè)紫東太初慧訊醫(yī)療行業(yè)大模型國(guó)際首例深位顱內(nèi)手術(shù)智能助手基于紫東太初全模態(tài)大模型，運(yùn)用多模態(tài)生理信號(hào)融合感知技術(shù)對(duì)不同類型生理信號(hào)（如心電圖、血壓、脈搏、

心跳等）進(jìn)行有機(jī)融合，形成更為全面、準(zhǔn)確的疾病診斷結(jié)果，提高醫(yī)療效率和質(zhì)量，降低醫(yī)療成本?

急性心肌梗死?

室速或室顫?

房速或房顫、房撲?

各種心臟早搏/室上速?

各種緩慢的心律失常?

心肌缺血?

診斷心臟大小、高血壓、氣

胸……大模型賦能智慧醫(yī)療—心血管輔助診斷面向心血管疾病輔助診斷的多模態(tài)生理信號(hào)融合應(yīng)用示范

生理信號(hào)感知精度

提升

心律失常風(fēng)險(xiǎn)篩查

心電監(jiān)護(hù)儀誤報(bào)警

抑制呼吸心電血壓血氧基于多模態(tài)對(duì)比學(xué)習(xí)的模型預(yù)訓(xùn)練基于多任務(wù)學(xué)習(xí)的多模態(tài)生理信號(hào)融合模型基于空間譜超分辨率估計(jì)的時(shí)頻特征提取構(gòu)建超分辨時(shí)頻譜圖基于平滑微分器的高頻噪聲抑制最優(yōu)數(shù)字濾波器設(shè)計(jì)基于紫東太初多模態(tài)大模型，融合創(chuàng)而新

小初高教育培訓(xùn)的行業(yè)需求打造了專注于

初等教育領(lǐng)域的教育大模型，為個(gè)性化教

案生成提供智能支持基于紫東太初多模態(tài)大模型，融合華師高

等教育行業(yè)數(shù)據(jù)，雙方在教案生成、作業(yè)

評(píng)價(jià)、多元輔導(dǎo)、數(shù)字人教師等10個(gè)場(chǎng)景

進(jìn)行深度合作，共創(chuàng)教育行業(yè)大模型成功案例—教育行業(yè)大模型

創(chuàng)而新教育行業(yè)大模型

華中師范大學(xué)教育行業(yè)大模型

基于“紫東太初”大模型和知識(shí)圖譜、多

語(yǔ)種語(yǔ)音等技術(shù)，在“引進(jìn)來(lái)”的對(duì)外付

匯管理和“走出去”的國(guó)別稅政咨詢服務(wù)

方面實(shí)現(xiàn)“AI+稅務(wù)”定制青春、活力的虛擬IP形象,結(jié)合紫東太

初大模型，打造政務(wù)咨詢24小時(shí)智能客服，

為人才來(lái)鄂來(lái)漢創(chuàng)新創(chuàng)業(yè)，提供全周期、全鏈條服務(wù)成功案例—政務(wù)行業(yè)數(shù)字人及大模型某省市國(guó)稅局稅務(wù)行業(yè)大模型

武漢光谷招才局政務(wù)數(shù)字人

第七軸換帽時(shí)間預(yù)測(cè)根據(jù)過(guò)程數(shù)據(jù)判斷消耗品電極

帽的剩余壽命、修磨時(shí)機(jī)，給

出換帽時(shí)間預(yù)測(cè)大模型賦能智能制造根據(jù)電阻焊過(guò)程數(shù)據(jù)(電流，電阻，壓力等)，判定本次焊接品質(zhì)

(

OK/

NG,飛濺等)焊接品質(zhì)判定焊點(diǎn)相關(guān)數(shù)據(jù)分析焊接部分現(xiàn)場(chǎng)結(jié)構(gòu)電極帽機(jī)器人實(shí)現(xiàn)路徑

某省市綜合管理運(yùn)營(yíng)平臺(tái)實(shí)時(shí)語(yǔ)音交互，智能生成分析報(bào)告助力某省市數(shù)智化升級(jí)助力某省市數(shù)智化升級(jí)基于紫東太初全模態(tài)大模型，某省市數(shù)據(jù)的全面感知和應(yīng)用，融合應(yīng)用城市管理、智慧交通、智慧工地、智慧園區(qū)、智慧環(huán)衛(wèi)、橋隧坡監(jiān)測(cè)、危險(xiǎn)源在線監(jiān)測(cè)等多種監(jiān)測(cè)模型算法，打造智慧化應(yīng)用，推動(dòng)某省市管理問(wèn)題“及時(shí)發(fā)現(xiàn)、精準(zhǔn)定位、快速處置”。大模型賦能某省市精準(zhǔn)化治理案例背景：針對(duì)空港新城片區(qū)存在的安全、環(huán)某省市治理等問(wèn)題，綜合大模型、數(shù)字人、多模態(tài)交互等多項(xiàng)能力，打造某省市綜合管理運(yùn)營(yíng)平

臺(tái)某省市運(yùn)營(yíng)管理提供更“科學(xué)化、精細(xì)化、智能化”的管理和服務(wù)，某省市治理與服務(wù)能力的全面提升l

物流行業(yè)票證種類多達(dá)100+，小模型逐一訓(xùn)練耗時(shí)耗力l

人工客服長(zhǎng)期成本高、響應(yīng)速度慢、需要輪班且容面情緒l

物流行業(yè)算法長(zhǎng)尾效應(yīng)明顯，過(guò)往存在模型開(kāi)發(fā)效率低、訓(xùn)練成本高、通用能力差等問(wèn)題身份證鐵路報(bào)關(guān)單基于“紫東太初”聯(lián)合湖北港口著力構(gòu)建多模態(tài)數(shù)據(jù)融合、極強(qiáng)泛化能力、業(yè)務(wù)高效協(xié)某省市供應(yīng)鏈通用人工智能底座。大模型賦能智慧物流供應(yīng)鏈基于紫東太初預(yù)置大模型結(jié)合少量樣本數(shù)據(jù)一鍵微調(diào)、低參數(shù)調(diào)優(yōu)解決算法長(zhǎng)尾問(wèn)題。

例：?jiǎn)螕?jù)識(shí)別，通過(guò)20+樣本標(biāo)注微調(diào)即可快速訓(xùn)練出一種新物流單據(jù)識(shí)別算法模型。多模態(tài)大模型大模型AI服務(wù)平臺(tái)數(shù)字人/智能客服現(xiàn)狀痛點(diǎn)主辦中國(guó)首個(gè)正式舉辦的AI作畫大賽—

“磨刀山杯”

，塑造

與放大磨刀山遺址與考古文化魅力，帶動(dòng)新時(shí)代磨刀山遺址IP打造的全新升級(jí)大模型賦能智慧文旅—磨刀山數(shù)字原始人磨刀山虛擬數(shù)字人IP大模型賦能智慧交通：交通違規(guī)行為認(rèn)知研判視頻結(jié)構(gòu)化分析

精準(zhǔn)車輛識(shí)別跟蹤

違法行為判斷

多模態(tài)協(xié)同推理研判

人工復(fù)核城市場(chǎng)景（12種）高速場(chǎng)景

（12種）農(nóng)村場(chǎng)景

（12種）壓實(shí)線違法變道占用公交車道24513多模態(tài)融合感知全模態(tài)、關(guān)鍵要素感知按自定義場(chǎng)景、自定義情節(jié)、自定義動(dòng)作進(jìn)行檢索跨模態(tài)關(guān)系計(jì)算+跨模態(tài)特征識(shí)別+跨模態(tài)內(nèi)容搜索自主進(jìn)化風(fēng)險(xiǎn)內(nèi)容主動(dòng)發(fā)現(xiàn)無(wú)標(biāo)簽全領(lǐng)域理解全網(wǎng)視頻內(nèi)容溯源全媒體多風(fēng)險(xiǎn)類型監(jiān)測(cè)結(jié)合多源信息感認(rèn)

知，

推理出事發(fā)地

為，

從而辟謠標(biāo)題和簡(jiǎn)介中不包含敏感文字或

沒(méi)有標(biāo)題，

但視頻內(nèi)容包含敏感

信息或