ChatGPT：AI模型框架研究——AI行業(yè)深度報(bào)告摘要2一、AI框架重要性日益突顯，框架技術(shù)發(fā)展進(jìn)入繁榮期，國(guó)內(nèi)AI框架技術(shù)加速發(fā)展：1、AI框架作為銜接數(shù)據(jù)和模型的重要橋梁，發(fā)展進(jìn)入繁榮期，國(guó)內(nèi)外框架功能及性能加速迭代；2、Pytorch、Tensorflow占據(jù)AI框架市場(chǎng)主導(dǎo)地位，國(guó)內(nèi)大廠(chǎng)加速布局AI框架技術(shù)；3、AI框架技術(shù)從工具逐步走向社區(qū)，生態(tài)加速形成，未來(lái)圍繞安全可信、場(chǎng)景落等維度呈現(xiàn)顯著發(fā)展趨勢(shì)；二、GPT開(kāi)啟AI大模型時(shí)代，國(guó)內(nèi)外大廠(chǎng)發(fā)力布局，商業(yè)化空間加速打開(kāi)：1、數(shù)據(jù)、算法、模型三輪驅(qū)動(dòng)AI發(fā)展，大模型優(yōu)勢(shì)顯著，成為AI主流方向；2、GPT開(kāi)啟千億參數(shù)級(jí)AI大模型時(shí)代，語(yǔ)言、視覺(jué)、科學(xué)計(jì)算等大模型快速發(fā)展；3、微軟加速AI商用化進(jìn)程，國(guó)內(nèi)大廠(chǎng)發(fā)力布局，看好在細(xì)分場(chǎng)景下的應(yīng)用落地；三、建議關(guān)注標(biāo)的：1、基礎(chǔ)層：AI算力：中科曙光；大模型：360，科大訊飛2、應(yīng)用層：AI+工具：金山辦公；

AI+建筑：廣聯(lián)達(dá)；AI+法律：通達(dá)海；

AI+醫(yī)療：創(chuàng)業(yè)慧康，久遠(yuǎn)銀海；AI+教育：科大訊飛；

AI+網(wǎng)安：安恒信息、奇安信；AI+金融：同花順； AI+交通：佳都科技風(fēng)險(xiǎn)提示：1、AI技術(shù)發(fā)展不及預(yù)期；2、版權(quán)、倫理和監(jiān)管風(fēng)險(xiǎn)；3AI框架深度學(xué)習(xí)框架：人工智能時(shí)代的操作系統(tǒng)人工智能開(kāi)發(fā)鏈條長(zhǎng)且復(fù)雜訓(xùn)練數(shù)據(jù)準(zhǔn)備算法實(shí)現(xiàn)環(huán)境安裝模型訓(xùn)練模型驗(yàn)證推理數(shù)據(jù)準(zhǔn)備算法實(shí)現(xiàn)環(huán)境安裝模型訓(xùn)練數(shù)據(jù)使用深度學(xué)習(xí)框架工具進(jìn)行開(kāi)發(fā)深度學(xué)習(xí)框架人工智能基礎(chǔ)設(shè)施分布式硬件資源物理資源調(diào)度、I/O設(shè)備管理通用模型架構(gòu)支持計(jì)算機(jī)視覺(jué)應(yīng)用使用主流編程語(yǔ)言GPU加速拓展包模型使用深度學(xué)習(xí)框架工具進(jìn)行開(kāi)發(fā)開(kāi)發(fā)者使用簡(jiǎn)單支持AI領(lǐng)域的快速變化4人工智能框架技術(shù)發(fā)展進(jìn)入繁榮期0152000年~

萌芽階段2015-2018年

穩(wěn)定階段2012年~

成長(zhǎng)階段2019-2020年~

深化階段API復(fù)雜無(wú)GPU支持手動(dòng)實(shí)現(xiàn)網(wǎng)絡(luò)使用簡(jiǎn)單多GPU支持復(fù)雜網(wǎng)絡(luò)支撐指令式聲明式生態(tài)友好分布式支持效率優(yōu)化可拓展編譯層優(yōu)化多場(chǎng)景任務(wù)支持豐富套件支持算子優(yōu)化統(tǒng)一標(biāo)準(zhǔn)端云一體大模型大任務(wù)全場(chǎng)景隱私與公平……未來(lái)016國(guó)際主流深度學(xué)習(xí)框架：互聯(lián)網(wǎng)巨頭主導(dǎo)開(kāi)發(fā)國(guó)內(nèi)外深度學(xué)習(xí)框架2013201420152016201720202020202xPythonLua，Python（new）C++PythonC++Lua，Python（new）PythonC++、CUDA、Python發(fā)布時(shí)間 開(kāi)發(fā)公司 深度學(xué)習(xí)框架 語(yǔ)言 是否開(kāi)源√√√√√√√√計(jì)算圖靜態(tài)靜態(tài)動(dòng)態(tài)動(dòng)靜兼容靜態(tài)基于源碼轉(zhuǎn)換自動(dòng)微分，不依賴(lài)計(jì)算圖動(dòng)靜合一是否是分布式框架√√√√√特點(diǎn)/優(yōu)點(diǎn)速度快、使用方便、社區(qū)好性能高、適合做語(yǔ)音任務(wù)高效靈活、易用容易上手簡(jiǎn)單清晰移動(dòng)端高性能、通用輕便高效靈活、易用靈活高效01TensorFlow+Pytorch占據(jù)市場(chǎng)主導(dǎo)地位2022年中國(guó)開(kāi)發(fā)者人工智能框架使用率2018-2022年全球論文發(fā)表數(shù)量（按使用框架分）7PytorchTensorFlow01

Pytorch：Meta開(kāi)源的主流學(xué)習(xí)框架Pytorch版本平均每3~4個(gè)月更新一次，功能服務(wù)持續(xù)擴(kuò)充2017年，Pytorch正式發(fā)布2018年4月，0.4版支持Windows，并入caffe22019年5月，1.1版支持TensorBoard，增強(qiáng)可視化2019年10月，1.3版支持移動(dòng)設(shè)備部署，更多功能工具2020年1月，1.4版支持分布式模型并行訓(xùn)練2020年4月，1.5版與Amazon合作，提升開(kāi)發(fā)者模型部署效率2020年11月，1.7版支持Windows上的分布式訓(xùn)練，提供更多API2021年3月，1.8版支持AMD

GPU2022年11月，2.0版Transformer模型訓(xùn)練速度提升1.5-2.0倍多維優(yōu)勢(shì)支持Pytorch實(shí)現(xiàn)對(duì)TensorFlow的反超門(mén)檻低只需要Numpy和基本深度學(xué)習(xí)概念代碼簡(jiǎn)潔靈活基于動(dòng)態(tài)圖機(jī)制，網(wǎng)絡(luò)搭建更方便文檔規(guī)范官方社區(qū)可查看各版本文檔資源豐富arXiv新算法大多基于Pytorch實(shí)現(xiàn)開(kāi)發(fā)者多Github上貢獻(xiàn)者1100+大廠(chǎng)支撐Meta維護(hù)開(kāi)發(fā)適用人群廣泛深度學(xué)習(xí)初學(xué)者：快速實(shí)現(xiàn)模型算法，加深深度學(xué)習(xí)概念認(rèn)識(shí)；機(jī)器學(xué)習(xí)愛(ài)好者：快速實(shí)現(xiàn)人臉識(shí)別、目標(biāo)檢測(cè)、圖像生成等AI功能及實(shí)驗(yàn)；算法研究員：最新arXiv論文算法快速?gòu)?fù)現(xiàn)及開(kāi)發(fā)；8Open

AI：從多種框架的使用到專(zhuān)注于Pytroch012015年P(guān)ytroch成為統(tǒng)一的深度學(xué)習(xí)框架深度模型框架轉(zhuǎn)變大多數(shù)情況使用TensorFlow特殊情況使用Theano2020年原因核心功能支持GPU加速的張量計(jì)算方便優(yōu)化模型的自動(dòng)微分機(jī)制簡(jiǎn)單易懂：PyTorch

具有用戶(hù)友好的API；便于調(diào)試：對(duì)

Python

生態(tài)的良好支持；強(qiáng)大高效：Pytorch提供了非常豐富的模型組件。極大縮短研究周期901

Tensorflow：谷歌開(kāi)源的向更加易用發(fā)展的主流學(xué)習(xí)框架102017年2019年開(kāi)源Tensorflow0.1版本2015年采用CPU+GPU計(jì)算模型使得神經(jīng)網(wǎng)絡(luò)能夠有效計(jì)算Tensorflow從0.1到2.0的發(fā)展歷程202x年Tensorflow2.3發(fā)布添加兩種新機(jī)制，解決輸入管道瓶頸并節(jié)約資源Tensorflow2.0發(fā)布缺點(diǎn)：調(diào)試?yán)щy、API混亂、入門(mén)困難運(yùn)用更簡(jiǎn)單的模型進(jìn)行構(gòu)建、簡(jiǎn)化PI優(yōu)點(diǎn)：簡(jiǎn)化的模型開(kāi)發(fā)流程、強(qiáng)大的跨平臺(tái)能力、強(qiáng)大的研究發(fā)現(xiàn)缺乏調(diào)度能力，需手動(dòng)配置Tensorflow1.0.0發(fā)布，穩(wěn)定版誕生優(yōu)點(diǎn)：更快、更靈活、隨時(shí)就緒引入更高級(jí)的API，可在移動(dòng)設(shè)備上運(yùn)行發(fā)布版本改進(jìn)之處優(yōu)點(diǎn)缺點(diǎn)AI框架技術(shù)呈現(xiàn)三層次結(jié)構(gòu)，從工具走向社區(qū)生態(tài)生態(tài)層編程開(kāi)發(fā)編程接口A(yíng)PI編碼語(yǔ)言訓(xùn)練開(kāi)發(fā)推理部署基礎(chǔ)層 編譯優(yōu)化分布式并行圖算融合模型輕量化算子生成自動(dòng)微分 動(dòng)靜轉(zhuǎn)換內(nèi)存優(yōu)化計(jì)算圖中間表示計(jì)算算子通信算子硬件使能組件層并行及優(yōu)化組件自動(dòng)并行…高階優(yōu)化器科學(xué)計(jì)算組件科學(xué)計(jì)算（數(shù)值方法）科學(xué)計(jì)算（AI方法）…安全可信組件模型可解釋數(shù)據(jù)-模型安全…工具組件訓(xùn)練可視化調(diào)試器…套件-模型庫(kù)（CV、NLP…）AI領(lǐng)域擴(kuò)展庫(kù)（GAN、強(qiáng)化學(xué)習(xí)…）AI+科學(xué)計(jì)算（電磁仿真、視頻生成…）社區(qū)文檔AI框架11百度PaddlePaddle飛槳平臺(tái)01飛槳企業(yè)版零門(mén)檻AI開(kāi)發(fā)平臺(tái)全功能AI開(kāi)發(fā)平臺(tái)飛槳產(chǎn)業(yè)級(jí)深度學(xué)習(xí)開(kāi)源開(kāi)放平臺(tái)工具與組件自動(dòng)化深度學(xué)習(xí)低代碼開(kāi)發(fā)工具強(qiáng)化學(xué)習(xí)聯(lián)邦學(xué)習(xí)圖學(xué)習(xí)科學(xué)計(jì)算量子機(jī)器學(xué)習(xí)生物計(jì)算核心框架端到端開(kāi)發(fā)套件基礎(chǔ)模型庫(kù)預(yù)訓(xùn)練模型應(yīng)用工具可視化分析工具安全與隱私工具云上部署編排工具資源管理與調(diào)度工具語(yǔ)義理解文字識(shí)別圖像分類(lèi)目標(biāo)檢測(cè)圖像分割圖像生成大模型訓(xùn)推一體自然語(yǔ)言處理計(jì)算機(jī)視覺(jué)語(yǔ)音推薦文心大模型時(shí)間序列動(dòng)態(tài)圖靜態(tài)圖大規(guī)模分布式訓(xùn)練產(chǎn)業(yè)級(jí)數(shù)據(jù)處理服務(wù)器推理引擎12邊緣與移動(dòng)端推理引擎開(kāi)發(fā)訓(xùn)練推理部署模型壓縮前端推理引擎服務(wù)化部署全場(chǎng)景統(tǒng)一部署學(xué)習(xí)與實(shí)訓(xùn)社區(qū)未來(lái)AI框架技術(shù)將呈現(xiàn)六大發(fā)展趨勢(shì)01泛開(kāi)發(fā)全場(chǎng)景超大規(guī)?？茖W(xué)計(jì)算安全可信工程化發(fā)展趨勢(shì)泛開(kāi)發(fā)前端便捷化后端高效化全場(chǎng)景標(biāo)準(zhǔn)化互通混合并行分布式處理自動(dòng)微分統(tǒng)一加速引擎魯棒性檢測(cè)模型可解釋模型自適應(yīng)框架精細(xì)化前景展望多種開(kāi)發(fā)語(yǔ)言無(wú)縫銜接動(dòng)靜圖轉(zhuǎn)換能力提升后端運(yùn)行效率AI框架與硬件平臺(tái)解耦，通過(guò)標(biāo)準(zhǔn)接口實(shí)現(xiàn)跨設(shè)備平臺(tái)快速部署突破五堵墻：內(nèi)存墻+算力墻+通信墻+調(diào)優(yōu)墻+部署墻豐富編程接口內(nèi)置專(zhuān)業(yè)領(lǐng)域科學(xué)計(jì)算套件13提供豐富的

AI

魯棒性檢測(cè)工具AI

模型的壓縮和端側(cè)推理框架的輕量化14AI大模型算力+數(shù)據(jù)支撐AI大模型加速發(fā)展02數(shù)據(jù)爆炸1991年萬(wàn)維網(wǎng)開(kāi)放2005年全球互聯(lián)網(wǎng)用戶(hù)超10億2007年iPhone發(fā)布2010年全球智能手機(jī)銷(xiāo)量超3億部算法迭代1958年神經(jīng)網(wǎng)絡(luò)提出1965年專(zhuān)家系統(tǒng)誕生1989年，CNN算法應(yīng)用于圖像識(shí)別1997年網(wǎng)頁(yè)評(píng)級(jí)算法2006年深度學(xué)習(xí)興起1997年，IBM 2002年戰(zhàn)勝卡斯帕羅夫

云存儲(chǔ)、云計(jì)算誕生2004年分布式技術(shù)2005年1G磁盤(pán)存儲(chǔ)成本降至2美元1965年摩爾定律計(jì)算和存儲(chǔ)能力增長(zhǎng)2006年Hadoop技術(shù)2010年開(kāi)始使用GPU訓(xùn)練AI模型2012年深度學(xué)習(xí)算法在圖像分類(lèi)任務(wù)取得突破2009年引入Spark算法處理大數(shù)據(jù)2013年

谷歌AI學(xué)會(huì)策略類(lèi)游戲2016年谷歌推出TPU加速機(jī)器學(xué)習(xí)過(guò)程2017年AlphaZero2018年GPT大模型2021年Alphafold實(shí)現(xiàn)蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)2022年ChatGPT15大模型為基底，AI大模型發(fā)展為場(chǎng)景應(yīng)用奠定重要基礎(chǔ)02AI大模型優(yōu)勢(shì)泛化性+通用性開(kāi)發(fā)門(mén)檻低大模型意義AI應(yīng)用通用化AI開(kāi)發(fā)工程化項(xiàng)目建設(shè)集約化16按照目標(biāo)不同，AI大模型可分為四類(lèi)，多模態(tài)為未來(lái)方向02利用計(jì)算機(jī)模擬、延伸及拓展人類(lèi)語(yǔ)言能力NLP大模型CV大模型科學(xué)計(jì)算大模型定義現(xiàn)狀挑戰(zhàn)未來(lái)發(fā)展在語(yǔ)言理解與生成、智能創(chuàng)作、機(jī)器翻譯、智能對(duì)話(huà)、知識(shí)圖譜和定制化語(yǔ)言解決方案落地應(yīng)用發(fā)展順利語(yǔ)言的歧義、文化差異及多樣化、情感分析困難以多個(gè)數(shù)據(jù)信息維度約束來(lái)驗(yàn)證情感分析及文本分析的準(zhǔn)確性計(jì)算機(jī)模擬生物視覺(jué)，理解數(shù)字圖像和視頻，并提取目標(biāo)信息2D數(shù)據(jù)工業(yè)質(zhì)檢、智慧城市落地完善，應(yīng)用場(chǎng)景多；人臉、OCR識(shí)別發(fā)展較為成熟3D/4D數(shù)據(jù)識(shí)別面臨變形、光照、遮擋等問(wèn)題；數(shù)字人、數(shù)字孿生的數(shù)據(jù)獲取困難，算法處理復(fù)雜打通數(shù)據(jù)融合以突破3D/4D獲取瓶頸高效率完成再現(xiàn)、預(yù)測(cè)和發(fā)現(xiàn)客觀(guān)世界運(yùn)動(dòng)規(guī)律及演化特征的全過(guò)程“AI+科學(xué)計(jì)算”（科學(xué)智能）引發(fā)科研方式的大變革，如生物制藥、氣象預(yù)報(bào)、地震探測(cè)等科研領(lǐng)域逐漸成熟科學(xué)計(jì)算大模型對(duì)開(kāi)發(fā)者專(zhuān)業(yè)知識(shí)要求嚴(yán)苛，高質(zhì)量訓(xùn)練數(shù)據(jù)的獲取成本高，導(dǎo)致模型整體研發(fā)成本昂貴科技大廠(chǎng)與科研院校加強(qiáng)合作融合多模態(tài)大模型理解能力應(yīng)用場(chǎng)景計(jì)算性能17AI邁入大模型時(shí)代，參數(shù)量過(guò)千億02182018GoogleBERT-Large（3.4）OpenAiGPT-1

（1.2）GoogleBERT-base（1.1）百度

ERINE1.0FacebookXLM百度

ERINE2.0GoogleT5

（110）NIVIDIAMegatron-LM

（83）OpenAiGPT-2

（15.8）Facebook

RobertTa（3.35）Google

ALBERT（0.31）FacebookBARTGoogle

ELECTRA（1.02）Micrasoft

Truning-NLG（172）Facebook

M2m-100（150）Google

BigBird（1750）OpenAi

GPT-3（1758）EleutherAI

GPT-j（60）GLM（1300）百度

ERINE3.0（100）Google

FLAN（1370）NaverCorpHyperCLOVA（2040）Google

Gopher（2800）百度ERNIE3.0

Titan（2600）OpenAi

InstructGBT（13）MetaAI

OPT（1750）EleutherAI

GPT-NeoX（200）Google

LaMDA（2800）BigScience

BLOOM（1760）Google

PaLM（5400）微軟和英偉達(dá)

Megatron-Turing

NLG（5300）2019202020212022GPT-1GPT-2GPT-3GPT-4推出年份2018201920202023Transformer層數(shù)124896-參數(shù)量1.2億15.8億1750億-預(yù)訓(xùn)練數(shù)據(jù)量5GB40GB45TB-國(guó)內(nèi)外大廠(chǎng)相繼布局各模態(tài)AI模型1902時(shí)間提出者模型名稱(chēng)功能意義2021年1月OpenAICLIP-DALL·E以文搜圖，按照文字描述生成對(duì)應(yīng)圖片CLIP的zero-shotlearning技術(shù)在各種數(shù)據(jù)集上的表現(xiàn)都很好2021年5月GoogleMUM多功能統(tǒng)一模型可從

75

種不同語(yǔ)言中挖掘出的上下文信息對(duì)用戶(hù)搜索結(jié)果進(jìn)行優(yōu)先排序2021年9月百度DocVQA跨模態(tài)文檔理解登頂DocVQA榜首2021年11月NVIDAGauGAN2根據(jù)輸入的文本/簡(jiǎn)筆畫(huà)生成對(duì)應(yīng)逼真的風(fēng)景圖、輸入圖像并編輯部分內(nèi)容可用文字和圖畫(huà)混合創(chuàng)造逼真的藝術(shù)2021年11月Microsoft&

北大NvWa女?huà)z實(shí)現(xiàn)文本/草圖轉(zhuǎn)圖像、圖像補(bǔ)全、文字指示修改圖像視頻、文字/草圖轉(zhuǎn)視頻、視頻預(yù)測(cè)等在8種圖像和視頻處理的視覺(jué)任務(wù)上具有出色的合成效果2021年12月NVIDAPoE

GAN文字描述、圖像分割、草圖都可以轉(zhuǎn)化為圖片，還可同時(shí)接受以上幾種輸入模態(tài)的任意兩種組合可以在單模態(tài)、多模態(tài)輸入甚至無(wú)輸入時(shí)生成圖片。2022年1月百度ERNIE-ViLG圖文雙向生成刷新文本生成圖像、圖像描述等多個(gè)跨模態(tài)生成任務(wù)最好效果2022年1月MetaAu-HuBERT通過(guò)輸入語(yǔ)音音頻和唇語(yǔ)視頻內(nèi)容，輸出對(duì)應(yīng)文本在嘈雜的環(huán)境下，通過(guò)讀唇可以將語(yǔ)言識(shí)別的準(zhǔn)確性最高提升6倍。2022年7月MetaMake-a-Scene文本生成圖像，并允許文本輸入進(jìn)行有針對(duì)性創(chuàng)作用戶(hù)獲得更豐富的個(gè)人理念定制，從而生成更加具有針對(duì)性的畫(huà)作2022年9月OpenAIWhisper語(yǔ)音生成文本，支持語(yǔ)音轉(zhuǎn)錄和翻譯兩項(xiàng)功能并接受各種語(yǔ)音格式多模態(tài)AI模型有望進(jìn)入商用時(shí)代2022年9月MetaMake-a-Video文本、圖片生成短視頻，根據(jù)輸入的自然語(yǔ)言文本生成一段5秒鐘左右的短視頻。AIGC進(jìn)入視頻創(chuàng)作領(lǐng)域2022年11月NVIDAMagic3D根據(jù)文字描述生成

3D

模型，可將低分辨率生成的粗略模型優(yōu)化為高分辨率的精細(xì)模型3D建模效率更高，且成本更低OpenAI以GPT為基石，深度布局各模態(tài)AI及各類(lèi)應(yīng)用02GPT-1GPT-2GPT-3InstructGPT論文年份2018201920202022Transformer層數(shù)124896—參數(shù)量1.2億15.8億1750億13億預(yù)訓(xùn)練數(shù)據(jù)量5GB40GB45TB—Whisper

語(yǔ)音-文本模型 DALL-E2

文本-圖像模型ChatGPT類(lèi)別名稱(chēng)參數(shù)量基礎(chǔ)版本Davinci1750億Curie67億Babbage10億代碼生成Code-Cushman-001120億關(guān)聯(lián)分析Text-similarity-davinci-0011750億Text-similarity-curie-00160億20GPT模型迭代多樣的模型調(diào)用接口ChatGPT實(shí)現(xiàn)路徑：算力與框架支持，應(yīng)用百花齊放02微軟云AzurePyTorchGPT-3TransformerInstructGPT/GPT-3.5ChatGPTOpenAI的獨(dú)家云提供商算力資源深度學(xué)習(xí)框架易于使用API

迭代更穩(wěn)定模型Attention機(jī)制參數(shù)少速度快效果好模型人類(lèi)反饋強(qiáng)化學(xué)習(xí)RLHF對(duì)話(huà)AI模型人類(lèi)反饋強(qiáng)化學(xué)習(xí)RLHF人工監(jiān)督微調(diào)連續(xù)多輪對(duì)話(huà)承認(rèn)自身錯(cuò)誤質(zhì)疑不正確的問(wèn)題承認(rèn)自身的無(wú)知大模型Transfomer的Decoder

分支1750

億個(gè)參數(shù)小樣本學(xué)習(xí)能力無(wú)代碼編程對(duì)話(huà)類(lèi)搜索引擎小說(shuō)生成語(yǔ)音陪伴語(yǔ)音工作助手對(duì)話(huà)虛擬人機(jī)器翻譯人工智能客服21基于InstructGPT形成ChatGPT對(duì)話(huà)系統(tǒng)02ChatGPTInstructGPTGPT-3代碼訓(xùn)練指令微調(diào)

（instruction

tuning）基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)

（RLHF）參數(shù)數(shù)量降低了100倍（1750億->13億）增加Chat屬性網(wǎng)頁(yè)公眾測(cè)試入口略微降低參數(shù)量22搜索引擎Bing集成ChatGPT，即時(shí)生成個(gè)性化規(guī)劃與建議新版Bing搜索引擎四大技術(shù)突破將ChatGPT整合進(jìn)Bing和Edge搜索模型搜索性能答案相關(guān)用戶(hù)體驗(yàn)Bing在OpenAI的下一代LLM模型上運(yùn)行，該模型專(zhuān)門(mén)為搜索定制，比ChatGPT更強(qiáng)大普羅米修斯（Prometheus

）模型：可以提高搜索結(jié)果相關(guān)性，并對(duì)答案進(jìn)行注釋搜索與聊天相結(jié)合，除了傳統(tǒng)的搜索結(jié)果外，還提供了聊天界面通過(guò)將人工智能模型應(yīng)用于核心搜索算法，改進(jìn)了核心搜索指數(shù)，使得搜索結(jié)果相關(guān)性實(shí)現(xiàn)飛躍資料來(lái)源：微軟、The

Verge，浙商證券研究所新增聊天窗口傳統(tǒng)信息搜索框新版Bing功能展示能動(dòng)的提供解決方案：創(chuàng)建菜譜、制定旅行計(jì)劃、詩(shī)歌創(chuàng)作等0223微軟發(fā)布Microsoft

365

Copilot，引領(lǐng)下一代AI大模型02Microsoft365

CopilotCopilot工作方式Copilot工作原理Copilot旨在協(xié)助用戶(hù)生成文檔、電子郵件、演示文稿和更多內(nèi)容Copilot主要由OpenAI的GPT-4驅(qū)動(dòng)，會(huì)與微軟365應(yīng)用程序一起，作為聊天機(jī)器人的模式，出現(xiàn)在側(cè)邊欄Copilot嵌入到人們每天使用的Microsoft

365

應(yīng)用中商務(wù)聊天

Business

Chat。Business

Chat

將匯總電子郵件、文件、文檔、會(huì)議、聊天記錄、日歷等資料，并歸納總結(jié)自動(dòng)匯集個(gè)人已有的數(shù)據(jù)和資料生成內(nèi)容，上傳到MicrosoftGraphCopilot成為智能個(gè)人數(shù)字助理

&實(shí)用的內(nèi)容生成工具24數(shù)據(jù)來(lái)源：

微軟官網(wǎng)，浙商證券研究所Copilot

AI

功能的應(yīng)用場(chǎng)景，大幅提高辦公效率02應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景Copilotin

TeamsCopilot

inCopilotin

PowerPointCopilot

可以跨應(yīng)用程序生成內(nèi)容。例如，根據(jù)Word文檔，可以生成一個(gè)10張幻燈片的PPT提升演講效果，增加字體大小和間距，在演講稿中添加演講提醒一鍵壓縮冗長(zhǎng)的演示文稿，調(diào)整布局、重新格式化文本和完美的時(shí)間動(dòng)畫(huà)。Copilot可以根據(jù)需求創(chuàng)建初稿對(duì)文本內(nèi)容進(jìn)行提煉、改寫(xiě)、簡(jiǎn)化，查漏補(bǔ)缺用戶(hù)還可以根據(jù)需求調(diào)整AI的語(yǔ)氣，包括嚴(yán)肅、熱情、感謝等Copilotin

Excel在短時(shí)間內(nèi)識(shí)別趨勢(shì)或創(chuàng)建數(shù)據(jù)可視化數(shù)據(jù)歸納處理，分析或格式化Excel數(shù)據(jù)，生成直觀(guān)圖像Excel用戶(hù)可以通過(guò)Copilot即時(shí)創(chuàng)建SWOT分析或基于數(shù)據(jù)的PivotTable25數(shù)據(jù)來(lái)源：

微軟官網(wǎng)，浙商證券研究所在對(duì)話(huà)上下文中提供實(shí)時(shí)摘要和操作項(xiàng)，進(jìn)行會(huì)議內(nèi)容總結(jié)，提醒可能錯(cuò)過(guò)的東西如果參加會(huì)議時(shí)間較晚，copilot會(huì)提供一份錯(cuò)過(guò)的內(nèi)容摘要，從而提高會(huì)議效率Google在各模態(tài)領(lǐng)域布局AI模型，并提供多項(xiàng)功能服務(wù)模塊02Flamingo

圖像-文本LOLNerf 2D圖像-3D圖像Parti

文本-圖像Phenaki 文本-視頻類(lèi)別模型功能計(jì)算機(jī)視覺(jué)Pix2Seq用于對(duì)象檢測(cè)的語(yǔ)言建?？蚣芏嗄Ｊ侥Ｐ虳eViSE視覺(jué)語(yǔ)義嵌入LiT將語(yǔ)義理解添加到圖像模型PaLI多語(yǔ)種語(yǔ)言圖像學(xué)習(xí)FindIt基于自然語(yǔ)言的通用對(duì)象定位VDTTS視覺(jué)驅(qū)動(dòng)的文本到語(yǔ)音音頻生成AudioLM基于語(yǔ)言建模的音頻生成26來(lái)源：CSDN，新浪，Google

Parti，浙商證券研究所官方開(kāi)源多個(gè)多模態(tài)模型國(guó)內(nèi)AI大模型，大廠(chǎng)+高校將主導(dǎo)未來(lái)02大模型的主要玩家有科技大廠(chǎng)、高校和新型研發(fā)機(jī)構(gòu)，形成了四種合作模式（1）大廠(chǎng)獨(dú)立完成（2）機(jī)構(gòu)+高校（3）大廠(chǎng)+高校（4）大廠(chǎng)+機(jī)構(gòu)+高校。大廠(chǎng)通過(guò)資金優(yōu)勢(shì)、數(shù)據(jù)優(yōu)勢(shì)往往可以獨(dú)立完成或主導(dǎo)合作。機(jī)構(gòu)憑借行業(yè)領(lǐng)袖的團(tuán)隊(duì)和政府的資金支持，可以主導(dǎo)合作。而高校憑借行業(yè)領(lǐng)袖的團(tuán)隊(duì)提供科研能力支持。過(guò)去來(lái)看，由于大廠(chǎng)受到商業(yè)任務(wù)限制，資金和數(shù)據(jù)優(yōu)勢(shì)未能充分發(fā)揮。而未來(lái)，在ChatGPT之后，經(jīng)過(guò)驗(yàn)證的模式鋪平商業(yè)決策之路，將逐步成為未來(lái)大模型的主導(dǎo)力量?？蒲心芰?yōu)勢(shì)無(wú)商業(yè)任務(wù)資金優(yōu)勢(shì)科研能力優(yōu)勢(shì)無(wú)商業(yè)任務(wù)資金優(yōu)勢(shì)數(shù)據(jù)優(yōu)勢(shì)高校大廠(chǎng)新型研發(fā)機(jī)構(gòu)27數(shù)據(jù)來(lái)源：

CSDN、電子工程世界、新智元，浙商證券研究所資金優(yōu)勢(shì)：算力、數(shù)據(jù)數(shù)據(jù)優(yōu)勢(shì)：數(shù)據(jù)科研能力：模型百度：文心大模型0228坐擁大模型+訓(xùn)練框架+數(shù)據(jù)+社區(qū)多重優(yōu)勢(shì)，百度有望成為AIGC領(lǐng)域率先實(shí)現(xiàn)商業(yè)化的領(lǐng)頭羊。自2019年發(fā)布ERNIE

1.0，百度持續(xù)投入大模型的技術(shù)創(chuàng)新與產(chǎn)業(yè)應(yīng)用，布局了NLP、CV、跨模態(tài)等大模型，率先提出行業(yè)大模型，成了支撐大模型產(chǎn)業(yè)落地的關(guān)鍵路徑，構(gòu)建文心大模型層、工具平臺(tái)層、產(chǎn)品與社區(qū)三層體系。根據(jù)IDC的大模型評(píng)分，在產(chǎn)品能力、生態(tài)能力和應(yīng)用能力三個(gè)維度上百度均位于第一梯隊(duì)，且在生態(tài)維度遠(yuǎn)高于平均水平，這得益于百度的大模型框架“飛槳”、旸谷社區(qū)。百度于2023年3月發(fā)布“文心一言”，成為首款中文生成式對(duì)話(huà)大模型產(chǎn)品。文心大模型與產(chǎn)品框架文心大模型評(píng)分?jǐn)?shù)據(jù)來(lái)源：文心官網(wǎng)，IDC，浙商證券研究所。產(chǎn)品與社區(qū)文心一格AI藝術(shù)和創(chuàng)意輔助平臺(tái)文心百中大模型驅(qū)動(dòng)的產(chǎn)業(yè)級(jí)搜索系統(tǒng)旸谷社區(qū)大模型創(chuàng)意與探索社區(qū)工具與平臺(tái)EasyDL-大模型零門(mén)檻AI開(kāi)發(fā)平臺(tái)BML-大模型全功能AI開(kāi)發(fā)平臺(tái)大模型API文心大模型大模型套件數(shù)據(jù)標(biāo)注與處理大模型精調(diào)大模型壓縮高性能部署場(chǎng)景化工具行業(yè)大模型國(guó)網(wǎng)-百度·文心浦發(fā)-百度·文心航天-百度·文心人民網(wǎng)-百度·文心冰城-百度·文心深燃-百度·文心吉利-百度·文心泰康-百度·文心TCL-百度·文心辭海-百度·文心電影頻道-百度·文心行業(yè)大模型醫(yī)療

ERNIE-Health行業(yè)大模型行業(yè)大模型金融ERNIE-Finance對(duì)話(huà)PLATO搜索ERNIE-Search信息抽取

ERNIE-UIE跨語(yǔ)言ERNIE-M代碼ERNIE-Code圖網(wǎng)絡(luò)ERNIE-Sage語(yǔ)言理解與生成ERNIE3.0

TinyERNIE

3.0鵬城-百度·文心ERNIE3.0

Zeus商品圖文搜索表征學(xué)習(xí)

VIMER-UMSOCR圖像表征學(xué)習(xí)

VIMER-StrucText多任務(wù)視覺(jué)表征學(xué)習(xí)

VIMER-UFO視覺(jué)處理多任務(wù)學(xué)習(xí)VIMER-TCIR自監(jiān)督視覺(jué)表征學(xué)習(xí)VIMER-CAE文圖生成ERNIE-ViLG文檔智能ERNIE-Layout視覺(jué)-語(yǔ)言ERNIE-ViL語(yǔ)音-語(yǔ)言ERNIE-ViL地理-語(yǔ)言ERNIE-GeoL生物計(jì)算大模型化合物表征學(xué)習(xí)HelixGEM蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)HelixFold單序列蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)HelixFold-Single基于BERT衍生百度文心大模型，料將推出對(duì)話(huà)系統(tǒng)文心一言0229注：ERNIE（Enhanced

language

Representation

with

Informative

Entities）ERNIE

1.0架構(gòu)：改進(jìn)了MLM任務(wù)ERNIE

2.0：+持續(xù)學(xué)習(xí)框架ERNIE

3.0、3.0TITAN：+參數(shù)量ERNIE版本1.02.03.03.0TITAN推出年份2019202020212022參數(shù)量參考bert

base(1.1億)參考bert

base(1.1億)，bert

large（3.4億）100億2608億預(yù)訓(xùn)練數(shù)據(jù)量Wiki，baike，news，tiebawiki，news，dialogue，IR，discourse

relation4TB-數(shù)據(jù)來(lái)源：CSDN，電子工程世界，浙商證券研究所。阿里巴巴：通義大模型訓(xùn)練策略和框架上領(lǐng)先行業(yè)0230阿里巴巴率先構(gòu)建大模型統(tǒng)一底座、通過(guò)訓(xùn)練策略大幅提升稀疏參數(shù)大模型框架訓(xùn)練效率，在大模型框架上具備領(lǐng)先地位。阿里巴巴2021年3月發(fā)布M6，成為國(guó)內(nèi)最早提出千億模型的廠(chǎng)商，同年發(fā)布十萬(wàn)億