2023Chat-GPT看AI技術(shù)變革產(chǎn)業(yè)化_第1頁
2023Chat-GPT看AI技術(shù)變革產(chǎn)業(yè)化_第2頁
2023Chat-GPT看AI技術(shù)變革產(chǎn)業(yè)化_第3頁
2023Chat-GPT看AI技術(shù)變革產(chǎn)業(yè)化_第4頁
2023Chat-GPT看AI技術(shù)變革產(chǎn)業(yè)化_第5頁
已閱讀5頁,還剩15頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

2023年3月1日從ChatGPT看AI技術(shù)變革&產(chǎn)業(yè)化全球部分應(yīng)用從上線到用戶數(shù)突破1億花費(fèi)時間(月)ChatGPT在全球市場快速流行7817061554130920102030405060708090谷歌翻譯UberTelegramShopifyPinterestInstagramTiktokChatgptChatgpt模型調(diào)優(yōu)過程ChatGPT創(chuàng)新:工程實(shí)踐,高數(shù)據(jù)質(zhì)量+RLHF2ChatGPT推理任務(wù)成本測算表3ChatGPT局限性:數(shù)據(jù)實(shí)時性、問答準(zhǔn)確性、計算成本等假設(shè):模型Layers96假設(shè):模型Hidden

Size12288假設(shè):Batch

Size18XA100

80GB

算力PetaFLOPS5FLOPs

Utilization30%生成1個token需要內(nèi)存(Bytes)2.61E+118XA100

80GB

帶寬TB/s4.8帶寬損耗15%帶寬限制生成一個Token的時間(s)0.064加載參數(shù)權(quán)重需要的時間(s)0.015加載權(quán)重時Input長度367算力計算一個Token的時間(s)1.7*10^-4算力密度臨界值320每次回答需要生成Token200單次請求生成時間(s)12.228xA100服務(wù)器成本(美元/小時)8單次生成理論最高成本(美分)2.7人工智能技術(shù)成熟度曲線生成式AI技術(shù)成熟度4科技巨頭技術(shù)儲備部分科技公司企業(yè)大語言模型(LLM)列表模型模型參數(shù)(個)OpenAIGPT31750億谷歌LaMDA1370億MetaLLaMA6500億華為盤古2000億微軟&英偉達(dá)Megatron-LM5300億阿里巴巴M610萬億百度文心2600億騰訊混元1000億DeepmindSparrow700億AI算法模型演進(jìn)歷程5數(shù)據(jù)來源:中信證券研究部繪制(含預(yù)測)ChatGPT影響:科技巨頭軍備競賽部分科技企業(yè)近期在AI領(lǐng)域動態(tài)6公司時間事件百度2023.1.10將于3月在中國推出“生成式搜索”人工智能機(jī)器人2023.1.28發(fā)布生成式AI音樂模型MusicLM谷歌2023.1.30向人工智能初創(chuàng)公司Anthropic

AI投資約3億美元2023.2.3“未來幾周或幾個月”推出類似ChatGPT的基于人工智能的大型語言模型2023.1.23開啟對OpenAI的第三輪投資微軟2023.2.2宣布將OpenAI相關(guān)產(chǎn)品導(dǎo)入旗下云計算、Office、Bing、VivaSales等產(chǎn)品中數(shù)據(jù)來源:谷歌官網(wǎng)AIGC能力進(jìn)化預(yù)測ChatGPT影響:

AI生成內(nèi)容時代到來7ChatGPT影響:

AI產(chǎn)業(yè)化進(jìn)程加速End-to-End

AppsEnd-userfacingapplicationswithproprietary

modelsExamples:Midjourney,

RunwayAppsEnd-userfacingB2BandB2CapplicationswithoutproprietarymodelsExamples:Jasper,Github

CopilotClosed-SourceFoundation

ModelsLarge-scale,pre-trainedmodelsexposedvia

APIsExamples:GPT-3

(OpenAl)Model

HubsPlatformstoshareandhost

modelsExamples:HuggingFace,

ReplicateOpen-SourceFoundation

ModelsModelsreleasedastrained

weightsExamples:StableDiffusion

(Stability)Cloud

PlatformsComputehardwareexposedtodevelopersinaclouddeploymentmodelExamples:AWS,GCP,Azure,

CoreweaveCompute

HardwareAcceleratorchipsoptimizedformodeltrainingandinferenceworkloadsExamples:GPUs(Nvidia),TPUs

(Google)8芯片:技術(shù)進(jìn)步持續(xù)落后于需求增長AI模型和硬件的發(fā)展曲線,和算力的需求和供給情況9芯片:和算法相互影響、相互促進(jìn)英偉達(dá)Hopper架構(gòu)融入Transformer算法10芯片:中長期市場展望11商用搜索需求拉動量化測算類別數(shù)據(jù)全球商用搜索每天調(diào)用次數(shù)(億)100.0語言模型滲透率10%單次生成成本(美分)0.8用戶調(diào)用成本/天(百萬美元)8.0需要的HGX服務(wù)器數(shù)量(萬臺)6.0對應(yīng)的A100顯卡數(shù)量(萬張)47.6單張A100卡價格(萬美元)1.5對應(yīng)資本開支(億美元)71.4大模型訓(xùn)練環(huán)節(jié)需求拉動測算構(gòu)建&維護(hù)大模型企業(yè)&機(jī)構(gòu)數(shù)102050100單個企業(yè)&機(jī)構(gòu)維護(hù)大模型數(shù)量2222對應(yīng)大模型數(shù)量2040100200單個模型對應(yīng)HGX數(shù)量256256256256單個模型對應(yīng)A100卡數(shù)量2048204820482048對應(yīng)A100卡需求數(shù)量(萬張)4.0968.19220.4840.96單張A100卡價格(萬美元)1.51.51.51.5對應(yīng)資本開支(億美元)6.112.330.761.4芯片:國內(nèi)企業(yè)快速崛起全球AI芯片市場部分廠商列表國內(nèi)GPU相關(guān)部分企業(yè)梳理12企業(yè)名稱成立時間代表性產(chǎn)品應(yīng)用場景摩爾線程2020蘇堤圖形渲染、AI計算芯動科技2007風(fēng)華二號圖形渲染、AI計算及科學(xué)計算龍芯中科20017A2000圖形渲染芯瞳2019Genbu01圖形渲染海光信息2014深算一號AI訓(xùn)練、推理及科學(xué)計算壁仞科技2019BR100云端推理、訓(xùn)練及科學(xué)計算寒武紀(jì)2016思元370/220云、邊的推理和訓(xùn)練登臨科技2017Goldwasser云、邊的推理和訓(xùn)練鯤云科技2016CAISA芯片云、邊數(shù)量流推理瀚博2018SV100云、端AI推理天數(shù)智芯2015BI云端訓(xùn)練燧原科技2018云燧i20云端推理阿里巴巴2018含光800云端推理墨芯2021ANTOUM云端推理沐曦科技2020MXN云端推理華為海思2004昇騰910邊緣計算AI昆侖芯20112代加速芯片AI計算華夏芯2014可編程AI加速卡AI計算算力平臺:云廠商是理想的承載者公司部分云計算巨頭AI平臺框架技術(shù)平臺/框架GoogleTensorFlow系統(tǒng)、Cloud

Machine

Learning

EngineAmazonAWS分布式機(jī)器學(xué)習(xí)平臺MicrosoftDMTK、Bot框架騰訊騰訊云平臺、Angel、NCNN百度Paddle-Paddle阿里PAI

2.0阿里云人工智能平臺資料來源:各公司官網(wǎng),中信證券研究部13深度學(xué)習(xí)模型體積不斷擴(kuò)大(2015~2022)算法模型:體積scale,理論創(chuàng)新+工程實(shí)踐14算法模型:Foundation

Model基礎(chǔ)模型基礎(chǔ)模型五個關(guān)鍵特性:

表現(xiàn)能力(expressivity)、可擴(kuò)展性(scalability);、多模態(tài)(multimodality);記憶能力(memory

storage)、組合性(compositionality)15應(yīng)用場景:AIGCAI+內(nèi)容生成16應(yīng)用場景:企業(yè)軟件企業(yè)應(yīng)用中平均嵌入的AI能力數(shù)量00.511.5

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論