Chatgpt帶來算力芯片投資機會展望_第1頁
Chatgpt帶來算力芯片投資機會展望_第2頁
Chatgpt帶來算力芯片投資機會展望_第3頁
Chatgpt帶來算力芯片投資機會展望_第4頁
Chatgpt帶來算力芯片投資機會展望_第5頁
已閱讀5頁,還剩33頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

3目錄一、AIGC引發(fā)內容生成范式革命,云端算法向大模型多模態(tài)演進二、硬件基礎設施為發(fā)展基石,算力芯片等環(huán)節(jié)核心受益三、國產廠商迎來發(fā)展窗口期,建議關注各環(huán)節(jié)龍頭廠商四、附錄4人工智能落地應用不斷增加,AIGC引發(fā)范式革命資料來源:騰訊研究院,中信建投云端推理占比逐步提升,AI落地應用數(shù)量增加。隨著數(shù)字經濟、元宇宙等概念逐漸興起,各行業(yè)對人工智能開發(fā)的需求日益提升,人工智能進入大規(guī)模落地應用的關鍵時期。2022年在云端部署的算力里,推理占算力已經達到了58.5%,訓練占算力只有41.5%,預計到2026年,推理占到62.2%,訓練占37.8%。一般來講,應用完成推理之后就可以進行部署,而云端推理占比逐步提升說明,AI落地應用數(shù)量正在不斷增加,人工智能模型將逐步進入廣泛投產模式。AIGC是人工智能成熟度的分水嶺,引發(fā)范式革命。AI模型可大致分為決策式AI和生成式AI兩類,決策式AI根據(jù)已有數(shù)據(jù)進行分析、判斷、預測,已經被廣泛應用;生成式AI學習歸納已有數(shù)據(jù)后進行演繹,基于歷史進行模仿式、縫合式創(chuàng)作,生成了全新的內容,也能解決判別問題。從決策到生成,AI技術與應用迎來跨越發(fā)展。內容生產模式從專業(yè)生成內容(PGC)和用戶生成內容(UGC)逐漸過渡向AIGC階段,標志著人類第二次腦力效率的飛躍。圖表:云端推理占比逐步提升 圖表:AIGC引發(fā)內容生成范式革命100%90%80%70%60%50%40%30%20%10%0%2020 20212024202520262022 2023訓練 推理資料來源:IDC5ChatGPT是AIGC的開山之作,成為人工智能里程碑式產品ChatGPT是OpenAI推出的自然語言處理類(NLP)AIGC應用。Chatgpt橫空出世,成為AIGC的開山之作。ChatGPT是美國OpenAI研發(fā)的聊天機器人程序,于2022年11月30日發(fā)布,是一款人工智能技術驅動的自然語言處理工具,能夠通過理解和學習人類的語言來進行對話,還能根據(jù)聊天的上下文進行互動,甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼,寫論文等任務。ChatGPT成為人工智能技術在快速發(fā)展過程中的里程碑式產品。ChatGPT一經推出便快速獲得了全球用戶前所未有的廣泛參與與認可,推出兩個月后月活躍用戶規(guī)模達到

1

億人,遠超過

Facebook、抖音等成為了過去以來增長速度最快的消費者應用程序。ChatGPT

被視為標志性人工智能生產力工具,甚至被視為第四次工業(yè)革命開始的標志。圖表:平臺突破1億月度用戶所用時間(月) 圖表:ChatGPT

原理概覽資料來源:UBS,HTI資料來源:OpenAI293041556170789080706050403020100ChatGPTTikTokInstagram

PinterestSpotifyTelegramUberGoogleTranslate6GPT架構快速迭代,參數(shù)量與訓練數(shù)據(jù)量提升帶來性能飛躍ChatGPT是基于GPT架構開發(fā)的對話AI模型,參數(shù)量與訓練數(shù)據(jù)量的提升帶來性能飛躍。OpenAI早在2018年就已經推出第一代生成式預訓練語言模型GPT(Generative

Pre-trained

Transformer),可用于生成文章、代碼、機器翻譯、問答等各類內容,此后GPT模型快速迭代,并且伴隨著參數(shù)量的爆炸式增長,從GPT到GPT-3,參數(shù)量達到了1750億,增長了近1500倍,預訓練數(shù)據(jù)量更是從5GB提升到了45TB,

2023年3月推出的多模態(tài)大模型GPT-4參數(shù)量甚至預測達到100萬億。而隨著參數(shù)量和預訓練數(shù)據(jù)量的提升,模型的性能實現(xiàn)了飛躍式提升。圖表:預訓練模型參數(shù)規(guī)模與所需算力快速增加資料來源:做AI做的事兒,中信建投圖表:GPT家族的演進資料來源:架構師技術聯(lián)盟,中信建投模型發(fā)布時間參數(shù)量預訓練數(shù)據(jù)量GPT2018.61.17億約5GBGPT-22019.215億40GBGPT-32020.51750億45TBGPT-42023.3未公布未公布GPT-5?十萬億級?GPT-3.5采用海量參數(shù)預訓練,大模型成為AI發(fā)展新范式資料來源:IDC7資料來源:各公司公告,中信建投ChatGPT是基于GPT-3.5微調得到的大型語言模型。GPT-3.5采用深度學習transformer模型,對大規(guī)模數(shù)據(jù)進行預訓練,相比于一般的語言模型,參數(shù)量大幅提升至1750億,所需要的算力呈指數(shù)級增長。根據(jù)OpenAI,GPT-3.5在AzureAI超算基礎設施(由V100GPU組成的高寬帶集群)上進行訓練,總算力消耗約3640PF-days(即每秒一千萬億次計算,運行3640個整日)。大模型訓練性能突出,各大科技廠商積極布局。預訓練大模型基于“預訓練+精調”等新開發(fā)范式具有良好的通用性和泛化性,可通過零樣本、小樣本學習獲得領先效果,大幅加速人工智能大規(guī)模產業(yè)化進程。自2020年起,中國的大模型數(shù)量驟增,僅2020年到2021年,中國大模型數(shù)量就從2個增至21個,和美國量級同等,大幅領先于其他國家??梢灶A見,以谷歌的BERT、OpenAI的GPT和百度的文心一言為代表的大模型,未來將成為智能化升級中可大規(guī)模復用的重要基礎設施。圖表:深度語言模型的參數(shù)數(shù)量呈指數(shù)級增長 圖表:中國大模型生態(tài) 圖表:國內公司積極布局大模型資料來源:HEITS.DIGITAL公司大模型模型底座NLP大模型CV大模型多模態(tài)大模型特色百度文心大模型飛架PaddlePaddle深度學習平臺文心NLP大模型(ERNIE3.0)文心CV大模型(VIMER系列)文心跨模態(tài)大模型(ERNIE變體)構建了文心大模型層、工具平臺層、產品與社區(qū)三層體系騰訊混元大模型太極機器學習平臺HunYuan-NLPHunYuan-vcrHunYuan

tvr、太極文生圖廣告類應用表現(xiàn)出色阿里通義大模型M6-OFA通義-AliceMind通義-視覺通義-M6鉤建了AI統(tǒng)一底座華為盤古大模型ModelArts盤古NLP大模型盤古CV大模型暫未上線發(fā)揮Model-as-a-serviceGPT-4性能升級,多模態(tài)加速邁向通用人工智能資料來源:OPEN

AI多模態(tài)大模型GPT-4震撼發(fā)布,性能實現(xiàn)大幅提升。3月15日,GPT-4正式發(fā)布,多模態(tài)大模型進化更進一步,其不僅在語言處理能力上提高,如文字輸入限制提升至2.5萬字,并能夠生成歌詞、創(chuàng)意文本、實現(xiàn)風格變化,還具備對圖像的理解和分析能力,能基于圖片進行總結和回答問題。在各種專業(yè)和學術基準測試中已做到人類水平的表現(xiàn),如SAT拿下700分,GRE幾乎滿分,模擬律師考試GPT4分數(shù)占前10%,GPT-3僅為倒數(shù)10%。

GPT-4的出現(xiàn)標志著當前已經從語言模型突破走向多模態(tài)模型,應用前景廣闊。多模態(tài)大模型大勢所趨,應用場景極大豐富。多模態(tài)大模型可整合圖像、語音、文本等輸入輸出方式,實現(xiàn)對多種類型和模態(tài)數(shù)據(jù)的學習、分析及生成,有望極大豐富人機交互場景??梢钥吹?,多模態(tài)大模型將充分發(fā)揮人工智能創(chuàng)造價值的潛力,賦能各行各業(yè)實現(xiàn)降本增效,甚至加速邁向通用人工智能的步伐。圖表:GPT-4的圖文輸入輸出相為結合 圖表:多模態(tài)大模型應用框架8資料來源:AIGC時代的多模態(tài)知識工程思考與展望,中信建投9算法向多模態(tài)大模型演變帶來算力資源消耗快速上升ChatGPT采用大模型算法要求大規(guī)模算力等AI基礎設施支持。

ChatGPT基于transformer模型,并改進訓練算法,一方面采用大量數(shù)據(jù)信息分析訓練,模型參數(shù)高達1750億,另一方面要求海量數(shù)據(jù)下并行計算的能力,需要消耗巨大的算力才能支持這種大模型的訓練和內容生產。具體舉例,OpenAI訓練使用了10000張英偉達訓練卡,而訓練1750億參數(shù)的GPT-3,需要一個英偉達V100

GPU計算約355年,且需要增加并行度;此外175B模型需要顯存按全精度預估在700GB左右,需要10張左右80GBA100卡。生成式AI主要依賴于人工智能大模型,參數(shù)達數(shù)十億至數(shù)萬億個,需要龐大的數(shù)據(jù)集進行訓練,致使AI算力的需求也呈現(xiàn)出指數(shù)級的增長。圖表:ChatGPT等AIGC應用采用大模型算法,需要對應的AI基礎設施支持時間機構模型名稱模型規(guī)模數(shù)據(jù)規(guī)模單塊V100計算時間2018.6OpenAlGPT110M4GB3天2018.10谷歌BERT330M16GB50天2019.2OpenAlGPT-21.5B40GB200天2019.7臉書RoBERTa330M160GB3年2019.10谷歌T511B800GB66年2020.6OpenAlGPT-3175B2TB355年圖表:預訓練模型參數(shù)規(guī)模與所需算力快速增加資料來源:做AI做的事兒,中信建投資料來源:甲子光年,中信建投算力硬件數(shù)據(jù)中心AI服務器基礎芯片加速芯片CPUGPUFPGAASICNPU應用數(shù)據(jù)算法數(shù)據(jù)軟件互聯(lián)網醫(yī)療金融制造教育城市人工智能產業(yè)鏈四、附錄一、AIGC引發(fā)內容生成范式革命,云端算法向大模型多模態(tài)演進11目錄二、受益環(huán)節(jié)三、國產廠商迎來發(fā)展窗口期,建議關注各環(huán)節(jié)龍頭廠商二、硬件基礎設施為發(fā)展基石,算力芯片等環(huán)節(jié)核心受益12AI要求大規(guī)模智能算力,硬件基礎設施成為發(fā)展基石資料來源:IDC資料來源:IDC31.775155.2268427640.7922.81271.402004006008001000120014002019 2020202120222023202420252026以算力芯片為核心的硬件基礎設施是AI發(fā)展的基石。算力芯片等硬件基礎設施是處理數(shù)據(jù)“燃料”的“發(fā)動機”,只有達到一定水平的算力性能才能實現(xiàn)人工智能的訓練和推斷以及存儲、傳輸?shù)认嚓P配套功能。人工智能的云端訓練和推斷計算主要基于AI服務器,對算力/存力/運力/散熱性能要求更高,帶動算力芯片、配套硬件、機箱等設施不斷升級。中國智能算力規(guī)模正在高速增長,算力芯片等硬件基礎設施需求旺盛。根據(jù)IDC數(shù)據(jù),2021年中國智能算力規(guī)模達155.2

每秒百億億次浮點運算(EFLOPS),2022年智能算力規(guī)模將達到268.0

EFLOPS,預計到2026年智能算力規(guī)模將進入每秒十萬億億次浮點計算(ZFLOPS)級別,達到1,271.4EFLOPS,2021-2026年復合增長率達52.3%。預計中國人工智能支出中硬件占比將保持最大,未來5年將一直保持65%左右的份額??春肁I大模型訓練及推理需求創(chuàng)造的算力芯片等硬件基礎設施的增量市場空間。圖表:中國智能算力規(guī)模及預測,2019-2026 圖表:中國人工智能支出中硬件、軟件、服務占比及趨勢百億億次浮點運算/秒(EFLOPS)13算力:CPU不可或缺,CPU+xPU異構方案成為大算力場景標配CPU的性能提升已遭遇瓶頸。過去40年間,在指令集簡化、核心數(shù)增加、制程微縮、架構改進等技術變革的推動下,CPU的性能已經提升接近5萬倍,但不可避免的邊際效應遞減。在上世紀90年代,CPU性能每年提升52%,性能翻倍只需要1.5年。而從2015年之后,CPU性能每年提升只有3%,需要20年才能性能翻倍。CPU在現(xiàn)代計算系統(tǒng)中仍不可或缺,CPU+xPU的異構方案成為大算力場景標配。CPU受制成本功耗難以匹配AI對算力需求的高速增長,CPU+AI芯片的異構方案應運而生,AI芯片類型包括GPU、FPGA和NPU等。其中,CPU是圖靈完備的,可以自主運行,而GPU、FPGA等芯片都是非圖靈完備的,都是作為CPU的加速器而存在,因此其他處理芯片的并行計算系統(tǒng)均為CPU+xPU的異構并行。圖表:CPU性能提升速度放緩 圖表:CPU+AI芯片的異構計算方案資料來源:《A

New

GoldenAge

for

Computer

Architecture》資料來源:華為,中信建投14算力:GPU并行計算優(yōu)勢明顯,充分受益于AI算力需求增長GPU削弱控制能力,布局更多計算單元以加強算力。從計算資源占比角度看,CPU包含大量的控制單元和緩存單元,實際運算單元占比較小。GPU則使用大量的運算單元,少量的控制單元和緩存單元。GPU的架構使其能夠進行規(guī)模化并行計算,尤其適合邏輯簡單,運算量大的任務。CPU+GPU是目前最流行的異構計算系統(tǒng),在HPC、圖形圖像處理以及AI訓練/推理等場景得到廣泛應用。根據(jù)IDC數(shù)據(jù),2021年中國AI芯片市場中,GPU市占率近90%。圖表:2021年中國AI芯片市場規(guī)模占比資料來源:IDC資料來源:NVIDIA89.0%9.6%1.0%0.4%GPUNPUASICFPGA圖表:CPU+GPU異構計算服務器拓撲圖表:CPU與GPU架構對比算力:NPU在特定場景下的性能、效率優(yōu)勢明顯,推理端應用潛力巨大資料來源:焉知智能汽車,中信建投資料來源:焉知智能汽車,中信建投NPU在人工智能算法上具有較高的運行效率。在CPU與GPU合作時,CPU負責神經網絡模型的構建和數(shù)據(jù)流的傳遞,GPU只是單純的并行矩陣乘法和加法運算。在CPU與NPU合作時,CPU將編譯好的神經網絡模型文件和權重文件交由NPU加載,完成硬件編程,NPU為每層神經元計算結果不用輸出到主內存,而是按照神經網絡的連接傳遞到下層神經元繼續(xù)計算,因此其在運算性能和功耗上都有很大的提升。NPU為特定要求而定制,在功耗、體積方面具有優(yōu)勢,在推理端應用潛力巨大。NPU作為專用定制芯片ASIC的一種,是為實現(xiàn)特定要求而定制的芯片,芯片設計邏輯更為簡單。除了不能擴展以外,在功耗、可靠性、體積方面都有優(yōu)勢,尤其在高性能、低功耗的移動端。未來隨著人工智能推理端的發(fā)展,NPU應用潛力巨大。圖表:CPU與GPU合作工作流程 圖表:CPU與NPU合作工作流程9548720050500 1000 1500 2000 2500Samsung

S8(CPU)iphone7

Plus(CPU+GPU)HuaweiKirin

970(CPU+GPU+NPU)ImagesRecognizedPer

Minute16算力:大模型多模態(tài)發(fā)展,硬件需求從GPU擴展至周邊編解碼硬件GPT-4升級指引多模態(tài)發(fā)展方向,音視頻編解碼模塊作為算力補充有望獲得重視。GPT-4相比上代版本在語言處理能力上進一步提升的同時,還能支持識別和理解圖像,并輸出文本內容。展望未來,多模態(tài)應當具備三個基本組成部分,第一部分是圖像,視頻為多幀的圖像;第二部分為音頻;第三部分為文字。因此,隨著多模態(tài)的發(fā)展,在硬件算力層面,需要面向圖像、音頻再增加編解碼能力的支持,相關的模塊包括VPU(Video

Process

Unit)、NPU等。從難度上講,視頻對于算力和IP復雜度的要求最高,其次為音頻。資料來源:谷歌,中信建投圖表:谷歌VPU內含多顆視頻編解碼核心圖表:麒麟970搭配NPU,在圖像識別速度上優(yōu)于同代競品資料來源:THE

TECH

REVOLUTIONIST17算力:Chiplet為后摩爾定律時代的創(chuàng)新,為先進制程的高性價比替代方案后摩爾時代Chiplet封裝為芯片制造提供了性能與成本平衡的最佳方案,并可大幅提升制造良率。在AIGC對芯片算力持續(xù)提出更高需求的同時,芯片廠商在升級迭代產品時也需要考慮技術、成本的綜合限制。Chiplet(芯粒)是一種可平衡計算性能與成本,提高設計靈活度,且提升IP模塊經濟性和復用性的新技術之一。將大芯片拆解成多顆芯粒分別制造,其中異構芯片可以使用針對已實現(xiàn)功能進行成本和性能優(yōu)化的工藝技術,再輔以2.5D/3D等先進封裝技術,有利于提升制造良率與單位體積內晶體管密度。因此近幾年全球晶圓制造廠商積極發(fā)展先進封裝工藝,并且增加2.5D和3D封裝的資本開支,在后摩爾定律時代布局Chiplet成為半導體行業(yè)發(fā)展的必然趨勢。資料來源:IPnest圖表:基于Chiplet的異構應用處理器圖表:Chiplet進行2.5D/3D封裝資料來源:芯原股份,中信建投圖表:芯片尺寸對良率的影響資料來源:Synopsys算力:評判算力芯片三大核心指標——計算能力、顯存、互聯(lián)帶寬計算能力決定運算時間,算力越大完成大模型訓練或者推理的時間越短INT8與FP16算力是AI計算中較為重要的評價指標。依照精度差異,算力可從INT8(整數(shù)類型)、FP16(半精度)、FP32(單精度)、FP64(雙精度)等不同維度對比。與科學計算需求不同,AI應用處理的對象主要是語言、圖片或視頻,運行低精度甚至整形計算即可完成推理和訓練。在AI推理端,8bit已經成熟,以谷歌TPU為代表的商用硬件開始大規(guī)模使用;在AI訓練端,16bit混合精度逐漸成熟,商用硬件已出現(xiàn)Intel的NNP,NVIDIA的Tensor

core。資料來源:Intel資料來源:《Efficient

Method

and

Hardware

for

Deep

Learning》18圖表:低精度為AI計算帶來的好處圖表:不同精度計算消耗的能量和硅片面積計算精度及操作能量消耗相對值面積消耗相對值8bAdd1116b

Add2232b

Add3416bFP

Add133832bFP

Add301168b

Mult7832b

Mult1039716bFP

Mult374632bFP

Mult12321432bSRAMRead

(8KB)167-32bDRAM

Read21333-低精度帶來更少內存減少內存訪問更好匹配緩存數(shù)據(jù)快速搬移更小硅片面積減少晶體管數(shù)量減少能耗更高的每秒操作數(shù)更快的計算19算力:評判算力芯片三大核心指標——計算能力、顯存、互聯(lián)帶寬顯存用于存儲顯卡芯片處理或者即將提取的數(shù)據(jù)顯存容量決定卡的需求數(shù)量,

以ChatGPT為例,

假設模型以半精度350GB的模型大小推理的話,需要5張以上80GB

NVIDIA

A100算力卡并行計算以保證時效性;顯存帶寬決定了卡將數(shù)據(jù)從顯存移動到計算核心的速度。顯存的種類對帶寬有著明顯的影響。常規(guī)的GDDR焊接在GPU芯片周邊的PCB板上,HBM裸片通過TSV進行堆疊,然后HBM整體與GPU通過中介層互聯(lián),因此HBM獲得了極高的帶寬,并節(jié)省了PCB面積。目前,GDDR顯存仍是消費級GPU的行業(yè)標準,HBM則成為AI

GPU的主流選擇。資料來源:AMD圖表:GDDR與HBM差異圖表:HBM與GDDR性能差異案例資料來源:NVIDIAGPU型號NVIDIA

A30NVIDIA

A10發(fā)布時間20212021顯存種類HBM2GDDR6容量24GB24GB位寬3072-bit384-bit帶寬933

GB/s600

GB/s算力:評判算力芯片三大核心指標——計算能力、顯存、互聯(lián)帶寬互聯(lián)帶寬決定多卡互聯(lián)虛擬化時系統(tǒng)運行效率目前計算卡普遍采用PCIe進行互聯(lián),而PCIe互聯(lián)速度由其代際與結構決定,例如x16

PCIe

4.0單向帶寬為32GB/s。NVIDIA為突破限制,自研推出NVLINK技術,4代NVLINK互聯(lián)帶寬已達到900GB/s。A100對華禁售后,NVIDIA推出了A800,主要修改點就是將互聯(lián)速度由600GB/s下調至400GB/s,單卡性能沒有損失,但大規(guī)模擴展互聯(lián)性能將大幅受限。20資料來源:NVDIA資料來源:trentonsystems注:單向帶寬數(shù)據(jù)圖表:不同PCIe結構及代際差異圖表:NVDIA

NVLINK互聯(lián)技術圖表:A800與A100主要差異體現(xiàn)在互聯(lián)帶寬型號A100(80GB)A100(40GB)A80080GB

PCIe80GB

SXM40GB

PCIe40GB

SXM40GB

PCIe80GB

PCIe80GB

SXM制程7nm7nm算力INT8

Tensor624|1248

TOPS624|1248

TOPSFP16

Tensor312|624TFLOPS312|624

TFLOPS內存種類HBM2eHBM2HBM2e容量(GB)80404080位寬(bit)51205120帶寬(TB/s)1.942.041.561.561.561.942.04互聯(lián)NVLink:

600GB/sNVLink:

400GB/sx16PCIe4.0:

64GB/sx16PCIe4.0:

64GB/s代際發(fā)布時間傳輸速率*帶寬

x1帶寬x161.020032.5

GT/s250MB/s4GB/s2.020075.0

GT/s500MB/s8GB/s3.020108.0

GT/s1GB/s16GB/s4.0201716

GT/s2GB/s32GB/s5.0201932

GT/s4GB/s64GB/s6.0202164

GT/s8GB/s128GB/s21存力:要求更高的數(shù)據(jù)讀存性能,拉動存儲芯片需求2)從存力需求來看,大參數(shù)調用及海量數(shù)據(jù)讀存要求更強的存儲能力。ChatGPT需要很龐大的通用數(shù)據(jù)集,作為訓練數(shù)據(jù)的輸入,此外訓練與推理還需要大參數(shù)調用及海量數(shù)據(jù)讀存,數(shù)據(jù)存儲、訪問及傳輸速度對模型的訓練及推理效率存在顯著影響,因此對應需要相應的存儲服務器硬件設施,如溫冷存儲,數(shù)據(jù)訪問加速,數(shù)據(jù)湖等;以及對大容量存儲的需求,如AI服務器,除了內存需要128GB或更大容量的高性能HBM和高容量服務器DRAM,

還需硬盤去存儲大量數(shù)據(jù);另外還需要專門面向AI定制的一些存儲協(xié)議、訪問協(xié)議。根據(jù)IDC數(shù)據(jù),存儲在高性能/推理型/機器學習型服務器中的占比分別達29%/25%/16%。總體來看,AI服務器有望提高對高帶寬內存、企業(yè)級SSD的需求,支持服務器與SSD通信的NVMe-oF

協(xié)議也有望受益搭載使用。圖表:NMVe-oF助力存儲與服務器的連接通信資料來源:IDC,DRAMexchage,SIA資料來源:SSDFans20%19%25%8%15%3%10%8%15%28%15%8%23%27%25%67%27%23%25%9%100%90%80%70%60%50%40%30%20%10%0%基礎型高性能型推理型機器學習型圖表:服務器成本構成其他 storage memory GPU CPU22運力:需要更強的數(shù)據(jù)傳輸速率,推動光模塊技術升級3)從運力需求來看,AI需要更強的數(shù)據(jù)傳輸速率,帶動光通信技術升級。無論是部署之后的外部訪問,還是內部的數(shù)據(jù)翻譯,都要有非常高速的網絡連接線路或者交換機系統(tǒng)。數(shù)據(jù)中心場景下,光模塊主要用于服務器和交換機,以及各交換機之間的連接等,AI對網絡速率的需求是目前的10倍以上,將加速高速率光模塊產品出貨及CPO、硅光等新技術的應用。一方面,高速率光模塊將加速上量,根據(jù)LightCounting,800G光模塊將在23-24年開始規(guī)?;渴?;另一方面,傳統(tǒng)可插拔光模塊功耗制約凸顯,CPO可以減少約50%的功耗,將有效解決AI對于高速高密度互連傳輸要求,據(jù)LightCounting,到2027年CPO技術在AI集群與HPC滲透率將提升至30%。圖表:可插拔和CPO光模塊方案對比 圖表:光模塊的發(fā)展趨勢和技術路線資料來源:芯東西,中信建投資料來源:51CTO23其他:功耗提升散熱需求升級,芯片液冷市場發(fā)展?jié)摿薮?)從功耗與散熱來看,AI服務器需要高性能散熱系統(tǒng)。AI服務器功耗相對更高,根據(jù)《冷板式液冷服務器可靠性白皮書》,2022年英偉達單GPU芯片功耗突破700瓦,

8顆A100

服務器可達6000瓦左右,AI集群算力密度普遍達到50kW/柜。而采用風冷的數(shù)據(jù)中心通常僅可以解決12kW以內的機柜制冷,因此AI服務器的高能耗對數(shù)據(jù)中心的散熱系統(tǒng)提出了更高的要求。當前主流散熱方案正朝芯片級不斷演進,芯片級散熱方案主要有芯片級液冷技術、相變儲熱散熱技術、蒸發(fā)冷卻技術等。未來在國內AIGC產業(yè)快速發(fā)展帶動下,AI服務器市場規(guī)模有望持續(xù)擴大,而芯片級液冷作為極具發(fā)展?jié)摿Φ纳岱桨钢?,其需求有望隨之持續(xù)增加、規(guī)模不斷擴大。預計到2025年,國內AI服務器芯片級液冷市場規(guī)模有望達到百億元,行業(yè)發(fā)展?jié)摿薮蟆D表:數(shù)據(jù)中心冷卻方式效果評估表 圖表:單機柜功率密度與冷卻方式資料來源:賽迪顧問,中信建投資料來源:綠色高能效數(shù)據(jù)中心散熱冷卻技術研究現(xiàn)狀及發(fā)展趨勢,中信建投三、國產廠商迎來發(fā)展窗口期,建議關注各環(huán)節(jié)龍頭廠商四、附錄一、AIGC引發(fā)內容生成范式革命,云端算法向大模型多模態(tài)演進24目錄二、硬件基礎設施為發(fā)展基石,算力芯片等環(huán)節(jié)核心受益英偉達、AMD供應受限,國產算力芯片廠商迎來窗口期資料來源:NVIDIA,AMDNVIDIAAMD禁售產品A100H100MI100MI210MI250M250X發(fā)布時間2020年11月2022年3月2020年11月2022年3月2021年11月2021年11月架構設計AmpereHopperCDNA2CDNA2CDNA2CDNA2計算單元6912個CUDA內核18432個CUDA內核120個104個208個220個FP3219.5

TFLOPS51/67

TFLOPS23.1

TFLOPS22.6

TFLOPS45.3

TFLOPS47.9

TFLOPSFP16312

TFLOPS1513/1979

TFLOPS184.6

TFLOPS181

TFLOPS362

TFTOPS383

TFLOPSINT8624

TOPS3026/3958

TOPS184.6

TOPS181

TOPS362

TOPS383

TOPS工藝制程7nm4nm7nm6nm6nm6nm顯存容量80GB80GB32GB64GB128GB128GB顯存帶寬2093GB/s3TB/s1.2TB/s1.6

TB/s3.2TB/s3.2TB/s互聯(lián)NVLink600GB/sx16PCIe4.0:64

GB/sNVLink600/900GB/s

X16PCIe5.0:128GB/sPCIe3.0&

4.0PCIe3.0&

4.0PCIe

4.0PCIe

4.0功耗400W700W300W300W500&5602W5500&560W英偉達、AMD對華供應高端GPU芯片受限。美國對華半導體管制已經從最初針對某些公司擴大到對半導體整個行業(yè)的全面限制。2022年8月,英偉達被美國政府要求其停止向中國出口兩款用于人工智能的頂級計算芯片,其峰值性能和芯片到芯片的

I/O

性能等于或大于大致相當于

A100的閾值,即A100和H100兩款芯片都將受到影響。AMD也同樣被要求禁止將其MI100、MI200系列人工智能芯片出口到中國。當前2023年3月1日的延緩期已過,后續(xù)將無法向大陸市場出貨。國產算力芯片迎來國產替代窗口期。美國對中國半導體產業(yè)發(fā)展持續(xù)打壓背景下,英偉達、AMD斷供進一步激發(fā)算力芯片國產化需求。當前已經涌現(xiàn)出一大批國產算力芯片廠商,寒武紀、龍芯中科相繼推出自研GPU,海光信息的DCU(GPGPU)也逐漸打出知名度,其他配套環(huán)節(jié)的國產化進程也正在加速推進。圖表:NVIDIA與AMD被限制算力芯片性能情況26寒武紀:國內人工智能芯片領軍者寒武紀專注AI領域核心處理器,思元系列智能加速卡持續(xù)迭代。寒武紀成立于2016年,致力于打造人工智能領域的核心處理器芯片。寒武紀目前已推出了思元系列智能加速卡,第三代產品思元370基于7nm制程工藝,是寒武紀首款采用chiplet技術的AI芯片,最高算力達到256TOPS(INT8)。思元370還搭載了MLU-Link?多芯互聯(lián)技術,互聯(lián)帶寬相比PCIe

4.0提升明顯。思元590采用全新架構,性能相比在售旗艦有大幅提升。在2022年9月1日舉辦的WAIC上,寒武紀陳天石博士介紹了全新一代云端智能訓練芯片思元590,思元590采用MLUarch05全新架構,實測訓練性能較在售旗艦產品有了大幅提升,能提供更大的內存容量和更高的內存帶寬,其IO和片間互聯(lián)接口也較上代實現(xiàn)大幅升級。圖表:寒武紀思元系列智能加速卡參數(shù) 圖表:思元370系列板卡與業(yè)內主流GPU性能和能效對比資料來源:寒武紀,中信建投資料來源:寒武紀,中信建投型號思元370系列思元290系列思元270系列MLU370-X8MLU370-X4MLU370-S4MLU290-M5MLU270-S4MLU270-F4架構MLUarch03MLUv02ExtendedMLUv02制程7nm7nm算力INT8256

TOPS256

TOPS192

TOPS512

TOPS128

TOPS128

TOPSFP1696

TFLOPS96

TFLOPS72

TFLOPS顯存種類LPDDR5HBM2DDR4容量48GB24GB24GB32GB16GB位寬4096

bit256

bit帶寬614.4

GB/s307.2

GB/s307.2

GB/s1.23

TB/s102

GB/s互聯(lián)MLU-Link聚合帶寬:200

GB/s;x16

PCIeGen4:64GB/sx16

PCIeGen4:64

GB/sx16

PCIeGen4:64

GB/sMLU-Link聚合帶寬:600

GB/sx16

PCIeGen4:64

GB/s×16PCIeGen.3:32

GB/s功耗250W150W75W350W70w150w27寒武紀:持續(xù)完善軟件生態(tài),強化核心競爭力寒武紀重視自身軟硬件生態(tài)建設,為云邊端全系列智能芯片與處理器產品提供統(tǒng)一的平臺級基礎系統(tǒng)軟件。寒武紀的基礎系統(tǒng)軟件平臺主要包括訓練軟件平臺和推理軟件平臺。訓練軟件平臺支持豐富的圖形圖像、語音、推薦以及訓練任務,同時提供模型快速遷移方法,幫助用戶快速完成現(xiàn)有業(yè)務模型的遷移。對于推理軟件平臺,寒武紀新增推理加速引擎MagicMind,在

MLU、GPU、CPU

訓練好的算法模型上,借助MagicMind,用戶僅需投入極少的開發(fā)成本,即可將推理業(yè)務部署到寒武紀全系列產品上。圖表:寒武紀基礎軟件平臺圖表:訓練軟件平臺資料來源:寒武紀,中信建投圖表:推理加速引擎MagicMind資料來源:寒武紀,中信建投資料來源:寒武紀,中信建投28寒武紀:與產業(yè)端強強聯(lián)合,促進生態(tài)融合應用百度飛槳深度學習平臺正加強與主流人工智能芯片廠商聯(lián)合建設生態(tài)。百度飛槳集深度學習核心框架、基礎模型庫、端到端開發(fā)套件、工具組件和服務平臺于一體,包含完整的開發(fā)、訓練、推理的端到端深度學習AI模型開發(fā)工具鏈。其中,Paddle

Lite是一個可以在邊緣端、移動端和部分服務器端等場景下用于AI模型部署的高性能輕量化推理引擎。典型應用場景包括:智能閘機、智能家居、自動駕駛、AR/VR手機應用等。隨著在穩(wěn)定性、兼容性和成熟度等方面不斷升級,百度飛槳越來越重視與硬件廠商,尤其是與主流人工智能芯片廠商聯(lián)合進行生態(tài)建設。寒武紀與百度飛漿完成適配,加速AI多場景落地。2020年4月,思元270與PaddleLite正式完成兼容性適配。2022年12月,思元370系列在與百度飛漿完成II級兼容性測試,兼容性表現(xiàn)良好,整體運行穩(wěn)定,訓練性能可以滿足用戶的應用需求。寒武紀旗下人工智能芯片與百度飛漿的成功適配標志著寒武紀端云一體的人工智能芯片生態(tài),與百度飛槳代表的深度學習框架生態(tài)的成功融合。資料來源:寒武紀,中信建投圖表:寒武紀與百度飛槳完成兼容性測試海光信息:深算系列GPGPU提供高性能算力,升級迭代穩(wěn)步推進圖表:海光信息DCU產品形態(tài)海光8100芯片數(shù)據(jù)來源:海光信息招股說明書,中信建投DCU加速卡

深算一號圖表:海光信息8100主要規(guī)格海光DCU提供高性能算力。海光DCU也屬于GPGPU的一種,其構成與CPU類似,結構邏輯相對CPU簡單,但計算單元數(shù)量較多。海光DCU的主要功能模塊包括計算單元、片上網絡、高速緩存、各類接口控制器等。海光DCU可為應用程序提供高性能、高能效比的算力,支撐高復雜度和高吞吐量的數(shù)據(jù)處理任務。一代DCU已實現(xiàn)規(guī)?;N售,二代升級規(guī)劃穩(wěn)步推進。深算一號DCU產品目前已實現(xiàn)商業(yè)化應用。2020年1月,公司啟動了第二代DCU深算二號的產品研發(fā)工作,研發(fā)工作進展正常。圖表:海光信息DCU基本組成架構數(shù)據(jù)來源:海光信息招股說明書,中信建投數(shù)據(jù)來源:海光信息招股說明書,中信建投海光

8100典型功耗260-350W典型運算類型雙精度、單精度、半精度浮點數(shù)據(jù)和各種常見整型數(shù)據(jù)計算①60-64

個計算單元(最多

4096

個計算核心)②支持

FP64、FP32、FP16、INT8、INT4內存①4

HBM2

內存通道②最高內存帶寬為

1TB/s③最大內存容量為

32GBI/O①

16LanePCIeGen4②

DCU芯片之間高速互連海光信息:類“CUDA”環(huán)境降低遷移成本,軟硬件生態(tài)豐富數(shù)據(jù)來源:海光信息官網,中信建投海光DCU兼容類“CUDA”環(huán)境,方便CUDA用戶以較低代價快速遷移。海光DCU協(xié)處理器全面兼容ROCm

GPU計算生態(tài),由于ROCm和CUDA在生態(tài)、編程環(huán)境等方面具有高度的相似性,理論上講,市場上規(guī)模最大的GPGPU開發(fā)群體——CUDA用戶可用較低代價快速遷移至ROCm平臺,有利于海光DCU的市場推廣。同時,由于ROCm生態(tài)由AMD提出,AMD對ROCm生態(tài)的建設與推廣也將有助于開發(fā)者熟悉海光DCU。海光DCU適配性好,軟硬件生態(tài)豐富。海光DCU協(xié)處理器能夠較好地適配國際主流商業(yè)計算軟件和人工智能軟件,軟硬件生態(tài)豐富,可廣泛應用于大數(shù)據(jù)處理、人工智能、商業(yè)計算等計算密集類應用領域,主要部署在服務器集群或數(shù)據(jù)中心。圖表:海光信息提供完善軟件棧支持圖表:ROCm與CUDA的模塊具有高度相似性數(shù)據(jù)來源:CSDNNVIDIA

CUDAAMD

ROCmCUDA

APIHIP(CUDA

API子集)NVCCHCCCUDA函數(shù)庫ROC庫、HC庫ThrustParallel

STLProfilerROCm

profilerCUDA-GDBROCm-GDBNvidia-smirocm-smiDirectGPU

RDMAROCn

RDMATensorRTTensileCUDA-DockerROCm-Docker31龍芯中科:自主架構CPU行業(yè)先行者,新品頻發(fā)加速驅動成長公司系國內稀缺的自主架構CPU引領者,持續(xù)構建產業(yè)生態(tài)。龍芯中科是國內唯一堅持基于自主指令系統(tǒng)構建獨立于Wintel體系和AA體系的開放性信息技術體系和產業(yè)生態(tài)的CPU企業(yè)。公司自2020年推出自主研發(fā)的全新指令系統(tǒng)LoongArch后,新研的產品均是基于LoongArch指令系統(tǒng),與下游應用領域加速適配。龍芯中科CPU持續(xù)升級,在服務器CPU領域已達到國內領先行列。龍芯中科研制的芯片包括龍芯1號、龍芯2號、龍芯3號三大系列處理器芯片及橋片等配套芯片,依據(jù)應用領域的不同可分為工控類芯片和信息化類芯片,其中龍芯3號屬于信息化類,面向個人計算機與服務器應用。公司2022年12月宣布32核服務器芯片3D5000初樣驗證成功,該芯片主頻為2.0~2.2GHz,采用Chiplet技術。該芯片面向存儲、虛擬化等常用場景,通用性較強。龍芯3D5000的推出,標志著龍芯中科在服務器CPU芯片領域進入國內領先行列。龍芯中科正在進行龍芯3D5000芯片產品化工作,預計將在2023年上半年向產業(yè)鏈伙伴提供樣片、樣機。圖表:龍芯3號系列產品參數(shù)資料來源:龍芯中科官網,中信建投型號推出時間主頻(GHz)峰值運算速度處理器核內存接口典型功耗主要應用場景龍芯

3A30002017年1.35-1.524GFLOPS@1.5GHz64

位四核處理器,采用全新的LoongArch

指令系統(tǒng)雙通道DDR3-160030W@1.5GHz桌面與終端類龍芯

3A40002019年1.8-2.0128GFLOPS@2.2GHz64

位四核處理器,MIPS64兼容;雙通道DDR4-2400<30W@1.5GHz<40W@1.8GHz<50W@2.0GHz桌面與終端類龍芯

3A50002021年2.3-2.5160GFLOPS64

位四核處理器,采用全新的LoongArch

指令系統(tǒng)雙通道DDR4-320035W@2.5GHz桌面與終端類龍芯

3C5000L2021年2.0-2.2560GFLOPS64

位十六核處理器,采用全新的

LoongArch

指令系統(tǒng),集成4個3A5000四通道

DDR4-3200130W@2.2GHz服務器類龍芯

3C50002022年2.0-2.2560GFLOPS@2.2GHz64

位十六核處理器,采用全新的LoongArch

指令系統(tǒng),集成16個高性能LA464核四通道DDR4-3200150W@2.2GHz服務器類龍芯3D50002023年2.0-2.264位三十二核處理器,集成32個高性能LA464核八通道DDR4-3200<130W@2.0GHz,170W@2.2GHz服務器類32龍芯中科:加碼GPU自研,有望與CPU形成協(xié)同效益公司自研GPU已取得實質進展,未來將持續(xù)增長在AI領域的核心競爭力。公司在上市募投項目中規(guī)劃了高性能通用圖形處理器芯片及系統(tǒng)研發(fā)項目,總投資金額10.5億元。公司已在自研GPU上取得了實質進展。橋片7A2000已于2022年正式發(fā)布,內部集成了自研統(tǒng)一渲染架構的GPU核,可形成獨顯方案,極大減低系統(tǒng)成本;通用SoC芯片2K2000于2023年1月流片成功,集成了龍芯自主研發(fā)的LG120

GPU核,進一步優(yōu)化了圖形算法和性能。公司正在研發(fā)具有高通用性、高可擴展性的GPGPU芯片產品及軟硬件體系,將加速對象從單純的圖形渲染擴展到科學計算領域,提升算力密度同時降低單位算力功耗,并在此基礎上有效支持視覺、語音、自然語言及傳統(tǒng)機器學習等不同類型的人工智能算法。項目建設完成后,將與公司的CPU

產品形成協(xié)同效應,進一步提升公司的核心競爭力。圖表:龍芯中科上市募投資金規(guī)劃(萬元)資料來源:龍芯中科招股書,中信建投圖表:龍芯中科7A2000首次集成自研GPU資料來源:龍芯中科官網,中信建投項目名稱項目投資總額擬使用募集資金金額先進制程芯片及產業(yè)化項目125,760.45125,760.45高性能通用圖形處理器芯片及系統(tǒng)研發(fā)項目105,426.45105,426.45補充流動資金120,000.00120,000.00合計351,186.90351,186.9033芯原股份:國內半導體IP龍頭,技術儲備豐富驅動成長資料來源:IPnest芯原股份IP產品類型豐富,下游應用廣泛。芯原股份經過20余年的發(fā)展,已擁有6類自主可控的處理器IP,分別為圖形處理器IP、神經網絡處理器IP、視頻處理器IP、數(shù)字信號處理器IP、圖像信號處理器IP和顯示處理器IP。公司IP產品下游應用廣泛,包括消費電子、汽車電子、計算機及周邊、工業(yè)、數(shù)據(jù)處理、物聯(lián)網等,主要客戶包括成熟的芯片設計公司和IDM、新興的芯片設計公司,以及系統(tǒng)廠商、大型互聯(lián)網公司等。芯原股份快速發(fā)展,躋身全球前十。從銷售規(guī)模來看,根據(jù)Ipnest數(shù)據(jù),IP市場呈現(xiàn)高度集中態(tài)勢,2021年CR3(ARM、Synopsys和Cadence)份額占比達到65.9%,芯原股份是中國大陸唯一進入全球前十的公司,市場份額1.8%,位列全球第7。圖表:芯原股份處理器IP產品 圖表:IP核市場競爭格局(百萬美元)資料來源:芯原股份,中信建投40.4%19.7%5.8%0.9%1.6%1.6%1.8%2.3%2.5%3.3%20.1%ARMSynopsysCadenceImaginationTechnologiesSSTCeva芯原股份AlphawaveeMemory

TechnologyRambusOthersIP功能典型應用GPUIP專用于繪圖運算、圖形加速和通用計算工作的數(shù)字IP可穿戴和物聯(lián)網、汽車電子、PC和平板電腦NPUIP專用于加速神經網絡運算、機器視覺和機器學習等人工智能應用的數(shù)字IP智能監(jiān)控、智慧家庭、汽車輔助駕駛VPUIP專用于進行視頻編解碼,并結合視頻增強處理和壓縮技術的數(shù)字IP智能家居、智慧城市、云服務器視頻轉碼DSP

IP專用于將數(shù)字信號進行高速實時處理的數(shù)字IP無線通訊、高清電視、可穿戴設備ISP

IP專用于對圖像傳感器的原始數(shù)據(jù)進行處理以獲得優(yōu)質視覺圖像的數(shù)字IPAR/VR、智能家居、可穿戴設備DisplayProcessor

IP具備旋轉、數(shù)據(jù)格式轉換、HDR

視頻處理和高質量視頻縮放等顯示處理功能可穿戴設備、PC、UHD電視機和投影34Chiplet產業(yè)鏈布局正當時,重點關注各環(huán)節(jié)龍頭廠商Chiplet作為國產芯片彎道超車的重要路線,也成為了國內眾廠商的必爭之地。目前,國內涉及Chiplet布局的部分代表性企業(yè)如下:1)IP廠商-芯原股份:公司是國內領先的一站式芯片定制服務和半導體IP授權服務的企業(yè),IP種類的齊備程度也具有較強競爭力,Chiplet模式具備開發(fā)周期短、設計靈活性強、設計成本低等特點,Chiplet的發(fā)展演進為IP供應商,尤其是具有芯片設計能力的IP供應商,拓展了商業(yè)靈活性和發(fā)展空間。2)工藝廠商-長電科技和通富微電:由于chiplet需要完成芯片間的鍵合與聯(lián)通,需要在前道晶圓制造環(huán)節(jié)完成芯片間中介層的制造,長電科技在今年下半年將推出chiplet封裝工藝平臺XDFOI,布局高性能計算、汽車電子以及傳感器應用等領域。通富微電在多芯片組件、集成扇出封裝、2.5D/3D等先進封裝技術方面的提前布局,可為客戶提供多樣化的Chiplet封裝解決方案,并且已為AMD大規(guī)模量產Chiplet產品。3)封裝材料-興森科技:chiplet小芯片需要統(tǒng)一封裝在ABF載板上實現(xiàn)板級連接,提升芯片間的信號傳遞效率,目前ABF載板主要由海外廠商供應為主,建議重點關注國內在ABF大載板領域取得突破性進展的興森科技和深南電路。4)測試產業(yè)-偉測科技:對于構成chiplet芯片組的每一個“小芯片”都需要進行測試從而保證chiplet芯片組的性能和良率,因此部分原來進行抽檢的CP測試要進行全部測試。建議重點關注第三方獨立芯片測試服務廠商如偉測科技和利揚芯片。同時配套的芯片測試設備的需求將同步提升,建議重點關注測試設備廠商如華峰測控,長川科技圖表:Chiplet產業(yè)鏈推薦標的資料來源:公司公告,wind產業(yè)鏈環(huán)節(jié)證券代碼公司名稱業(yè)務優(yōu)勢IP688521.SH芯原股份IP種類的齊全成都國內第一。代工688981.SH中芯國際大陸最先進代工企業(yè),在TSV技術路線上有先發(fā)優(yōu)勢。先進封裝600584.SH長電科技以2.5D無TSV為基本技術平臺,具備成本優(yōu)勢,可實現(xiàn)2D/2.5D/3D

集成。002156.SZ通富微電晶圓級TSV,利用次微米級interposer

以TSV

將多芯片整合于單一封裝。第三方測試688372.SH偉測科技CP測試業(yè)務起家,國內獨立第三方測試龍頭企業(yè)。688135.SH利揚芯片手握3nm芯片測試能力,量產測試階段有序推進。測試設備300604.SZ長川科技測試機分選機齊頭并進,核心性能指標上已經接近國外的先進水平。688200.SH華峰測控國產模擬測試機龍頭,公司成功切入SoC測試機市場并進入加速放量階段。封裝材料002436.SZ興森科技IC載板產能持續(xù)投入,F(xiàn)CBGA載板先發(fā)優(yōu)勢明顯。002916.SZ深南電路PCB業(yè)務穩(wěn)健增長,ABF載板項目進展順利。35PCIe、CXL等高速接口,電源芯片廠商有望間接受益PCIe、CXL等高速接口是區(qū)別于傳統(tǒng)服務器的一

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論