Computility第5章

算力2035王紅梅5.15.25.35.4算力那些事算力概述通用算力超算算力目錄CONTENTS5.55.6智算算力拓展：算力網(wǎng)絡(luò)討論：已經(jīng)學(xué)習(xí)了超算算力，云計(jì)算，為什么又會出現(xiàn)一種智能計(jì)算算力呢？會不是是跟風(fēng)？根據(jù)OpenAI在2018年發(fā)布的報(bào)告，自2012年以來AI訓(xùn)練任務(wù)所運(yùn)用的算力每3—4個(gè)月就會翻一番；2012—2018年，AI算力需求增長了30萬倍。

5.5.1智能算力的概念從我國2019-2026年算力規(guī)模及預(yù)測來看，需求仍呈指數(shù)級不斷增加。

但是另一方面，CPU的性能增長已經(jīng)碰到了瓶頸，摩爾定律逐漸失效。因此科學(xué)家開始尋求各種新的芯片給計(jì)算機(jī)進(jìn)行加速。5.5.1智算算力概念

人工智能技術(shù)需要進(jìn)行大量的矩陣運(yùn)算、并行運(yùn)算，而CPU的特性使其無法滿足這種算力需求，因此，出現(xiàn)各種專用加速芯片。

把專門任務(wù)交給專門芯片去處理，各司其職，各盡其能。

所以超算中心和云數(shù)據(jù)中心也在增加智能芯片以應(yīng)對人工智能技術(shù)對算力的需求。5.5.1智算算力概念

?智算算力?是指專門用于人工智能和機(jī)器學(xué)習(xí)任務(wù)的計(jì)算能力，以GPU(GraphicsProcessingUnit，圖形處理器)算力為核心算力，融合利用CPU、FPGA(Field-ProgrammableGateArray，現(xiàn)場可編程門陣列?)、ASIC（ApplicationSpecificIntegratedCircuit，專用集成電路）等加速芯片5.5.1智算算力概念早期的GPU是協(xié)助CPU進(jìn)行3D圖像處理的加速硬件，GPU的編程性能比較有限。2006年英偉達(dá)與超微半導(dǎo)體公司分別推出了CUDA（ComputerUnifiedDeviceArchitecture，統(tǒng)一計(jì)算架構(gòu)）編程環(huán)境和CTM（ClosetotheMetal）編程環(huán)境；開發(fā)人員可以直接編寫程序從而可以更好的用于數(shù)值計(jì)算。5.5.2人工智能算力芯片1.GPUGPU為何比CPU具有更強(qiáng)的智能計(jì)算能力呢？我們可從設(shè)計(jì)目標(biāo)、內(nèi)部架構(gòu)、適用任務(wù)三方面與CPU進(jìn)行對比分析。5.5.2人工智能算力芯片1.GPU（1）設(shè)計(jì)目標(biāo)

5.5.2人工智能算力芯片1.GPUCPUGPU運(yùn)行復(fù)雜程度高，針對各種不同的數(shù)據(jù)行，其在邏輯判斷后有大量的分支跳轉(zhuǎn)和中斷。

重在對大量趨同計(jì)算的并行處理，運(yùn)行復(fù)雜度低，擅長處理類型統(tǒng)一的、無相關(guān)性的大規(guī)模數(shù)據(jù)。（2）內(nèi)部架構(gòu)對比GPU和CPU在結(jié)構(gòu)上的差異，CPU大部分為控制器和寄存器，而GPU擁有更多的運(yùn)算器用于數(shù)據(jù)處理，這樣的結(jié)構(gòu)適合對密集型數(shù)據(jù)進(jìn)行并行處理，使得GPU的運(yùn)行速度相較于CPU提升幾十倍乃至上千倍。5.5.2人工智能算力芯片1.GPUCPUGPU（3）適用任務(wù)CPU適合運(yùn)行數(shù)據(jù)結(jié)構(gòu)不規(guī)則、邏輯復(fù)雜的串行程序。GPU適合處理數(shù)據(jù)耦合度低、高度并行化的計(jì)算任務(wù)。GPU尤其是擅長人工智能大模型的訓(xùn)練和推理中大量存在的矩陣運(yùn)算。5.5.2人工智能算力芯片1.GPUCPUGPU架構(gòu)特點(diǎn)串行處理的大師并行處理的王者功能定位系統(tǒng)控制與通用計(jì)算圖形渲染與高性能計(jì)算性能表現(xiàn)單核強(qiáng)，綜合性能高并行處理，吞吐量驚人應(yīng)用場景通用計(jì)算：如辦公、網(wǎng)絡(luò)購物、編程開發(fā)等。圖形渲染：游戲、動畫電影、虛擬現(xiàn)實(shí)等需要高質(zhì)量圖形輸出的場景。目前GPU的產(chǎn)品份額主要由英偉達(dá)（Nvidia）占有，他們生產(chǎn)的GPU加速芯片常見的型號有A100、H100、A800、H800、H20等系列。目前在GPU領(lǐng)域也出現(xiàn)了一些我國的自主品牌產(chǎn)品，如：華為公司的昇騰系列、寒武紀(jì)公司的思元系列、壁仞科技公司的壁礪系列等。5.5.2人工智能算力芯片1.GPUinter公司1968AMD公司19691993年多媒體技術(shù)發(fā)展需要，促使NVIDIA公司誕生，生產(chǎn)顯卡兩雄長期爭霸AI時(shí)代獨(dú)領(lǐng)風(fēng)騷5.5.2人工智能算力芯片1.GPU5.5.2人工智能算力芯片1.GPUGPU雖然在人工智能算力芯片中占據(jù)主導(dǎo)地位，但是GPU芯片也存在一些缺陷。主要體現(xiàn)以下三方面：第一，當(dāng)前GPU芯片供不應(yīng)求，導(dǎo)致GPU芯片價(jià)格居高不下。第二，GPU芯片能耗較大，大規(guī)模部署電力成本較高。第三，GPU在延遲敏感、需要快速響應(yīng)的人工智能應(yīng)用領(lǐng)域，如自動駕駛、實(shí)時(shí)語音識別等，表現(xiàn)欠佳。因此，在智能算力芯片方面，需要FPGA和ASIC芯片來彌補(bǔ)GPU芯片的缺陷。5.5.2人工智能算力芯片

2.FPGAFPGA（Field-ProgrammableGateArray），即現(xiàn)場可編程門陣列，用戶可以通過燒入FPGA配置文件來定義這些門電路以及存儲器之間的連線實(shí)現(xiàn)編程。FPGA在出廠時(shí)是萬能芯片，有大量的門電路組成，用戶可根據(jù)自身需求，用硬件描述語言對FPGA的硬件電路進(jìn)行設(shè)計(jì)。FPGA可同時(shí)進(jìn)行數(shù)據(jù)并行和任務(wù)并行計(jì)算，在處理特定應(yīng)用時(shí)有更加明顯的效率。應(yīng)用于自動駕駛，航空航天等領(lǐng)域。5.5.2人工智能算力芯片

3.ASICASIC（Application-SpecificIntegratedCircuit）芯片是專門為了特定應(yīng)用而定制的集成電路，與通用處理器CPU不同，ASIC芯片針對具體任務(wù)進(jìn)行了優(yōu)化，不能執(zhí)行其他任務(wù)。ASIC的特點(diǎn)是高性能、低成本、尺寸緊湊和低功耗。ASIC芯片的發(fā)展勢頭強(qiáng)勁。例如谷歌的TPU(Tensorprocessingunit)（張量處理芯片）是谷歌專為AI定制設(shè)計(jì)的ASIC，其針對大模型的訓(xùn)練和推理進(jìn)行了優(yōu)化。5.5.2人工智能算力芯片GPUFPGAASIC芯片架構(gòu)疊加大量計(jì)算單元和高速內(nèi)存、邏輯控制單元簡單具備可重構(gòu)數(shù)字門電路和存儲器、根據(jù)應(yīng)用定制電路結(jié)構(gòu)可根據(jù)特定領(lǐng)域應(yīng)用和特定算法定制擅長領(lǐng)域3D圖像處理、密集型并行計(jì)算算法更新頻繁或者市場規(guī)模小的專用領(lǐng)域市場需求量大的專用領(lǐng)域優(yōu)點(diǎn)計(jì)算能力強(qiáng)、通用性強(qiáng)、開發(fā)周期短、難度小、風(fēng)險(xiǎn)低功能可修改、高性能、功耗遠(yuǎn)低于GPU、一次性成本低專業(yè)性強(qiáng)、性能高于FPGA、功耗低、量產(chǎn)成本低缺點(diǎn)價(jià)格貴、功耗高編程門檻高、量產(chǎn)成本高開發(fā)周期長、難度大、風(fēng)險(xiǎn)高、一次性成本高三種AI芯片特征對比5.5.2人工智能算力芯片5.5.2人工智能算力芯片當(dāng)你有上述需求時(shí)，可以考慮一下國貨產(chǎn)品討論：1、英偉達(dá)的股票市值是多少？2、一塊最先進(jìn)的英偉達(dá)GPU價(jià)值多少？3、時(shí)代造英雄，黃仁勛是如何成功的？

在數(shù)據(jù)中心領(lǐng)域，網(wǎng)絡(luò)協(xié)議處理、數(shù)據(jù)安全、存儲管理、虛擬化等是頻繁需要執(zhí)行的任務(wù)。這些任務(wù)在數(shù)據(jù)中心中至關(guān)重要，但同時(shí)也是大量消耗算力資源的工作。

發(fā)明了數(shù)據(jù)處理器（DataProcessingUnit，DPU），來分擔(dān)CPU這部分的負(fù)擔(dān)。5.5.2人工智能算力芯片DPU正如NVIDIACEO（首席執(zhí)行官）黃仁勛在NVIDIAGTC（GPU技術(shù)大會）上所講，DPU將和GPU、CPU一樣成為未來計(jì)算架構(gòu)的三大基石之一。5.5.2人工智能算力芯片DPU探討完了CPU、GPU和DPU你猜下一個(gè)是？PU，A、B、C、D、E、……、Z?PUTPU（

TensorProcessingUnit，張量處理單元)

TPU是一種專門為機(jī)器學(xué)習(xí)設(shè)計(jì)的處理器芯片，TPU用在阿法狗上，取得了很好的效果。

在深度學(xué)習(xí)的世界里，張量（多維數(shù)組）無處不在。TPU內(nèi)置大量矩陣運(yùn)算單元，使其能夠并行處理大量的矩陣運(yùn)算，大大提高計(jì)算效率。TPU在大模型訓(xùn)練方面有獨(dú)特優(yōu)勢。

5.5.2人工智能算力芯片TPUNPU（Neural-networkProcessingUnit，神經(jīng)網(wǎng)絡(luò)處理單元)

是一種人工智能專用芯片，在神經(jīng)網(wǎng)絡(luò)計(jì)算方面有獨(dú)特優(yōu)勢。5.5.2人工智能算力芯片NPU學(xué)習(xí)了各種人工智能計(jì)算芯片之后，我們來看這些芯片通過異構(gòu)并行組成的人工智能服務(wù)器（以下簡稱AI服務(wù)器）?；谶\(yùn)行的處理器架構(gòu)來區(qū)分，并行計(jì)算也分為同構(gòu)并行與異構(gòu)并行。例如，多核CPU是同構(gòu)并行，“CPU+GPU”的多處理器則是典型的異構(gòu)并行。5.5.3智算中心

所謂的異構(gòu)計(jì)算，就是CPU、GPU、FPGA、ASIC等各種使用不同類型指令集、不同體系架構(gòu)的計(jì)算單元，組成一個(gè)混合的系統(tǒng)，執(zhí)行并行和分布式計(jì)算的特殊方式。

當(dāng)前異構(gòu)計(jì)算的計(jì)算資源類型越來越多元，典型的計(jì)算資源包括CPU、GPU、FPGA、ASIC等。5.5.3智算中心由于單個(gè)AI服務(wù)器算力有限，工程人員將大量的AI服務(wù)器通常構(gòu)成一個(gè)大規(guī)模計(jì)算集群，稱為AI集群。5.5.3智算中心

近年來，還涌現(xiàn)出了一批人工智能超級計(jì)算機(jī)。華為2023年發(fā)布了Atlas900超級計(jì)算機(jī)，它采用了最先進(jìn)的集群模式，通過將多臺計(jì)算機(jī)互聯(lián)互通，形成一個(gè)大規(guī)模的超級計(jì)算機(jī)集群。Atlas900的AI訓(xùn)練集群通過1024顆昇騰910AI處理器進(jìn)行協(xié)同工作，實(shí)現(xiàn)了極高的計(jì)算性能和效率。2023年，NVIDIA（英偉達(dá)）正式發(fā)布了全新的GH200GraceHopper超級芯片和擁有256個(gè)GH200超級芯片的NVIDIADGXGH200超級計(jì)算機(jī)。DGXGH200是“巨型GPU”5.5.3智算中心

智算算力正是以AI芯片、AI服務(wù)器、AI集群和AI超級計(jì)算機(jī)做為載體，最終集成于智算中心，通過智算中心這個(gè)算力工廠源源不斷的輸出智算算力。

而在AI芯片、AI服務(wù)器集成為AI集群和AI超級計(jì)算機(jī)的過程中，網(wǎng)絡(luò)的傳輸能力也是一個(gè)不容忽視的重要因素，中國的AI芯片比起NVIDIA等的AI芯片目前還不具有優(yōu)勢，但在眾卡集成中，卡與卡之間的大量數(shù)據(jù)需要在短時(shí)間內(nèi)進(jìn)行傳輸和處理，我國以華為的5G通信技術(shù)為基礎(chǔ)的網(wǎng)絡(luò)通信技術(shù)有絕對優(yōu)勢，正好滿足了這一需求。這也是在很多場景中，我國雖然在AI芯片上被卡脖子，但仍可出“奇跡”的一個(gè)原因之一。5.5.3智算中心名企名事：華為和世界上的科學(xué)家們現(xiàn)在我們所使用的5G通信技術(shù)，其標(biāo)準(zhǔn)源于2008年土耳其埃達(dá)爾·阿勒坎（Arikan）教授的一篇數(shù)學(xué)論文。其實(shí)，華為不僅僅是一個(gè)企業(yè)，更是一個(gè)科學(xué)家云集的研發(fā)中心。華為創(chuàng)始人任正非說：“華為的成功靠的是背后七百多個(gè)數(shù)學(xué)家，八百多個(gè)物理學(xué)家，一百二十多個(gè)化學(xué)家，還有六千多位專門在從事基礎(chǔ)研究的專家，以及六萬多研發(fā)工程師的功勞”。數(shù)據(jù)中心、智算中心和超算中心有什么區(qū)別？云計(jì)算中心、超算中心、智算中心對比5.5.4三種中心對比云計(jì)算中心超算中心智算中心技術(shù)體系基于CPU芯片的服務(wù)器提供算力高性能計(jì)算集群、大規(guī)模存儲系統(tǒng)，大規(guī)模并行計(jì)算服務(wù)設(shè)施