Computility第5章

算力2035王紅梅5.15.25.35.4算力那些事算力概述通用算力超算算力目錄CONTENTS5.55.6智算算力拓展：算力網(wǎng)絡(luò)5.2.1算力的概念5.2.2算力的單位5.2.3算力的分類5.2.4算力和我們的關(guān)系5.2.1算力概念所謂算力，簡單來講就是計算能力。“在計算機科學(xué)中”，指的是處理數(shù)據(jù)的能力，是計算機硬件和軟件配合共同執(zhí)行某種計算需求的能力。算力的大小代表著對數(shù)據(jù)處理能力的強弱。5.2.1算力概念

隨著技術(shù)的發(fā)展，算力往往源于芯片，芯片逐漸成為了算力的代名詞。芯片通過基礎(chǔ)軟硬件的有效組織，最終釋放到終端應(yīng)用上，比如手機、計算機、超級計算機、自動駕駛汽車等各種硬件設(shè)備中。支持AI系統(tǒng)常用的硬件有：1、CPUs(CentralProcessingUnits):目標(biāo)用于通用處理任務(wù)；2、GPUs

(GraphicsProcessingUnits):設(shè)計目標(biāo)初期圖形圖像渲染，后期用于并行計算，深度學(xué)習(xí)的標(biāo)配。3、FPGAs(FieldProgram-mableGateArrays，現(xiàn)場可編程門陣列)4、ASICs(Application-SpecificIntegratedCircuits應(yīng)用特定集成電路)等。5.2.1算力概念：AI算力硬件支撐1、高度并行化(HighlyParallel)；2、多線程化(Multithreaded)。5.2.1算力概念：AI算力軟件支撐串行問題并行問題場景再現(xiàn)：食堂買飯，假定一個窗口每分鐘可以給2個人打飯。一個食堂，一個窗口，25000人。全部同學(xué)購買完飯需要多久？2個食堂，每個食堂都有三層，每層50窗口，25000人。全部同學(xué)購買完飯需要多久？25000/2/60/24=8.68天25000/2/（2*3*50）=41.67分鐘你算一算，需要多久？1、高度并行化串行問題并行問題1、高度并行化2.多線程問題

程序能高度并行化執(zhí)行，源于能把一個任務(wù)劃分為多個子任務(wù)。每個子任務(wù)稱為一個線程。這些線程可以并發(fā)執(zhí)行，每個線程獨立運行，共享程序中的數(shù)據(jù)資源。類似生成車間的流水線作業(yè)2.多線程問題串行問題（一個線程）并行問題（300個線程）一個食堂，一個窗口，25000人。2個食堂，每個食堂都有三層，每層50窗口，25000人。

程序能高度并行化執(zhí)行，源于能把一個任務(wù)劃分為多個子任務(wù)。每個子任務(wù)稱為一個線程。這些線程可以并發(fā)執(zhí)行，每個線程獨立運行，共享程序中的數(shù)據(jù)資源。5.2.2算力的單位

算力既然是一種計算能力，那么這種能力是否可以衡量？？小智用電腦打游戲卡頓，而同樣的游戲在同學(xué)新購置的高配置電腦上不卡頓，就說明算力是可以衡量的，只不過“高配置、不卡頓”的說法是定性的衡量，我們可能更希望有更準(zhǔn)確的衡量方法，那就是定量衡量，這就用到算力的單位。

5.2.2算力的單位

算力的大小指每秒能運算多少次?；締挝唬捍螖?shù)/秒。在實際中常用的單位有OPS（OperationsPerSecond）和FLOPS（FloatingPointOperationsPerSecond）。

5.2.2算力的單位由于OPS和FLOPS單位太小，而現(xiàn)在的計算能力發(fā)展很快，我們實際中往往采用更大的衍生單位，常用的單位如表所示。

單位含義衍生單位OPS表示每秒可以執(zhí)行的運算次數(shù)。MOPS：每秒百萬次運算GOPS：每秒十億次運算TOPS：每秒萬億次運算POPS:每秒千萬億次運算EOPS:每秒百億億次運算FLOPS表示每秒所執(zhí)行的浮點運算次數(shù)。MFLOPS：每秒百萬次浮點運算GFLOPS：每秒十億次浮點運算TFLOPS：每秒萬億次浮點運算PFLOPS：每秒千萬億次浮點運算EFLOPS:每秒百億億次運算5.2.2算力的單位

算力這單位，到底是多大呢？1GFlops計算機系統(tǒng)一秒計算的工作量，人類要32年才能完成。MFLOPSGFLOPSTFLOPSPFLOPSEFLOPS計算速度的鴻溝5.2.2算力的單位OPS和FLOPS兩個單位的常見應(yīng)用場景

單位應(yīng)用場景OPS（1）通用計算：對于不需要高精度浮點運算的應(yīng)用。（2）嵌入式系統(tǒng)：在資源有限時，可以評估系統(tǒng)的綜合處理能力。（3）數(shù)據(jù)庫操作：查詢和數(shù)據(jù)處理通常涉及整數(shù)運算和邏輯運算。FLOPS（1）科學(xué)計算：需要高精度浮點運算的場景。（2）深度學(xué)習(xí)：神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理過程中需要進行大量的浮點運算。（3）圖形渲染：3D圖形渲染中的光線追蹤、陰影計算等需要浮點運算來模擬真實世界。

算力服務(wù)于社會的各種計算需求，而社會的需求是存在差異的，既有來自消費領(lǐng)域的（追劇、網(wǎng)購、打車等），也有來自行業(yè)領(lǐng)域的（工業(yè)制造、交通物流、金融證券、教育醫(yī)療等），還有來自城市治理領(lǐng)域的（智慧城市、一證通、城市大腦）等。根據(jù)應(yīng)用場景和計算特性，把算力分成三部分：通用計算算力（通用算力）、超級計算算力（超算算力）、智能計算算力（智算算力）。5.2.3算力的分類5.2.3算力的分類算力的分類通用算力超算算力智算算力一般指基于CPU的計算能力，用于基礎(chǔ)通用計算，如日常辦公、財務(wù)管理、在線購物等;通常指基于超級計算機等高性能計算集群產(chǎn)生的計算能力，主要用于大規(guī)?？茖W(xué)研究和工程計算；通常由GPU、FPGA、ASIC等芯片提供的計算能力，用于人工智能和機器學(xué)習(xí)任務(wù)。

2023世界人工智能大會，中國工程院院士高文說：“什么時候我們的算力超過美國，我們的GDP就超過美國了?！?.2.4算力和我們的關(guān)系？5.2.4算力和我們的關(guān)系？2024年3月，黃仁勛回母校斯坦福大學(xué)參加論壇，在論壇中提到：未來10年算力將再提高100萬倍，AI將成為一個國家的“主權(quán)”。5.2.4算力和我們的關(guān)系？學(xué)生1：等等，前三次工業(yè)革命都是啥？2023年9月，任正非說，我們即將進入第四次工業(yè)革命，基礎(chǔ)就是大算力。學(xué)生2：百度會用嗎？百度一下不就知道了。5.2.4算力和我們的關(guān)系？大家是否感到最近幾年，國產(chǎn)動畫在崛起，《哪吒2》，《白蛇》，《流浪地球》等，可了解背后的算力支持？在《流浪地球2》，每個畫面需要7-8小時來生成，一