Google集群拆解2025年11月目

錄1.Google集群的Scaleup：3D結構2.Google集群的Scaleup光互聯(lián)：光路交換機3.TPU集群內(nèi)，光路交換機和光模塊占比4.Google集群的Scaleout1Scaleup與Scaleout2Google：Scaleup與Scaleout31Google集群的柜內(nèi)Scaleup：3D結構TPU6*112

Gb/s

*8/8*2≈1.2TB/s5從TPU到TPU

TrayTPUV7單卡TPUTray6*NvidiaGPU：Hopper到BlackwellBlackwellNVLink

5：1.8

TB/s7*AMD

GPU：MI350到MI400PCIe

5.0：128

GB/S3張

800G網(wǎng)

卡

，

對

應2.4Tb/s

per

GPU

的Scale

out網(wǎng)絡單

卡

72

條

200Gb

UALinkLane，對應

72

*

200

/

8

=1.8TB/s的Scaleup網(wǎng)絡封裝內(nèi)帶寬：5.5TB/S封裝外

GPU-GPU帶寬：1.075TB/S8從TPU

Tray到TPURack物理結構：一列8行，每行2個TPU

Tray。一個機架16個TPU

Tray，64個TPU芯片TPU機架外觀圖TPU機架拆分連接到數(shù)據(jù)中心主交換網(wǎng)絡（DCN）的通道，用于常規(guī)管

理

、數(shù)

據(jù)

存取

、

外部通信，與

ICI

網(wǎng)絡是分離的。CPU

Host（主機計算節(jié)點）Heat

Out（散熱）：機架的空氣與液冷散熱通道。TPU

板卡采用液體冷卻系統(tǒng)，而整個

rack

的熱量則通過風冷加液冷系統(tǒng)排出。Copper

Intra-rack

ICI

Interconnects（機架內(nèi)電纜

ICI）9TPU

Rack：拓撲結構藍色箭頭：內(nèi)部ICI連接；向外箭頭：連向外側OCS的光纜。10*NvidiaGPU：連網(wǎng)方式11*NvidiaGPU：Scaleup12*AMD

GPU：Scaleup132Google集群的Scaleup光互聯(lián)：光路交換機光路交換機的工作原理光信號輸入和輸出：??光纖準直器(136通道)：把來自光纖的發(fā)散光束變成平行光束，以便在空間中傳播和被MEMS反射二維透鏡陣列：輔助光束的準直與聚焦，使得每根光纖對應一條獨立的光束。光束交換：?二維

MEMS

微鏡陣列：通過控制每個MEMS鏡子的角度，光束可以被精確地反射到目標輸出端口光路監(jiān)控和對準：???注入模塊（850nm

激光二極管）：注入一束監(jiān)控光（850

nm），它和信號光（O波段）共路。二色分光元件：把監(jiān)控光和數(shù)據(jù)信號光分開：相機模塊(850nm)：接收監(jiān)控光，判斷光束是否準確到達目標端口，實現(xiàn)自動對準和校準。15TPU

SuperPod：組成結構TPUV4Superpod:8*8TPUV7

Superpod:16*916TPU

SuperPod：組成結構Scale-up部分由光路交換機連接，實現(xiàn)TPU之間的全連接17TPU

SuperPod：整體物理結構???每套系統(tǒng)包含

64個

Google

機架，被劃分成

8組，每組

8個機架?？偣布闪?/p>

4096

芯片，共享

256

TiBHBM內(nèi)存容量?？傆嬎阈阅艹^

1ExaFLOP（101?

FLOPS）。每組

8

個機架配備一臺

Coolant

Distribution

Unit（CDU），負責提供液冷循環(huán)中的冷卻介質(zhì)。18TPU

SuperPod：整體物理結構?

Ironwood

TPU

將幫助客戶進一步突破規(guī)模和效率的極限。部署

TPU

時，系統(tǒng)會將每個芯片彼此連接，形成一個芯片組

(pod)，從而使互連的

TPU

能夠作為一個整體協(xié)同工作。?借助

Ironwood，我們可以在一個超級芯片組中擴展多達

9,216

個芯片，并通過突破性的芯片間互連

(ICI)

網(wǎng)絡以

9.6

Tb/s

的速度連接。這種強大的連接能力使數(shù)千個芯片能夠快速相互通信，并訪問高達

1.77

PB的HBM，從而克服即使是最苛刻模型的數(shù)據(jù)瓶頸。19TPU

SuperPod：整體物理結構?

TPUV7Superpod物理結構：包含144個機架203TPU集群內(nèi)，Scaleup部分互聯(lián)組件占比TPU

V4

光路交換機占比：1.1%?

TPU數(shù)量：4096??相關參數(shù)：光路交換機端口

136*136，使用端口數(shù)為128*128考慮Z軸方向通路，每個機架包含16個(4*4)向上的TPU，一個Superpod包含64個機架，所以向上的TPU數(shù)為16*64，考慮上下兩個面，一個TPU連出/連入一根光纜，因此總的光纜數(shù)為

16*64*2?光路交換機端口為128，

16*64*2/128=16，所以Z軸方向16個光路交換機?

X/Y/Z軸一共48個光路交換機22TPU

V7

光路交換機占比：0.52%?

TPU數(shù)量：9216??相關參數(shù)：光路交換機端口

300*300，使用端口數(shù)為288*288考慮Z軸方向通路，每個機架包含16個(4*4)向上的TPU，一個Superpod包含144個機架，所以向上的TPU數(shù)為16*144，考慮上下兩個面，一個TPU連出/連入一根光纜，因此總的光纜數(shù)為

16*144*2?光路交換機端口為128，

16*144*2/288=16，所以Z軸方向16個光路交換機?

X/Y/Z軸一共48個光路交換機，光路交換機占比為0.52%23TPU

V4集群Scale

up光模塊比例：1.5?

TPU數(shù)量：4096??光模塊數(shù)量

=總的光纜數(shù)

=朝向外的TPU數(shù)量

=16

*64（每個面朝外的TPU）

*6（6個面）=

6144光模塊比例：6144/4096

=1.524TPU

V7集群Scale

up光模塊比例：1.5?

TPU數(shù)量：9216??光模塊數(shù)量

=總的光纜數(shù)

=朝向外的TPU數(shù)量

=16

*144（每個面朝外的TPU）

*6（6個面）=

13824光模塊比例：13824/9216

=1.525機架內(nèi)：其他量化數(shù)據(jù)????對于單個Rack：向外光模塊：6*16PCB

Traces：4*16Copper

cables：12(單方向連線)*4*3(3個方向)

–

4*16

=

8026TPU?為什么每個TPU對應4個OSFP？?

80

*

2（Copper

cables）+

96（96

optical

fiber）

=256

=64*4TPUV4TPUV7274Google集群的ScaleoutScaleoutTomahawk

5交換機參數(shù)：128個400G端口29TPU

SuperPod之外?通過數(shù)據(jù)中心網(wǎng)絡

(DCN)進行通信30Google：Scaleout中的OCS31Google：Scaleout中的OCS32NVScaleout中的OCS??2025年7月：Nvidia論文Programmable

Fabrics

withOpticalSwitchesin

AI

Supercomputers通用三層

FT

拓撲中光交換機的主要集成點：通過截取不同節(jié)點和分組交換層之間的光纖連接，引入了相應的

OCS

層，為連接的網(wǎng)絡端點提供

L1

可編程數(shù)據(jù)平面。當與冗余硬件（分組交換機、收發(fā)器和服務器）配合使用時，支持

OCS

的架構可以增強架構中硬件和軟件故障的彈性，從而最大限度地減少故障對計算集群利用率和效率的顯著影響。此外，OCS

層還可以用于創(chuàng)建更扁平的網(wǎng)絡，并消除相應的分組交換層。例如，OCS

核心層可以在脊交換機之間建立直接連接，從而無需核心分組交換層。33Google：Scaleout?在這種規(guī)模下，服務需要不間斷的可用性。因此，我們的光路交換

(OCS)

技術充當動態(tài)可重構架構，能夠即時繞過中斷，在服務持續(xù)運行的同時恢復工作負載。當您需要更強大的性能時，Ironwood

可以跨

pod擴展到包含數(shù)十萬個

TPU的集群。34十萬卡集群，Scale

out的光模塊、交換機占比十萬卡集換機數(shù)量和光模塊數(shù)量十萬卡集群

互聯(lián)和服務器

部分成本拆分(個)交換機數(shù)量光模塊數(shù)量(百萬美元)400,000350,000300,000250,000200,000150,000100,00050,0000服務器成本交換機成本光模塊成本350,2083,9394,0003,5003,0002,5002,0001,5001,0005003,770251,904251,9044262073,516299136131799,4083,1683,168BroadcomTomahawk5InfiniBandNVIDIASpectrum-X十萬卡集群

光模塊和交換機占比(%)光模塊/GPU（左軸）交換機/GPU（右軸）3,3353,3054.03.53.02.52.01.51.00.50.012.0%3,3053.610.0%8.0%6.0%4.0%2.0%0.0%9.6%2.62.603.2%3.2%InfiniBandNVIDIASpectrum-XBroadcomTomahawk5InfiniBandNVIDIASpectrum-XBroadcomTomahawk535十萬卡集群，不同互聯(lián)方案對比InfiniBand98,304NVIDIASpectrum-X

BroadcomTomahawk5測算邏輯：基于連接示意圖測算邏輯：基于通信需求GPU數(shù)量交換機數(shù)量（臺）98,30498,304Spectrum-X每個SN5600交換機有128個400G端口，64個接GPU，64個接第二層交換機，98304/64=1536，Tomahawk5也是128個400G端口每個Rail包含64個Leaf交換機，每個計算島(Pod)包含8個Rail，一共有三個Pod，因此

64*8*3=1536第一層交換機3,0721,5361,536第二層交換機第三層交換機第四層交換機3,0723,0721,536961,53696Spine交換機和Leaf交換機數(shù)量相同圖片中包含92個Super

Spine交換機Spine交換機和Leaf交換機數(shù)量相同1929,4089.6%2200交換機總數(shù)3,1683.2%433,1683.2%25交換機占比平均價格（USD

K）交換機總支出（USD

M）207.0136.279.2收發(fā)器數(shù)量400G

單端口多模收發(fā)器98,30498,30498,304位于HGX

H100側的收發(fā)器數(shù)量，4096*8*3=98304Spine-Leaf結構中的收發(fā)器數(shù)量，(64*64*8*3*2+98304)/2=147456，前部分是葉脊結構中全連接的收發(fā)器數(shù)量，后部分是從下面HGX

H100向上連的數(shù)量。800G

雙端口多模收發(fā)器245,760147,456147,456800G

單模收發(fā)器光模塊總數(shù)6,144350,208