-6-公有云巨頭爭奪HPC霸權(quán)每個NDv2節(jié)點都有一個100Gb/秒的ConnectX-5網(wǎng)絡接口卡，可以連接到100Gb/秒的EDRInfiniBand互連，這明顯是從MellanoxTechnology那里獲得的，Nvidia正在收購該公司，Nvidia已經(jīng)出售了InfiniBand和多年來，以太網(wǎng)已切換到Microsoft的Azure公共云中。MicrosoftAzure能夠?qū)嶋H的CrayXC系列超級計算機和CSStorm集群放入公共云已有兩年多了，目前尚不清晰有多少公司托付Cray（現(xiàn)在是HewlettPackardEnterprise的一部分）來這樣做。想要在云上運行HPC和AI工作負載（尤其是GPU加速的工作負載）的客戶更有可能將現(xiàn)有實例群集在一起以創(chuàng)建虛擬超級計算機。

但是，微軟特別渴望在Azure上建立HPC業(yè)務，因此通過在Azure上放置HPC實例來建立差異，從而在外觀上和感覺上都像客戶可以在自己的數(shù)據(jù)中心中部署的群集，從而消退了差異。

新的Azure實例已在丹佛的SC19超級計算機會議上宣布，本周將在技術(shù)預覽中進行演示，它實際上是Microsoft放置在選定區(qū)域中的100節(jié)點群集的單個節(jié)點。（目前尚不清晰，但我們已經(jīng)提出了要求。）那個名為NDv2的HPC實例明顯適合于運行機器學習訓練工作負載以及GPU加速工作負載。NDv2基于Tesla"Volta'V100GPU加速器的單個HGX托盤，它們?nèi)坷壴谝黄鹨栽贜VLink上共享數(shù)據(jù)。（可以認為這是NvidiaDGX-2系統(tǒng)中GPU簡單度的一半，其中抽出了NVSwitch并在這些GPU之間引導NVLink，以便它們可以彼此尋址32GBHBM2內(nèi)存塊。）此GPU計算中心與基于一對20核"Skylake'XeonSP-6168Platinum處理器的主機CPU系統(tǒng)鏈接，該處理器運行在2.7GHz頻率下，并安裝在Microsoft自己開發(fā)的"ProjectOlympus'系統(tǒng)中。服務器節(jié)點具有672GB的主內(nèi)存，這表明某個地方有一個虛擬機管理程序會消耗一些內(nèi)存。我們猜想是96GB，并且該計算機在其24個內(nèi)存插槽中裝有64GB的存儲棒。

每個NDv2節(jié)點都有一個100Gb/秒的ConnectX-5網(wǎng)絡接口卡，可以連接到100Gb/秒的EDRInfiniBand互連，這明顯是從MellanoxTechnology那里獲得的，Nvidia正在收購該公司，Nvidia已經(jīng)出售了InfiniBand和多年來，以太網(wǎng)已切換到Microsoft的Azure公共云中。尚不清晰Microsoft正在使用哪種拓撲將NDv2實例彼此鏈接，但是我們會猜想，它是HPC和AI工作負載中通常使用的胖樹拓撲，而不是超擴展程序和云構(gòu)建者通常使用的Clos拓撲。。Nvidia副總裁兼加速計算總經(jīng)理IanBuck告知TheNextPlatformNDv2中的機器將以8個服務器的塊的形式出售，總共64個GPU，這意味著隨著客戶擴展NDv2集群，他們正在購買胖樹的相鄰分支。知道這一點，您可能會認為NDv2的高端Pod是96個節(jié)點，帶有768個GPU，但是我們被告知實際上是100個節(jié)點，總共有800個GPU。去搞清晰。我們的錢說實際上是前者，并且在通訊樹中有人收集了數(shù)據(jù)。

這些系統(tǒng)明顯是在運行某些Linux變體的狀況下設置的（看起來是CentOS或UbuntuServer是默認版本，但RedHatEnterpriseLinux和SUSELinuxEnterpriseServer一樣是一個選項），并且可以通過以下方式獲得完整的Nvidia軟件堆棧：NvidiaNGC云或Azure市場。微軟表示已經(jīng)安裝了MellanoxOFED網(wǎng)絡驅(qū)動程序（就像有任何其他選擇一樣），并且支持全部MPI類型和版本。明顯，某處有一個虛擬機管理程序，也許是Hyper-V，Microsoft用來構(gòu)建Azure云。Hyper-V運行時，沒有任何性能下降的跡象（假如有的話）。狡猾說，我們很驚異這不是一個裸機。

微軟尚未正式透露價格，但我們在大街上聽說它將達到每臺NDv2實例每小時26.44美元。這肯定是要設置某種記錄，但是要看一下所承受的全部GPU性能和內(nèi)存帶寬。而且，即使客戶沒有充分利用InfiniBand網(wǎng)絡的成本，也必需為此付費。

好玩的是，我們可以花掉這筆錢。假如沒有任何數(shù)據(jù)存儲服務，將一個96節(jié)點的群集運行滿三年將花費6,675萬美元，并且該機器將具有5.76petaflops的總峰值雙精度性能。DGX-1V具有八個TeslaV100和兩個Xeon處理器，大致類似于Microsoft為NDv2實例組裝的節(jié)點，當前價格為119,000美元（低于兩年前發(fā)布時的169,000美元）。因此，其中96臺將花費1140萬美元，其中包括相當數(shù)量的本地閃存和四倍于現(xiàn)成的網(wǎng)絡帶寬。該數(shù)字不包括電源，冷卻，房地產(chǎn)，系統(tǒng)管理或InfiniBand的交換和布線成本，但是假如您將其倒退工作并分四年攤銷，那么僅硬件就具有相同的5.76petaflops的性能，對于DGX-1節(jié)點而言，每小時的費用為4.53美元，大致相像。每個人都應自行擔當構(gòu)建一個96節(jié)點群集的成本，并了解如何比較它們的負擔?；蛘撸喈斢贠DM和OEM的成本，甚至比Nvidia還要廉價。微軟只是為云上的HPC設置了上限。

這里要考慮的另一件事是利用率。出于爭辯的考慮，假設一個內(nèi)部DGX-1群集每小時僅需花費10美元，僅用于計算和聯(lián)網(wǎng)，而無需來自PureStorage或DataDirectNetworks的本地閃存存儲陣列，也無需使用Excelero，VastData或Lightbits自產(chǎn)試驗室軟件定義的存儲。假如您擁有自己的混合CPU-GPU群集，并且僅在50％的時間內(nèi)使用它，那么您實際上每小時要支付20美元才能擁有該群集。因此，云與本地之間的差距很快就消退了。但是，您也可以使用ODM或OEM機器來降低成本-浪潮，Supermicro，戴爾和惠普企業(yè)將使您看起來像NDv2節(jié)點，而價格卻要比Nvidia廉價得多。也許少40％。這樣可以將總成本降低一些，但可能不會達到您的期望。假如您提高利用率，那么每小時的本地成本也會下降。這里清晰的是利用率是打算因素，而利用率模式可能會驅(qū)動您選擇在內(nèi)部部署什么容量以及在云上部署什么容量。

或者，只需管理全部這些，然后將其全部移至云中就可以了。有幾名HPC和AI從業(yè)者會這樣做，由于他們永久不會大規(guī)模運作。

除了NDv2實例外，微軟還將預覽其基于64核"羅馬'Epyc7742處理器的HBv2虛擬機，其中60個內(nèi)核暴露在Hyper-V虛擬機管理程序之上。基礎(chǔ)節(jié)點有兩個這樣的處理器；核心的基本速度為2.25GHz，最高可提升至3.4GHz。微軟表示，兩路HBv2節(jié)點可以雙精度供應4teraflops的總峰值浮點性能（明顯是單精度的兩倍），此外，它已經(jīng)建立的網(wǎng)絡可以使用MPI跨越80,000個核心Azure區(qū)域內(nèi)峰值容量的5.36petaflops。順便說一下，這些節(jié)點使用Mellanox的200Gb/secHDRInfiniBand互連，這是在公共云上首次使用HDRInfiniBand。HBv2實例具有480GB的可供應用程序使用的主內(nèi)存，并在兩個插槽之間供應350GB/秒的內(nèi)存帶寬。每小時收費3.96美元。根據(jù)Microsoft在HBv2實例上為其HDR網(wǎng)絡供應的全部MPI可擴展性限制（我們認為是672個節(jié)點），每小時僅需花費2,661美元，即可使用按需實例租用5.36petaflops云；預留實例尚不行用，這將大大降低價格。

微軟盼望在Azure上擁有數(shù)據(jù)啟示的四個主要功能，就像英特爾想要擁有一樣，而AMD正在通過合作伙伴關(guān)系和自己的芯片來做。（這是CPU，GPU，F(xiàn)PGA和NNP。）為此，微軟正在預覽其NDv3實例，該實例將具有與一對具有768GB內(nèi)存和八個SkylakeXeonSP-8168Platinum處理器的基本Olympus服務器節(jié)點。Graphcore加速器，每個處理器都帶有一對IPU芯片，并供應1,216個IPU磁貼，7,296個線程和300MB的處理器內(nèi)存以及驚人的45TB/sec的內(nèi)存帶寬。Graphcore處理器上的16個IPU核心庫組通過專有的IPU-Exchange交叉開關(guān)連接，其總帶寬為8TB/sec，并且在NDv3實例中，使用專有的IPU鏈接將多達八個Graphcore芯片粘合在一起互連。（這大致類似于帶有GPU的NVLink。Graphcore芯片通過PCI-Express4.0x16插槽連接到CPU結(jié)構(gòu)中。這些實例配備了Graphcore的Poplar軟件開發(fā)套件。

此外，微軟承諾將在Azure上供應NP系列實例，該實例將公開Xilinx的一到四個AlveoU250FPGA加速器。該服務器將由與上述其他實例相同的基本服務器實例托管，并將預裝Xilinx的SDAccel2022.1運行時環(huán)境。

微軟尚未發(fā)布GraphcoreNDv3系列和XilinxU250NP系列實例的價格。

在已經(jīng)出售其F1FPGA實例并且尚未透露任何NNP實例方案的AWS上，SC19的目的是談論其新的C5a和C5ad實例，這些實例將以裸機形式與192個虛擬實例一起供應。CPU（vCPU，是跨激活內(nèi)核的線程）和384GB內(nèi)存。C5a使用網(wǎng)絡存儲，而C5ad具有7.6TB的本地NVM-Expre