Blackwell Ultra: Nvidia GB300 har 288 GB HBM3e och 1,4 kW per GPU

Blackwell Ultra: Nvidia GB300 har 288 GB HBM3e och 1,4 kW per GPU 46 kommentarer

Bild: Nvidia

Tekniska data för uppgraderingen till Blackwell Ultra kommer från den taiwanesiska leveranskedjan. Nvidia hade redan tillkännagett halvcykeluppdateringen av Blackwell-arkitekturen på Computex i juni, och nu avslöjas detaljer för GB300, såsom mängden installerad HBM3e (288 GB) eller förbrukningen per GPU (1 400 watt).

Tillverkaren meddelade för investerare för ungefär ett år sedan att Nvidia skulle öka takten med att introducera nya lösningar för AI-superdatorer. Under Computex keynote i juni i år var vd Jensen Huang förvånansvärt öppen och gav publiken en glimt av Blackwells efterträdare, Blackwell Ultra, Rubin och Rubin Ultra för de närmaste åren.

Innehållsförteckning :

Blackwell Ultra med 288 GB HBM3e

Som ett resultat planeras Blackwell Ultra-mittcykeluppdateringen till nästa år. Nvidia hade redan officiellt tillkännagett funktionen ”8S HBM3e 12H” för detta ändamål. Det betyder: 8 HBM3e-stackar, var och en med 12 lager, används. Minnesexpansion per GPU förväntas öka från nuvarande 192 GB till 288 GB, rapporterar Taiwans Economic Daily med hänvisning till leveranskedjan.

Siffran på 288 GB är dock inte förvånande, eftersom Blackwell (utan Ultra) för närvarande använder 8 högar av HBM3e, var och en med 8 lager, vilket ger 192 GB fler lager med Blackwell Ultra betyder 50 % mer minne och därför 288 GB .

TDP ökar måttligt

Economic Daily-rapporten fokuserar främst på GB300, efterföljaren till GB200 superchip. Detta är vad Nvidia kallar kortet med två B200 GPU:er och en Grace CPU. 36 av dessa kort utgör GB200 NVL72, ett tätt, vattenkylt rack med 72 Blackwell GPU:er, 36 Grace CPU:er, 13,5 TB HBM3e och upp till 1 440 PetaFLOPS prestanda (FP4 Tensor Core Sparse). Varje Superchip-kort har en konfigurerbar TDP på 2 700 watt. Detta är viktigt när det kommer till Blackwell Ultra.

Artikeln listar en TDP på 1 400 watt för B300 GPU. Det låter mycket, men det är inte mycket mer än B200. Två Blackwell Ultra GPU:er skulle nå maximalt 2 800 watt och det skulle då behöva läggas till Grace CPU och andra komponenter på kortet för att kunna jämföra förbrukningen med tidigare Superchip GB200. Det är förutsägbart att förbrukningen per kort blir högre, men skillnaden blir inte dramatisk om vi jämför med prestandaökningen. FP4-prestandan skulle öka med 50 % till 2 160 PetaFLOPS med Blackwell Ultra när man använder sparsam acceleration.

LPCAMM för Grace-processorn

Förutom GPU:ernas HBM3e, löds också 480 GB LPDDR5X för Grace-processorn på varje Superchip GB200. Nästa generation kommer att introducera den modulära LPCAMM, avsedd från början för bärbara datorer, stationära datorer och servrar.

Förändringar av kyla och energilagring

För nya AI-servrar utrustade med Blackwell Ultra förväntas antalet universella snabbkopplingar (UQD) för vattenkylning att öka, vilket gör systemet mer modulärt. I de nya racken kommer även utrymme att skapas för batteribackup-enheter (BBU) och superkondensatorer för att använda denna energi för att dämpa avbrott.

Nätverk förväntas fördubblas till 1,6 Tbps

Dessutom planerar Nvidia att dubbla nästa nätverkshastighet till 1,6 Tbps. The Economic Daily sätter i spel en uppgradering från den gamla ConnectX-7 InfiniBand-adaptern till ConnectX-8. Enligt Computex färdplan från juni var 1,6 Tbit/s endast planerad för Rubin-plattformen och dess ConnectX-9, väntat nästa år. ConnectX-8 används också redan i nuvarande Blackwell-lösningar och ger 800 Gbps bandbredd.