Nvidia Kyber: En DGX Superpod komprimerar bara ett rack 6 kommentarer
Med Blackwell Ultra DGX superpod presenterade Nvidia en ”färdig att använda AI superdator” med Blackwell Ultra DGX superdator, som ger datorkraft för AI-projekt med 576 GPU:er på 11 EXAFLOPS (FP4). Men det som fortfarande är spritt över fyra rack kan snart passa in i ett, som Nvidias Kyber-rack visar.
Skalning drivs till toppen
Skalning måste göras innan skalning, förklarade Nvidias vd Jensen Huang för publiken i går. Det vi hör är en komprimering av komponenterna före dess bredd. Nvidia leder detta kommande projekt med regelbundet komprimerade rack och når den preliminära toppen med Kyber-racket vid GTC 2025.
Kyber-racket var bara indirekt ett problem för snacket, man var tvungen att ägna stor uppmärksamhet åt fotnoterna för att hitta utvecklingsnamnet på racket ”Kyber” utöver bilden av Rubin Ultra NVL576 som var planerad till andra halvan av 2027. Istället föll blicken snabbt på de gigantiska siffrorna runt Rubin Ultra med en enorm GPU 4-.
Kyber gör allt annorlunda
Redan frontvyn av Kyber som visades på keynoten antydde att Nvidia inte bara paketerade komponenterna här, utan också skulle se helt annorlunda ut i racket. Analogt med den angivna färdplanen fram till 2028 var Nvidia överraskande öppen för nästa generations servrar på sin egen GTC-mässa och hade redan ställt ut Kyber och de nya komponenterna som krävs för denna aktivitet endast som ett bevis på konceptet. Men med hänsyn till det faktum att Jensen Huang visade att Rubin Ultra NVL576 i detta chassi till kåpan, kan det antas.
Kyber Rack Bild 1 av 8
576 GPU:er i ett enda rack
Rubin Ultra NVL576, bland annat, ger 144 chippaket ihopparade med totalt 576 GPU:er genom flera NVLink-switchar i ett enda rack. Enligt Huang har racket ett energibehov på 600 kW. Som jämförelse: med GB200 NVL72 (och GB300 NVL144), 132 kW och per rack 144 GPU:er (ny räknemetod för GB300) är uppdelade i 72 chippaket, 36 GRACE CPU:er och nio NVLink-switchar.
Kyber klarar sig utan en nvlink kopparkabel
Nvidia strävar därför efter ett GPU Compression Pro-rack med en faktor 4x med Rubin Ultra jämfört med Rubin, Blackwell Ultra och Blackwell. För att göra detta måste rackstrukturen ses över helt, vilket Kyber imponerande visar. Med GB300 NVL144 och Vera Rubin NVL144 installerar NVIDIA de 18 beräkningsfacken med 8 GPU:er och 2 processorer i var och en av lådorna i racket, de nio NVLink-switcharna ligger ovanpå varandra mellan de första tio och de återstående åtta beräkningsfacken. Systemets ”ryggrad” är 3,2 kilometer kopparkablar på baksidan av racket, som förbinder datorbrickorna med NVLink-switcharna för att skapa ”en stor GPU.
GB300 NVL72 bakifrån med kopparkablar för NVLink-switchar Bild 1 av 3
Kyber bygger inte bara poeter, utan klarar sig också utan dessa kablar. Istället för plattor förlitar sig Nvidia på blad för compute- och nvlink-omkopplarna, som roteras 90 grader som böcker på en hylla. Kyber kan absorbera fyra block med 18 beräkningsblad för totalt 72 beräkningsblad. På Kyber har varje beräkningsblad bara ungefär halva byggdjupet jämfört med Blackwell-plattor, eftersom NVIDIA går från en hybridvätskestruktur till en unik vätskekyld struktur som inte längre kräver en konventionell kylfläns och fläkt. Den här gången inkluderar vätskekylning verkligen alla komponenter, det vill säga inte bara GPU:er och processorer, utan även lagring, DPU, nätverk med mera, så att fansen inte längre behöver spränga korten.
Midplane PCB som ny mittplansdel
Men var krävs NVLink-switchar i Kyber? Dessa inkluderar den andra hälften av konstruktionsdjupet för standardkompatibla rack när det gäller dimensioner direkt bakom beräkningsbladen. Mellan de två ligger vinkelrätt mot bladen, vilket åstadkoms framifrån och bakifrån, ett nytt mittfältskretskort med kontaktpunkter på båda sidor för att registrera datorbladen framifrån och bakom NVLink-omkopplingsbladen med motsvarande anslutningsdelar. I det här området av racket fungerar också vätskekylning, var och en med båda anslutningarna för varje dator och nvlink-switch. I slutresultatet, angående antalet GPU:er, skapas ett rack med 144 chippaket för totalt 576 GPU:er, eftersom Rubin Ultra fyra istället för två GPU:er bildar ett chippaket.
Byggklossar vid Kyber Rack Bild 1 av 3
Blackwell Ultra DGX Superpod
I år måste Nvidia-kunder dock fortfarande ”vara nöjda” med Blackwell Ultra DGX superpod som tillkännagavs på GTC, som också erbjuder 576 GPU:er, men som fortfarande distribuerar dem över fyra rack med hybridkylning. Den nya superpoden marknadsförs av Nvidia som en ”AI-superdator i lådan”, som med 576 Blackwell-Ultra-GPUS och 288 Grace-processorer uppnår en beräkningskraft på 11,5 exaflops för FP4. Blackwell Ultra DGX superpod förväntas erbjudas av Nvidia-partners senare i år.
Nvidia Blackwell Ultra Dgx Superpod (Bild: Nvidia)
Techtip fick information om den här artikeln från Nvidia som en del av ett evenemang av tillverkaren i San Jose, Kalifornien. Kostnaden för ankomst, avresa och fem hotellboenden stod för företaget. Det fanns inget inflytande från tillverkaren eller någon anmälningsplikt.
Ämnen: grafikkort artificiell intelligens nvidia nvidia gtc 2025
Ingenjör i grunden, Alexandre delar sin kunskap om GPU-prestanda för spel och skapande.
