GB300 NVL72: Nvidia Blackwell Ultra päivittyy 288 Gt HBM3E:hen 17 kommenttia
Kuva: nvidia
Nvidia esitteli nykyisen Blackwell-arkkitehtuurin jatkokehityksen Blackwell Ultralla GTC 2025:lle. Tämän pitäisi tehdä palvelinkeskusratkaisusta ikäsovitettua tekoälyn toteutusmalleille, joissa on korkeampi päättelyvaatimus.
B300 GPU on jatkokehitys viime vuonna esitellystä B200 GPU:sta, jolla NVIDIA julkisti Blackwell-arkkitehtuurin ja joka on ollut useiden pilvipalveluntarjoajien (CSP) kanssa palvelinkeskuksessa viime vuoden lopusta lähtien. Blackwell Ultra perustuu samaan arkkitehtuuriin ja sisältää siksi myös kaksi tällaista, jotka on yhdistetty toisiinsa matriisin kautta.
Keskity AI-siirtomallien päättelemiseen
Blackwell Ultra on kehitetty muun muassa korkeampiin vaatimuksiin pääteltäessä tekoälyn siirtomalleja, joiden täytyy nopeasti käsitellä ja kuluttaa useita satoja tuhansia tokeneita per pyyntö, koska ne myös esittävät pyynnön pyynnöstä käyttäjälle ja vaativat siten enemmän laskentaa.
HBM3E saavuttaa 288 Gt
Täyttääkseen nämä vaatimukset Nvidia laajentaa pääasiassa Blackwell Ultran muistia 288 Gt HBM3E:hen, joka perustuu 192 Gt HBM3E:hen lähellä Blackwellia B200 GPU:lla. 50 % suurempi kaistanleveysmuisti jakaa Nvidian jälleen kahdeksaan pinoon GPU:n ympärillä, mutta vastaavat pinot ovat nyt 12 8 DRAM-sirun sijaan, joten samalla alueella saavutetaan 50 % suurempi tallennustiheys.
1,5x FP4-päättelykyky
NVIDIA:n mukaan Blackwell Ultra tarjoaisi 1,5-kertaisen FP4-päätelmäsuorituskyvyn Blackwelliin verrattuna, yhtiö puhuu 15 Petaflopista tiheälle FP4:lle, eli ilman harvalukuista kiihtyvyyttä, jolla 30 PETA-floppia on mahdollista. Alkuperäisen Blackwell GPU:n osalta tämä tieto oli edelleen 10 Petaflopsia.
GB300 NVL72 72 GPU:lla ja 1.1 exaflopilla
Koska alkuperäinen saatavuus alkaa vuoden 2025 toisella puoliskolla, lisäkehitystä on tarkoitus käyttää kahdessa NVIDIAn datakeskusratkaisussa: GB300 NVL72 ja HGX B300 NVL16. GB300 NVL72 on jatkokehitys tunnetusta GB200 NVL72 -telineestä, joka yhdistää 72 Blackwell GPU:ta ja 36 Grace CPU:ta ARM-arkkitehtuurilla vesijäähdytteisessä palvelinkaapissa.
GB300 NVL72:lla se ei eroa, tässäkin ratkaisun perustana on yhteensä 36 korttia, joista jokaisessa on kaksi GPU:ta ja CPU. GB300 NVL72:ssa on yhteensä 1,1 exaflopsia, 20 Tt (20 736 Gt) HBM3E ja 40 Tt LPDDDR5X Grace-prosessoreille. Edelliseen telineeseen verrattuna ei myöskään laskentakorteista pitäisi olla tarkempia tehokkuusparannuksia.
GB300 NVL72
NvLink 1,8 TB/s muodostaa rungon
Runko, joka yhdistää yksittäiset sirut ”yhteen suureen grafiikkasuorittimeen”, muodostaa NVLinkin viidennen sukupolven kaistanleveydellä 1,8 TB/s GPU:ta kohti ja yhteensä 130 TB/s. NVLinkkiä käytettiin myös usean solmun liitäntänä Blackwelliltä, jota aiemmin käsiteltiin Infinibandin kautta nopeudella 100 Gt/s, joten Nvidia puhuu 18-kertaisesta suorituskyvyn lisäyksestä tässä skenaariossa. Siihen liittyvä ”NvLink Switch 7.2T” on myös telineessä ja on yhtä vaikuttava siru. NVIDIAlla on myös NVLink-kytkin, joka on valmistettu 4NP:ssä TSMC:ssä, ja sen määrä on 50 miljardia transistoria – nämä ovat lähes kaksi kolmasosaa Hopper H100 -transistoreista. NVLink-verkkotunnukseen voidaan lisätä jopa 576 GPU:ta.
HGX B300 x86-prosessorilla
HGX B300 NVL16:n kanssa NVIDIA tarjoaa myös ratkaisun ilman omaa ARM-suoritinta. Kuten nimessä oleva ”G”-signaaleista luopuminen, Grace CPU:ssa ei ole tätä ratkaisua, sen sijaan NVLink käyttää 16 B300 B300- ja x86-prosessoria. Prosessoripuolella AMD ja Intel ovat tulleet kelkkaan aiemmin.
Palvelintoimittajat ja CSP:t ovat mukana
Nvidian mukaan Cisco, Dell, Hewlett Packard Enterprise, Lenovo ja Supermicro haluavat tarjota laajan valikoiman Blackwell-Ultra-tuotteita, myöhemmin Aivre, Asrock, Asus, Eviden, Foxconn, Gigabyte, Inventec, Pegatron, Quanta, Wistron ja Wiwynn. Niistä pilvipalveluntarjoajista, jotka haluavat tarjota Blackwell Ultran, AWS:n, Google Cloudin, Microsoft Azuren ja Oraclen. Blackwell-gpus pilvessä haluaa tarjota myös Coreweave-, Crusoe-, Lambda-, Nebius-, Nscale-, Yotta- ja Ytl-palveluita.
Techtip sai tiedot tästä tuotteesta NVIDIAlta NDA:n alaisuudessa etukäteen ja osana valmistajatapahtumaa San Josessa, Kaliforniassa. Yhtiö maksoi saapumis-, lähtö- ja viiden hotellimajoituksen kustannukset. Valmistajalla ei ollut vaikutusta eikä ilmoitusvelvollisuutta. NDA:n ainoa vaatimus oli aikaisin mahdollinen julkaisuaika.
Aiheet: Grafiikkakortit tekoäly Nvidia Nvidia Blackwell Nvidia GTC 2025 Lähde: Nvidia
Koulutukseltaan insinööri Alexandre jakaa tietämystään näytönohjaimien suorituskyvystä pelaamiseen ja luovaan työhön.
