Flash med hög bandbredd: Sandisk planerar gigantisk lagring för AI-accelerator

Flash med hög bandbredd: Sandisk planerar gigantisk lagring för AI-accelerator 16 kommentarer

Bild: Sanisk

Sandisk blir snart digitalt oberoende efter att ha splittrats från Western och kommer att ha stora planer för framtiden. En av dem är High Bandwidth Flash (HBF), som borde ge GPU:er mycket mer minne än vad som skulle vara möjligt med tidigare High Bandwidth Memory (HBM).

Innehållsförteckning :

HBF bör komplettera och ersätta HBM

Till en början kan idén verka absurd, för som bekant är NAND-Flash betydligt långsammare än DRAM, som är staplat i HBM. Ändå tänker Sander med blixten med hög bandbredd (ytterligare) användning av NAND-blixt, som skärs vid hög bandbredd, som ska använda GPU:erna när man använder AI-modeller, den så kallade AI-inferensen, med gott om lagringsutrymme.

Minst 8 gånger mer minne än med HBM

Med varje ny generation av högbandsminne finns det högre lagringskapacitet som når 192 GB, till exempel av AMD och NVIDIAs AI. Men med High Bandwidth Flash (HBF) vill Sandisk möjliggöra 8 till 16 gånger enhetlig lagringskapacitet till jämförbara kostnader.

Två scenarier illustreras grafiskt och en konventionell lösning jämförs med 8 HBM-paket och totalt 192 GB lagringsvolym. Efter att GPU:n har tillgång till 6 HBF-paket och 2 HBM-byggblock, kompletterar flash-blixten med hög bandbredd den snabba HBM, som fortsätter i liten utsträckning. Hela lagringsvolymen ökar till 3 120 GB eller cirka 3 TB I det andra scenariot ersätts HBM till och med helt av HBF, så GPU:n kan till och med komma åt 4 096 GB (4 TB) minne. Då även en 1,8 biljoner llm tung inställning med 3,6 TB minneskrav.

Sandisk High Bandwidth Flash (HBF) (Bild: Sandisk) Bild 1 av 2

I exemplen har ett enda HBM-paket en lagringskapacitet på 24 GB, medan ett HBF-paket når totalt 512 GB – tack vare den stora ytan av Nand-Flash.

Flash Schema IM Flash hög bandbredd

Ett diagram visar att den staplade HBF dör på logik. Detta HBF-paket är lika mycket som HBM på en interposer bredvid GPU eller CPU eller TPU, beroende på var minnet behövs. HBF är avsedd att använda samma elektriska gränssnitt med ”mindre stockar”. HBF kommer inte att vara kompatibel med HBM.

Sandisk High Bandwidth Flash (HBF) (Bild: Sandisk)

Samma flöde som med HBM?

Den stora frågan kvarstår, hur snabbt kan HBF springa? Enligt Sandisk ska det vara lika med HBM-genomströmningen (bandbredden). Normal NAND-blixt är hopplöst sämre under åtkomsttimmar, men fortsätter att närma sig under hela genomströmningen.

Ett annat diagram indikerar att Sandisk förlitar sig på en speciell NAND-arkitektur hos HBF, som är uppdelad i flera domäner med fler datalinjer och snabbare åtkomst. Parallellerna med Flash XL kommer att tänka på. I slutändan kan en sådan framgångsrik landning av lagringsklassens minne av detta slag göra det till den lukrativa marknaden för AI-acceleratorer, förutsatt att planen öppnar sig.

Sandisk High Bandwidth Flash (HBF) (Bild: Sandisk)

Ingen standard ännu, men redan en färdplan

Tills dess måste idén först genomföras. Enligt egna utsagor utvecklade Sandisk HBF-arkitekturen förra året med ”Bidrag från Big IA Playern”. Nu gäller det att forma ett tekniskt råd av partners och branschstorlekar och få en öppen standard.

Sandisk High Bandwidth Flash (HBF) (Bild: Sandisk)

Hur mycket HBF har gemensamt med konceptet (PDF-fil) med hög bandbredd NAND (HBN), som formulerades för flera år sedan av japanska forskare, kommer snart att visas.

Även om allt detta fortfarande är framtidsmusik, planerar Sandisk redan för efterföljande generationer med mer lagring och prestanda i form av en färdplan.

SANDISK High Bandwidth Flash (HBF) (Bild: Sandisk) Ämnen: RAM Flash Memory