Flash med høj båndbredde: Sandisk planlægger gigantisk lagerplads til AI-accelerator 16 kommentarer
Billede: Sanisk
Sandisk vil snart være digitalt uafhængig efter opdeling fra Western og vil have store planer for fremtiden. En af dem er High Bandwidth Flash (HBF), som skulle give GPU’er meget mere hukommelse, end det ville være muligt med tidligere High Bandwidth Memory (HBM).
HBF bør supplere og erstatte HBM
I starten kan ideen virke absurd, for som bekendt er NAND-Flash betydeligt langsommere end DRAM, som det er stablet i HBM. Ikke desto mindre forestiller Sander med flashen med høj båndbredde (yderligere) brug af NAND-flash, som skæres ved høj båndbredde, som skal bruge GPU’erne ved brug af AI-modeller, den såkaldte AI-inferens, med masser af lagerplads.
Mindst 8 gange mere hukommelse end med HBM
Med hver ny generation af hukommelse med høj båndbredde er der højere lagerkapaciteter, der når op på 192 GB, for eksempel af AMD og NVIDIAs AI. Men med High Bandwidth Flash (HBF) ønsker Sandisk at muliggøre 8 til 16 gange ensartet lagerkapacitet til sammenlignelige omkostninger.
To scenarier er illustreret grafisk, og en konventionel løsning sammenlignes med 8 HBM-pakker og i alt 192 GB lagervolumen. Efter at GPU’en kan få adgang til 6 HBF-pakker og 2 HBM-byggeklodser, komplementerer flashen med høj båndbredde den hurtige HBM, som fortsætter i lille grad. Hele lagervolumen øges til 3.120 GB eller cirka 3 TB. I det andet scenarie er HBM endda fuldstændig erstattet af HBF, så GPU’en kan endda få adgang til 4.096 GB (4 TB) hukommelse. Så endda en 1,8 billioner llm tung indstilling med 3,6 TB hukommelseskrav.
Sandisk High Bandwidth Flash (HBF) (Billede: Sandisk) Billede 1 af 2
I eksemplerne har en enkelt HBM-pakke en lagerkapacitet på 24 GB, mens en HBF-pakke når op på i alt 512 GB – takket være det store areal af Nand-Flash.
Flash Schema IM Flash høj båndbredde
Et diagram viser, at den stablede HBF dør på logik. Denne HBF-pakke er lige så meget som HBM’en på en interposer ved siden af GPU’en eller CPU’en eller TPU’en, alt efter hvor hukommelsen er nødvendig. HBF’en er beregnet til at bruge den samme elektriske grænseflade med “mindre logs”. HBF vil ikke være kompatibel med HBM.
Sandisk High Bandwidth Flash (HBF) (Billede: Sandisk)
Samme flowhastighed som med HBM?
Det store spørgsmål er tilbage, hvor hurtigt kan HBF køre? Ifølge Sandisk skal det svare til HBM-gennemløbet (båndbredden). Normal NAND-flash er håbløst ringere i adgangstiden, men fortsætter med at nærme sig gennem hele gennemløbet.
Et andet diagram indikerer, at Sandisk er afhængig af en speciel NAND-arkitektur hos HBF, som er opdelt i flere domæner med flere datalinjer og hurtigere adgang. Parallellerne med Flash XL kommer til at tænke på. I sidste ende kunne en sådan succesfuld landing af lagerklassens hukommelse af slagsen gøre det til det lukrative AI-acceleratormarked, forudsat at planen åbner op.
Sandisk High Bandwidth Flash (HBF) (Billede: Sandisk)
Ingen standard endnu, men allerede en køreplan
Indtil da skal ideen først implementeres. Sandisk udviklede ifølge egne udsagn HBF-arkitekturen sidste år med “Bidrag fra Big IA Playern”. Nu er det vigtigt at forme et teknisk rådgivende udvalg af partnere og branchestørrelser og få en åben standard.
Sandisk High Bandwidth Flash (HBF) (Billede: Sandisk)
Hvor meget HBF har til fælles med konceptet (PDF-fil) med høj båndbredde NAND (HBN), formuleret for år siden af japanske forskere, vil snart blive vist.
Selvom det hele stadig er fremtidsmusik, planlægger Sandisk allerede de efterfølgende generationer med mere lagring og ydeevne i form af en køreplan.
SANDISK High Bandwidth Flash (HBF) (Billede: Sandisk) Emner: RAM Flash Memory
Alice guider dig gennem de bedste lagringsløsninger, fra lynhurtige SSD’er til sikre cloud-løsninger.
