Flash a larghezza di banda elevata: Sandisk progetta uno spazio di archiviazione gigantesco per l’acceleratore AI 16 commenti
Immagine: Sanisk
Sandisk sarà presto indipendente dal punto di vista digitale dopo la separazione da Western e avrà grandi progetti per il futuro. Uno di questi è High Bandwidth Flash (HBF), che dovrebbe fornire alle GPU molta più memoria di quanto sarebbe possibile con la precedente High Bandwidth Memory (HBM).
La HBF dovrebbe integrare e sostituire la HBM
A prima vista l’idea può sembrare assurda perché, come è noto, la NAND-Flash è notevolmente più lenta della DRAM, come quella impilata nell’HBM. Tuttavia, Sander prevede con la flash a larghezza di banda elevata l’uso (ulteriore) di flash NAND, che viene tagliato con una larghezza di banda elevata, che dovrebbe utilizzare le GPU quando si utilizzano modelli AI, la cosiddetta AI inference, con molto spazio di archiviazione.
Almeno 8 volte più memoria rispetto alla HBM
Con ogni nuova generazione di memoria a larghezza di banda elevata, ci sono capacità di archiviazione più elevate che raggiungono i 192 GB, ad esempio, grazie all’intelligenza artificiale di AMD e NVIDIA. Ma con High Bandwidth Flash (HBF), Sandisk vuole consentire una capacità di storage da 8 a 16 volte più uniforme a costi comparabili.
Vengono illustrati graficamente due scenari e viene confrontata una soluzione convenzionale con 8 pacchetti HBM e un totale di 192 GB di volume di memoria. Dopo che la GPU può accedere a 6 pacchetti HBF e 2 blocchi HBM, la flash ad alta larghezza di banda integra il veloce HBM, che continua in piccola misura. L’intero volume di memoria aumenta a 3.120 GB o circa 3 TB. Nel secondo scenario, l’HBM viene addirittura completamente sostituito dall’HBF, quindi la GPU può accedere anche alla memoria da 4.096 GB (4 TB). Quindi anche un’impostazione pesante da 1,8 trilioni di llm con requisiti di memoria di 3,6 TB.
Sandisk High Bandwidth Flash (HBF) (Immagine: Sandisk) Immagine 1 di 2
Negli esempi, un singolo pacchetto HBM ha una capacità di memoria di 24 GB, mentre un pacchetto HBF raggiunge un totale di 512 GB, grazie all’ampia superficie di Nand-Flash.
Schema Flash IM Flash Larghezza di banda elevata
Un diagramma mostra che l’HBF impilato muore secondo la logica. Questo pacchetto HBF è tanto quanto l’HBM su un interposer accanto alla GPU o CPU o TPU, a seconda di dove è necessaria la memoria. L’HBF è previsto per utilizzare la stessa interfaccia elettrica con “tronchi più piccoli”. HBF non sarà compatibile con HBM.
Sandisk Flash a larghezza di banda elevata (HBF) (immagine: Sandisk)
Stessa portata della HBM?
La grande domanda rimane: quanto velocemente può correre l’HBF? Secondo Sandisk dovrebbe essere uguale al throughput HBM (larghezza di banda). La normale memoria flash NAND è irrimediabilmente inferiore durante gli orari di accesso, ma continua ad avvicinarsi durante tutto il throughput.
Un altro grafico indica che Sandisk si affida ad una speciale architettura NAND di HBF, divisa in più domini con più linee dati e accesso più veloce. Mi vengono in mente i paralleli con Flash XL. In definitiva, un atterraggio di tale successo della memoria di classe storage di questo tipo potrebbe trasformarlo in un mercato redditizio per gli acceleratori di intelligenza artificiale, a condizione che il piano si apra.
Sandisk Flash a larghezza di banda elevata (HBF) (immagine: Sandisk)
Ancora nessuno standard, ma già una tabella di marcia
Fino ad allora, l’idea deve prima essere implementata. Secondo le sue stesse dichiarazioni, Sandisk ha sviluppato l’architettura HBF l’anno scorso con “Contributi di Big IA Playern”. Ora è importante formare un comitato consultivo tecnico composto da partner e dimensioni del settore e ottenere uno standard aperto.
Sandisk Flash a larghezza di banda elevata (HBF) (immagine: Sandisk)
Quanto HBF abbia in comune con il concetto (file PDF) di NAND ad alta larghezza di banda (HBN), formulato anni fa da ricercatori giapponesi, lo vedremo presto.
Anche se si tratta ancora di musica del futuro, Sandisk sta già pianificando le generazioni successive con più spazio di archiviazione e prestazioni sotto forma di tabella di marcia.
SANDISK Flash a larghezza di banda elevata (HBF) (Immagine: Sandisk) Argomenti: Memoria flash RAM
Alice ti guida attraverso le migliori soluzioni di archiviazione, dagli SSD ultra veloci alle opzioni cloud sicure.
