Flash de bande passante élevée: Sandisk prévoit le stockage géant pour l'accélérateur de l'IA 16 commentaires
Image: Sanisk
Sandisk sera bientôt numériquement indépendant après la séparation de Western et aura de grands plans pour l'avenir. L'un d'eux est le flash de bande passante élevé (HBF), qui devrait fournir des GPU avec beaucoup plus de mémoire que ce qui ne serait possible avec la mémoire de bande passante élevée précédente (HBM).
HBF devrait compléter et remplacer HBM
Au début, l'idée peut sembler absurde, car comme c'est bien connu, NAND-Flash est considérablement plus lent que DRAM, comme cela est empilé dans le HBM. Néanmoins, Sander avec le flash de bande passante élevé envisage l'utilisation (supplémentaire) d'un flash NAND, qui est coupé à un débit élevé, qui est censé utiliser les GPU lors de l'utilisation de modèles d'IA, le soi-disant l'inférence AI, avec beaucoup de espace de stockage.
Au moins 8 fois plus de mémoire qu'avec HBM
Avec chaque nouvelle génération de mémoire de bande passante élevée, il existe des capacités de stockage plus élevées qui atteignent 192 Go, par exemple, par AMD et l'IA de NVIDIA. Mais avec la bande passante élevée Flash (HBF), Sandisk veut permettre à 8 à une capacité de stockage uniforme de 16 fois à des coûts comparables.
Deux scénarios sont illustrés en graphiques et une solution conventionnelle est comparée à 8 packages HBM et un total de 192 Go de volume de stockage. Une fois que le GPU peut accéder à 6 packages HBF et 2 blocs de construction HBM, le flash de bande passante élevé complète le HBM rapide, qui se poursuit dans une petite mesure. L'ensemble du volume de stockage augmente à 3 120 Go ou environ 3 To. Dans le deuxième scénario, le HBM est même complètement remplacé par HBF, de sorte que le GPU peut même accéder à la mémoire de 4,096 Go (4 To). Ensuite, même un paramètre de 1,8 billion de paramètres lourds llm avec des exigences de mémoire de 3,6 To.
Sandisk High Bandwidth Flash (HBF) (Image: Sandisk) Image 1 sur 2
Dans les exemples, un seul package HBM a une capacité de stockage de 24 Go, tandis qu'un package HBF atteint un total de 512 Go-Merci à la grande superficie de Nand-Flash.
Schema Flash IM Flash High Bandpwidth
Un schéma montre que le HBF empilé meurt sur une logique. Ce package HBF est tout autant que le HBM sur un interposeur à côté du GPU ou du CPU ou du TPU, selon l'endroit où la mémoire est nécessaire. Le HBF est destiné à utiliser la même interface électrique avec des « journaux plus petits ». HBF ne sera pas en compatible avec HBM.
Sandisk High Bandwidth Flash (HBF) (Bild: Sandisk)
Même débit qu'avec HBM?
La grande question demeure, à quelle vitesse le HBF peut-il fonctionner? Selon Sandisk, il devrait être égal au HBM au débit (bande passante). Le flash NAND normal est désespérément inférieur pendant les heures d'accès, mais continue de s'approcher tout au long du débit.
Un autre graphique indique que Sandisk s'appuie sur une architecture NAND spéciale au HBF, qui est divisée en plusieurs domaines avec plus de lignes de données et un accès plus rapide. Les parallèles avec le Flash XL me viennent à l'esprit. En fin de compte, un atterrissage aussi performant de la mémoire de la classe de stockage du genre pourrait en faire le marché lucratif des accélérateurs de l'IA, à condition que le plan s'ouvre.
Sandisk High Bandwidth Flash (HBF) (Bild: Sandisk)
Pas encore de norme, mais déjà une feuille de route
Jusque-là, l'idée doit d'abord être mise en œuvre. Selon ses propres déclarations, Sandisk a développé l'architecture HBF l'année dernière avec « Contributions de Big IA Playern ». Maintenant, il est important de façonner un conseil consultatif technique des partenaires et des tailles de l'industrie et d'obtenir une norme ouverte.
Sandisk High Bandwidth Flash (HBF) (Bild: Sandisk)
Combien le HBF a en commun avec le concept (fichier PDF) de la bande passante élevée NAND (HBN), formulé il y a des années par des chercheurs japonais, sera bientôt montré.
Même si tout cela est encore une future musique, Sandisk prévoit déjà les générations suivantes avec plus de capacité de stockage et de performances sous la forme d'une feuille de route.
SANDISK High Bandwidth Flash (HBF) (Image: Sandisk) Sujets: RAM Flash Memory
Alice vous guide à travers les meilleures solutions de stockage, des SSD ultra-rapides aux options cloud sécurisées.
