Nvidia ne fabrique pas sa propre mémoire IA : le NVHBM

Nvidia, déjà reconnu pour ses puces d’intelligence artificielle, franchit une nouvelle étape en s’attaquant à la fabrication de la mémoire qui les accompagne, baptisée NVHBM. Ce développement marque une évolution significative dans le domaine des technologies de mémoire haute performance.

Traditionnellement, la mémoire haute bande passante (HBM), utilisée dans les accélérateurs d’IA, était fournie par trois grands acteurs : SK Hynix, Samsung et Micron. Jusqu’à présent, le contrôleur de cette mémoire était intégré dans le processeur. Nvidia a décidé de le repositionner directement au sein de la pile mémoire, un changement qui, bien que semblant technique, représente une avancée architecturale majeure, connue sous le nom de HBM4E.

La HBM, qui signifie High Bandwidth Memory, est une mémoire ultra-rapide composée de plusieurs couches de silicium empilées verticalement pour maximiser le débit. La version la plus récente, la HBM4, est actuellement au cœur des enjeux entre les fabricants d’accélérateurs. L’efficacité de cette mémoire est cruciale, car un débit accru permet au processeur d’accéder à des données sans interruption.

Nvidia annonce des améliorations notables avec la HBM4E, revendiquant jusqu’à 30 % de bande passante supplémentaire et une réduction de 15 % de la consommation d’énergie. En rapprochant le contrôleur des cellules de mémoire, la latence est diminuée et le trajet des données est optimisé. Cette interface plus compacte permet également de libérer jusqu’à 25 % de la surface sur le processeur, que Nvidia pourrait utiliser pour ajouter davantage de cœurs. En effet, les limitations de performance dans le traitement de modèles complexes proviennent souvent du débit entre la mémoire et le processeur, plutôt que de la puissance brute.

Amazon est le premier à adopter cette nouvelle technologie, intégrant la mémoire NVHBM dans son processeur d’IA Trainium4, développé en collaboration avec sa division Annapurna Labs. Les deux entreprises prévoient de déployer 2 millions de GPU supplémentaires entre 2027 et 2028, utilisant la mémoire NVHBM ainsi que les processeurs Vera. Ce projet s’inscrit dans un contexte de pénurie de mémoire, où la production pour 2027 est déjà entièrement réservée et les prix de la RAM continuent d’augmenter.

En intégrant son contrôleur dans la pile de mémoire, Nvidia s’approprie une partie de la chaîne de production qui était jusqu’alors dominée par ses fournisseurs. Cependant, la disponibilité de cette technologie dans les GPU destinés au grand public reste à déterminer. Dans un contexte où Nvidia a déjà augmenté les prix de ses cartes graphiques à trois reprises cette année et s’intéresse à des entreprises comme Hugging Face, il n’est pas surprenant qu’elle cherche à sécuriser davantage de maillons dans sa chaîne de valeur.