La deuxième journée de la conférence Hot Chips a souligné un changement dans l'infrastructure de l'intelligence artificielle : le réseau, et non le calcul brute, est désormais la contrainte principale qui limite les performances des systèmes à mesure que les modèles d'intelligence artificielle augmentent en taille et en complexité.
Les analystes de Citi soulignent que si le développement précoce de l'IA s'est concentré sur des processeurs graphiques (GPU) plus rapides et des accélérateurs plus puissants, la capacité à déplacer les données efficacement entre les puces, les serveurs, les rack et les datacenters s'est révélée être un défi plus important. Les modèles comprenant des trillions de paramètres, des fenêtres de contexte plus grandes et les charges de travail d'agents autonomes génèrent un trafic de données exponentiel, ce qui satura l'ensemble des interconnexions traditionnelles.
Ce point critique est manifeste dans la réponse de l'industrie. Nvidia fait la promotion de son concept de « fabriques d'IA », une architecture de centre de données conçue autour des flux de données optimisés reliant le traitement, la mémoire, la mise en réseau, le stockage et la sécurité, plutôt que le modèle traditionnel axé sur le serveur. Cette approche reflète un virage plus large de l'industrie vers des systèmes intégrés dans lesquels la bande passante et la latence, et non seulement la puissance de traitement, déterminent les performances globales.
La mémoire fait de plus en plus partie du défi des réseaux. Samsung, XCENA et Cerebras ont présenté des technologies visant à maintenir les données plus près du lieu de traitement, ce qui réduit le volume qui doit traverser les interconnexions encombrées. Chaque octet conservé localement réduit le surcoût de la communication, améliorant ainsi l'efficacité dans les déploiements à grande échelle.
Les participants du secteur examinent également la restructuration de l'infrastructure de niveau physique. Lumentum, Coherent, Marvell Technology et Astera Labs figurent parmi les entreprises qui développent des composants optiques et électriques pour supporter des taux de données plus élevés et une latence moindre dans les réseaux de centres de données. Arista Networks et Broadcom fournissent des commutateurs haute vitesse et du silicium pour répondre à la demande croissante en connectivité à faible latence.
Dans une note récente, les analystes de Citi soulignent les implications stratégiques : « Le prochain vainqueur de l'IA ne sera pas nécessairement la société dont le processeur est le plus rapide, mais celle qui peut déplacer les données de manière la plus efficace dans l'ensemble du système. » Cette observation souligne à quel point les performances de l'IA sont de plus en plus liées à la qualité du réseau sous-jacent, des liaisons entre puces jusqu'aux structures à l'échelle des datacenters.
Cette tendance a attiré l'attention des principaux développeurs d'IA. Entre autres, Meta Platforms et Google d'Alphabet évalueraient des solutions de réseau de prochaine génération pour soutenir leurs workloads de formation et d'inférence de modèles en pleine expansion. La participation de Samsung à la conférence marque son investissement dans les technologies de mémoire et d'interconnexion optimisées pour l'IA, tandis que Cerebras continue de prôner l'intégration à l'échelle du wafer pour minimiser le mouvement des données.
