Le secteur des puces d'intelligence artificielle est en transition vers des architectures économe en énergie, car les contraintes de puissance et d'espace des centres de données réorganisent les priorités, selon les discussions de la conférence Hot Chips.
Les dirigeants du secteur ont souligné que les «tokens par watt» constituent une métrique de performances essentielle dans un contexte où la demande de charges de travail d'inférence AI augmente fortement et l'offre de capacité de calcul est limitée. Tom O'Malley, analyste chez Barclays, a noté que les performances globales du système – mesurées au niveau du rack – sont devenues la priorité absolue, les entreprises optant pour une consommation d'énergie et une efficacité en mémoire optimales.
Nvidia a dévoilé son interface de mémoire NVHBM, annonçant une amélioration de la bande passante de 30%, une réduction de la consommation d'énergie de 15% par rapport à HBM4E et une augmentation de 25% de la superficie de calcul utilisable. La société a également discuté d'une approche de décodage spéculative afin d'améliorer l'efficacité de l'inférence.
AMD a présenté des améliorations à son moteur transcendantal et a présenté un transférisseur de données tensor pour améliorer les performances de calcul tout en diminuant la consommation d'énergie. La société collabore avec Cerebras sur des solutions d'inférence dégroupées, qui, selon O'Malley, pourraient apporter une amélioration de l'ordre de la grandeur au niveau des éléments par seconde par kilowatt.
Microsoft a introduit l'architecture Software Defined Local Access Dataflow, conçue pour réduire le coût total de possession grâce à une optimisation énergétique guidée par le logiciel. OpenAI, quant à elle, a adopté une approche plus contraignante avec son microprocesseur Jalapeño, qui regroupe les fonctions de préremplissage, de brouillon et de déchiffrement sur un seul puce, plutôt que de les répartir entre divers composants matériels.
Google diversifie sa chaîne d'approvisionnement en puces, mettant à profit MediaTek pour une ligne de produits et Marvell pour une version d'inférence. Broadcom et Marvell ont été cités pour leur expertise en matière de SerDes et leurs capacités de chaîne d'approvisionnement, tandis que Samsung étudie des configurations 3D de DRAM empilés en phase de développement précoce, malgré les défis thermiques et en matière de distribution d'énergie.
