Le secteur des puces d'IA évolue vers un nouveau repère de performance. En effet, lors de la conférence Hot Chips, les principales entreprises ont insisté sur le fait d'optimiser la puissance de calcul dans des limites strictes d'énergie. Les analystes notent que « les « tokens par watt » sont devenus une mesure cruciale, reflétant la capacité limitée des centres de données et la demande croissante en « tokens de calcul », qui dépasse l'offre.
AMD a décrit les améliorations apportées à son moteur transcendantal et a introduit un outil de déplacement des données tensorelles, afin d'augmenter l'efficacité du calcul, tout en collaborant avec Cerebras pour mettre au point des architectures d'inférence par segment. Microsoft a présenté une nouvelle architecture appelée Software Defined Local Access Dataflow, utilisant une orchestration logicielle explicite pour réduire le coût total de possession grâce à une meilleure efficacité énergétique.
Nvidia a mis en avant une approche de décodage spéculatif et a dévoilé sa technologie NVHBM, qui est conçue pour offrir une amélioration de 30 % de la bande passante de la mémoire, une réduction de 15 % de la consommation d'énergie de la HBM et une augmentation de 25 % de la zone de proces de calcul utilisable par rapport à la HBM4E standard. La société a également souligné son engagement à optimiser l'efficacité énergétique face à la hausse des besoins en puissance des centres de données.
Cerebras poursuit l'inférence dégroupée grâce à des partenariats avec AMD et AWS, une stratégie que l'analyste de Barclays Tom O'Malley a décrite comme potentiellement offrant « une amélioration d'un ordre de grandeur » en termes de nombres de tokens par seconde par kilowatt. La société explore également des configurations de mémoire 3D DRAM empilées en collaboration avec Samsung.
OpenAI a adopté une approche différente avec son puce Jalapeño, en regroupant les fonctions de préremplissage, de brouillon et de décodage sur une seule puce, au lieu de les répartir sur des matériels séparés. Pendant ce temps, Google fait appel à deux sources de puces personnalisées, en utilisant MediaTek pour une ligne et Marvell pour une variante d'inférence, tandis que Marvell et Broadcom profitent de leur expertise dans le domaine des SerDes et de leurs capacités de chaîne d'approvisionnement pour préserver leur position concurrentielle dans le modèle de puce sur cale.
