El sector de los chips de inteligencia artificial está transitando hacia arquitecturas eficientes en términos de energía, ya que las restricciones de potencia y espacio de los centros de datos están modificando las prioridades, según las discusiones en la conferencia Hot Chips.
Los directivos de la industria resaltaron los «tokens por watt» como una métrica de rendimiento crítica en medio de la creciente demanda de cargas de inferencia de IA y la limitada oferta de capacidad de cómputo. El analista de Barclays, Tom O'Malley, señaló que el rendimiento del sistema completo, medido a nivel de rack, ha pasado a ser el principal enfoque, con las empresas optimizando el consumo de energía y la eficiencia de la memoria.
Nvidia presentó su interfaz de memoria NVHBM, alegando una mejora del 30 % en la banda ancha, una reducción del 15 % en el consumo de energía en comparación con HBM4E y un aumento del 25 % en el área útil de los diodos de computación. La compañía también discutió un enfoque de decodificación especulativa para mejorar la eficiencia de la inferencia.
AMD describió mejoras a su motor trascendental y presentó un tensor data mover para mejorar el rendimiento de procesamiento al tiempo que se reduce el consumo de energía. La empresa está colaborando con Cerebras en soluciones de inferencia desagregadas, las cuales, según O'Malley, podrían ofrecer una mejora de un orden de magnitud en tokens por segundo por kilowatt.
Microsoft presentó la arquitectura Software Defined Local Access Dataflow, diseñada para reducir el coste total de propiedad a través de la optimización energética impulsada por el software. Por su parte, OpenAI adoptó un enfoque contrario con su chip Jalapeño, que consolida las funciones de prefiltro, borrador y decodificación en un solo proceso en lugar de distribuirlas en componentes de hardware separados.
Google está diversificando su cadena de suministro de chips, utilizando MediaTek para una línea de productos y Marvell para una variante de inferencia. Broadcom y Marvell fueron citados por su experiencia en SerDes y sus capacidades de cadena de suministro, mientras que Samsung está explorando configuraciones de DRAM apiladas en 3D en una fase temprana de desarrollo, a pesar de los desafíos relacionados con el suministro térmico y de potencia.
