El sector de los chips IA se está desplazando hacia un nuevo punto de referencia en cuanto a rendimiento, ya que las principales empresas en la conferencia Hot Chips enfatizaron la máxima eficiencia computacional dentro de estrictos límites de consumo. Los analistas observan que los "tokens por vatio" han emergido como una medida crítica, reflejando la limitada capacidad de los centros de datos y la creciente demanda de tokens de cómputo que supera la oferta.
AMD describió mejoras en su motor trascendental e introdujo un transbordador de datos tensor para mejorar la eficiencia de procesamiento, además de asociarse con Cerebras en arquitecturas de inferencia desagregadas. Microsoft presentó una nueva arquitectura denominada Software Defined Local Access Dataflow, que aprovecha una orquestación de software explícito para reducir el coste total de propiedad mediante una mayor eficiencia energética.
Nvidia subrayó un enfoque de decodificación especulativo y presentó su tecnología NVHBM, que está diseñada para ofrecer un 30% de mejora en la banda de memoria, una reducción del 15% en el consumo de energía de HBM y un 25% de aumento en el área útil del chip de computación en comparación con la HBM4E convencional. La compañía también destacó su enfoque en la optimización de la eficiencia energética en un entorno en el que la demanda de energía en los centros de datos aumenta.
Cerebras está buscando la inferencia descompensada a través de alianzas con AMD y AWS, una estrategia que el analista de Barclays, Tom O'Malley, describió como potencialmente capaz de ofrecer "una mejora de un orden de magnitud" en tokens por segundo por kilovatio. La compañía también está explorando configuraciones de DRAM en 3D piladas en colaboración con Samsung.
OpenAI adoptó un enfoque diferente con su chip Jalapeño, ya que consolidó las funciones de prefill, borrador y descifrado en un solo chip en lugar de distribuirlas en hardware separado. Google, por su parte, obtiene los chips personalizados a través de una estrategia de doble suministro, utilizando MediaTek para una línea y Marvell para una variante de inferencia, mientras que Marvell y Broadcom aprovechan su experiencia en SerDes y sus capacidades de cadena de suministro para mantener su posición competitiva en el modelo de chip en mosaico.
