El enfoque de la infraestructura de inteligencia artificial se está desplazando de procesadores más rápidos a un movimiento de datos más eficiente, ya que la industria se enfrenta a los cuellos de botella en las conexiones de interconexión y la distribución de la memoria.
En la conferencia Hot Chips de esta semana, analistas y ejecutivos destacaron que la próxima fase del desarrollo de la IA está limitada menos por la velocidad de los chips y más por la capacidad de transferir y almacenar datos en sistemas cada vez más complejos. A medida que los modelos se aproximan a escalas de trillones de parámetros y se amplían los contextos, el volumen de datos que debe moverse entre los chips, los servidores y los centros de datos está superando las mejoras del rendimiento de las operaciones básicas.
Los analistas señalaron que la integración de la memoria se ha vuelto inseparable de los desafíos de las redes. Se están implementando tecnologías como la memoria en el paquete, las conexiones de alta banda ancha y las arquitecturas de memoria distribuida para mantener los datos más cerca de las unidades de procesamiento y reducir el tráfico en los caminos de datos congestionados.
Los analistas de Citi hicieron hincapié en este cambio estratégico en un comunicado: «El futuro ganador en la IA no será necesariamente la empresa con el procesador más rápido, sino la que pueda mover los datos de manera más eficiente en todo el sistema».
La tendencia ya está cambiando los planes de inversión y de productos a lo largo de la cadena de suministro de la IA. Las empresas que están en posición de beneficiarse incluyen Nvidia, Broadcom, Arista Networks, Lumentum, Coherent, Marvell Technology y Astera Labs, según Citi. Estas empresas están desarrollando componentes para interconexiones de alta velocidad, transceptores ópticos y tecnologías de embalaje avanzadas cruciales para los centros de datos de inteligencia artificial de próxima generación.
Los principales desarrolladores de IA también se están alineando en esta dirección. Las presentaciones en Hot Chips de Meta Platforms, la empresa matriz de Google Alphabet, Samsung y otras empresas pusieron de relieve el creciente énfasis en la optimización del flujo de datos en el diseño de los sistemas. Nvidia, por ejemplo, describe su visión para los futuros centros de datos de IA como «fabricas de IA», en las que la arquitectura está organizada en torno al movimiento de datos en lugar de los diseños tradicionales centrados en los servidores.
Los observadores del sector observan que esta evolución refleja una transición más amplia en la infraestructura de IA: de una era dominada por la densidad de cálculo a una en la que la conectividad, la latencia y la localidad de la memoria definen los límites de rendimiento.
