El segundo día de la conferencia Hot Chips subrayó un cambio en la infraestructura de la inteligencia artificial: la red, y no la potencia de cómputo bruta, es ahora el principal límite para el rendimiento del sistema a medida que los modelos de IA se expanden en tamaño y complejidad.
Los analistas de Citi destacaron que, aunque el desarrollo inicial de la IA se centró en unidades de procesamiento gráfico (GPU) más rápidas y aceleradores más grandes, la capacidad de mover los datos de manera eficiente entre chips, servidores, racks y centros de datos ha surgido como el mayor reto. Los modelos que alcanzan billones de parámetros, ventanales de contexto más grandes y cargas de trabajo de agentes autónomos generan un tráfico de datos exponencialmente mayor, sobrecargando los interconexiones tradicionales.
El cuello de botella resulta evidente en la respuesta de la industria. Nvidia está promoviendo el concepto de "fábricas de IA", una arquitectura de centro de datos diseñada en torno a flujos de datos optimizados que unen la computación, la memoria, la red, el almacenamiento y la seguridad, en lugar del modelo tradicional centrado en los servidores. Este enfoque refleja un giro más amplio de la industria hacia sistemas integrados en los que el ancho de banda y la latencia, y no solo la potencia de procesamiento, determinan el rendimiento general.
La memoria es cada vez más parte del desafío de las redes. Samsung, XCENA y Cerebras presentaron tecnologías destinadas a mantener los datos más cerca del lugar donde se procesan, reduciendo el volumen que debe atravesar las interconexiones congestionadas. Cada byte conservado localmente reduce los gastos generales de la comunicación, mejorando la eficiencia en las implementaciones a gran escala.
Los participantes del sector también están repensando la infraestructura de capa física. Lumentum, Coherent, Marvell Technology y Astera Labs son algunas de las compañías que están desarrollando componentes ópticos y eléctricos para soportar velocidades de datos más altas y latencias más bajas en las redes de centros de datos. Arista Networks y Broadcom están suministrando conmutadores de alta velocidad y silicón para satisfacer la creciente demanda de conectividad de baja latencia.
En una nota reciente, los analistas de Citi han resaltado las implicaciones estratégicas: «El futuro ganador en el campo de la IA no es necesariamente la empresa con el procesador más rápido, sino aquella que pueda trasladar los datos con mayor eficiencia en todo el sistema». Esta observación destaca cómo el rendimiento de la inteligencia artificial está cada vez más ligado a la calidad de la pila de redes subyacente, desde los enlaces entre chips hasta los tejidos a escala de centro de datos.
Esta tendencia ha llamado la atención de los principales desarrolladores de IA. Meta Platforms y Google, de Alphabet, entre otros, están evaluando, según se informa, soluciones de redes de próxima generación para soportar el crecimiento de sus cargas de entrenamiento e inferencia de modelos. La participación de Samsung en la conferencia supone su incursión en las tecnologías de memoria e interconexión optimizadas para la IA, mientras que Cerebras continúa defendiendo la integración a gran escala de diablillas para minimizar el movimiento de datos.
