Nvidia presentó el acelerador de inferencia de IA Groq 3 LPX, una solución de hardware diseñada para mejorar las velocidades de generación de tokens en los sistemas de IA, con resultados de pruebas que muestran 3.400 tokens de salida por segundo utilizando el modelo Gemma 4 31B y un contexto de 100.000 tokens.
El acelerador está diseñado para soportar aplicaciones tales como asistentes de codificación de IA y sistemas interactivos de IA, según la compañía. Groq 3 LPX se posiciona como una extensión de los sistemas Vera Rubin NVL72 de Nvidia, que se utilizan para las cargas de trabajo de capacitación e inferencia de IA.
La plataforma Vera Rubin integra siete chips y cinco racks diseñados específicamente, que incluyen DPU Nvidia BlueField-4, racks de CPU Vera, almacenamiento Vera BlueField-4 STX y ethernet Spectrum-6 SPX. Nvidia anunció el producto en la conferencia Hot Chips y afirmó que está entrando en producción completa.
Nebius, un proveedor de nube de inteligencia artificial, será el primero en desplegar Groq 3 LPX a través de su plataforma Nebius Token Factory. Danila Shtan, CTO de Nebius, señaló que el acelerador se focaliza en la fase de generación de inferencia, que afecta directamente la capacidad de respuesta de los sistemas de IA.
El CEO de Nvidia, Jensen Huang, describió los sistemas Vera Rubin como «configuraciones de fábrica de IA optimizadas para las cargas de trabajo y diseñadas para la era de la IA agencial».
