Las unidades de procesamiento gráfico de Nvidia proporcionan la capacidad de cálculo clave para la mayoría de los servidores utilizados para entrenar los modelos de inteligencia artificial más avanzados actuales. La compañía ya ha asegurado un lugar de liderazgo en este mercado de entrenamiento.
Una vez entrenado un modelo de IA, hay que desplegarlo para llevar a cabo tareas como responder a preguntas, escribir código, generar imágenes o buscar información. Esta fase, conocida como inferencia, requiere recursos de cómputo cada vez que se utiliza el modelo. A diferencia del entrenamiento, que ocurre de forma poco frecuente, las cargas de trabajo de inferencia pueden producirse millones o miles de millones de veces.
La analogía que se suele utilizar es que el entrenamiento es como asistir a la escuela, mientras que la inferencia se asemeja a la aplicación de lo aprendido en un puesto de trabajo. Después de la inversión inicial en formación, la necesidad de potencia informática no se acaba; de hecho, puede aumentar a medida que los modelos de IA se ponen en funcionamiento.
Si los sistemas de inteligencia artificial se convierten en una parte común de la vida cotidiana y los negocios, el volumen de las cargas de trabajo de inferencia podría ser enormemente elevado. La aparición de agentes de IA que realizan tareas de varios pasos, como investigar una empresa, analizar datos financieros y generar un informe, podría aumentar aún más la demanda de computación de inferencia.
El actual adelanto de Nvidia en el hardware de aprendizaje puede, por lo tanto, situarla para conseguir una participación significativa del mercado en expansión de la inferencia, aunque la escala exacta de esa oportunidad sigue siendo incierta.
