La inteligencia artificial generativa avanza a pasos agigantados, y con ella, las necesidades de las infraestructuras de datos. NVIDIA se posiciona a la vanguardia de este cambio, apostando por clústeres centralizados de alto rendimiento que redefinen cómo se realiza la inferencia de modelos avanzados. En el pasado, la inferencia se consideraba una tarea liviana. Hoy, con modelos complejos y el test-time scaling, se requiere de clústeres masivos equipados con docenas de GPUs trabajando en paralelo.
El vicepresidente sénior de redes en NVIDIA, Kevin Deierling, señala que la infraestructura está en un proceso de recentralización. En este contexto, la reutilización de clústeres de entrenamiento para tareas de inferencia se vuelve una práctica común, especialmente en el manejo de modelos de alto valor económico.
Para resolver el desafío del consumo energético, NVIDIA introduce la óptica co-empaquetada (CPO). Esta tecnología promete reducir hasta un 50% el consumo energético y aumentar la fiabilidad operativa al eliminar componentes ópticos externos.
Además, las interconexiones ópticas entre centros de datos permiten tareas de entrenamiento multiclúster y cargas de inferencia distribuidas, garantizando latencias submilisegundo necesarias para la inferencia agéntica. Según NVIDIA, el futuro de la IA se construirá sobre una arquitectura que gestiona de manera integral el cómputo, la red y la energía, dejando atrás la separación tradicional entre edge y nube.
