La empresa emergente Kog AI, con sede en Francia, ha irrumpido en el panorama de la inteligencia artificial al anunciar un motor de inferencia que ofrece una velocidad de generación de tokens hasta 3,5 veces superior a soluciones líderes como vLLM y TensorRT-LLM. Este avance se ha logrado utilizando GPUs AMD Instinct™ MI300X, posicionando a Kog en la vanguardia de las plataformas de inferencia de nueva generación y reforzando la soberanía tecnológica europea.
En la actual era de la inteligencia artificial generativa, la inferencia se ha convertido en un desafío crítico. La capacidad de generar rápidamente respuestas secuenciales es esencial para aplicaciones como asistentes virtuales y modelos de razonamiento avanzado. Sin embargo, muchos motores de inferencia optimizan su rendimiento para chats masivos, descuidando la eficiencia en flujos individuales complejos.
Kog AI ha presentado resultados que muestran que su motor supera a sus competidores en todas las métricas clave. Destacan por una generación de tokens hasta 3,5 veces más rápida sobre MI300X, consistencia en modelos de distintos tamaños y una latencia inter-GPU récord de 4 microsegundos. Esto ha resultado en un rendimiento excepcional con modelos compactos, que logran igualar o superar la precisión de modelos más grandes a menor costo y mayor velocidad.
A diferencia de otras soluciones, Kog ha creado su motor desde cero, empleando C++ y código ensamblador optimizado para eliminar cuellos de botella. Su innovación, KCCL (Kog Collective Communications Library), ha permitido alcanzar las latencias más bajas registradas en inferencia distribuida entre GPUs.
El sistema de Kog se adapta a diversos entornos, ofreciéndose en API o contenedores Docker para usos críticos como transcripción de voz en tiempo real y asistentes contextuales con razonamiento avanzado.
Más allá del avance técnico, Kog AI representa una declaración de intenciones en el ámbito tecnológico europeo. Busca reducir la dependencia de infraestructuras estadounidenses o asiáticas y desarrollar una inteligencia artificial soberana y ágil. La startup se alinea con AMD y su MI300X, uno de los aceleradores de IA más potentes, demostrando que Europa está en condiciones de liderar en diseño y eficiencia de soluciones para la próxima generación de inteligencia artificial.
