En la era digital actual, donde la inteligencia artificial (IA) y el aprendizaje automático (ML) son protagonistas, las organizaciones se enfrentan al desafío de equilibrar la innovación con la rentabilidad. Un ejemplo reciente ilustra cómo un cliente, enfocado en soluciones de inteligencia de video basadas en modelos YOLOv8, abordó el reto de optimizar costos y rendimiento en sus modelos de IA.
Este cliente encontró en Automat-it, un socio Premier de AWS, al aliado perfecto para diseñar e implementar su plataforma en la nube de AWS mediante el Elastic Kubernetes Service (EKS). El objetivo principal de esta colaboración era asegurar la escalabilidad y optimizar el rendimiento, todo mientras se mantenían los costos bajo control.
Inicialmente, cada modelo operaba en una instancia de GPU dedicada. Esta configuración, aunque efectiva en términos de procesamiento, resultó en un uso ineficiente de los recursos de GPU y, por ende, en elevados costos operativos. La meta era que el costo por infraestructura en AWS no superara los 30 dólares por cámara mensualmente, y que el tiempo de procesamiento no excediera los 500 milisegundos.
El primer intento de solución fue una arquitectura cliente-servidor que separaba las etapas de procesamiento. Sin embargo, los costos no se redujeron como se esperaba, alcanzando 353,03 dólares mensuales por cámara. A pesar del buen rendimiento, fue evidente que se requería una optimización adicional.
Fue entonces cuando Automat-it introdujo un innovador enfoque de “time slicing” de GPU, permitiendo que varios modelos de IA compartieran una única GPU. Esta técnica, implementada en el clúster de EKS con el uso del plugin de NVIDIA para Kubernetes, mejoró significativamente la eficiencia en el uso de recursos y simplificó la escalabilidad.
La nueva estrategia no solo cumplió con los objetivos de coste y rendimiento, sino que los superó. El costo mensual por cámara se redujo a 27,81 dólares, lo que representa un ahorro superior a doce veces respecto al enfoque inicial. Este ajuste no comprometió el rendimiento, manteniendo los modelos dentro de los estándares deseados.
Este caso es un claro ejemplo de cómo las empresas pueden, a través de la optimización de recursos y el uso estratégico de la tecnología en la nube, no solo reducir costos, sino también mantener un nivel de servicio que responda eficientemente a las expectativas del cliente. La incorporación de técnicas modernas y flexibles se reafirma como un camino efectivo hacia la eficiencia operativa en aplicaciones de inteligencia artificial.
