Amazon Bedrock ha dado un paso firme hacia la optimización de la gestión de costos en las implementaciones de inteligencia artificial generativa con su avanzado sistema de vigilancia de costos. En la entrega anterior de su serie, Amazon introdujo una solución destinada a vigilar el uso de tokens y técnicas de presupuesto en tiempo real. Ahora, en esta segunda parte, se enfoca en estrategias más avanzadas para monitorear de manera efectiva los gastos de las organizaciones que emplean IA generativa.
El nuevo mecanismo centralizado de vigilancia no solo controla el uso de la IA generativa dentro de los presupuestos establecidos, sino que también implementa un sofisticado enfoque de etiquetado personalizado para una asignación precisa de costos. Además, se han desarrollado mecanismos de reporte integrales que mejoran la capacidad de análisis.
Una de las innovaciones destacadas es el etiquetado a nivel de invocación, que incluye metadatos detallados en cada solicitud de API. Esto permite crear un rastro de auditoría completo en los registros de Amazon CloudWatch, lo cual es crucial para la toma de decisiones presupuestarias y el análisis de patrones de uso. AWS Step Functions ha sido actualizado para admitir este nuevo enfoque.
La API también ha sido mejorada para permitir etiquetados personalizados mediante parámetros opcionales, lo que facilita configuraciones específicas del modelo. Estos cambios incluyen la identificación del modelo, el contenido de las solicitudes y un objeto de etiquetas para un seguimiento detallado a nivel de aplicación.
El sistema incorpora una función Lambda de AWS en el flujo de trabajo, asegurando que cada solicitud se alinee correctamente con el modelo especificado y que las etiquetas necesarias se apliquen para análisis posteriores.
Las métricas personalizadas introducidas en CloudWatch ofrecen un seguimiento detallado de los datos, permitiendo a las organizaciones observar el uso de IA a través de diversas dimensiones como tipo de modelo y centro de costos. Esta capacidad permite un análisis granular y detallado.
Para superar las limitaciones anteriores en el seguimiento de gastos, Amazon Bedrock ha presentado perfiles de inferencia de aplicaciones. Estos perfiles permiten la creación de etiquetas de asignación de costos personalizadas, que pueden incluir identificadores de diferentes departamentos o equipos. La creación de estos perfiles es posible mediante la CLI de AWS o la API.
Además, con AWS Cost Explorer, las organizaciones tienen la capacidad de visualizar y segmentar sus gastos en la nube. Esta herramienta permite analizar los costos por servicio, etiqueta y dimensiones personalizadas, proporcionando un desglose claro de los gastos de Amazon Bedrock por unidad de negocio o proyecto específico.
En resumen, este sistema implementado por Amazon Bedrock ofrece a las organizaciones un control proactivo y detallado sobre sus recursos de inteligencia artificial, asegurando que los proyectos se desarrollen dentro de los presupuestos establecidos y se mantenga el control sobre la inversión en innovación tecnológica.
