Las organizaciones que buscan llevar sus aplicaciones de inteligencia artificial generativa a un nivel superior ahora cuentan con nuevas herramientas para evaluar el rendimiento y la fiabilidad de sus modelos. Durante la conferencia AWS re:Invent 2024, se presentó una versión previa pública de las capacidades de evaluación para modelos de lenguaje y generación aumentada por recuperación, utilizadas por clientes para medir la eficacia de sus modelos base y aplicaciones de IA generativa. En respuesta a las peticiones de mayor flexibilidad, Amazon ha lanzado hoy nuevas funcionalidades en Amazon Bedrock Evaluations, que permiten evaluaciones completamente ágiles en cualquier entorno.
La nueva funcionalidad «bring your own inference responses» (BYOI) para evaluaciones de RAG y modelos amplía las posibilidades de evaluación. Ahora, es posible evaluar un sistema RAG o un modelo, independientemente de si se ejecuta en Amazon Bedrock, en otros servicios de nube, o incluso a nivel local, siempre y cuando se disponga los datos de evaluación requeridos. Además, se han añadido métricas de citación que ofrecen un análisis detallado sobre la precisión y cobertura de las citaciones utilizadas por los sistemas RAG, optimizando así la evaluación del uso de información recuperada.
Con estas características, las organizaciones pueden optimizar el rendimiento de sus soluciones de IA generativa, ya que las capacidades de evaluación se han ampliado para incluir sistemas RAG de cualquier procedencia. La introducción de BYOI permite evaluar una variedad de resultados de recuperación y generación provenientes de diferentes fuentes, incluyendo proveedores alternativos y sistemas RAG personalizados.
El formato de entrada para evaluaciones ha sido actualizado, incorporando identificadores de base de conocimiento y campos de metadatos adicionales, lo cual permite una evaluación más rica y detallada. La incorporación de métricas de citación proporciona un análisis crítico sobre la precisión de las citaciones, evitando así referencias innecesarias o irrelevantes.
Estas mejoras facilitan la comparación de diferentes implementaciones y respaldan decisiones informadas sobre despliegues de IA. Las empresas pueden ahora implementar evaluaciones regulares para perfeccionar continuamente sus modelos y sistemas RAG, asegurando que cumplan con los más altos estándares de calidad en sus respectivos casos de uso. Con estas herramientas, Amazon Bedrock se posiciona como un aliado estratégico para entidades que quieren maximizar el potencial de sus inversiones en inteligencia artificial generativa.
