Evaluar un sistema de Generación Aumentada por Recuperación (RAG) antes de su despliegue en entornos de producción es fundamental para asegurar que cumple con los requisitos del negocio. No obstante, conseguir un conjunto de datos de alta calidad con pares de preguntas y respuestas del mundo real puede resultar un desafío, especialmente en las fases iniciales del desarrollo. Es aquí donde la generación de datos sintéticos demuestra ser una herramienta crucial. Con Amazon Bedrock, es posible generar conjuntos de datos sintéticos que imiten las consultas reales de los usuarios, permitiendo evaluar el rendimiento del sistema RAG de manera eficiente y a gran escala. Esta capacidad no solo optimiza el proceso de evaluación, sino que también permite ganar confianza en las capacidades del sistema antes de su lanzamiento al mundo real.
Amazon Bedrock, un servicio totalmente gestionado, ofrece una selección de modelos base (FMs) de alto rendimiento de empresas líderes en inteligencia artificial como AI21 Labs, Anthropic, Cohere, Meta, Stability AI y Amazon, accesibles a través de una única API. Este servicio proporciona amplias capacidades para construir aplicaciones de IA generativa con un enfoque en seguridad, privacidad y ética.
Fundamentos de la Evaluación RAG
Para entender mejor cómo evaluar una aplicación RAG, es útil repasar los componentes esenciales de su flujo de trabajo, el cual generalmente sigue estos pasos:
- Ingestión de Datos: Los datos se dividen en fragmentos y se generan embeddings para cada fragmento que se almacenan en un almacén de vectores.
- Consulta del Usuario: Al recibir una pregunta del usuario, se genera un embedding de la pregunta y se recuperan los fragmentos relevantes del almacén de vectores.
- Generación Aumentada: El modelo RAG añade los datos relevantes recuperados al contexto de la pregunta del usuario, usando técnicas de ingeniería de prompts.
- Respuesta del Modelo: Un modelo de lenguaje grande (LLM) genera una respuesta basada en la pregunta del usuario y los fragmentos recuperados.
Amazon Bedrock Knowledge Bases ofrece un enfoque simplificado para implementar RAG en AWS, proporcionando una solución completamente gestionada que conecta FMs a fuentes de datos personalizadas.
Componentes Mínimos de un Conjunto de Datos de Evaluación RAG
Para evaluar adecuadamente un sistema RAG, es fundamental recopilar un conjunto de datos de evaluación que incluya preguntas y respuestas típicas de los usuarios, así como el contexto necesario para recuperar estas respuestas. Un conjunto de datos típico de evaluación RAG debe incluir:
- Una lista de preguntas que los usuarios harán al sistema.
- Una lista de respuestas correspondientes para evaluar la fase de generación.
- El contexto necesario para evaluar la recuperación, como una lista de contextos que contienen las respuestas.
Idealmente, se utilizarían preguntas reales de usuarios para la evaluación, aunque en las primeras etapas de desarrollo esto puede no ser factible. A medida que el sistema evoluciona, es recomendable incorporar preguntas reales de usuarios en el conjunto de evaluación.
Generación de Datos Sintéticos y su Evaluación
Para ilustrar cómo funciona este proceso, consideremos un caso de uso que construye un chatbot basado en las cartas a los accionistas de Amazon, permitiendo a los analistas de negocios extraer información sobre la estrategia y el rendimiento de la empresa. En este ejemplo, los archivos PDF de las cartas a los accionistas se cargan como base de conocimiento. El sistema RAG, mediante un recuperador de conocimiento, busca dinámicamente en una base de datos con soporte para búsquedas vectoriales los documentos relevantes.
Utilizando el modelo Claude de Anthropic, se extraen preguntas y respuestas de la base de conocimiento. La orquestación y los pasos de automatización se llevan a cabo mediante LangChain, una biblioteca de código abierto en Python diseñada para construir aplicaciones con modelos de lenguaje grande.
Mejores Prácticas y Conclusión
La generación de datos sintéticos ofrece una vía eficaz para mejorar el proceso de evaluación de sistemas RAG. Sin embargo, es crucial seguir mejores prácticas para mantener la calidad y la representatividad de los datos generados. Esto incluye combinar datos sintéticos con datos reales, implementar mecanismos robustos de control de calidad y refinar continuamente el proceso.
Aunque presenta limitaciones, la generación de datos sintéticos es una herramienta invaluable para acelerar el desarrollo y la evaluación de sistemas RAG, contribuyendo significativamente al desarrollo de sistemas de inteligencia artificial de mejor rendimiento. Se anima a los desarrolladores, investigadores y entusiastas a explorar estas técnicas y experimentar con la generación de datos sintéticos para sus propias aplicaciones RAG.
Publicado originalmente en AWS machine learning blog.
