Hasta un 70% de los sistemas de Generación Aumentada por Recuperación (RAG) están destinados al fracaso cuando son implementados en entornos productivos, según un reciente informe. A pesar de su impresionante desempeño en pruebas iniciales, estos sistemas enfrentan retos significativos que afectan su eficacia a largo plazo.
Shubham Maurya, científico de datos senior en Mastercard con ocho años de experiencia en inteligencia artificial, explicó que los sistemas RAG, que combinan la recuperación de información con modelos de lenguaje para generar respuestas precisas, suelen fallar al enfrentarse a la realidad dinámica de los datos. Según Maurya, el problema radica en actualizaciones constantes y cambios en los datos, lo que lleva a que los modelos preentrenados se queden obsoletos. Además, tales modelos pueden carecer del conocimiento específico necesario para ciertos dominios.
Entre los desafíos más destacados, Maurya señala la desviación del conocimiento debido a datos obsoletos, el decaimiento de la recuperación por sobresaturación, la inclusión de fragmentos irrelevantes y la falta de una evaluación eficaz. Estos factores contribuyen significativamente a que los sistemas RAG no cumplan con las expectativas en producción.
Para abordar estos problemas, se propone una búsqueda híbrida que combine diferentes estrategias para mejorar la recuperación de datos. Además, la automatización para rastrear cambios puede permitir la actualización dinámica de los sistemas, acompañada de ciclos de retroalimentación continua para optimizar su funcionamiento.
El futuro de los sistemas RAG parece prometedor, con desarrollos en modelos de lenguaje y una mayor integración de datos complejos. Maurya enfatiza que el éxito radica en la aplicación de soluciones efectivas, buscando que estos sistemas sean operativos y confiables en el entorno real, más allá de brillar solo en las demostraciones.
