Las empresas están adoptando cada vez más modelos de lenguaje a gran escala (LLMs) de Amazon Bedrock para analizar sus datos internos. Este servicio, completamente gestionado, ofrece acceso a una variedad de modelos de alto rendimiento de renombradas firmas de inteligencia artificial, todo a través de una única API. Además, Amazon Bedrock incluye herramientas para desarrollar aplicaciones de inteligencia artificial generativa, garantizando la seguridad y la privacidad, con un enfoque en la inteligencia artificial responsable.
A pesar de la rapidez de estas APIs para consultas simples, las preguntas complejas que requieren un razonamiento más profundo pueden ralentizar el proceso, afectando la experiencia del usuario en industrias con altos estándares de seguridad, como el sector financiero. Un ejemplo de esto es una organización global de servicios financieros con más de 1.5 billones de dólares en activos. Aunque han implementado un sistema de inteligencia artificial conversacional con múltiples LLMs y fuentes de datos, buscaban mejorar la velocidad de respuesta para consultas complicadas sin comprometer la seguridad.
AWS AppSync se presenta como una solución efectiva para este desafío. Este servicio permite construir APIs GraphQL en tiempo real, utilizando suscripciones junto con los puntos finales de streaming de Amazon Bedrock para entregar respuestas de forma incremental. Esta estrategia ayuda a organizaciones en sectores regulados a cumplir con las normativas de seguridad mientras optimizan la experiencia del usuario, proporcionando respuestas en tiempo real.
La solución desarrollada utiliza AWS AppSync para iniciar los flujos de trabajo de manera asíncrona. Mediante funciones de AWS Lambda, se interactúa con la API de streaming de Amazon Bedrock, transmitiendo los resultados al usuario en tiempo real a través de suscripciones de AWS AppSync.
La arquitectura de esta solución gestiona la solicitud del usuario asegurando respuestas rápidas desde Amazon Bedrock. Se establecen conexiones en tiempo real desde que el usuario inicia la aplicación, y al formular una consulta, esta se procesa a través de Amazon Simple Notification Service (SNS). Una vez activado, el sistema comunica los resultados generados por la API, mejorando significativamente los tiempos de respuesta.
Este enfoque ha permitido a una entidad financiera reducir los tiempos iniciales de respuesta para consultas complejas de aproximadamente 10 segundos a entre 2 y 3 segundos. Esta mejora en la interacción con el usuario reduce significativamente las tasas de abandono y fomenta mayores niveles de compromiso. Empresas que implementen esta arquitectura pueden beneficiarse enormemente, optimizando sus servicios y mejorando la satisfacción del cliente.
