Optimiza la Eficiencia de la IA Conversacional en Empresas con Streaming API de Amazon Bedrock y AWS AppSync

Las empresas están adoptando cada vez más modelos de lenguaje a gran escala (LLMs) de Amazon Bedrock para analizar sus datos internos. Este servicio, completamente gestionado, ofrece acceso a una variedad de modelos de alto rendimiento de renombradas firmas de inteligencia artificial, todo a través de una única API. Además, Amazon Bedrock incluye herramientas para desarrollar aplicaciones de inteligencia artificial generativa, garantizando la seguridad y la privacidad, con un enfoque en la inteligencia artificial responsable.

A pesar de la rapidez de estas APIs para consultas simples, las preguntas complejas que requieren un razonamiento más profundo pueden ralentizar el proceso, afectando la experiencia del usuario en industrias con altos estándares de seguridad, como el sector financiero. Un ejemplo de esto es una organización global de servicios financieros con más de 1.5 billones de dólares en activos. Aunque han implementado un sistema de inteligencia artificial conversacional con múltiples LLMs y fuentes de datos, buscaban mejorar la velocidad de respuesta para consultas complicadas sin comprometer la seguridad.

AWS AppSync se presenta como una solución efectiva para este desafío. Este servicio permite construir APIs GraphQL en tiempo real, utilizando suscripciones junto con los puntos finales de streaming de Amazon Bedrock para entregar respuestas de forma incremental. Esta estrategia ayuda a organizaciones en sectores regulados a cumplir con las normativas de seguridad mientras optimizan la experiencia del usuario, proporcionando respuestas en tiempo real.

La solución desarrollada utiliza AWS AppSync para iniciar los flujos de trabajo de manera asíncrona. Mediante funciones de AWS Lambda, se interactúa con la API de streaming de Amazon Bedrock, transmitiendo los resultados al usuario en tiempo real a través de suscripciones de AWS AppSync.

La arquitectura de esta solución gestiona la solicitud del usuario asegurando respuestas rápidas desde Amazon Bedrock. Se establecen conexiones en tiempo real desde que el usuario inicia la aplicación, y al formular una consulta, esta se procesa a través de Amazon Simple Notification Service (SNS). Una vez activado, el sistema comunica los resultados generados por la API, mejorando significativamente los tiempos de respuesta.

Este enfoque ha permitido a una entidad financiera reducir los tiempos iniciales de respuesta para consultas complejas de aproximadamente 10 segundos a entre 2 y 3 segundos. Esta mejora en la interacción con el usuario reduce significativamente las tasas de abandono y fomenta mayores niveles de compromiso. Empresas que implementen esta arquitectura pueden beneficiarse enormemente, optimizando sus servicios y mejorando la satisfacción del cliente.

Cayetano Andaluz
Cayetano Andaluz
Periodista y redactor de noticias de actualidad sobre Andalucía y sus provincias. También información en general.

Compartir artículo:

Más popular

Más artículos como este
Relacionados

Publicidad en Vacaciones: Estrategias para Atraer sin Invadir

La llegada del verano marca un cambio en los...

Sánchez en el Centro de la Controversia por Beneficios Vinculados a Negocios de su Suegro

El diario británico The Times ha intensificado sus críticas...

Juez Bloquea el Decreto de Trump sobre la Ciudadanía por Nacimiento, Desafiando al Supremo de EE. UU.

Un juez de New Hampshire, Joseph Laplante, suspendió temporalmente...

Trágica Pérdida: Héroe Bombero Fallece en Plena Batalla contra el Incendio de Paüls (Tarragona)

Al mediodía de este jueves, las autoridades responsables han...