Amazon ha dado un paso significativo en la transformación del comercio electrónico con la introducción de Rufus, un asistente de compras conversacional activado por inteligencia artificial generativa. Concebido para revolucionar la manera en que los clientes interactúan en la plataforma, Rufus proporciona respuestas concisas y bien informadas, generadas a partir de información relevante tanto de Amazon como de la web, facilitando así decisiones de compra más inteligentes.
El desafío de escalar Rufus para satisfacer la extensa y diversa base de clientes de Amazon fue resuelto mediante la implementación de una infraestructura respaldada por servicios de Amazon Web Services (AWS). Esto incluye el uso de chips de inteligencia artificial de última generación, Trainium e Inferentia, específicamente diseñados para acelerar procesos de aprendizaje profundo. Este enfoque no solo optimiza el rendimiento, sino que también reduce los costos operativos comparado con otras soluciones en el mercado.
Equipado para manejar grandes volúmenes de tráfico, especialmente durante eventos como el Prime Day, Rufus emplea un sofisticado sistema de inferencia heterogénea que se extiende a través de múltiples regiones de AWS. Esta capacidad no solo gestiona los picos de demandas sino que también asegura una notable resiliencia del sistema, ofreciendo a los clientes una experiencia de usuario sin interrupciones.
El corazón del asistente de compras es un sistema de Generación Aumentada por Recuperación, que mejora la calidad de las respuestas recolectando información adicional crucial, como características detalladas de productos en base a las consultas de los usuarios. La implementación de los chips Inferentia y Trainium no solo permite una respuesta eficiente, sino que también garantiza un ahorro energético notable, con un consumo de energía un 54% menor en comparación con otras tecnologías, apoyando así los objetivos de sostenibilidad de Amazon.
Durante los momentos de mayor demanda, Rufus es capaz de operar con más de 80,000 chips, manteniendo la latencia por debajo de un segundo para la entrega del primer token. Esto se debe a innovaciones como la arquitectura de streaming de inferencia que permite una interacción casi en tiempo real, mejorando la satisfacción del usuario al recibir información instantáneamente.
En constante evolución, Rufus continuará ajustándose y mejorando con los avances en inteligencia artificial generativa y el feedback proporcionado por los clientes. Este asistente representa un avance significativo en la experiencia de compra en línea, reafirmando el compromiso de Amazon de utilizar tecnología de vanguardia para enriquecer el servicio al cliente y aumentar su satisfacción.
