Amazon ha dado un paso adelante en el sector de la inteligencia artificial con la introducción de Rufus, un asistente de compras basado en inteligencia artificial generativa. Este innovador sistema ya está accesible para millones de usuarios, aunque su despliegue a gran escala ha traído consigo retos significativos que la compañía ha abordado con creatividad.
El núcleo de Rufus es un modelo de lenguaje grande (LLM) diseñado a medida. Este modelo exige un enfoque que combine calidad de interacción, eficiencia en costos y baja latencia, un desafío que Amazon ha enfrentado mediante la creación de una solución de inferencia multi-nodo.
Utilizando Amazon Trainium, junto con vLLM, una biblioteca de código abierto diseñada para ofrecer eficiencia y rendimiento, Amazon ha sobrepasado las limitaciones de un único chip en la gestión del modelo completo. Los ingenieros han implementado técnicas de fragmentación y distribución a través de varios nodos, aplicando así el paralelismo tensorial para optimizar el proceso.
El equilibrio entre rendimiento y eficiencia ha llevado a Amazon a maximizar el uso de sus recursos de computación y memoria, asegurando que la latencia no se vea perjudicada. Para ello, han concebido una infraestructura de inferencia multi-nodo que permite una rápida comunicación inter-nodos y garantiza una integración armoniosa y efectiva.
La arquitectura de este sistema se basa en un modelo de líder/seguidor, donde el nodo líder supervisa la programación de solicitudes y la orquestación, mientras que los nodos seguidores gestionan la ejecución distribuida de los cálculos del modelo. Esta estructura asegura un flujo de trabajo cohesivo y eficiente en todo el sistema.
El éxito de esta estrategia se refleja en la capacidad de Rufus para manejar solicitudes a gran escala. La colocación estratégica de los nodos según la topología de red ha minimizado la latencia, lo que ha permitido el despliegue de un modelo más grande que opera en decenas de miles de chips Trainium. Esto ha resultado en una experiencia de compra significativamente mejorada y más interactiva para los usuarios.
Con estos avances, Amazon refuerza su liderazgo en inteligencia artificial, proporcionando a los usuarios un servicio de preguntas y respuestas en tiempo real, mejorando así la experiencia del cliente.
