Desde su lanzamiento en 2018, la tecnología Just Walk Out de Amazon ha revolucionado la experiencia de compra al permitir a los clientes ingresar a una tienda, recoger productos y salir sin hacer fila para pagar. Esta tecnología de caja sin fricciones se encuentra actualmente en más de 180 ubicaciones de terceros en todo el mundo, incluidas tiendas minoristas en aeropuertos, estadios deportivos, parques temáticos, hospitales y campus universitarios. El sistema de Just Walk Out determina automáticamente qué productos elige cada cliente en la tienda y proporciona recibos digitales, eliminando la necesidad de colas para pagar.
La última generación de esta tecnología, impulsada por un modelo de inteligencia artificial multi-modal (FM) de última generación, promete llevar la experiencia de compra al siguiente nivel. Diseñada específicamente para tiendas físicas, esta nueva iteración utiliza una arquitectura basada en transformadores, similar a la que se encuentra en muchas aplicaciones modernas de inteligencia artificial generativa. Este modelo avanzado ayuda a los minoristas a generar recibos de compra altamente precisos utilizando datos de múltiples entradas, tales como cámaras de video aéreas, sensores de peso en los estantes, planos digitales del piso e imágenes del catálogo de productos.
Los esfuerzos en investigación y desarrollo de estos modelos multi-modales permiten que el sistema Just Walk Out se implemente con mayor precisión y a un menor costo en una amplia gama de situaciones de compra. Similar a los grandes modelos de lenguaje que generan texto, el nuevo sistema está diseñado para generar un recibo de venta preciso para cada comprador que visite la tienda.
Uno de los desafíos técnicos más significativos que enfrenta Amazon es garantizar una precisión casi del 100 por ciento en la gestión de situaciones de compra complejas, que pueden incluir comportamientos inusuales o secuencias largas y complicadas de actividades. Las generaciones anteriores del sistema utilizaban una arquitectura modular que descomponía la visita del comprador en tareas discretas, como la detección de interacciones, el seguimiento de artículos, la identificación de productos y el conteo de lo seleccionado. Este enfoque producía recibos altamente precisos, pero requería un esfuerzo significativo de ingeniería para cada nuevo desafío, lo que limitaba la escalabilidad.
Para enfrentarse a estos desafíos, Amazon ha introducido un nuevo FM multi-modal que permite manejar escenarios de compra complejos en el mundo real. Este modelo no solo mejora las capacidades del sistema, sino que también permite generalizar a nuevos formatos de tiendas, productos y comportamientos de clientes, cruciales para escalar esta tecnología.
La capacidad de auto-mejora del sistema, mediante el aprendizaje continuo, permite que el modelo se adapte y aprenda de nuevos escenarios desafiantes a medida que estos surgen. Esto garantiza que el sistema mantenga un alto rendimiento incluso cuando los entornos de compra evolucionen.
Los elementos clave del modelo de IA multi-modal Just Walk Out incluyen entradas de datos flexibles que rastrean cómo interactúan los usuarios con productos y muebles, respaldados principalmente por transmisiones de video de múltiples vistas y sensores de peso especializados. El modelo mantiene una representación digital en 3D de la tienda y puede identificar productos incluso si estos se devuelven al estante incorrectamente.
Para entrenar este modelo, Amazon ha invertido en una infraestructura robusta capaz de procesar enormes cantidades de datos, utilizando varios servicios de Amazon Web Services (AWS), incluidos Amazon Simple Storage Service (Amazon S3) para el almacenamiento de datos y Amazon SageMaker para la capacitación.
En conclusión, Amazon está alejándose de los sistemas modulares de IA que dependen de subcomponentes definidos por humanos y está construyendo sistemas de IA más simples y escalables que pueden entrenarse de extremo a extremo. La nueva IA multi-modal eleva el estándar para el sistema de recibos y mejorará la experiencia de compra en más tiendas con tecnología Just Walk Out en todo el mundo.
