Amazon está transformando la manera en que compramos con Rufus, un asistente de compras revolucionario potenciado por inteligencia artificial generativa. Esta herramienta innovadora tiene la capacidad de generar respuestas informadas mediante el uso de información relevante tanto de Amazon como de la web, permitiendo a los clientes tomar decisiones de compra más acertadas.
Para adaptarse a la extensa base de clientes de Amazon, Rufus necesitaba una infraestructura que soportara modelos de lenguaje de gran escala con baja latencia a nivel mundial. La solución fue emplear los servicios de AWS junto con sus chips de inteligencia artificial Trainium e Inferentia, diseñados especialmente para acelerar cargas de trabajo de aprendizaje profundo, reduciendo costes de operación en comparación con otras soluciones.
Rufus está diseñado para enfrentar picos de demanda como el Prime Day, gracias a un sistema de inferencia heterogéneo que utiliza múltiples Regiones de AWS. Esto no solo incrementa la capacidad durante momentos de alta demanda, sino que también mejora la resiliencia del sistema.
El asistente funciona usando un sistema de Generación Aumentada por Recuperación, lo que aumenta la calidad de las respuestas al buscar información adicional, como detalles de productos basados en la consulta del cliente. Además, el uso de chips especializados como Inferentia y Trainium permite a Rufus operar con una eficiencia energética superior en un 54% respecto a otras soluciones analizadas, alineándose con los objetivos de eficiencia energética de la empresa.
Durante eventos de alta demanda, el sistema puede escalar para utilizar más de 80,000 chips, manteniendo una latencia media de menos de un segundo para responder al primer token. Esto es posible gracias a desarrollos como la arquitectura de streaming de inferencia, que permite devolver tokens a los usuarios tan pronto como son generados, mejorando significativamente la experiencia del usuario.
Rufus, que continuará evolucionando con los avances en inteligencia artificial generativa y el feedback de los clientes, representa un paso adelante en la experiencia de compra, ofreciendo información detallada y oportuna para cada usuario. Esta innovación destaca el compromiso de Amazon con la tecnología de vanguardia para mejorar el servicio y la satisfacción al cliente.
vía: AWS machine learning blog
