GoDaddy, el conocido registrador de dominios y proveedor de servicios de comercio electrónico, ha desarrollado una innovadora solución de inteligencia artificial generativa que busca optimizar su sistema de categorización de productos. Esta iniciativa tiene como objetivo proporcionar insights de negocio personalizados a más de 21 millones de clientes, insights que anteriormente estaban reservados para grandes corporaciones.
El uso de modelos de lenguaje grandes (LLMs) en aplicaciones de inteligencia artificial ha crecido exponencialmente, pero su implementación en producción enfrenta desafíos, especialmente en torno a la escalabilidad. En este contexto, la compañía ha optado por adoptar enfoques de inferencia por lotes, que permiten procesar múltiples solicitudes de forma asíncrona, mejorando así la eficiencia al manejar grandes volúmenes de datos.
El nuevo sistema desarrollado en colaboración con el equipo de Generative AI Innovation Center utiliza Amazon Bedrock, que permite procesar datos de productos mediante un modelo de Meta Llama 2. GoDaddy tenía la monstruosa tarea de categorizar cerca de seis millones de productos a partir de sus nombres. Sin embargo, los resultados iniciales fueron insatisfactorios, con categorías a menudo incompletas o mal etiquetadas, lo que aumentó los costos de operación.
La nueva solución se basa en un conjunto de pasos ordenados, comenzando por la transferencia de archivos JSONL a un bucket de S3, lo que activa funciones Lambda para el procesamiento en lote. Estos pasos permiten leer los nombres de los productos y generar una salida categorizada, que se almacena para su posterior análisis. Las medidas de seguridad están integradas en los servicios de AWS utilizados en esta arquitectura, lo cual asegura la confidencialidad y la integridad de los datos.
A partir de esta implementación, la solución no solo mejora la categorización, sino que también presenta un marco integral para generar insights útiles para los clientes. La solución es compatible con diversos modelos de LLM en Amazon Bedrock, lo que brinda flexibilidad y escalabilidad a futuras actualizaciones.
El uso de técnicas de «n-packing», que agrupan múltiples nombres de productos en una sola consulta a la máquina, también ha permitido optimizar tanto la latencia como los costos, evidenciando que la adopción de esta tecnología podría representar un ahorro significativo en la operación de GoDaddy.
Con el objetivo de elevar la calidad del servicio, la empresa también planea aumentar la base de datos de ejemplos verificados y aprovechar más controles de calidad. Así, la colaboración entre GoDaddy y el equipo de innovación de inteligencia artificial promete no solo transformar la experiencia del cliente, sino también hacer más accesibles los recursos de comercialización para emprendedores. Las estimaciones iniciales apuntan a que esta solución pueda procesar miles de productos en menos tiempo del que se requería previamente, aumentando notablemente la eficiencia y la satisfacción del cliente.
vía: AWS machine learning blog
