En un esfuerzo conjunto entre Tealium y el AWS Generative AI Innovation Center (GenAIIC), se ha desarrollado un marco de evaluación y mejora para los sistemas de Generación Aumentada por Recuperación (RAG). Este avance busca optimizar la funcionalidad de un bot de preguntas y respuestas (QA) desarrollado por Tealium, una empresa líder en integración de datos de clientes en tiempo real. La colaboración se ha centrado en utilizar Amazon Bedrock, una plataforma de servicios de inteligencia artificial generativa, para mejorar la precisión y relevancia de las respuestas del bot.
La arquitectura del sistema se basa en una serie de pasos que comienzan con la introducción de una consulta en el bot de Tealium. Utilizando el sistema FAISS, el bot recupera el contexto adecuado para dicha consulta y genera una respuesta. Este proceso es evaluado por la biblioteca Ragas, que mide la fe de la respuesta, la precisión y el recuerdo del contexto, entre otros parámetros.
Un aspecto clave del proyecto es la aplicación de Auto-Instruct para generar instrucciones automáticas que mejoren las respuestas del bot. Estas instrucciones son evaluadas y clasificadas para seleccionar las más eficientes. Además, se integró un sistema de retroalimentación en el que un experto humano puede validar o rechazar los resultados del modelo, asegurando así la indemnidad y corrección de las respuestas.
El uso de Amazon Bedrock se destaca por su capacidad para gestionar modelos fundamentales (FMs) mediante una API, permitiendo personalizaciones y despliegues rápidos sin necesidad de manejar infraestructuras complejas. Esto ha permitido a Tealium no solo mejorar las respuestas de su bot, sino también mantener un control seguro y privado sobre los datos utilizados y generados.
El proyecto ha evidenciado no solo la utilidad de los modelos de inteligencia artificial generativa para automatizar procesos, sino también la importancia de combinar soluciones tecnológicas avanzadas con intervención humana para garantizar la calidad de los resultados. Hacia el futuro, se contempla la posibilidad de explorar modelos alternativos, estrategias diferentes de segmentación y evaluación de costos para seguir optimizando la solución.
En última instancia, esta colaboración no solo pone de manifiesto el compromiso de Tealium con sus clientes a través de la innovación continua, sino que también demuestra el potencial de Amazon Bedrock para facilitar la creación y mejora de aplicaciones de inteligencia artificial generativa con un fuerte enfoque en la seguridad y flexibilidad.
vía: AWS machine learning blog
