Un nuevo chatbot de código abierto ha sido lanzado, con el objetivo de mejorar la precisión y la transparencia de los modelos de lenguaje a través de «Automated Reasoning checks». Esta herramienta innovadora permite que el chatbot utilice retroalimentación de estas verificaciones para iterar en su contenido generado, realizar preguntas aclaratorias y demostrar la validez de sus respuestas.
La implementación del chatbot incluye un registro de auditoría que ofrece explicaciones matemáticamente verificables sobre la validez de las respuestas. Además, cuenta con una interfaz de usuario que revela el proceso de reescritura y las iteraciones que ocurren tras bastidores. A diferencia de los modelos de lenguaje tradicionales, que pueden errar en sus respuestas («hallucinations»), las herramientas de razonamiento automatizado validan las afirmaciones utilizando deducción lógica y pruebas matemáticas.
Este enfoque no solo mejora la exactitud de las respuestas al ofrecer afirmaciones precisas que responden a preguntas concretas, sino que también aumenta la transparencia al proporcionar pruebas verificables de por qué esas afirmaciones son correctas. Esto es especialmente relevante en entornos regulados donde la audibilidad y la explicación son cruciales.
El chatbot está construido sobre una aplicación Flask que expone APIs para enviar preguntas y verificar el estado de las respuestas. La implementación permite a los usuarios configurar un modelo de lenguaje de Amazon Bedrock para generar respuestas, seleccionar una política de razonamiento automatizado para la validación y establecer un número máximo de iteraciones para corregir una respuesta.
Dentro del proceso de reescritura, el sistema clasifica los hallazgos de las verificaciones según su prioridad y decide los pasos a seguir: si se trata de aclaraciones ambiguas, inconsistencias lógicas, o información inválida. Cada iteración almacena los hallazgos y proporciona un historial detallado del proceso.
Para aquellos interesados en explorar esta implementación, se ofrece guías sobre cómo crear políticas de razonamiento automatizado y cómo ejecutar la referencia del chatbot. El código y la documentación están disponibles en línea para facilitar su adopción y personalización en otras aplicaciones.
Con este avance, se espera que las aplicaciones de inteligencia artificial generativa sean más confiables y comprensibles, combinando la flexibilidad de los modelos de lenguaje con la rigurosidad de la verificación matemática.
vía: AWS machine learning blog
