Amazon ha anunciado la incorporación de dos nuevas plantillas de interfaz de usuario, Text Ranking y Question and Answer, para los clientes de SageMaker AI. Estas herramientas están diseñadas para mejorar la calidad de los modelos de lenguaje mediante la obtención de comentarios estructurados y específicos de los usuarios.
La plantilla Text Ranking permite a los anotadores humanos clasificar múltiples respuestas generadas por un modelo de lenguaje grande (LLM) según criterios personalizados como la relevancia, claridad o precisión factual. Este proceso de retroalimentación es crucial para afinar los modelos usando Reinforcement Learning from Human Feedback (RLHF), lo que contribuye a mejorar la alineación de las respuestas del modelo con las preferencias humanas. Por otro lado, la plantilla Question and Answer facilita la creación de pares de preguntas y respuestas de alta calidad a partir de textos proporcionados, actuando como datos de demostración para el Supervised Fine-Tuning (SFT), que enseña a los modelos cómo responder con precisión a entradas similares.
Para configurar estas plantillas, los usuarios deben acceder a la consola de SageMaker AI, donde se ha añadido una nueva categoría de Generative AI bajo el tipo de tarea. Desde ahí, pueden crear trabajos de etiquetado especificando la ubicación del manifiesto de entrada y la ruta de salida.
El uso de la plantilla Text Ranking incluye la provisión de un archivo JSON que detalla el contenido a clasificar y permite una evaluación estructurada. Las respuestas anotadas se guardan en un bucket de S3 especificado por el usuario, lo que facilita la evaluación continua del modelo.
Por su parte, la plantilla Question and Answer permite a los anotadores generar preguntas y respuestas relevantes a partir de pasajes de texto. Esta modalidad también soporta un formato flexible y cuenta con una función de coincidencia codificada por colores que ayuda a los anotadores a identificar rápidamente las secciones relevantes del texto.
Además de la interfaz gráfica, se dispone de una API de Creación de Trabajos de Etiquetado, que permite a los usuarios configurar trabajos de clasificación de manera programática, ofreciendo flexibilidad y la posibilidad de integrarse en flujos de trabajo existentes.
Con estas funcionalidades, Amazon SageMaker AI pretende empoderar a sus usuarios para que generen conjuntos de datos de alta calidad de manera más eficiente, facilitando así el entrenamiento y la evaluación de modelos de lenguaje que se alineen mejor con las necesidades y preferencias de los usuarios.
vía: AWS machine learning blog
