Amazon ha lanzado una nueva funcionalidad en su plataforma de inteligencia artificial, SageMaker AI, que permite afinar modelos GPT-OSS utilizando recetas de SageMaker HyperPod y trabajos de entrenamiento. Este anuncio, que forma parte de una serie de publicaciones, se centra en la optimización del modelo GPT-OSS para manejar razonamiento estructurado en múltiples idiomas.
En la primera parte de la serie, se demostró cómo se podía afinar modelos GPT-OSS mediante bibliotecas de código abierto de Hugging Face a través de trabajos de entrenamiento en SageMaker. Ahora, las recetas de SageMaker HyperPod brindan a los usuarios una forma rápida y accesible de comenzar el entrenamiento y ajuste fino de modelos fundamentales de inteligencia artificial como Llama de Meta y Mistral. Las recetas ofrecen configuraciones preconstruidas y validadas que simplifican la creación de entornos de entrenamiento distribuidos y aseguran un rendimiento y escalabilidad de nivel empresarial.
La solución se basa en el uso de SageMaker HyperPod para ejecutar trabajos de ajuste fino, facilitando la orquestación mediante Amazon Elastic Kubernetes Service (EKS). Para utilizar esta funcionalidad de manera efectiva, las organizaciones requieren una configuración inicial que incluya un entorno de desarrollo local con credenciales de AWS y una serie de instancias de tipo ml.p5.48xlarge, entre otros requisitos.
El proceso de ajuste fino comienza con la preparación de un conjunto de datos adecuado, que en este caso es el dataset de «HuggingFaceH4/Multilingual-Thinking», diseñado para ejemplos de razonamiento en varios idiomas. Tras la preparación y tokenización de los datos, se utilizan las recetas para someter el trabajo de ajuste fino y, finalmente, se implementa el modelo entrenado en un endpoint de SageMaker para pruebas y evaluación.
Los expertos destacan que la plataforma SageMaker no solo facilita la capacitación de modelos mediante recursos temporales, sino que también ofrece un entorno persistente para el desarrollo continuo a través de HyperPod. Esto permite a las organizaciones experimentar con modelos de forma más eficiente.
El despliegue de los modelos ajustados se realiza utilizando contenedores optimizados en Amazon Elastic Container Registry (ECR), lo que asegura que las aplicaciones tengan acceso a los recursos necesarios para ejecutar inferencias en tiempo real. SageMaker también es capaz de traducir configuraciones y preparar las variables adecuadas para un rendimiento óptimo.
En conclusión, esta nueva funcionalidad abre una vía prometedora para que organizaciones de todos los tamaños aprovechen el potencial de los modelos de lenguaje grande, haciendo que el ajuste y despliegue de modelos personalizados sea más accesible y manejable. Las guías y recursos están disponibles en los repositorios de GitHub de Amazon, que proporcionan ejemplos y documentación detallada para los desarrolladores interesados en explorar esta tecnología.
vía: AWS machine learning blog
