Fine-tuning de los modelos Meta Llama 3.1 con Amazon SageMaker JumpStart permite a los desarrolladores personalizar estos modelos de fundación disponibles públicamente. La colección Meta Llama 3.1 representa un avance significativo en el campo de la inteligencia artificial generativa, ofreciendo una variedad de capacidades para crear aplicaciones innovadoras. Los modelos Meta Llama 3.1 están disponibles en varios tamaños, con 8 mil millones, 70 mil millones y 405 mil millones de parámetros, adaptándose a diversas necesidades de proyectos.

Estos modelos destacan por su capacidad para entender y generar texto con una coherencia y matices impresionantes. Con una longitud de contexto de hasta 128,000 tokens, los modelos Meta Llama 3.1 pueden mantener una profunda conciencia contextual que les permite manejar tareas de lenguaje complejas con facilidad. Además, los modelos están optimizados para una inferencia eficiente, incorporando técnicas como la atención de consulta agrupada (GQA) para ofrecer una respuesta rápida.

Una de las características notables de los modelos Meta Llama 3.1 es su destreza multilingüe. Las versiones instrucción-tuneladas solo de texto (8B, 70B, 405B) han sido diseñadas para el diálogo en lenguaje natural, y han demostrado superar a muchos modelos de chatbots disponibles públicamente en los benchmarks de la industria. Esto los hace adecuados para construir experiencias conversacionales multilingües atractivas que pueden salvar barreras lingüísticas y proporcionar a los usuarios interacciones inmersivas.

En el núcleo de los modelos Meta Llama 3.1, se encuentra una arquitectura de transformador autoregresivo cuidadosamente optimizada. Las versiones afinadas de los modelos también incorporan técnicas avanzadas de fine-tuning, como el fine-tuning supervisado (SFT) y el aprendizaje por refuerzo con retroalimentación humana (RLHF), para alinear las salidas del modelo con las preferencias humanas. Este nivel de refinamiento abre nuevas posibilidades para los desarrolladores, que ahora pueden adaptar estos poderosos modelos de lenguaje para satisfacer las necesidades únicas de sus aplicaciones.

El proceso de fine-tuning permite a los usuarios ajustar los pesos de los modelos preentrenados Meta Llama 3.1 utilizando nuevos datos, mejorando su desempeño en tareas específicas. Esto implica entrenar el modelo en un conjunto de datos adaptado a la tarea en cuestión y actualizar los pesos del modelo para ajustarse a los nuevos datos. El fine-tuning puede llevar a mejoras significativas en el rendimiento con un esfuerzo mínimo, permitiendo a los desarrolladores cumplir rápidamente con las necesidades de sus aplicaciones.

SageMaker JumpStart ahora soporta los modelos Meta Llama 3.1, permitiendo a los desarrolladores explorar el proceso de fine-tuning del modelo Meta Llama 3.1 405B usando la interfaz de usuario y el SDK de SageMaker JumpStart. Se muestra cómo personalizar estos modelos para casos de uso específicos, ya sea que se esté construyendo un chatbot multilingüe, un asistente generador de código, o cualquier otra aplicación de IA generativa. Se proporcionan ejemplos de fine-tuning sin código utilizando la interfaz de usuario de SageMaker JumpStart y fine-tuning utilizando el SDK para SageMaker JumpStart.

Con SageMaker JumpStart, los practicantes de aprendizaje automático pueden elegir entre una amplia selección de modelos de fundación disponibles públicamente. Puedes desplegar modelos a instancias dedicadas de Amazon SageMaker desde un entorno aislado en red y personalizar los modelos usando SageMaker para el entrenamiento y despliegue de modelos.

SageMaker JumpStart ofrece configuraciones predeterminadas para el fine-tuning de las variantes Meta LIama 3.1 405B, 70B y 8B utilizando la técnica QLoRA. La tabla resumen muestra los modelos y sus configuraciones correspondientes de entrenamiento, así como los tipos de entrenamiento auto-supervisado admitidos.

En conclusion, se discute cómo usar la interfaz de usuario de SageMaker JumpStart en SageMaker Studio o el SDK de Python de SageMaker para fine-tuning y desplegar estos modelos. También se proporcionan recomendaciones para el entrenamiento optimizado basado en varias pruebas realizadas. Los resultados muestran que el fine-tuning mejora la capacidad de resumen en comparación con los modelos no afinados. Como próximo paso, se puede intentar el fine-tuning de estos modelos utilizando el código proporcionado en el repositorio de GitHub para probar y evaluar los resultados para tus casos de uso.
vía: AWS machine learning blog