Hoy estamos emocionados de anunciar la disponibilidad de los modelos Llama 3.2 en Amazon SageMaker JumpStart. Llama 3.2 ofrece modelos de visión multimodal y ligeros que representan el último avance de Meta en modelos de lenguaje grande (LLM), proporcionando capacidades mejoradas y una aplicabilidad más amplia en diversos casos de uso. Con un enfoque en la innovación responsable y la seguridad a nivel de sistema, estos nuevos modelos demuestran un rendimiento de vanguardia en una amplia gama de benchmarks industriales y presentan características que ayudan a construir una nueva generación de experiencias de inteligencia artificial (IA). SageMaker JumpStart es un centro de aprendizaje automático (ML) que proporciona acceso a algoritmos, modelos y soluciones de ML para que puedas comenzar rápidamente con ML.

En esta publicación, mostramos cómo puedes descubrir y desplegar el modelo Llama 3.2 11B Vision usando SageMaker JumpStart. También compartimos los tipos de instancias compatibles y el contexto para todos los modelos Llama 3.2 disponibles en SageMaker JumpStart. Aunque no se destaca en este blog, también puedes usar los modelos ligeros junto con el ajuste fino utilizando SageMaker JumpStart.

Los modelos Llama 3.2 están disponibles en SageMaker JumpStart inicialmente en la región US East (Ohio) de AWS. Cabe señalar que Meta tiene restricciones sobre el uso de los modelos multimodales si te encuentras en la Unión Europea. Consulta el acuerdo de licencia comunitaria de Meta para obtener más detalles.

Llama 3.2 representa el último avance de Meta en LLMs. Los modelos Llama 3.2 se ofrecen en varios tamaños, desde modelos multimodales pequeños y medianos. Los modelos Llama 3.2 más grandes vienen en dos tamaños de parámetros, 11B y 90B, con una longitud de contexto de 128,000, y son capaces de realizar tareas de razonamiento sofisticadas, incluyendo soporte multimodal para imágenes de alta resolución. Los modelos ligeros solo de texto vienen en dos tamaños de parámetros, 1B y 3B, con una longitud de contexto de 128,000, y son adecuados para dispositivos periféricos. Además, hay un nuevo modelo de parámetros Llama Guard 3 11B Vision, que está diseñado para apoyar la innovación responsable y la seguridad a nivel de sistema.

Llama 3.2 es el primer modelo Llama que soporta tareas de visión, con una nueva arquitectura de modelo que integra representaciones de codificadores de imágenes en el modelo de lenguaje. Con un enfoque en la innovación responsable y la seguridad a nivel de sistema, los modelos Llama 3.2 te ayudan a construir y desplegar modelos de IA generativa de vanguardia para impulsar nuevas innovaciones, como el razonamiento con imágenes, y también son más accesibles para aplicaciones perimetrales. Los nuevos modelos también están diseñados para ser más eficientes para cargas de trabajo de IA, con una latencia reducida y un rendimiento mejorado, lo que los hace adecuados para una amplia gama de aplicaciones.

SageMaker JumpStart ofrece acceso a una amplia selección de modelos base disponibles públicamente (FMs). Estos modelos preentrenados sirven como potentes puntos de partida que pueden personalizarse profundamente para abordar casos de uso específicos. Ahora puedes usar arquitecturas de modelo de vanguardia, como modelos de lenguaje, modelos de visión por computadora y más, sin tener que construirlos desde cero.

Con SageMaker JumpStart, puedes desplegar modelos en un entorno seguro. Los modelos pueden provisionarse en instancias de inferencia dedicadas de SageMaker, incluyendo instancias impulsadas por AWS Trainium y AWS Inferentia, y están aislados dentro de tu nube privada virtual (VPC). Esto refuerza la seguridad y el cumplimiento de los datos, ya que los modelos operan bajo tus propios controles de VPC, en lugar de en un entorno público compartido. Después de desplegar un FM, puedes personalizarlo y afinarlo aún más utilizando las capacidades extensas de Amazon SageMaker, incluyendo SageMaker Inference para desplegar modelos y logs de contenedores para mejorar la observabilidad. Con SageMaker, puedes simplificar todo el proceso de despliegue de modelos.

Para probar los modelos Llama 3.2 en SageMaker JumpStart, necesitas los siguientes requisitos previos:

SageMaker JumpStart proporciona FMs a través de dos interfaces principales: SageMaker Studio y el SDK de Python de SageMaker. Esto ofrece múltiples opciones para descubrir y usar cientos de modelos para tu caso de uso específico.

SageMaker Studio es un IDE comprensivo que ofrece una interfaz web unificada para realizar todos los aspectos del ciclo de vida del desarrollo de ML. Desde preparar datos hasta construir, entrenar y desplegar modelos, SageMaker Studio proporciona herramientas diseñadas específicamente para simplificar todo el proceso. En SageMaker Studio, puedes acceder a SageMaker JumpStart para descubrir y explorar el extenso catálogo de FMs disponibles para desplegar capacidades de inferencia en SageMaker Inference.

En SageMaker Studio, puedes acceder a SageMaker JumpStart eligiendo JumpStart en el panel de navegación o eligiendo JumpStart desde la página de inicio.

Alternativamente, puedes usar el SDK de Python de SageMaker para acceder y usar modelos de SageMaker JumpStart programáticamente. Este enfoque permite una mayor flexibilidad e integración con los flujos de trabajo y pipelines de IA/ML existentes. Al proporcionar múltiples puntos de acceso, SageMaker JumpStart te ayuda a incorporar sin problemas modelos preentrenados en tus esfuerzos de desarrollo de IA/ML, independientemente de tu interfaz o flujo de trabajo preferido.

En la página de inicio de SageMaker JumpStart, puedes descubrir todos los modelos preentrenados públicos ofrecidos por SageMaker. Puedes elegir la pestaña del proveedor de modelos de Meta para descubrir todos los modelos de Meta disponibles en SageMaker.

Si estás usando SageMaker Classic Studio y no ves los modelos Llama 3.2, actualiza tu versión de SageMaker Studio apagando y reiniciando. Para obtener más información sobre las actualizaciones de versión, consulta Apagar y Actualizar Aplicaciones Classic Studio.

Puedes elegir la tarjeta del modelo para ver detalles sobre el modelo, como la licencia, los datos utilizados para entrenar y cómo usarlo. También puedes encontrar dos botones, Desplegar y Abrir Cuaderno, que te ayudan a usar el modelo.

Eligiendo cualquiera de estos botones, se mostrará una ventana emergente con el Acuerdo de Licencia de Usuario Final (EULA) y la política de uso aceptable para que aceptes.

Tras la aceptación, puedes proceder al siguiente paso para usar el modelo.

Al elegir Desplegar y aceptar los términos, comenzará el despliegue del modelo. Alternativamente, puedes desplegar a través del cuaderno de ejemplo eligiendo Abrir Cuaderno. El cuaderno proporciona una guía paso a paso sobre cómo desplegar el modelo para inferencia y limpiar recursos.

Para desplegar usando un cuaderno, debes seleccionar un modelo apropiado, especificado por el model_id. Puedes desplegar cualquiera de los modelos seleccionados en SageMaker.

Puedes desplegar un modelo Llama 3.2 11B Vision usando SageMaker JumpStart con el siguiente código del SDK de Python de SageMaker:

from sagemaker.jumpstart.model import JumpStartModel
model = JumpStartModel(model_id="meta-vlm-llama-3-2-11b-vision")
predictor = model.deploy(accept_eula=accept_eula)

Esto despliega el modelo en SageMaker con configuraciones por defecto, incluyendo el tipo de instancia predeterminado y configuraciones de VPC predeterminadas. Puedes cambiar estas configuraciones especificando valores no predeterminados en JumpStartModel. Para desplegar el modelo con éxito, debes ajustar manualmente accept_eula=True como argumento del método deploy. Después de desplegarlo, puedes realizar inferencias contra el punto de extremo desplegado a través del predictor de SageMaker:

payload = {
   "messages": [
       {"role": "system", "content": "You are a helpful assistant"},
       {"role": "user", "content": "How are you doing today"},
       {"role": "assistant", "content": "Good, what can I help you with today?"},
       {"role": "user", "content": "Give me 5 steps to become better at tennis?"}
   ],
   "temperature": 0.6,
    "top_p": 0.9,
    "max_tokens": 512,
    "logprobs": False
}
response = predictor.predict(payload)
response_message = response['choices'][0]['message']['content']

Los modelos Llama 3.2 han sido evaluados en más de 150 conjuntos de datos de referencia, demostrando un rendimiento competitivo con los FMs líderes.

En esta publicación, exploramos cómo SageMaker JumpStart capacita a científicos de datos e ingenieros de ML para descubrir, acceder y desplegar una amplia gama de FMs preentrenados para inferencia, incluyendo los modelos más avanzados y capaces de Meta hasta la fecha. Comienza hoy con SageMaker JumpStart y los modelos Llama 3.2.

Para más información sobre SageMaker JumpStart, consulta Entrena, despliega y evalúa modelos preentrenados con SageMaker JumpStart y Comenzar con Amazon SageMaker JumpStart.

vía: AWS machine learning blog