Hoy se ha anunciado con entusiasmo la disponibilidad de la vanguardista colección de modelos de lenguaje grande (LLM) multilingües Llama 3.1, incluidos los modelos de IA generativa preentrenados y afinados por instrucciones en tamaños de 8B, 70B y 405B, a través de Amazon SageMaker JumpStart para despliegue de inferencia. Llama es un modelo de lenguaje accesible públicamente diseñado para desarrolladores, investigadores y empresas, permitiéndoles crear, experimentar y escalar responsablemente sus ideas de inteligencia artificial generativa.
El Llama 3.1 incluye modelos generativos preentrenados y afinados por instrucciones en tamaños de 8B, 70B y 405B, con una longitud de contexto extendida de 128,000 caracteres y optimizados para inferencia, soportando la atención de consulta agrupada (GQA). Los modelos afinados por instrucciones están optimizados para casos de uso de diálogo multilingüe y superan a muchos modelos de chat públicos en los indicadores de la industria. La arquitectura central del Llama 3 y Llama 3.1 es la misma, utilizando un modelo de lenguaje auto-regresivo con una arquitectura transformer optimizada.
Amazon SageMaker JumpStart ofrece acceso a una amplia selección de modelos base públicamente disponibles, incluyendo modelos de visión por computadora y de lenguaje. Estos modelos se pueden personalizar profundamente para abordar casos de uso específicos. Con SageMaker JumpStart, se pueden desplegar modelos en un entorno seguro, asegurando la seguridad y conformidad de los datos, ya que los modelos operan bajo controles privados en lugar de en un entorno público compartido. Después del despliegue, los modelos se pueden afinare utilizando las capacidades extensas de Amazon SageMaker.
Para descubrir los modelos Llama 3.1 en SageMaker JumpStart, los usuarios pueden acceder a SageMaker Studio, un entorno de desarrollo integrado que facilita todas las etapas del ciclo de vida del desarrollo de aprendizaje automático. También pueden usar el SDK de Python de SageMaker, permitiendo múltiples opciones de acceso a cientos de modelos según el caso de uso.
Para desplegar modelos Llama 3.1 para inferencia, SageMaker JumpStart proporciona una interfaz de usuario donde se pueden explorar y seleccionar modelos. También se pueden utilizar notebooks de ejemplo para guiar el despliegue del modelo, lo que permite una personalización completa para la configuración y operación.
El modelo Llama 3.1 se clasifica en varias versiones, desde modelos de 8B hasta el robusto 405B. Cada versión presenta capacidades únicas en el entendimiento de lenguaje, generación de diálogos, traducción multilingüe y más. Por ejemplo, el Meta-Llama-3.1-405B es el modelo más grande y avanzado, desbloqueando innovaciones como la generación de datos sintéticos y el uso de herramientas en un solo disparo.
Estos modelos permiten una variedad de aplicaciones, desde la generación de texto hasta la traducción de idiomas y el análisis de sentimientos. Además, el modelo Llama Guard ofrece un complemento para imponer reglas de seguridad y ayudar a detectar contenido potencialmente riesgoso.
En conclusión, SageMaker JumpStart permite a los científicos de datos y a los ingenieros de ML descubrir, acceder y ejecutar una amplia gama de modelos preentrenados para inferencia, incluyendo los avanzados modelos Llama 3.1 de Meta. Estos modelos están disponibles inicialmente en las regiones de AWS US East (N. Virginia), US East (Ohio) y US West (Oregon).
vía: AWS machine learning blog
