Meta ha estrenado su nuevo modelo de lenguaje, Llama 3.3 70B, disponible a partir de hoy en Amazon SageMaker JumpStart. Este avance en el desarrollo de modelos de lenguaje grande (LLM) ofrece un rendimiento comparable al de versiones más grandes de Llama, pero con un uso significativamente menor de recursos computacionales. Esta eficiencia no solo mejora la calidad de la salida de los modelos, sino que también implica una reducción de costos notable, convirtiéndolo en una opción atractiva para implementaciones en producción.
Llama 3.3 70B ha sido optimizado para funcionar de manera más eficiente, entregando resultados que se asemejan a los de Llama 3.1 405B mientras utiliza únicamente una fracción de los recursos necesarios. Según Meta, esta mejora de eficiencia equivale a casi cinco veces más operaciones de inferencia por el mismo costo, lo que resulta en una solución más económica para las organizaciones.
La arquitectura del modelo está basada en una versión perfeccionada del diseño de transformadores, que incluye un mecanismo de atención mejorado, capaz de reducir considerablemente los costos de inferencia. Durante su desarrollo, el equipo de ingeniería de Meta entrenó el modelo con un extenso conjunto de datos que abarca aproximadamente 15 billones de tokens, combinando contenido de la web con más de 25 millones de ejemplos sintéticos creados específicamente para el desarrollo de LLM. Este enfoque exhaustivo en el entrenamiento ha otorgado al modelo habilidades sólidas para comprender y generar respuestas en diversas tareas.
Entre las características que distinguen a Llama 3.3 70B está su metodología de entrenamiento refinada, que incluye un proceso extenso de afinamiento supervisado y el aprendizaje por refuerzo a partir de comentarios humanos (RLHF). Esta estrategia ha permitido que el modelo alineé sus salidas de forma más efectiva a las preferencias humanas sin sacrificar estándares de rendimiento. En evaluaciones de referencia, Llama 3.3 70B demostró una consistencia notable, quedando a menos del 2% de diferencia con su contraparte más grande en seis de diez evaluaciones de AI estándar y superándola en tres categorías.
Para facilitar la implementación de este nuevo modelo, SageMaker JumpStart ofrece herramientas que ayudan en la evaluación, comparación y selección de modelos preentrenados, incluyendo los modelos de Llama. Los usuarios tienen la opción de desplegar Llama 3.3 70B ya sea a través de la interfaz de usuario intuitiva o mediante un enfoque programático usando el SDK de Python de SageMaker.
Deployar el modelo es un proceso sencillo, ya sea a través de la interfaz de usuario de SageMaker JumpStart o mediante el uso del SDK de Python, proporcionando así flexibilidad y escalabilidad para adaptarse a las necesidades específicas de cada organización.
Las capacidades amplias de SageMaker AI, como carga rápida de modelos, almacenamiento en caché de contenedores y la opción de escalar a cero, permiten a las organizaciones gestionar sus despliegues de manera eficiente, maximizando así las ventajas de la arquitectura optimizada de Llama 3.3 70B sin incurrir en gastos innecesarios.
Esta combinación de características avanzadas en Llama 3.3 70B y las herramientas de implementación de SageMaker AI proporciona una solución óptima para aquellas organizaciones que buscan maximizar tanto el rendimiento como la eficiencia de los costos en sus operaciones de modelado de lenguaje.
vía: AWS machine learning blog
