En el contexto del evento re:Invent 2024, se ha dado a conocer una significativa colaboración destinada a acelerar los trabajos de inferencia de IA a través de nuevas capacidades con la aceleración computacional de NVIDIA y las ofertas de software disponibles en Amazon SageMaker. Esta iniciativa refuerza la asociación continua entre ambas empresas, ahora enfocada en optimizar el soporte para instancias de GPU direccionadas a la inferencia y la integración con tecnologías de NVIDIA.
En esta ocasión, se han presentado tres avances clave que amplían las capacidades de inferencia de IA:
Los microservicios NVIDIA NIM ahora disponibles en AWS Marketplace para despliegues de SageMaker Inference, facilitando el acceso a modelos de IA generativa de vanguardia para los clientes.
El modelo NVIDIA Nemotron-4 está disponible en Amazon SageMaker JumpStart, lo que amplía considerablemente la gama de modelos preentrenados de alta calidad a disposición de los usuarios. Este modelo, notable por sus habilidades multilingües, sobresale en pruebas de razonamiento.
- Las instancias P5e y G6e optimizadas para la inferencia ahora están disponibles en Amazon SageMaker, proporcionando acceso a las tarjetas gráficas NVIDIA H200 Tensor Core y L40S para cargas de trabajo de inferencia de IA.
El evento también destacó cómo estos nuevos desarrollos permiten a las organizaciones desplegar rápidamente modelos de IA generativa y escalar sus aplicaciones más eficazmente a través del uso de los microservicios NVIDIA NIM. Además, NVIDIA Nemotron-4, un innovador modelo de lenguaje grande, está ahora completamente integrado en la oferta de SageMaker JumpStart, haciendo que su implementación sea más accesible para un amplio rango de clientes.
En el contexto del hardware, las nuevas instancias P5e y G6e, equipadas con GPUs NVIDIA, proporcionan mejoras significativas respecto a las generaciones previas, permitiendo tanto el despliegue como el entrenamiento de modelos de aprendizaje automático más exigentes.
Este anuncio marca un progreso notable en la accesibilidad y eficiencia para las empresas que apuestan por las capacidades avanzadas de inferencia de IA, facilitando su implementación en proyectos de diversos sectores industriales. Con estas mejoras, las organizaciones pueden impulsar la innovación y mejorar sus procesos de toma de decisiones gracias a una infraestructura optimizada y flexible, capaz de manejar cargas de trabajo complejas y diversos casos de uso a nivel empresarial.
vía: AWS machine learning blog