Escalando MLflow para la IA Empresarial: Novedades de SageMaker AI con MLflow

0
8
Scaling MLflow for enterprise AI: What’s New in SageMaker AI with MLflow

Amazon ha anunciado nuevas capacidades para su servicio Amazon SageMaker AI, que ahora incluye una opción sin servidor para gestionar de manera dinámica la provisión de infraestructura, así como el escalado y operaciones para tareas de desarrollo en inteligencia artificial y aprendizaje automático (AI/ML). Esta innovadora funcionalidad permite escalar los recursos durante fases de experimentación intensiva y reducirlos a cero cuando no son necesarios, lo que disminuye la carga operativa para los usuarios.

Entre las características destacadas se incluye la gestión de acceso sin fisuras mediante la administración de identidades y accesos de AWS (IAM), actualizaciones automáticas de versiones y la integración con capacidades de SageMaker AI para la personalización de modelos y creación de pipelines. A partir de ahora, los científicos de datos pueden comenzar a rastrear experimentos y evaluar el desempeño de modelos sin interrupciones en la infraestructura, lo que facilita la escalabilidad de cargas de trabajo en MLflow dentro de las organizaciones, manteniendo la seguridad y gobernanza.

El nuevo enfoque de MLflow, ahora denominado MLflow Apps, sustituye la terminología anterior de servidores de seguimiento y ofrece una serie de herramientas simplificadas para el acceso y administración de permisos. Cada vez que se crea un dominio en SageMaker Studio, se provisiona automáticamente una aplicación MLflow por defecto, eliminando la necesidad de configuración adicional y permitiendo a los usuarios acceder a recursos de forma automática según lo requieran.

Además, los administradores pueden establecer una ventana de mantenimiento durante la creación de la aplicación, asegurando que las actualizaciones se realicen de manera continua y segura. Esto es especialmente útil para mantener la aplicación estandarizada y actualizada, minimizando el esfuerzo manual. La versión 3.4 de MLflow es compatible con este lanzamiento, ampliando las capacidades de MLflow a aplicaciones de AI y cargas de trabajo generativas.

Otra característica importante es la posibilidad de compartir aplicaciones MLflow entre diferentes cuentas de AWS utilizando AWS Resource Access Manager (RAM). Esta función permite a los administradores de plataformas gestionar de manera centralizada su infraestructura de MLflow y ofrecer acceso a científicos de datos en cuentas de AWS separadas, lo que facilita la colaboración en el desarrollo empresarial de AI.

Por su parte, las pipelines de SageMaker están integradas con MLflow, lo que permite a los usuarios construir, ejecutar y monitorear flujos de trabajo de aprendizaje automático de manera intuitiva mediante una interfaz gráfica o un SDK de Python. Si no existe una aplicación MLflow, se creará automáticamente al ejecutar una pipeline de SageMaker.

Finalmente, la personalización de modelos en SageMaker también se conecta automáticamente con MLflow, simplificando aún más el proceso de logging de métricas, parámetros y artefactos durante el ajuste fino de modelos.

En resumen, estas nuevas características de MLflow Apps en SageMaker AI están diseñadas para facilitar la gestión de cargas de trabajo de ML y AI generativa a gran escala, reduciendo la complejidad administrativa y ofreciendo a las organizaciones una mayor eficiencia y control en sus proyectos de aprendizaje automático. Las aplicaciones MLflow están disponibles en las regiones de AWS donde SageMaker Studio opera, excepto en China y en las regiones de US GovCloud.
vía: AWS machine learning blog