La implementación de modelos de aprendizaje automático (ML) en producción va más allá de contar con una infraestructura resistente y eficiente en escalado. Es esencial contar con una visibilidad casi continua del rendimiento y la utilización de recursos. En situaciones donde aumenta la latencia, fallan las invocaciones o se constriñen los recursos, es crucial obtener información inmediata para diagnosticar y resolver problemas antes de que afecten a los clientes.

Hasta ahora, Amazon SageMaker AI ofrecía métricas de Amazon CloudWatch que proporcionaban una visibilidad útil a alto nivel, pero estas eran métricas agregadas que no permitían analizar detalles de instancias y contenedores individuales. Esta limitación dificultaba la identificación de cuellos de botella, la mejora de la utilización de recursos y la resolución efectiva de problemas.

Recientemente, SageMaker AI ha introducido métricas mejoradas con frecuencia de publicación configurable. Este avance permite una visibilidad detallada para monitorear, solucionar problemas y optimizar los puntos finales de producción. Las nuevas métricas de SageMaker AI permiten profundizar en métricas a nivel de contenedor e instancia, ofreciendo capacidades que incluyen la visualización de métricas específicas de copias de modelos y el seguimiento de costos asociados a cada modelo.

Con las métricas mejoradas, ahora es posible rastrear la utilización de CPU, GPU y memoria a nivel de instancia y contenedor. Además, se pueden monitorear patrones de solicitudes, errores, latencia y concurrencia con dimensiones precisas según la configuración del punto final. Todos los puntos finales de SageMaker AI tienen acceso a métricas a nivel de instancia, lo que brinda visibilidad sobre el estado de cada instancia de Amazon Elastic Compute Cloud (EC2) utilizada.

La capacidad para monitorear el uso de recursos y las métricas de invocación permite a los usuarios identificar problemas de rendimiento y hacer correcciones a tiempo. También se pueden habilitar métricas a nivel de contenedor, que son fundamentales para aquellos que usan múltiples modelos en un solo punto final.

Al habilitar las métricas mejoradas, los usuarios pueden elegir la frecuencia de publicación adecuada según sus necesidades de monitoreo. La publicación estándar cada 60 segundos es suficiente para la mayoría de las cargas de trabajo de producción. Sin embargo, para aplicaciones críticas que requieren monitoreo casi en tiempo real, se puede optar por una frecuencia de 10 segundos.

Este lanzamiento brinda soluciones efectivas para monitorizar la infraestructura de manera más precisa, incluyendo la capacidad de atribuir costos a modelos individuales en despliegues con múltiples modelos. Con la posibilidad de crear paneles de control operacionales que combinan todas estas métricas, los usuarios pueden obtener información valiosa sobre el rendimiento y el costo de sus recursos en la nube.

En resumen, las métricas mejoradas para los puntos finales de Amazon SageMaker AI transforman la forma en que se monitorean y operan las cargas de trabajo de ML en producción. Estas herramientas permiten una gestión más eficiente y efectiva de los modelos, facilitando diagnósticos precisos y una optimización continua de los recursos. Con la implementación de estas características, Amazon reafirma su compromiso de proporcionar soluciones robustas y escalables para el mundo del aprendizaje automático.
vía: AWS machine learning blog