Implementar modelos de machine learning de manera eficiente, confiable y económica se ha convertido en un reto crucial para las organizaciones de todos los tamaños. A medida que estas empresas integran cada vez más modelos fundamentales (FMs) y otros modelos de machine learning (ML) en sus operaciones, deben enfrentar obstáculos relacionados con la utilización de recursos, la eficiencia de costes y el mantenimiento de una alta disponibilidad durante las actualizaciones. La reciente introducción de la funcionalidad de «componentes de inferencia» por parte de Amazon SageMaker AI está diseñada para ayudar a las organizaciones a reducir los costes de despliegue de modelos al optimizar la utilización de los recursos mediante técnicas de empaquetado y escalado inteligente.
Sin embargo, la actualización de estos modelos, especialmente en entornos de producción donde existen estrictos SLA de latencia, ha conllevado históricamente el riesgo de tiempos de inactividad o cuellos de botella en los recursos. Las implementaciones tradicionales de tipo blue/green frecuentemente se enfrentan a limitaciones de capacidad, lo que puede hacer que las actualizaciones sean impredecibles, especialmente para modelos intensivos en GPU. Para abordar esta situación, Amazon SageMaker AI ha anunciado una mejora significativa: las actualizaciones progresivas para los endpoints de componentes de inferencia, una característica destinada a agilizar las actualizaciones de modelos de diferentes tamaños mientras se minimiza la carga operativa.
Estas actualizaciones progresivas están diseñadas para eliminar la rigidez de los despliegues blue/green, permitiendo actualizar los modelos en lotes controlados, escalando dinámicamente la infraestructura e integrando comprobaciones de seguridad en tiempo real. Esto garantiza que los despliegues mantengan su eficacia en costos, confiabilidad y adaptabilidad, incluso para cargas de trabajo con altas demandas de GPU.
Con las actualizaciones progresivas, SageMaker AI despliega nuevas versiones de modelo en lotes configurables de componentes de inferencia, al tiempo que escala las instancias dinámicamente. Por ejemplo, si se actualiza un componente de inferencia que utiliza un modelo pequeño, se puede utilizar un tamaño de lote mayor para facilitar actualizaciones rápidas, mientras que los modelos más grandes requerirán lotes más pequeños para limitar la contención de GPU. Esto crea una experiencia operativa más fluida y efectiva en cuanto a costos durante las actualizaciones.
En la práctica, los escenarios varían. En uno de ellos, al actualizar un endpoint con instancias de GPU individual, se puede configurar una actualización progresiva con un tamaño de lote de uno, lo que permite que SageMaker AI actualice una copia a la vez. Durante el proceso de actualización, si no hay suficiente capacidad en las instancias existentes, SageMaker lanzaría nuevas instancias de forma gradual, asegurando cero interrupciones en el servicio.
En otro escenario, si se encuentra un problema de compatibilidad de API durante la actualización, se pueden configurar alarmas en Amazon CloudWatch que, al activarse, ordenarán una reversión automática a la versión anterior del componente de inferencia que estaba funcionando correctamente.
Además, si un endpoint está completamente reservado con instancias utilizadas al máximo, SageMaker proporciona retroalimentación clara sobre las restricciones de capacidad. En caso de que la actualización no se pueda completar debido a la falta de recursos, el sistema iniciará automáticamente un proceso de reversión y se detendrá la actualización, asegurando que el servicio pueda seguir operando sin interrupciones.
Las actualizaciones progresivas para los componentes de inferencia representan, en conjunto, una mejora significativa en las capacidades de despliegue de SageMaker AI, abordando eficazmente los desafíos de actualización en producción y eliminando el trabajo especulativo en cuanto a capacidad. Esto abre la puerta a un proceso de implementación más ágil y resistente, adaptado a las necesidades de manejo de modelos intensivos en recursos, lo que permite a las empresas mantenerse actualizadas en el rápido avance del machine learning.
vía: AWS machine learning blog
