Gobernar el Ciclo de Vida de ML a Gran Escala: Mejores Prácticas para Establecer Visibilidad de Costos y Uso de Cargas de Trabajo de ML en Entornos Multi-Cuenta

0
107
Governing ML lifecycle at scale: Best practices to set up cost and usage visibility of ML workloads in multi-account environments

Las empresas que utilizan la nube están enfrentando desafíos significativos relacionados con los costos de infraestructura, afectando sus operaciones diarias. Obtener visibilidad en tiempo real de los gastos, patrones de uso y factores que impulsan los costos es crucial para tomar decisiones ágiles. Esta información no solo facilita la escalabilidad optimizada, sino que también maximiza el valor derivado de las inversiones en la nube, asegurando una utilización eficiente y rentable para el crecimiento futuro de la organización.

Lo que hace que la visibilidad de costos sea aún más importante es la naturaleza dinámica del uso de la nube. Esto requiere un monitoreo y reporte continuo de costos para evitar exceder expectativas y asegurarse de que se pague solo por lo que realmente se necesita. Adicionalmente, medir el valor que la nube aporta a la organización es posible cuantificando los costos asociados a ella.

En un entorno con múltiples cuentas, se pueden rastrear costos a nivel de cuenta de AWS para asociar gastos. Sin embargo, para asignar costos a recursos específicos de la nube, es esencial una estrategia de etiquetado. Una combinación de cuentas de AWS y etiquetas proporciona los mejores resultados. Implementar una estrategia de asignación de costos desde el principio es crítico para gestionar gastos y futuras actividades de optimización que reducirán el gasto.

Este artículo destaca la importancia de implementar una estrategia integral de gobernanza de etiquetado en múltiples cuentas, utilizando herramientas y servicios de AWS que ofrecen visibilidad y control. Estableciendo comprobaciones y políticas de cumplimiento automatizado, es posible lograr una optimización de costos en el entorno de aprendizaje automático (ML).

Para implementar una estrategia de etiquetado eficaz para gestionar recursos desde el principio, se recomienda identificar las etiquetas adecuadas necesarias para recopilar toda la información relevante en el entorno. Las categorías comunes para diseñar etiquetas incluyen asignación de costos, automatización, control de acceso, información técnica, cumplimiento normativo y atributos de negocio.

Adoptar una estrategia de etiquetado coherente y programática en toda la infraestructura de la nube es fundamental. Se requiere definir qué recursos necesitan etiquetado y establecer mecanismos para aplicar etiquetas obligatorias en los recursos necesarios, sin incluir información de identificación personal, ya que estas etiquetas permanecen sin cifrar y visibles.

Además, ejecutar cargas de trabajo de ML en AWS incurre en costos principalmente debido a los recursos de cómputo, como instancias de Amazon EC2 y almacenamiento en Amazon S3 para conjuntos de datos y modelos. Implementar un sistema de etiquetado en servicios como Amazon SageMaker, Amazon DataZone, y AWS Lake Formation es esencial para un seguimiento preciso de gastos.

La monitorización de recursos a través de AWS Cost Explorer, reportes de costos y uso, así como la integración de herramientas de terceros permite analizar y visualizar costos para mandar alertas oportunas al superar los límites presupuestarios establecidos, asegurando así la alineación con las necesidades del negocio y optimizando el uso de la nube.
vía: AWS machine learning blog