Amazon Web Services ha introducido una nueva solución llamada Amazon SageMaker HyperPod para facilitar las operaciones de aprendizaje automático (ML) a gran escala. Esta herramienta está diseñada para apoyar el entrenamiento de modelos base de manera eficiente, permitiendo que múltiples usuarios, como investigadores, ingenieros de software, científicos de datos y administradores de clústeres, trabajen simultáneamente en el mismo clúster sin interferencias mutuas.
Con HyperPod, los usuarios pueden optar por opciones de orquestación conocidas, como Slurm o Amazon Elastic Kubernetes Service (EKS). En este contexto, los clústeres basados en Slurm permiten la implementación de nodos de inicio de sesión, ofreciéndoles a los administradores de clústeres la opción de añadir puntos de acceso dedicados para facilitar el acceso de los usuarios. Estos nodos de inicio de sesión funcionan como la puerta de entrada para interactuar con los recursos computacionales del clúster, separando las actividades interactivas de los usuarios del nodo principal para así mantener el rendimiento del sistema intacto y evitar que un solo usuario afecte al conjunto.
A pesar de las ventajas que ofrece HyperPod, carece de un mecanismo integrado para equilibrar la carga de actividad entre los nodos de inicio de sesión, lo que puede resultar en un uso desequilibrado de los recursos, afectando la eficiencia y la experiencia del usuario. Para solucionar este problema, se propone implementar un sistema de balanceo de carga que distribuya equitativamente las actividades de los usuarios a través de todos los nodos disponibles, mejorando así la consistencia del rendimiento y la utilización de los recursos.
El método sugerido involucra la creación de un Equilibrador de Carga de Red (NLB) dentro de una subred privada para distribuir el tráfico SSH entre los nodos de inicio de sesión. Esta solución no solo facilita la gestión de accesos, sino que también permite mantener una carga de trabajo homogénea en todos los nodos, evitando cuellos de botella y optimizando el uso de los recursos.
Para implementar esta solución, se requiere un clúster de HyperPod configurado dentro de una VPC, junto con subredes y un grupo de seguridad asociado. Asimismo, es importante mantener claves de host SSH coherentes entre los nodos de inicio de sesión para asegurar una conexión segura y evitar alertas de discrepancia. Finalmente, para acceder al NLB y a los nodos de inicio de sesión desde la red externa, se recomienda emplear el servicio Client VPN de AWS para establecer una conexión segura.
En este contexto, SageMaker HyperPod se perfila como una herramienta flexible que puede adaptarse a las necesidades específicas de los usuarios, ofreciendo un entorno gestionado y resiliente para la ejecución y gestión de operaciones de ML a gran escala. Esta solución facilita el acceso a los recursos del clúster y asegura un rendimiento eficiente, beneficiando tanto a los usuarios individuales como a las organizaciones que buscan optimizar sus procesos de aprendizaje automático.
vía: AWS machine learning blog
