En un contexto donde las organizaciones están cada vez más interesadas en adoptar la inteligencia artificial (IA) y el aprendizaje automático (ML), un cliente se encontró ante el desafío de optimizar el costo y el rendimiento de sus modelos de IA. Este cliente, especializado en soluciones de inteligencia de video basadas en modelos YOLOv8, optó por la ayuda de Automat-it, un socio Premier de AWS, para diseñar e implementar su plataforma en la nube de AWS utilizando Elastic Kubernetes Service (EKS).
El principal objetivo de la colaboración fue lograr una escalabilidad y rendimiento óptimos, al tiempo que se reducían los costos. Originalmente, cada modelo requería funcionar en una instancia de GPU dedicada, lo que resultaba en recursos de GPU infrautilizados y costos operativos elevados. Como parte del proyecto, se estableció que el costo de la infraestructura en AWS debía mantenerse en 30 dólares por cámara al mes, mientras que el tiempo total de procesamiento no debía exceder los 500 milisegundos.
En un primer intento por resolver el problema, se implementó una arquitectura cliente-servidor que separaba las etapas de procesamiento. No obstante, los costos seguían siendo demasiado altos, con un gasto de 353,03 dólares mensuales por cámara. A pesar de los buenos resultados en términos de rendimiento, fue necesaria una mayor optimización.
Así, Automat-it decidió cambiar de la arquitectura cliente-servidor a un sistema de “time slicing” de GPU, donde los modelos de IA comparten una única GPU, lo que permite la utilización eficiente de recursos. Esta estrategia se implementó en el clúster de EKS mediante el uso del plugin de NVIDIA para Kubernetes, lo que simplificó el proceso de escalabilidad y redujo la carga operativa.
Tras diversas etapas de prueba y ajustes en la configuración, se logró un notable ahorro en costos. Finalmente, el costo por cámara se redujo a 27,81 dólares, lo que representa una disminución de más de doce veces en comparación con el enfoque inicial, todo ello manteniendo el rendimiento de los modelos dentro de los parámetros aceptables.
Este caso ilustra cómo la optimización de recursos en entornos de inteligencia artificial puede permitir a las empresas no solo reducir costos, sino también mantener el nivel de servicio necesario para satisfacer las demandas de sus clientes. La combinación de enfoques modernos y tecnología en la nube ha demostrado ser un camino eficaz hacia la mejora de la eficiencia operativa en el uso de modelos de IA.
vía: AWS machine learning blog
