Las innovaciones en inteligencia artificial (IA) y aprendizaje automático (ML) están llevando a las organizaciones a reevaluar las posibilidades que estas tecnologías pueden ofrecer. Sin embargo, el despliegue de estos modelos a una escala empresarial presenta desafíos, especialmente en cuanto al cumplimiento de requisitos de seguridad y gobernanza. En este contexto, MLOps se presenta como una solución crítica al automatizar los procesos de gobernanza, reduciendo el tiempo necesario para llevar las pruebas de concepto al entorno de producción y garantizando la calidad de los modelos desplegados.

Los modelos de ML en producción no son artefactos estáticos; reflejan el entorno donde se despliegan y, por lo tanto, requieren mecanismos de monitoreo exhaustivo que aseguren la calidad del modelo, la ausencia de sesgos y la importancia de las características. Las organizaciones a menudo desean implementar verificaciones adicionales que aseguren que el modelo cumple con sus estándares organizacionales antes de ser desplegado. La automatización de estos chequeos permite repeticiones regulares y consistentes, en lugar de depender de verificaciones manuales esporádicas.

Este artículo ilustra cómo utilizar principios arquitectónicos comunes para transitar de un proceso de monitoreo manual a uno automatizado utilizando servicios de AWS como Amazon SageMaker Model Registry y Amazon SageMaker Pipelines. Esto permite a las organizaciones ofrecer soluciones innovadoras a sus clientes mientras mantienen el cumplimiento en sus cargas de trabajo de ML.

A medida que la IA se vuelve omnipresente, su uso en contextos sensibles, como la interacción con usuarios a través de chatbots en agencias fiscales, plantea la necesidad de que estos sistemas se alineen con las directrices organizacionales. En este escenario, las organizaciones pueden tener decenas o incluso cientos de modelos en producción, y requieren mecanismos robustos para asegurar que cada modelo sea debidamente revisado antes de cada despliegue.

Tradicionalmente, las organizaciones han establecido procesos de revisión manual para evitar que el código no actualizado llegue al público, utilizando comités o juntas de revisión. Con el ascenso de la integración continua y la entrega continua (CI/CD), MLOps puede reducir la necesidad de procesos manuales, aumentando la frecuencia y profundidad de las verificaciones de calidad. A través de la automatización, se escalonan habilidades demandadas, como el análisis de datos y modelos, permitiendo análisis exhaustivos en diversos equipos de productos.

En este artículo, utilizamos SageMaker Pipelines para definir los chequeos de cumplimiento necesarios como código. Esto permite introducir análisis de complejidad arbitraria sin estar limitados por los horarios apretados de individuos altamente técnicos. La automatización se encarga de las tareas repetitivas de análisis, permitiendo que los recursos técnicos se enfoquen en mejorar la calidad y profundidad de la canalización MLOps para asegurar que los chequeos funcionen adecuadamente.

El despliegue de un modelo de ML en producción generalmente requiere la aprobación de al menos dos artefactos: el modelo y el endpoint. En nuestro ejemplo, la organización aprueba un modelo si pasa las verificaciones de calidad, sesgos e importancia de características. Además, el endpoint se aprueba si funciona como se espera en un entorno de producción simulado. En publicaciones posteriores, se guiará sobre cómo desplegar un modelo e implementar chequeos de cumplimiento. En este artículo, se discute la extensión de este proceso a modelos de lenguaje grande (LLMs), que producen una variedad de salidas y presentan complejidades en cuanto a verificaciones automáticas de garantía de calidad.

La solución descrita se despliega en varias cuentas dentro de una organización de AWS, con componentes centralizados como un registro de modelos en SageMaker Model Registry, plantillas de proyectos ML en SageMaker Projects, tarjetas de modelo en Amazon SageMaker Model Cards, e imágenes de contenedores en Amazon Elastic Container Registry (Amazon ECR). Utilizamos un entorno aislado para desplegar y promover en varios entornos. La estrategia puede ajustarse según la postura de la organización, proporcionando un modelo centralizado, ajustable a requisitos estrictos de cumplimiento mediante verificación.

El artículo proporciona una visión detallada de cómo construir la canalización utilizando SageMaker Pipelines, integrando múltiples servicios de AWS para automatizar la aprobación de modelos. Explica cómo crear y registrar modelos en SageMaker, definir la canalización con pasos de evaluación y actualización de estado del modelo, hasta la ejecución de la canalización basada en eventos mediante Lambda y EventBridge, optimizando el proceso de revisión manual.

Finalmente, se aborda la aplicación de este enfoque a modelos generativos de IA, considerando las complejidades y métricas de interés como la memoración, desinformación, sesgo y toxicidad utilizando diferentes conjuntos de datos de referencia. Esto permite manejar adecuadamente los aspectos complejos del comportamiento de modelos generativos.

En conclusión, este artículo ha discutido una solución para automatizar los chequeos de cumplimiento de los modelos de IA/ML, incrementando la velocidad y calidad del despliegue mediante técnicas CI/CD aplicadas al ciclo de vida del modelado de ML, permitiendo a las organizaciones escalar en la era de la IA generativa. Si tienes comentarios o preguntas, por favor déjalos en la sección de comentarios.
vía: AWS machine learning blog