En el mundo del aprendizaje automático (ML), muchos equipos se enfrentan a un desafío común: desarrollar modelos que, a pesar de alcanzar altos niveles de precisión durante las pruebas, no logran generar resultados comerciales al implementarse en la vida real. Este fenómeno se ha observado, incluso, en casos donde un modelo ha alcanzado un 94% de precisión en el conjunto de validación, pero seis meses después de su implementación, el motor de recomendaciones no ha impulsado los resultados esperados para el negocio.

El problema radica en que el enfoque tradicional de desarrollo de modelos se centra en la perfección técnica, con un proceso que incluye la recopilación de datos, el entrenamiento del modelo, la evaluación del rendimiento y, finalmente, la implementación. Este ciclo suele medir el éxito a través de métricas técnicas, como la puntuación F1 y el área bajo la curva (AUC). Sin embargo, basar el desarrollo únicamente en la calidad del modelo ignora un elemento crucial: la experiencia del usuario y cómo este modelo se integra dentro de su flujo de trabajo.

Un enfoque centrado en el producto exige un cambio de perspectiva. En lugar de comenzar por los datos y los algoritmos, se deben priorizar las necesidades del usuario y los problemas comerciales a resolver. Esto redefine el éxito: ya no se trata solo de la precisión técnica, sino de cómo el modelo mejora efectivamente la experiencia del usuario y los resultados del negocio. Por ejemplo, un sistema de recomendaciones debería no solo centrarse en tasas de clics, sino también en si realmente ayuda a los usuarios a alcanzar sus objetivos o si, por el contrario, crea burbujas de filtro.

El proceso de desarrollo debe incluir una fase de definición de problemas que asegure que las soluciones técnicas aborden las verdaderas inquietudes de los usuarios. Al invertir tiempo al principio en comprender los puntos de dolor de los usuarios y las críticas de éxito, se evita la creación de soluciones impresionantes desde el punto de vista técnico que, en última instancia, no resuelven problemas relevantes.

Además, la implementación de un modelo debe contemplar la adopción por parte de los usuarios, prestando atención a cómo interactúan con los resultados y asegurando la capacitación necesaria para su uso efectivo. Una experiencia reciente en un equipo de desarrollo demostró que al reasignar el enfoque hacia un modelo más sencillo, que priorizaba la identificación de patrones de riesgo de abandono y acciones recomendadas, se logró mejorar la retención de clientes en un 15%. Esto resalta que, en algunos casos, una solución menos compleja puede tener un mayor impacto que un modelo técnicamente avanzado que no se traduce en valor empresarial.

Medir el éxito de un modelo debe ir más allá de las métricas técnicas, integrando indicadores de satisfacción del usuario, tasas de adopción y resultados comerciales. Se hace crucial establecer mecanismos de retroalimentación continua desde la etapa inicial, permitiendo mejoras basadas en la experiencia del usuario.

Así, los equipos de trabajo del futuro deberán ser más interdisciplinarios, integrando la perspectiva de científicos de datos, gerentes de producto, diseñadores de experiencia de usuario y expertos del dominio. La colaboración entre estas diferentes áreas puede llevar a un entendimiento más profundo de las necesidades del usuario y a la creación de productos de ML que verdaderamente resuelvan problemas.

Este cambio de paradigma en el desarrollo de modelos no implica meras modificaciones en los procesos, sino una reimaginación fundamental de lo que significa construir sistemas de ML exitosos. Al tratar los modelos como productos, se pueden crear sistemas que generen un valor real para quienes los utilizan, reafirmando que la verdadera medida de éxito radica en la satisfacción del usuario y no solo en los resultados técnicos.
vía: AI Accelerator Institute