Recientemente, un profesional del ámbito de la inteligencia artificial se adentró en la complejidad de los modelos de aprendizaje automático al analizar un nuevo sistema que, aunque prometía resultados sobresalientes en papel, ofrecía una experiencia de usuario insatisfactoria. A pesar de que todos los indicadores reflejaban mejoras en precisión, velocidad y reducción de errores, la percepción de los usuarios no estaba a la par con las expectativas generadas por el modelo. Esta discrepancia lo llevó a la reflexión de que la verdadera innovación no reside únicamente en el modelo en sí, sino en cómo se aplica y se integra en el producto final.

Este profesional cambió su enfoque hacia las iniciativas impulsadas por el aprendizaje automático, pasando de una mentalidad centrada en la eficacia del modelo a una pregunta más fundamental: “¿Esto mejora la experiencia del producto?” La clave, según su experiencia, radica en la ralentización de la evolución de la confianza del usuario en comparación con el rápido avance de los modelos. Por ello, los gerentes de producto se convierten en piezas fundamentales para conectar estas dos realidades, gestionando las expectativas y el comportamiento del usuario.

El papel de los gerentes de producto de aprendizaje automático aplicado (ML PMs) se puede entender como un puente entre la innovación y la aplicación práctica. Se espera que utilicen capacidades de aprendizaje automático para lograr resultados significativos en el producto. Esta tarea no es sencilla, ya que la definición del éxito implica no solo métricas técnicas, sino también la comprensión de las necesidades humanas detrás de las interacciones con el producto.

A menudo, los modelos que muestran un buen rendimiento en métricas internas pueden no traducirse en éxito comercial si no se alinean con un impacto positivo en la experiencia del usuario. Un modelo de predicción de abandono, por ejemplo, puede mejorar en precisión sin crear un cambio tangible si sus resultados no llevan a acciones concretas. Las métricas del modelo pueden informar sobre el rendimiento, pero no capturan la esencia emocional que guía a los usuarios en sus decisiones.

Por tanto, la responsabilidad del gerente de producto es optimizar no solo para el rendimiento del modelo, sino también para el impacto en la confianza y el comportamiento del consumidor. Para ello, deben preguntarse cuáles son las métricas relevantes y cómo estas se transmiten al usuario final. En organizaciones orientadas a productos, la alineación entre el rendimiento del modelo y la experiencia del usuario marca la diferencia.

Un aspecto crucial en este proceso es la colaboración con investigadores. La interacción entre gerentes de producto y expertos en investigación puede ofrecer nuevas perspectivas y enriquecer el proceso de toma de decisiones. Cambiar la mentalidad de negociación por una de exploración puede resultar en una mejora significativa en la calidad de los insights obtenidos.

Finalmente, la adopción de un pensamiento sistémico se presenta como una herramienta valiosa, permitiendo a los gerentes de producto entender mejor cómo funcionan los sistemas dentro de sus productos, aun sin gestionar directamente la inteligencia artificial. Este enfoque promueve la gestión de sistemas invisibles que deciden lo que los usuarios ven y sienten, y cómo estos confían en el producto. Con esto, se logra que el trabajo de un gerente de producto de aprendizaje automático no solo se trate de gestionar modelos, sino de gestionar el significado detrás de las experiencias de los usuarios.
vía: AI Accelerator Institute