Recientemente, un profesional del ámbito de la inteligencia artificial se adentró en la complejidad de los modelos de aprendizaje automático al analizar un nuevo sistema que, aunque prometía resultados sobresalientes en papel, ofrecía una experiencia de usuario insatisfactoria. A pesar de que todos los indicadores reflejaban mejoras en precisión, velocidad y reducción de errores, la percepción de los usuarios no estaba a la par con las expectativas generadas por el modelo. Esta discrepancia lo llevó a la reflexión de que la verdadera innovación no reside únicamente en el modelo en sí, sino en cómo se aplica e integra en el producto final.
El cambio de enfoque hacia las iniciativas impulsadas por el aprendizaje automático, de una mentalidad centrada en la eficacia del modelo a una pregunta más fundamental: «¿Esto mejora la experiencia del producto?», plantea un nuevo paradigma en la gestión de productos de tecnología avanzada. Según la experiencia de este profesional, la ralentización en la evolución de la confianza del usuario contrasta con el rápido avance de los modelos, sugiriendo que los gerentes de producto juegan un rol crucial en conectar estas dos realidades y en gestionar las expectativas y el comportamiento del usuario.
El papel de los gerentes de producto de aprendizaje automático aplicado (ML PMs) es fundamental como puente entre la innovación tecnológica y su aplicación práctica. Se espera que utilicen capacidades avanzadas de aprendizaje automático para generar un impacto significativo en el producto. Sin embargo, esta tarea es un desafío, ya que el éxito no solo depende de métricas técnicas, sino de la comprensión de las necesidades humanas que subyacen a las interacciones con el producto.
La paradoja del rendimiento interno versus el éxito comercial se ilustra con modelos que, aunque muestran un buen rendimiento en métricas internas, no necesariamente se traducen en éxito comercial si no mejoran la experiencia del usuario. Un modelo de predicción de abandono que mejora su precisión sin crear un cambio tangible en la acción carece de verdadero impacto. Así, las métricas del modelo son insuficientes para capturar la esencia emocional que guía a los usuarios en sus decisiones.
La responsabilidad del gerente de producto es, entonces, optimizar no solo el rendimiento técnico del modelo, sino también su impacto en la confianza y el comportamiento del consumidor. Para lograrlo, deben evaluar cuidadosamente cuáles son las métricas relevantes y cómo estas se transmiten al usuario final. En organizaciones orientadas a productos, la alineación entre el rendimiento del modelo y la experiencia del usuario es decisiva.
Un aspecto crucial en este proceso es la colaboración estrecha con investigadores. La interacción fluida entre gerentes de producto y expertos en investigación puede ofrecer nuevas perspectivas y enriquecer el proceso de toma de decisiones, donde adoptar una mentalidad de exploración en lugar de negociación puede mejorar significativamente la calidad de los insights obtenidos.
Finalmente, la adopción de un pensamiento sistémico emerge como una herramienta valiosa para que los gerentes de productos entiendan mejor el funcionamiento de los sistemas dentro de sus productos, incluso sin gestionar directamente la inteligencia artificial. Este enfoque promueve la gestión de sistemas invisibles que determinan lo que los usuarios perciben y sienten, y cómo confían en el producto, transformando el papel del gerente de producto en uno que gestiona no solo modelos, sino el significado detrás de las experiencias del usuario.
