Una buena cultura de medición donde los números no reemplazan al sentido común

• Debate sobre la prevalencia de la psicosis de KPI (Key Performance Indicator) en las empresas tecnológicas
• La obsesión de las empresas por recopilar datos se considera una forma de superar sesgos humanos como el sesgo de disponibilidad, el sesgo de actualidad, el exceso de confianza y el sesgo de anclaje
• Sin embargo, los KPI a menudo sufren de visión de túnel: solo miden lo que es medible y no necesariamente todos los aspectos de una situación. Esto puede generar incentivos perversos dentro de una organización
• El autor propone que los KPI deben usarse en combinación con la intuición humana para lograr una toma de decisiones óptima, y que se debe encontrar un equilibrio entre intuición y datos
• Se enfatiza la importancia de entender no lo que mide un KPI, sino lo que representa. Por ejemplo, Time To Last Byte (TTLB) mide el tiempo de respuesta del servidor, pero el objetivo final es optimizar la experiencia del usuario
• La optimización de KPI es un proceso que requiere conceptualización, aprendizaje por prueba y error, y redefinición. No se trata simplemente de elegir un valor y decirle a la gente que lo optimice, sino de entender la correlación entre el KPI y la utilidad a largo plazo del producto
• El autor recomienda usar los KPI junto con la intuición, tener en mente el objetivo real además de definir KPI, y reflexionar continuamente sobre la confiabilidad de los KPI para ajustarlos cuando sea necesario
• El artículo concluye con una invitación a trabajar en una empresa que no sufra de psicosis de KPI y proporciona un enlace a vacantes en Promaton

[GN⁺]

Opiniones de Hacker News

• El artículo analiza la importancia de una buena cultura de medición en los negocios, donde los números no reemplazan el sentido común.
• Un comentarista compartió su experiencia desechando la mayoría de las métricas de velocidad y prefiriendo una solución simple: cada viernes, cada equipo envía un correo a toda la empresa explicando en detalle lo que entregó esa semana. Este enfoque brindó tranquilidad a la gerencia y a las partes interesadas, en lugar de una gran cantidad de dashboards de KPI.
• Otro comentarista mencionó que su empresa establece 3 OKR (objetivos) por trimestre, y cada uno se mide con 3 KPI. Sin embargo, la filosofía de la empresa era que, si alcanzaban el 100% de los objetivos cada trimestre, entonces no eran lo suficientemente ambiciosos. Esto provocó que algunos objetivos se abandonaran y que algunos KPI se ajustaran para calificar para bonos.
• Un comentarista señaló que los gerentes profesionales, especialmente los del tipo MBA estadounidense, tienden a verse a sí mismos como lo más importante, y que esto puede llevar a la caída del negocio. Sugirió que la proporción entre gerentes y trabajadores puede indicar qué tan cerca está una empresa del deterioro.
• Otro comentarista enfatizó la importancia de alinear los incentivos con los objetivos generales. Sugirió que las empresas a menudo invierten en todo excepto en los incentivos, y que esto puede producir resultados no deseados.
• Se mencionó la ley de Goodhart: “Cuando una métrica se convierte en objetivo, deja de ser una buena métrica”.
• Un comentarista criticó el uso de KPI como una pérdida de tiempo, explicando lo fácil que es manipular los números y cómo eso fomenta comportamientos no deseados.
• Otro comentarista dijo que las empresas querían usar KPI como parte de todo. Señaló que un enfoque orientado por datos a menudo provoca una concentración poco saludable en resultados de corto plazo.
• Un comentarista mencionó la falacia de McNamara como un ejemplo de cómo se puede depender demasiado de las métricas. También citó a W. Edwards Deming: "Pensar que si algo no se puede medir, no se puede gestionar, es un error: un mito costoso".
• Un comentarista expresó su frustración por la exigencia de establecer KPI sin orientación de la gerencia o de los responsables de producto. Señaló que esto a menudo produce KPI demasiado centrados en lo técnico o en ingeniería, y que el problema no se resuelve porque nadie recibe incentivos para abordarlo.