Las predicciones necesitan márgenes de error

La necesidad de márgenes de error en el análisis y la predicción del crimen

• Se enfatiza que la predicción del crimen debe incluir márgenes de error
• Richard Rosenfeld analiza recientemente las predicciones de la tasa nacional de criminalidad en un texto publicado para criminólogos
• Aunque hay quejas porque el FBI publica las estadísticas criminales con un año de retraso, la academia ofrece "predicciones" aún más tarde

Análisis con el modelo ARIMA

• Se analiza, usando un modelo ARIMA en Python, cómo se vería un error de predicción razonable
• Los datos y el código están disponibles en GitHub
• Se explica brevemente la carga de datos y la importación de bibliotecas, junto con el proceso para configurar correctamente el formato de los datos

Preparación para el ajuste del modelo

• Se ajusta un modelo ARIMA(1,1,2) en condiciones similares a las del artículo de Richard
• Se ofrece una explicación del modelo de Richard, una comparación, y los resultados de salida del modelo

Predicción y márgenes de error

• Se agregan nuevos datos y se realiza una predicción a un paso adelante usando el paquete statsmodels
• Se muestran resultados de predicción que evidencian que el error estándar de la predicción aumenta con el tiempo

Comparación con la estimación de Richard

• Se calcula el MAPE (Mean Absolute Percentage Error) de cada modelo comparándolo con las predicciones de Richard
• Se muestran intervalos de predicción y se enfatiza que los valores observados siguen siendo consistentes con el modelo estimado

Punto final

• Se sostiene que no importa si Richard sigue cometiendo grandes errores en las predicciones macro del crimen
• Se argumenta que las predicciones del crimen a nivel nacional no ayudan a la respuesta de política pública
• Como ejemplo de una aplicación real de la predicción del crimen, se propone cómo anticipar la necesidad de aumentar el personal policial según el crecimiento de la ciudad

Opinión de GN⁺

El punto más importante de este texto es resaltar la importancia de los márgenes de error en la predicción del crimen y la necesidad de reconocer la incertidumbre de las predicciones. Aunque la predicción del crimen puede no ser directamente útil para la toma de decisiones de política pública, el modelado predictivo puede usarse como una herramienta importante para validar la solidez de las teorías criminológicas. Este texto ofrece ideas interesantes para quienes están en la intersección entre la ciencia de datos y la criminología, y presenta una discusión profunda sobre las limitaciones de los modelos predictivos y las formas de superarlas.

[GN⁺]

Opinión de Hacker News

• La relación entre predicción y toma de decisiones

  • En general, una predicción debería llevar a una decisión.
  • Cuando la predicción se separa de la toma de decisiones, su valor se vuelve poco claro.
  • Rosenfield intenta usar predicciones para dar más peso a conclusiones estadísticas sobre datos pasados, pero esto resulta cuestionable.

• El significado de las barras de error

  • El significado de las barras de error no es claro.
  • Una opción es el intervalo de confianza (el modelo da un 95% de probabilidad de que la salida esté dentro de ese rango).
  • Otra es la desviación estándar (predecir la diferencia cuadrática entre la propia predicción y el resultado).

• La importancia de las barras de error

  • Las barras de error brindan una mejor comprensión al comparar los beneficios de un nuevo tratamiento.
  • Algunas personas creen que esto hace más confuso el problema.
  • Obtener barras de error significativas puede ser muy difícil en algunos casos.

• Revisión de distribuciones estadísticas

  • Revisar con regularidad histogramas (distribuciones estadísticas) de métricas importantes.
  • En un problema de velocidad de llamadas a servicios web aparecieron dos picos claros.
  • Esos dos picos, que representaban a usuarios desconectados y usuarios con sesión iniciada, permitieron entender más a fondo la causa del problema.

• Barras de error para estimaciones de fechas

  • Las estimaciones de fechas (es decir, fechas límite) también deberían tener barras de error.
  • Una fecha es una predicción y no tiene sentido sin una estimación de la incertidumbre.

• La importancia de cuantificar la incertidumbre

  • En ciencia de datos y, en especial, en machine learning, la cuantificación de la incertidumbre suele pasarse por alto.
  • Los profesionales no siempre tienen formación en estadística.

• Comparación entre predicción y medición

  • Una predicción puede verse como una medición del futuro.
  • Cualquier medición hecha sin conocimiento de la incertidumbre carece de sentido.

• Malentendido sobre el clima

  • Al principio pensé que este artículo trataba sobre el clima.

• Predicciones del presente o del pasado, es decir, nowcasting

  • El arte de predecir el presente o el pasado mientras se espera a que lleguen los datos.
  • Sin un margen de error, es una ciencia/estadística inexacta.

• Predicciones útiles incluso sin barras de error

  • A veces, una simple predicción puntual basta para orientar la acción.
  • Conocer toda la distribución de la predicción puede ayudar a tomar buenas decisiones.

• Ventajas de la regresión por procesos gaussianos

  • La regresión por procesos gaussianos (o kriging) tiene grandes ventajas.

• Necesidad de intervalos de confianza/predicción/tolerancia para toda estimación/predicción/pronóstico/interpolación/extrapolación

  • Debería haber intervalos de confianza/predicción/tolerancia que incluyan los supuestos que el equipo incorpora al problema.