El efecto Dunning-Kruger es autocorrelación

El efecto Dunning-Kruger es autocorrelación

• Se sabe que el efecto Dunning-Kruger describe la tendencia de las personas incompetentes a sobreestimar sus propias capacidades.
• Este efecto fue identificado en 1999 por psicólogos, y en muchos estudios parecía confirmarse con datos.
• Sin embargo, en realidad este efecto es el resultado de un error estadístico, la autocorrelación, y no tiene relación con la psicología humana.

¿Qué es la autocorrelación?

• La autocorrelación se refiere al fenómeno en el que una variable tiene correlación consigo misma.
• Por ejemplo, si se mide la estatura de una persona, esa estatura tiene una correlación perfecta consigo misma.
• Cuando una variable aparece mezclada en ambos lados de una ecuación, es difícil detectar la autocorrelación.

El efecto Dunning-Kruger

• El efecto Dunning-Kruger es un ejemplo de autocorrelación y, en realidad, surge de una mala interpretación del gráfico.
• Dunning y Kruger evaluaron a personas con una prueba, les pidieron que hicieran una autoevaluación de su capacidad, y reportaron que quienes obtuvieron bajos resultados tendían a sobreestimar sus habilidades.
• Sin embargo, en realidad estos resultados se deben a la autocorrelación entre los puntajes de la prueba y los puntajes de autoevaluación.

Desmontando el efecto Dunning-Kruger

• El gráfico de Dunning-Kruger agrupa a las personas según sus puntajes en la prueba, los muestra en percentiles y los compara con la autoevaluación.
• Este método equivale a comparar el puntaje de una prueba consigo mismo, lo que oculta la autocorrelación.
• El hecho de que el efecto Dunning-Kruger aparezca incluso usando datos aleatorios se debe a esta autocorrelación.

Reproduciendo el efecto Dunning-Kruger

• Cuando se intenta entender el efecto Dunning-Kruger usando datos reales, aparecen resultados distintos a los del conjunto original.
• Al tratar de reproducir el experimento, los datos sin procesar parecen aleatorios y no muestran rastros del efecto Dunning-Kruger.
• Sin embargo, si los datos se analizan de otra manera, puede parecer que el efecto Dunning-Kruger sí aparece.

El colapso del efecto Dunning-Kruger

• Que los investigadores hayan reproducido el efecto Dunning-Kruger usando en realidad números aleatorios se debe a la autocorrelación.
• Tras descubrir este error, se hizo evidente que el gráfico de Dunning-Kruger estaba basado en la autocorrelación.

La ausencia del efecto Dunning-Kruger

• Cuando el efecto Dunning-Kruger se mide de una forma estadísticamente válida, se observa que desaparece.
• Al medir el error de autoevaluación en personas agrupadas por nivel educativo, el error promedio se mantiene cerca de 0 y no hay evidencia del efecto Dunning-Kruger.

Personas incompetentes que no lo saben

• El error estadístico cometido por Dunning y Kruger pudo haber sido accidental, pero su artículo sostiene que las personas incompetentes no reconocen su propia incompetencia.
• Sin embargo, en realidad eran Dunning y Kruger quienes estaban mostrando incompetencia estadística, al confundir la autocorrelación con un efecto psicológico.

Opinión de GN⁺

Lo más importante de este texto es que el efecto Dunning-Kruger en realidad no está relacionado con la psicología humana, sino que se basa en un error estadístico llamado autocorrelación. Esto muestra una trampa que puede surgir cuando los investigadores interpretan datos y ejemplifica cómo un hallazgo científico puede malentenderse por una interpretación estadística errónea. Comprender este tipo de errores ofrece una lección importante para interpretar y verificar resultados de investigación, y es información útil no solo para ingenieros de software junior, sino también para investigadores de cualquier campo científico.

[GN⁺]

Opiniones de Hacker News

• Un comentarista reconoce que no entiende lo suficiente de estadística o psicología, pero siente que el estudio de D&K se parece a lo que decía su abuelo: "cuanto más sabes, más te das cuenta de todo lo que no sabes". También reflexiona sobre que mucha gente tiende a creer que sabe más de lo que realmente sabe, y que eso probablemente también podría aplicar a él mismo y al autor del artículo.
• Otro comentarista no está de acuerdo con la tesis del artículo y presenta una respuesta que rebate la idea de que la gráfica D-K sea simplemente el resultado de una autocorrelación. Explica que lo verdaderamente sorprendente sería asumir que el desempeño y la evaluación del desempeño son independientes; el estudio D-K mostró que sí hay correlación entre el desempeño y la autoevaluación, aunque no tan fuerte como se esperaría. Más bien mostró un sesgo consistente, y ese es el resultado interesante.
• Como se mencionó en una discusión anterior, el autor asume que la gente es muy mala para predecir su propia habilidad, al punto de que la autoevaluación sería como una variable aleatoria incondicional. Si la habilidad real es alta, entonces por puro azar la autoevaluación tendrá más probabilidad de quedar por debajo de la habilidad real. Esta crítica plantea la duda de si la gente realmente evalúa tan mal sus propias capacidades.
• Los autores hicieron un análisis de "X - Y frente a X", pero ese no es el problema principal. Restaron dos mediciones transformadas y acotadas entre 0 y 1. ¿Qué pasa en los valores extremos? ¿Cuánto pueden sobrestimar su desempeño quienes ya tienen el mejor resultado? No mucho, porque ya están casi en 1. Si sobrestimaran y subestimaran con la misma proporción y magnitud, el efecto del límite superior en los valores transformados haría que la gráfica pareciera mostrar que subestiman más seguido.
• La discusión en los comentarios entre Nicolas Boneel y el autor es interesante, y Nicolas expresa las dudas que tuvo al leer el artículo. La esencia del efecto DK es que la gente evalúa mal sus propias habilidades, así que si se asume que adivinan su nivel al azar, entonces obviamente se puede reproducir el resultado.
• El término "autocorrelación" que usa el autor no coincide con el sentido habitual en estadística. "Autocorrelación" normalmente se refiere a la correlación de una serie temporal consigo misma con algún desfase temporal, así que usarlo como en el post, como se menciona en OP, puede confundir a quienes saben de estadística.
• En el mundo que imagina el autor, si las estimaciones que hace la gente de sus puntajes fueran independientes de sus puntajes reales, entonces sí se podría decir que el efecto DK realmente existe. Quienes obtienen puntajes bajos tenderían a sobreestimarse, y quienes obtienen puntajes altos tenderían a subestimarse.
• Hay confusión con el término "sesgo". Si la autoevaluación fuera aleatoria, todas las personas de alto desempeño se subestimarían, pero eso no implica un sesgo hacia la subestimación. La gráfica D-K muestra un sesgo distinto, consistente con la idea de que la mayoría de la gente se considera promedio. Los de alto desempeño sobreestimarían el promedio y los de bajo desempeño lo subestimarían.
• Se señala que la definición de "autocorrelación" en el artículo difiere de la de Wikipedia. La definición del artículo no tiene relación con un desfase temporal, así que llamarlo "autocorrelación" en el contexto de D-K es una forma incorrecta de expresarlo.
• Si las personas no calificadas y las calificadas se autoevaluaran igual en promedio, las no calificadas se sobrestimarían y las calificadas se subestimarían. Solo eso ya podría ser un resultado importante, y se destaca que en efecto sí existe correlación.