Revisión del efecto irracional del “juez hambriento” (2023)
(cambridge.org)- El famoso resultado de que en una junta de libertad condicional israelí la proporción de decisiones favorables cae abruptamente antes de los descansos y se recupera después puede estar muy inflado no solo por distorsiones reales del juicio, sino también por un artefacto estadístico.
- El estudio original interpretó que la probabilidad de una decisión favorable pasaba de alrededor de 65% en el primer fallo de una sesión a casi 0% en el último, y volvía a 65% tras un descanso para comer; vinculó esto con una posible fatiga mental.
- El punto central del nuevo análisis es que los fallos favorables tardan más que los desfavorables: en los datos de DLA, los fallos favorables tomaban en promedio 7.37 minutos, mientras que los desfavorables tomaban 5.21 minutos, por lo que hacia el final de una sesión podrían quedar menos casos favorables en la muestra.
- Si se supone que un juez racional hipotético pospone para la siguiente sesión los casos que serían difíciles de terminar dentro del tiempo restante, aparece una curva descendente similar a la de DLA aunque el orden de los casos sea aleatorio, y eliminar el último 5% de cada sesión amplifica aún más este efecto.
- Con los datos originales por sí solos no basta para concluir que factores exógenos distorsionaron fuertemente los juicios legales; hay que separar factores como la gestión racional del tiempo y la asignación no aleatoria de casos de los efectos de orden y hambre.
El resultado original del “juez hambriento”
- Danziger, Levav y Avnaim-Pesso (DLA) analizaron 1,112 fallos de juntas de libertad condicional en Israel y concluyeron que el orden de los casos dentro de una sesión estaba relacionado con la probabilidad de un fallo favorable.
- La junta realizaba tres sesiones al día, separadas por un descanso para un refrigerio a media mañana y por el almuerzo.
- El análisis incluía alrededor del 40% de las solicitudes de libertad condicional en Israel.
- El resultado central de DLA fue que las decisiones favorables eran de alrededor de 65% en el primer fallo de una sesión, pero caían a casi 0% en el último fallo de la sesión.
- Tras un descanso para comer, la proporción de fallos favorables en la siguiente sesión volvía a cerca de 65%.
- DLA interpretó con cautela que, después de decisiones repetidas, los jueces podían quedar cansados, hambrientos o mentalmente agotados, y por eso optar más fácilmente por la estrategia de mantener el statu quo rechazando las solicitudes.
- Este efecto fue ampliamente citado en psicología, derecho, economía y otras áreas porque sugiere que decisiones legales pueden verse afectadas por factores jurídicamente irrelevantes, como el orden de los casos o si el juez comió.
- Al 27 de febrero de 2015, tenía 222 citas en Google Scholar.
Dudas sobre el tamaño del efecto
- La caída observada por DLA es muy grande.
- Que las decisiones favorables bajen de 65% a 5% equivale a una razón de momios de 35 o a una diferencia de medias estandarizada de d = 1.96.
- Esto supera por más del doble el umbral habitual de un “efecto grande”.
- El tamaño resulta especialmente llamativo si se compara con la hipótesis de que la causa sea la fatiga mental.
- Las estimaciones de Carter y McCullough corregidas por sesgo de publicación son de d = –0.10 a 0.25, lo que en promedio solo permitiría esperar un efecto pequeño.
- Un estudio de replicación preregistrado, multilaboratorio, con 23 laboratorios y N = 2,142, encontró d = 0.04, no significativamente distinto de 0.
- Por lo tanto, si el efecto de DLA realmente se debiera a fatiga mental, implicaría que en el entorno judicial aparece un fenómeno mucho mayor que el esperable a partir de estudios de laboratorio.
Factores de confusión en el orden de los casos y el momento de los descansos
- Para sostener un efecto del orden de los casos, la asignación de los casos debería ser aleatoria, o bien no deberían existir factores ocultos no incluidos en el análisis que influyan simultáneamente en el orden y en el fallo.
- DLA controló variables como la gravedad del delito, encarcelamientos previos, meses cumplidos, participación en programas de rehabilitación y proporción previa de decisiones favorables, y consideró que el resultado era robusto.
- Weinshall-Margel y Shapard objetaron, a partir de entrevistas informales con participantes del proceso de libertad condicional, que el orden de los casos no era aleatorio.
- Según esa explicación, dentro de una sesión los internos sin abogado normalmente quedaban para el final, y tenían menos probabilidades de obtener la libertad condicional que los internos con abogado.
- DLA respondió que la tendencia descendente se mantenía aun controlando por la presencia de abogado, pero no informó si el tamaño del efecto seguía siendo el mismo.
- También es importante cuándo se toman los descansos.
- DLA consideró que las características de los casos no predecían el momento del descanso.
- En las entrevistas de Weinshall-Margel y Shapard se afirma que los jueces podían hacer planes organizativos para terminar dentro de una sesión conjuntos de casos, como los de una misma prisión.
Abandono selectivo y gestión racional del tiempo
- El punto de partida del nuevo análisis es el hecho de que los fallos favorables tardan más que los desfavorables.
- En los datos de DLA, los fallos favorables tuvieron un promedio de 7.37 minutos, con una desviación estándar de 5.11 minutos.
- Los fallos desfavorables tuvieron un promedio de 5.21 minutos, con una desviación estándar de 4.97 minutos.
- La cantidad de casos tratados por sesión no era constante.
- La sesión de la mañana tuvo un promedio de 7.8 casos, desviación estándar de 4.51, mínimo de 2 y máximo de 28.
- La sesión posterior al refrigerio y anterior al almuerzo tuvo un promedio de 11.4 casos, desviación estándar de 5.14, mínimo de 2 y máximo de 25.
- Si los fallos favorables tardan más, hacia el final de la sesión los casos con fallos favorables pueden abandonar selectivamente la muestra.
- Las sesiones compuestas principalmente por fallos desfavorables pueden procesar más casos.
- En las observaciones con números de orden altos quedan relativamente más casos de sesiones con muchos fallos desfavorables.
- Que un juez evite iniciar justo antes de un descanso un caso que tomará mucho tiempo puede ser una forma racional de gestionar el tiempo.
- La cantidad de documentos del caso, el tipo de solicitud, la presencia de abogado y señales superficiales relacionadas con el abogado, la prisión o el interno pueden permitir prever en cierta medida si el procesamiento será largo o corto.
- Este tipo de planificación no exige necesariamente asumir que el juez conozca de antemano el fondo jurídico del caso o el resultado del fallo.
Simulación de un juez racional
- La simulación supone un juez ideal hipotético que decide sin errores ni sesgos.
- El juez pone un límite aproximado de tiempo para cada sesión y, si cree que el siguiente caso superará ese límite, no lo trata en la sesión actual y lo pasa como primer caso de la siguiente sesión.
- La simulación genera 10,000 casos en orden aleatorio.
- La proporción base de casos que recibirían una decisión favorable se fijó en 36%, y la de casos desfavorables en 64%.
- Los tiempos de decisión reflejan la diferencia media de duración entre casos favorables y desfavorables, y usan ruido con distribución normal o una distribución Weibull con asimetría positiva.
- El límite de tiempo por sesión se estableció en 60 minutos.
- Aunque el orden de los casos sea aleatorio y el juez sea racional, aparece un patrón en el que la probabilidad de un fallo favorable cae fuertemente hacia el final de la sesión.
- Tanto con distribución normal como con distribución Weibull se obtienen resultados cualitativamente similares.
- En los números de orden altos quedan pocas observaciones, por lo que la estimación se vuelve inestable y pueden aparecer picos de 0% o de proporciones altas.
- Este mecanismo surge porque, cuanto menos tiempo queda, más difícil es que los casos favorables entren en la sesión.
- En el ejemplo, si quedan 15 minutos, pueden iniciarse la mayoría de los casos favorables y desfavorables.
- Si quedan 5 minutos, solo puede entrar el 12% de los casos favorables, mientras que puede entrar el 46% de los desfavorables.
- En la muestra de la parte final de la sesión, la proporción relativa de casos favorables baja.
Aumento al inicio de la sesión y censura de datos
- Tanto en la simulación como en los datos de DLA, la proporción de decisiones favorables en el primer fallo de una sesión aparece por encima de la proporción base.
- Como es más probable que una sesión termine justo antes de un fallo favorable, la masa de probabilidad del caso favorable que quedó fuera al final de la sesión anterior se desplaza al primer fallo de la siguiente sesión.
- Si a veces existe planificación por conjuntos de casos, eso también puede explicar que el segundo y el tercer fallo aparezcan por encima de la proporción base.
- DLA eliminó el último 5% de los casos de cada sesión para reducir el problema de las muestras pequeñas en números de orden altos.
- En las simulaciones del nuevo análisis, esta censura (censoring) no reduce la caída, sino que la amplifica.
- La censura aumenta artificialmente el abandono selectivo.
- Al analizar el efecto del número de orden sobre la proporción de fallos favorables, debe evitarse este tipo de censura.
- Los datos de DLA también muestran autocorrelación, es decir, el fallo anterior se correlaciona positivamente con el fallo siguiente.
- Cuando en la simulación se agregó una autocorrelación de primer orden de r = .10, el tamaño del artefacto no cambió de forma notable.
Cuando no hay predicción previa
- Las simulaciones anteriores suponen que el juez puede prever en cierta medida cuánto tardará el siguiente caso y no inicia los casos que excederían el límite de la sesión.
- DLA señaló que los integrantes de la junta no conocían de antemano los detalles del siguiente caso, por lo que asumir una capacidad completa de predicción puede ser una condición fuerte.
- El nuevo análisis también probó el caso en que, sin predicción, el juez detiene la sesión después de superar el límite de tiempo.
- Sin censura ni autocorrelación, el artefacto desaparece.
- Al incluir censura y autocorrelación, vuelve a aparecer un efecto descendente.
- La razón es que los fallos favorables tardan más y, por eso, es más probable que choquen con el límite de tiempo.
- Al eliminar el 5% final de cada sesión, muchas veces se quita el último caso, y este último caso tiene más probabilidades de ser favorable que desfavorable.
- En la condición sin predicción, la caída generada por la censura es de alrededor de 15%, menor que en las simulaciones con predicción.
Limitaciones restantes y conclusión
- El nuevo análisis no descarta que el orden o la fatiga mental hayan influido en los datos jurídicos de DLA.
- Sin embargo, una parte considerable de la gran caída observada puede surgir por gestión racional del tiempo y abandono selectivo, sin factores exógenos.
- La gestión racional del tiempo y el abandono selectivo no explican todas las características de los datos de DLA.
- El tamaño del efecto en la simulación es algo menor que el efecto original.
- En los datos originales, la proporción al inicio de la sesión era más alta, 65% en vez de 45%, y en especial la proporción al inicio de la primera sesión del día es difícil de explicar solo con este mecanismo.
- El efecto del tiempo en sí reportado por DLA no se explica fácilmente mediante un artefacto basado en el número de orden.
- La curva empírica es más suave, mientras que la curva de la simulación cae más fuerte al inicio y al final, y es más plana en la parte media.
- Si, en el contexto de DLA, la predicción directa sobre el siguiente caso estaba parcialmente limitada, se estima que la caída que puede explicar la gestión racional del tiempo es de alrededor de 15% a 45%.
- Los datos originales no estuvieron disponibles para análisis adicionales detallados.
- Los investigadores de DLA estaban dispuestos a compartir los datos, pero la parte que les había dado acceso inicialmente lo impidió.
- Tampoco se puede reconstruir por completo el contexto exacto de las decisiones, por lo que los temas pendientes requieren estudios posteriores.
- Es posible que el efecto de orden y el efecto de fatiga mental del estudio original hayan sido sobreestimados.
- Están mezclados la gestión racional del tiempo alrededor de los descansos, el orden no aleatorio en el que los casos con abogado se colocan primero y posibles efectos de orden y fatiga mental.
- Si se separan estos efectos, es probable que las estimaciones del orden o la fatiga mental sean menores.
- En un sentido más amplio, incluso las conductas que parecen irracionales pueden tener fundamentos racionales poco intuitivos.
- Las simulaciones computacionales y el análisis matemático formal son herramientas para encontrar esas posibilidades.
- Antes de concluir que los actores legales o las personas actúan de manera fuertemente irracional, deberían usarse antes y con más decisión simulaciones de agentes racionales y análisis formales.
1 comentarios
Opiniones en Hacker News
Parece que el estudio original tenía fallas porque no consideraba el orden de procesamiento de los casos.
Se pasó por alto que los casos menos graves se trataban primero, y que los más graves, es decir, los que implicaban castigos más severos, se dejaban para después.
“Danziger et al. dependen en gran medida del supuesto de que el orden de los casos es aleatorio y, por lo tanto, independiente del proceso de toma de decisiones. Ese supuesto ha sido refutado con fuerza. Keren Weinshall-Margel y John Shapard, en una respuesta breve y muy crítica en PNAS, analizaron los datos del estudio original y otros datos recopilados directamente, y realizaron entrevistas adicionales con el personal judicial pertinente. Señalan que el orden de los casos no es aleatorio. Los paneles intentan atender todos los casos de una prisión antes del descanso y, después del descanso, pasan a los casos de la siguiente prisión. En particular, las solicitudes de internos sin abogado suelen tratarse al final de cada sesión. Por eso, los internos sin representación legal tienen menos probabilidades de recibir una decisión favorable que los que sí la tienen. Además, los abogados suelen representar a varios internos y determinan el orden en que se presentan los casos, y es perfectamente posible que empiecen por los casos más sólidos”.
[1] Chatziathanasiou, K., 2022. Beware the lure of narratives:“hungry judges” should not motivate the use of “artificial intelligence” in law. German Law Journal, 23(4), pp.452-464
¿No sería mejor asignar los casos al azar?
Interesante. El estudio original era conocido por concluir que los jueces eran más indulgentes justo después del almuerzo y más estrictos justo antes de almorzar.
Este nuevo estudio cuestiona la fuerza de esa conclusión al mostrar que los fallos positivos tardan más, y que justo antes de un descanso se pueden meter más fallos negativos simples. En este caso, los fallos negativos son rechazos de libertad condicional, así que se resuelven más rápido.
Es decir, los jueces no quieren empezar justo antes de un descanso casos complejos con más probabilidades de terminar en un resultado favorable. He citado innumerables veces el estudio original, pero esta revisión aporta mucho más contexto.
Si eso fuera cierto, los accidentes de tránsito tendrían que dispararse enormemente alrededor del almuerzo, y el efecto tendría que ser tan grande que, por sentido común, habría que prohibir manejar justo antes del mediodía.
“Si el hambre tuviera un efecto de esta magnitud sobre nuestros recursos mentales, la sociedad caería en un pequeño caos todos los días a las 11:45. Como mínimo, la sociedad se habría organizado en torno a este efecto de agotamiento mental increíblemente fuerte”.
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
En un contexto similar, también hay un estudio famoso sobre la correlación entre el inicio del horario de verano y el aumento de infartos [0].
[0] https://www.sciencedirect.com/science/article/pii/S254245482...
Artículos relacionados:
Do judges give out tougher sentences when hungry? A study too good to be true - https://news.ycombinator.com/item?id=35491060 - abril de 2023, 202 comentarios
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=22020716 - enero de 2020, 1 comentario
Rebuttal to hungry judges give harsher sentences - https://news.ycombinator.com/item?id=19958435 - mayo de 2019, 1 comentario
Impossibly Hungry Judges (2017) - https://news.ycombinator.com/item?id=18112378 - octubre de 2018, 58 comentarios
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=14701328 - julio de 2017, 70 comentarios
Do hungry judges give harsher sentences? - https://news.ycombinator.com/item?id=2438189 - abril de 2011, 1 comentario
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
La estadística que trata con objetos de distintas longitudes es complicada. Me recuerda a cuando hacía muestreo de paquetes en una LAN
Como la distribución de longitudes era bimodal, los cálculos estadísticos basados en la media llevaban a malentendidos
Hay algunos trucos para resolverlo y, en términos generales, se le llama “periodogram”
https://en.wikipedia.org/wiki/Least-squares_spectral_analysi...
https://www.mathworks.com/help/signal/ug/spectral-analysis-o...
Me parece raro que nadie cite The Rape of the Lock, de Alexander Pope
“The hungry judges soon the sentence sign,
And wretches hang that jury-men may dine;”
(https://rpo.library.utoronto.ca/content/rape-lock-canto-3)
Es interesante; es la primera vez que veo esto. Como he visto algo parecido relacionado con el tabaquismo, ahora me da curiosidad el efecto del juez adicto, por ejemplo al tabaco
¿Qué parte de los fracasos actuales de reproducción podría deberse a que los sujetos observados conocían el fenómeno y lo corrigieron conscientemente?
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
El efecto original ya se sabía, desde el momento de su publicación, que era una correlación espuria
Parece un estudio que muestra que, si hay una restricción de tiempo, incluso un juez racional intentará procesar los casos más rápido y puede inclinarse hacia decisiones desfavorables
La hora del almuerzo, y probablemente la hora de salida, son esas restricciones de tiempo, por lo que a medida que se acerca el almuerzo disminuyen las decisiones favorables y justo después del almuerzo vuelven a recuperarse
Aun así, me desconcierta que el estudio diga que “el análisis de DLA no proporciona evidencia concluyente para la hipótesis de que factores externos influyen en las decisiones legales”. Si la hora del almuerzo y la hora de salida no son factores externos, ¿qué lo son?
Dicho eso, la explicación anterior solo cubre parte del hallazgo original, y el estudio también reconoce que intervienen otros factores
Los jueces racionales simulados son “ideales”, y sus decisiones no se ven afectadas por el orden de los casos ni por el tiempo transcurrido desde el descanso
Lo que dice el estudio es que, aun con ese comportamiento perfecto, en algunos métodos de simulación que determinan cuándo tomar descansos, los casos favorables pueden tener mayor probabilidad de asignarse al inicio de una sesión. En la última simulación, este efecto aparece solo después de aplicar el mismo tratamiento estadístico que en el estudio original
Durante años, después de leer el estudio original, no programé reuniones antes del almuerzo; vaya
Hablando un poco más en serio, yo hago lo contrario. Es para que la gente no se desvíe por hambre y para no dividir la mañana en dos bloques interrumpidos
Sería interesante compararlo con el caso en que el resultado predeterminado es el opuesto.
La persona privada de libertad está en prisión y seguirá en prisión.
Si la estructura fuera tal que la persona detenida queda en libertad a menos que los jueces argumenten por qué debe seguir detenida, ¿cambiarían los resultados? Claro que parece bastante complejo.