Dejar de usar box plots (2021)
(nightingaledvs.com)- El box plot es un gráfico clásico para resumir una distribución, pero explicar cómo se lee toma varios minutos, así que su relación costo-beneficio de aprendizaje es baja.
- Entre miles de participantes de talleres, la proporción que ya sabía leer box plots por lo general era de menos del 20%, y la carga de comprensión era mayor incluso que con diagramas de dispersión o histogramas.
- El diseño tradicional, con caja, bigotes, línea de mediana y longitudes de intervalos, puede desalinearse del significado real de los datos y facilitar malinterpretaciones visuales.
- Aunque exige conceptos abstractos como los cuartiles, oculta huecos, distribuciones multimodales y la cantidad de valores por grupo, y puede hacer que varias distribuciones parezcan con forma de campana.
- Los strip plots, jitter strip plots y mapas de calor de distribución se entienden más rápido y muestran directamente la forma de la distribución, por lo que pueden ser más prácticos para la toma de decisiones cotidiana.
Por qué casi dejé de usar box plots
- Explicar cómo leer un box plot puede tomar más de 4 minutos, y para justificar ese costo de aprendizaje tendría que ofrecer insights importantes que no se puedan transmitir con gráficos más simples.
- En la práctica, la mayoría de los insights que se buscan comunicar con un box plot también pueden comunicarse con gráficos más familiares y simples.
- Aunque el objetivo es mostrar una distribución, la audiencia primero debe pasar por varias reglas de interpretación antes de poder ver los datos.
La barrera de comprensión que apareció en los talleres
- Los miles de participantes de los talleres en general tenían un nivel de graphicacy superior al promedio, pero la proporción que ya sabía leer box plots normalmente era de menos del 20%.
- Los box plots eran más difíciles de entender que otros tipos básicos de gráficos, y generaban una carga mayor incluso que gráficos complejos como los diagramas de dispersión o los histogramas.
- Incluso cuando la audiencia está familiarizada con ellos, los box plots requieren más esfuerzo cognitivo para interpretarse y ofrecen más margen para malentendidos que los strip plots o los mapas de calor de distribución.
Dónde el diseño tradicional choca con la intuición
- El box plot tradicional fue propuesto por primera vez por Mary Spear en 1952 y refinado por John Tukey en 1969.
- Hay tres problemas principales en su diseño visual.
- La caja gruesa parece representar más valores o una mayor importancia que los bigotes delgados, pero los cuatro segmentos contienen la misma cantidad de valores.
- La caja central parece un solo bloque dividido por la línea de la mediana, de modo que el gráfico parece tener tres partes, cuando en realidad son cuatro intervalos de cuartiles.
- Las personas tienden a percibir las formas más largas como cantidades mayores, pero en un box plot un intervalo más largo no significa más valores.
- Los intervalos cortos en realidad representan una mayor densidad de valores, pero visualmente parecen una cantidad menor, lo que hace chocar la forma visual con el significado de los datos.
- Diseños alternativos pueden dejar más claro que los intervalos cortos significan una mayor concentración de valores, evitar un énfasis innecesario en los dos intervalos centrales y hacer que se perciban como cuatro formas.
- Aun así, incluso esos diseños suelen ser poco recomendables en la mayoría de los casos, y un gráfico de distribución más simple puede ser una mejor opción.
El costo de aprendizaje que imponen los cuartiles
- Para entender un box plot, hay que conocer el concepto de cuantiles y en particular de cuartiles, que dividen un conjunto ordenado de valores en rangos con la misma cantidad de valores.
- Muchas audiencias no están familiarizadas con este concepto y, para comprenderlo bien, necesitan una explicación de varios minutos con apoyos visuales y ejemplos.
- Eso crea la carga de tener que entender bien esos conceptos abstractos antes de poder interpretar correctamente el gráfico.
- Muchos insights útiles sobre distribuciones pueden comunicarse con otros gráficos sin recurrir a cuantiles ni cuartiles.
La familiaridad no garantiza un buen diseño
- Quienes han visto box plots durante mucho tiempo quizá aprendieron a interpretarlos sorteando sus defectos de diseño.
- Quienes los ven por primera vez pueden confundirse fácilmente por esos mismos defectos.
- En las organizaciones, aunque un analista intente comunicar insights importantes con un box plot, puede fracasar al persuadir si quienes toman decisiones no quieren aprender a leerlo.
- Después, si el analista concluye que la audiencia no entiende ningún gráfico de distribución, puede malinterpretar el problema y pensar que no es el box plot sino la visualización de distribuciones en general.
- Si se usan gráficos de distribución más intuitivos, es más probable comunicar mejor los insights valiosos que ofrece este tipo de visualización.
Cómo el box plot distorsiona las distribuciones
- Si se comparan los mismos datos en un box plot y en un jitter strip plot, el box plot puede hacer que las distribuciones de distintos grupos parezcan casi iguales.
- Tiende a hacerlas ver como una distribución con forma de campana, donde los valores se concentran alrededor de la mediana y disminuyen gradualmente hacia ambos lados.
- Incluso si el conjunto real de valores no tiene forma de campana, en el box plot puede parecer que sí.
- Viendo solo el box plot, al lector le resulta difícil saber si todas las distribuciones realmente tienen esa forma; como mucho, puede suponerlo.
- También puede ocultar huecos en la distribución y la cantidad de valores de cada grupo.
- Existen variantes del box plot y gráficos más sofisticados que muestran la distribución con mayor precisión, pero no resuelven el problema central del box plot —que es difícil de aprender— y a veces pueden ser incluso más difíciles.
Gráficos alternativos más intuitivos
- La alternativa que uso con más frecuencia es el strip plot.
- Puede explicarse en una sola frase, como “cada punto es la edad de un participante del estudio”.
- La mayoría de las audiencias puede entenderlo en cuestión de segundos.
- Puede mostrar si una distribución es más alta o más baja, si está concentrada o dispersa, si es normal o sesgada, y si tiene valores atípicos.
- También revela huecos en la distribución, distribuciones multimodales y la cantidad aproximada de valores de cada conjunto, cosas que un box plot no muestra.
- Cuando hay más de unas cuantas decenas de valores, los puntos pueden superponerse y hacer que el strip plot parezca una línea; en ese caso, un jitter strip plot puede alojar más valores.
- Si hay cientos o millones de valores, incluso un jitter strip plot puede convertirse en un bloque de puntos superpuestos; en ese caso, un mapa de calor de distribución puede manejar cualquier cantidad de valores.
- El mapa de calor de distribución introduce el concepto de bin o intervalo, lo que aumenta la complejidad, pero los bins son mucho más fáciles de entender que los cuartiles.
- El mapa de calor de distribución pierde la capacidad de ver la cantidad de valores por grupo y tiene algunas limitaciones, pero el box plot también comparte esas limitaciones y además tiene otras adicionales.
- Los frequency polygons, violin plots, cumulative distribution plots y bee swarm plots también pueden ser útiles en situaciones específicas.
- Los histogramas suelen ser útiles para visualizar un solo conjunto de valores, mientras que los box plots y sus alternativas se usan más para comparar varios conjuntos de valores.
Ventajas del box plot y usos limitados
- La única ventaja que podría atribuirse al box plot es que muestra el rango intercuartílico.
- Pero no es común que el mensaje que se quiere comunicar con los datos requiera mostrar necesariamente el rango intercuartílico.
- En la mayoría de los casos, lo que se necesita es ver si las distribuciones son más altas o más bajas, si están concentradas o dispersas, y si hay valores atípicos; esos insights pueden comunicarse con gráficos más simples sin usar el rango intercuartílico.
- Incluso si se necesita la mediana, puede añadirse fácilmente a un gráfico más simple.
- Cuesta pensar en una situación en la que el box plot realmente sea la mejor opción, salvo cuando la audiencia lo pide porque ya está familiarizada con él.
Por qué conviene dejar atrás el box plot
- El box plot no se considera un gráfico que fue bueno en el pasado pero quedó obsoleto por el avance tecnológico, sino uno que desde el principio no estaba bien diseñado.
- Sus defectos de diseño han impuesto durante mucho tiempo un proceso de comprensión innecesariamente engorroso para estudiantes, ejecutivos y otros lectores de gráficos.
- Hoy es fácil crear gráficos mejores, así que dejar atrás el box plot puede ahorrarles a los lectores del futuro un sufrimiento cognitivo innecesario.
- Incluso para audiencias familiarizadas con la estadística, en casi todas las situaciones otros gráficos pueden ser una mejor opción.
- Quienes trabajan en la práctica deberían considerar alternativas especialmente cuando la audiencia no está familiarizada con los box plots, y aun con audiencias familiarizadas vale la pena revisar gráficos más intuitivos.
1 comentarios
Opiniones en Hacker News
Aquí parece que el autor y otras personas se confundieron. Un diagrama de caja no hace que la distribución tenga forma de campana ni cambia la distribución, pero sí asume que los datos siguen una distribución en forma de campana/gaussiana.
Eso es correcto en los casos en que se puede aplicar el teorema central del límite, pero si no, la suposición es incorrecta y los valores que muestra el diagrama de caja tampoco sirven de mucho. Los diagramas de caja tienen usos reales, pero para usarlos hay que entender los fundamentos de la estadística.
Por eso sí se puede criticar el uso de diagramas de caja: porque las alternativas muestran bien las distribuciones en forma de campana y, además, pueden revelar cuando no tienen esa forma.
Estoy totalmente de acuerdo en que los diagramas de caja solo deberían usarse con distribuciones unimodales lo suficientemente parecidas a una distribución en forma de campana/gaussiana. Si la distribución no tiene forma de campana, como una distribución bimodal, puede inducir a error y no debería usarse; si tiene forma de campana, no veo mayor problema.
Cuando quieres ver la distribución de la muestra como sustituto de la población, la forma de la distribución de las medias muestrales no es tan interesante. La estimación de la media muestral tampoco es el único indicador útil, y casi nada en la naturaleza sigue una distribución normal. La distribución normal es útil sobre todo porque conocemos bien la forma analítica de la función gaussiana y cómo manejarla, no porque esa estimación sea tan útil como parece. Por ejemplo, la distribución de Poisson es mucho más común.
El ejemplo es una distribución bimodal, con dos picos, pero eligió un diagrama de caja, que es un gráfico para una forma de un solo pico. Sinceramente, cuesta un poco entenderlo.
La única ventaja de los diagramas de caja era que se podían dibujar a mano. Ahora que las computadoras están en todas partes, ese valor desapareció.
Los violin plots y los beeswarm plots son mejores, y los strip plots con jitter también están bien si se tiene cuidado con las zonas saturadas. Si agregas más puntos en una zona saturada, no se vuelve más oscura y puede parecer que desaparecen.
Si quieres, también puedes superponer puntos con jitter encima.
Angela Collier tiene un buen video en modo rant sobre por qué no lo son: https://youtu.be/_0QMKFzW9fw?si=86mRAZRnFCBfSzw0
Los diagramas de caja son bastante útiles porque son fáciles de leer, pero solo cuando confío en que quien los hizo realmente revisó el histograma; normalmente no existe esa confianza.
La gente tiene objetivos que chocan entre sí. Por un lado, quiere comprimir muchos números en una o unas pocas estadísticas resumidas, pero en cuanto ese resumen resulta aunque sea un poco engañoso, se arrepiente de haber comprimido los datos.
Esto ocurre porque se busca una simplicidad que quizá no exista, sobre todo conclusiones definitivas, y es casi un mal común de la condición humana.
La distribución que muestra un diagrama de caja a menudo es solo la distribución de “una muestra”. Visto así, la distribución tiene una incertidumbre propia y, por ejemplo, un violin plot no expresa esa incertidumbre. Como en todos los debates sobre “la herramienta adecuada para cada trabajo”, el juicio varía según la experiencia de cada persona con las herramientas y la forma en que simplifica las explicaciones para otros.
https://github.com/c-blake/bu/blob/main/doc/edplot.md
Hay mucha más gente defendiendo los diagramas de caja de lo que esperaba.
Pero no veo muchas explicaciones del tipo “los diagramas de caja son útiles porque son el mejor gráfico para un caso de uso específico”. No se me ocurre de inmediato una situación en la que preferiría ver un diagrama de caja antes que un strip plot o un violin plot. ¿Cuándo y por qué querrías resumir los datos de forma tan burda y visualizarlos de una manera poco intuitiva?
Quieren ver la mediana, los percentiles bajo/alto, el máximo/mínimo o los outliers, pero no quieren ver todos los puntos de datos dispersos en medio. Eso se convierte en una cantidad abrumadora de ruido. En la práctica les gustan las tablas con esos números, pero también quieren comparar 10 series históricas de precios de distintos mercados en una sola diapositiva de PowerPoint. Un diagrama de caja permite comparar visualmente la mediana y los percentiles clave con rapidez. Si usas valores no estándar, basta con etiquetar los percentiles. Si usas jitter o violin plots, se obsesionan con formas aleatorias raras y la reunión se desvía.
La premisa importante es que los procesos que generan esos valores son todos iguales en un sentido físico, por lo que son comparables. La distribución también es aproximadamente una distribución unimodal parecida a una lognormal. En este caso, el objetivo de la visualización no es entender la naturaleza de la distribución en sí, sino mostrar percentiles importantes con significado para el negocio.
Si la distribución es más compleja y necesitas detalle, es mejor usar un histograma o un ridge plot. Un violin plot solo se ve un poco más bonito porque es curvo, pero no es la mejor opción para comunicar información.
En ese caso no solo miras la mediana de cada población, sino que también comparas las zonas sombreadas.
Si estás comparando varios grupos y solo te interesan las grandes diferencias, son una herramienta excelente. También son buenos cuando crees que los datos tienen distribución normal y piensas que un histograma podría ser engañoso; y aunque no sean normales, sirven si te interesan los cuartiles.
Si una tabla de cinco números —mínimo, máximo, mediana y percentiles 25/75— basta para la situación, un diagrama de caja es una buena herramienta para la comparación gráfica.
Durante décadas se han usado diagramas de caja en escuelas, universidades y lugares de trabajo, así que el artículo no me convenció por completo.
Pero después de leer estos comentarios, me pegó fuerte el punto central del autor: incluso si llenas una sala con gente inteligente y conocedora, todos pueden dividirse sobre cómo entender e interpretar los diagramas de caja.
Es un poco sorprendente, pero solo con la evidencia de este hilo, para mí el tema está prácticamente cerrado.
No hace falta dejar de usar diagramas de caja. Hay que usarlos cuando corresponde: para mostrar posición y dispersión. No sirven para mostrar la forma de la distribución.
Más allá de los cuartiles y los límites, no contienen ninguna información sobre modas ni sobre la distribución. Son útiles sobre todo para comparar varios grupos, más que para analizar grupos individuales.
El autor habla como si supiera de algo que en realidad no conoce bien. Si hubiera leído aunque fuera el material de Tukey, lo sabría; no alcanza con tomar prestado el nombre.
Pero el autor lo ve como un problema humano. Los gráficos no son para las máquinas, sino para que los lean las personas, y el autor quiere que la mayor cantidad posible de gente pueda leerlos e interpretarlos con facilidad. Aunque la educación matemática deje que desear, hay que partir de la realidad, y me parece un objetivo razonable. Estoy de acuerdo en que, para ver qué tan dispersa está una distribución, no debería ser necesario saber qué es un cuartil.
Parece que algunos pasaron por alto la parte de la mayoría de las situaciones. Lo que cuenta es que dejó de usar diagramas de caja, por la razón que fuera, porque no funcionaban para su audiencia. Tal como dice el título, nosotros también deberíamos revisar nuestro uso de los diagramas de caja y ver si hay mejores alternativas.
Además, hay que recordar de qué lectores habla: no de quienes entienden los diagramas de caja, sino de quienes no los conocen o no los entienden. Según él, era gente a la que tuvo que explicárselos miles de veces.
Los diagramas de caja son una técnica de compresión de datos para trabajo manual. Hoy existen técnicas automatizadas que preservan mejor tanto la calidad de los datos como la calidad visual.
El autor acepta generalizaciones y “situaciones específicas” para algunos gráficos, pero considera sin valor las situaciones específicas de otros.
La conclusión que saco, como mucho, es que no conviene usar diagramas de caja cuando la distribución no es unimodal y tiene alta probabilidad de ser malinterpretada. También hay un video de mi youtuber favorito de rants de física criticando los gráficos de violín, así que quizá tampoco deberíamos usar esos.
https://youtu.be/_0QMKFzW9fw?si=4VM4DT9Q1zEnV93A
Los diagramas de caja son una reliquia de una época en la que no se podían imprimir gráficos sofisticados.
También podrías mostrar una distribución dentro de una sola línea, como un osciloscopio con desplazamiento o un mapa topográfico, o dibujar un gráfico de densidad a lo largo del tiempo y superponer sombreado sobre los periodos importantes. Mira lo relacionado con procesos gaussianos.
Los diagramas de caja simplifican demasiado la distribución y facilitan hacer inferencias. De manera similar, la media también puede ser muy engañosa, pero nadie va a prohibir usar medias.
Una buena conclusión podría ser usar siempre un gráfico que represente de forma justa la distribución subyacente.
Basta con hacerlo como ahora lo exigen las revistas de la familia Nature: mostrar los puntos de datos originales superpuestos sobre el diagrama de caja, y así se obtiene lo mejor de ambos mundos.