El t-test nació en la cervecería Guinness
(scientificamerican.com)- El t-test, ampliamente usado para determinar la significancia estadística en ciencia, surgió de un problema de control de calidad en la fabricación de cerveza
- A comienzos del siglo XX, Guinness, entonces la cervecería más grande del mundo, quiso transformar un control de calidad basado en la inspección visual y el olor en uno centrado en la consistencia y el rigor industrial
- William Sealy Gosset ideó una forma de distinguir diferencias reales de variaciones aleatorias en situaciones donde solo se podían medir muestras pequeñas, como el contenido de resina del lúpulo
- El t-test usa una relación señal-ruido que considera tanto la diferencia entre medias muestrales como la dispersión de los datos, y con muestras pequeñas requiere una distribución t, de colas más pesadas que la distribución normal
- Como Guinness no quería que sus competidores conocieran el contenido de la investigación, Gosset publicó bajo el seudónimo “Student”, y este método sigue siendo hoy una herramienta estadística central en la ciencia
Una técnica estadística surgida del control de calidad de Guinness
- La cervecería Guinness ya era conocida por sus métodos innovadores desde que su fundador, Arthur Guinness, firmó en Dublín un contrato de arrendamiento por 9,000 años por £45 al año
- Entre las innovaciones relacionadas con la cerveza hubo una técnica química creada por el cervecero y matemático Michael Edward Ash tras 4 años de intentos
- Esta técnica se usa para crear la suave capa de espuma de la Guinness stout
- Incluye el uso de gas nitrógeno en barriles y en la pequeña esfera dentro de las latas
- Después dio pie al estilo “nitro brew” en cerveza y café
- Pero la innovación más influyente salida de la cervecería no fue la cerveza misma, sino el t-test
El problema de las muestras pequeñas en la mayor cervecería del mundo
- A comienzos del siglo XX, Guinness había operado durante casi 150 años y era la cervecería más grande del mundo
- En ese tiempo, el control de calidad del producto dependía en gran medida de la inspección visual y del olfato
- A medida que crecían las exigencias de expansión global, la dirección quiso pasar a un control de calidad más consistente y con mayor rigor industrial
- La empresa contrató un equipo de investigación y le dio libertad para explorar preguntas orientadas a producir la cerveza perfecta
- Dónde crecen las mejores variedades de cebada
- Cuál es el nivel ideal de azúcar del extracto de malta
- Cuánto aumentó las ventas la campaña publicitaria más reciente
- El problema que el equipo encontraba una y otra vez era cómo interpretar datos con tamaños de muestra pequeños
La significancia estadística vista a través del caso del lúpulo
- Las flores de lúpulo eran un ingrediente clave para el amargor de Guinness y su función como conservante natural, y los cerveceros medían el contenido de soft resin para evaluar su calidad
- En el ejemplo se toma 8% como un valor típico bueno, y se supone una situación en la que al medir 9 muestras se obtienen valores entre 4% y 10%, con un promedio de 6%
- Como no era económicamente viable inspeccionar todas las flores, había que analizar una muestra aleatoria
- Si el promedio muestral da 6%, hay dos interpretaciones posibles
- Que el contenido de soft resin de toda la cosecha sea realmente anormalmente bajo
- Que toda la cosecha sea normal, pero que por azar se haya tomado una muestra baja
- La clave del juicio está en distinguir si el bajo contenido de resina de la muestra es significativamente diferente de 8% o si solo refleja variación natural
Un juicio que se repite en toda la ciencia
- Este problema no se limita a la elaboración de cerveza, sino que aparece en la investigación científica en general
- En un ensayo médico, si tanto el grupo tratado como el grupo placebo mejoran, pero el grupo tratado mejora un poco más, hay que decidir si existe evidencia suficiente para recomendar ese medicamento
- Si dos grupos recibieron placebos distintos y uno obtuvo mejores resultados, hay que distinguir si ese placebo tiene efecto terapéutico o si se trata de una mejora natural
- En última instancia, este tipo de juicio lleva al problema de la significancia estadística
Lo que resolvió el t-test de Gosset
- La teoría para tratar este tipo de problemas con tamaños de muestra pequeños no se desarrolló hasta que William Sealy Gosset, de Guinness, creó el t-test
- El concepto mismo de significancia estadística ya existía antes de Gosset, pero los estadísticos anteriores trabajaban sobre todo con muestras grandes
- En el ejemplo del lúpulo, la pregunta es cuál es la probabilidad de observar un valor tan extremo como una media de 6% en un mundo donde la media de toda la cosecha es 8%
- Esa probabilidad se conoce como valor P, y tradicionalmente muchas veces se considera estadísticamente significativa si es menor a 5% o 0.05
- Aun así, el umbral puede variar según el campo de aplicación
Señal, ruido y distribución t
- En general, el valor P suele verse afectado por dos factores
- Qué tan lejos está la muestra del valor esperado en la población
- Qué tan comunes son las desviaciones grandes
- La diferencia entre la media muestral de 6% y el valor esperado de 8% corresponde a la señal
- Cuanto mayor sea la diferencia, mayor es la probabilidad de que el contenido de soft resin de la cosecha sea realmente bajo
- La desviación estándar entre las flores corresponde al ruido
- Si la desviación estándar es grande, un promedio de 6% quizá no sea motivo de gran preocupación
- Si la desviación estándar es pequeña, 6% puede ser una señal de una desviación real respecto del valor esperado de 8%
- En el caso ideal, se calcula la relación señal-ruido y se evalúa si esa proporción es lo bastante grande como para alcanzar el umbral de 5%
- Los estadísticos de la época de Gosset sabían que, si se repetía el experimento muchas veces y se graficaba la relación señal-ruido, aparecía algo parecido a la distribución normal estándar, es decir, una curva en forma de campana
- Gosset advirtió que este enfoque solo funcionaba bien con muestras grandes, y que en muestras pequeñas de lúpulo no garantizaba una distribución normal
- Elaboró cuidadosamente una nueva distribución adecuada para tamaños de muestra pequeños, la que hoy se conoce como distribución t
- La distribución t tiene forma de campana como la normal, pero sus colas decrecen más lentamente
- Por eso, con muestras pequeñas se necesita una relación señal-ruido mayor para juzgar que hay significancia
Por qué surgió en una cervecería
- En una entrada de blog de 2008, John D. Cook escribió que quizá no sea sorprendente que el t-test haya surgido en una cervecería y no en una bodega
- La diferencia es que los cerveceros exigen consistencia en el producto, mientras que los productores de vino disfrutan la variabilidad
- El vino tiene “buenos años” y cada botella puede tener su propia historia, pero Guinness debe ofrecer siempre el mismo sabor distintivo
- Esa exigencia de uniformidad llevó a una innovación estadística
El nombre “Student’s t-test”
- Gosset resolvió varios problemas de la cervecería con esta nueva técnica
- Como era un estadístico autodidacta y Guinness no quería que sus competidores conocieran el contenido de la investigación, publicó el t-test bajo el seudónimo “Student”
- Gosset fue pionero del control de calidad industrial y aportó varias ideas a la investigación cuantitativa, pero muchos libros de texto todavía llaman a su logro más representativo Student’s t-test
- Aunque su nombre quedó menos destacado en la historia, el t-test sigue siendo una de las herramientas estadísticas más usadas en la ciencia
1 comentarios
Opiniones de Hacker News
También hay un pasaje interesante en la historia de la bioquímica: Chaim Weizmann era bioquímico y un sionista ferviente, y durante la Primera Guerra Mundial llamó la atención de Winston Churchill al cultivar Clostridium acetobutylicum, capaz de producir la acetona necesaria para fabricar cordita, el propulsor de la artillería naval.
Como recompensa por su contribución a la guerra, cuando George Lloyd le preguntó qué podía hacer Gran Bretaña por él, Weizmann respondió: “No para mí, sino para mi pueblo”, y eso llevó a la Declaración Balfour, que prometía proporcionar un hogar al pueblo judío.
https://en.wikipedia.org/wiki/Chaim_Weizmann
https://en.wikipedia.org/wiki/Balfour_Declaration
La Declaración Balfour también incluía una cláusula que decía que los palestinos no debían ser desplazados, pero quedó prácticamente olvidada; y entre la llegada de Weizmann a Gran Bretaña y su encuentro con George Lloyd también hubo bastante maniobra política, incluidas giras mundiales para promover a Albert Einstein.
A Peace to End All Peace, de David Fromkin, que leí hace poco, trata en profundidad el papel de Weizmann y el contexto en que se formó la Declaración Balfour; una parte de sus conclusiones que se me quedó grabada es que, tras el colapso del orden imperial después de Roma, Europa tardó cerca de 1,500 años en ordenar sus Estados-nación y sus identidades políticas.
Me pareció impactante la interpretación de que la crisis actual de Medio Oriente, aunque pueda diferir en profundidad y duración, aborda el mismo problema: tras el colapso de un antiguo orden imperial, cómo se reorganizan distintos pueblos en torno a nuevas identidades políticas.
Los Aliados no elaboraron un plan para reasentar a los refugiados judíos después de la guerra; al contrario, en aquel momento a los judíos incluso se les prohibía entrar al Mandato británico de Palestina.
Los israelíes declararon su propio Estado contra la voluntad de Gran Bretaña, de forma similar a como Estados Unidos declaró su independencia de Gran Bretaña.
Además, ningún “plan” para esa región preveía una guerra civil, pero la guerra civil efectivamente ocurrió, y encajar los hechos a posteriori diciendo que no coincidían con varios planes que nunca se realizaron se acerca a una interpretación revisionista.
Es difícil sostener que el trato que los árabes de Cisjordania recibieron de los israelíes fuera peor que lo que ellos pretendían hacerles a los israelíes; eso sí, tras perder el enfrentamiento militar, el lado árabe también expulsó a sus antiguas comunidades judías.
Cuando fui a Polonia el verano pasado, supe que varios líderes judíos de la Polonia de entreguerras apoyaban un Estado-nación judío, pero no lograron convencer al gobierno de declararlo públicamente.
Es aún más sorprendente si se considera que los judíos representaban hasta el 25% de la población polaca en aquel entonces.
Entre sus motivaciones para sacar adelante la declaración estaba, al menos en parte, la idea de que si Gran Bretaña les daba a los judíos su propio país, obtendría un aliado poderoso dentro de una conspiración judía mundial y, al mismo tiempo, lograría que los judíos se fueran de Gran Bretaña y dejaran de manipular su política, cultura y economía.
En un texto de Balfour de 1919 citado en Wikipedia, también escribió que el sionismo aliviaría el antiguo sufrimiento causado por el hecho de que la civilización occidental veía al “cuerpo judío dentro de sí” como algo ajeno y hostil, pero no podía expulsarlo ni absorberlo.
Es el mejor ejemplo de que el apoyo al sionismo y el antisemitismo no se contradicen entre sí y, de hecho, pueden ir de la mano.
Incluso después de que Hitler llegara al poder, hubo un proyecto sionista, con apoyo del gobierno alemán, para ayudar a los judíos alemanes a emigrar a Palestina; por supuesto, como toda emigración, terminó con el inicio de la Segunda Guerra Mundial.
Eso no significa que a los nazis les gustara ese proyecto, pero tampoco se opusieron activamente; en cambio, obligaron a los judíos emigrantes a liquidar sus activos y limitaron considerablemente los bienes que podían transferir al extranjero, y más tarde, durante el Holocausto, confiscaron las empresas de propietarios judíos y las volvieron a privatizar.
Es un texto interesante. Creo que en las clases de estadística nunca escuché esta historia.
Gosset resolvió varios problemas de la cervecería con una técnica nueva, y como Guinness no quería que sus competidores se enteraran de la investigación, publicó la prueba t bajo el seudónimo Student.
Gosset fue un pionero del control de calidad industrial e hizo muchas contribuciones a la investigación cuantitativa, pero la mayoría de los libros de texto todavía llaman a su aporte “prueba t de Student”.
Gosset no tenía la base matemática suficiente para derivar teóricamente la distribución correcta, así que simuló miles de extracciones para cada tamaño de muestra y ajustó curvas para encontrar la distribución.
En esa época, simular significaba escribir números en miles de tarjetas, mezclarlas, extraer muestras, calcular la media y la desviación estándar, y repetirlo miles de veces.
Publicó sus resultados con una actitud casi de disculpa por no haber podido demostrarlos correctamente.
Los libros de estadística son demasiado secos y no suelen darse mucho espacio para contar historias como esta.
Me hace preguntarme cuántos descubrimientos útiles surgidos en entornos industriales habrán quedado enterrados porque la dirección temía filtrar información competitiva.
Si uno cree que, aunque no sea una sola persona, al final alguien puede descubrirlo, entonces también podría pensarse que esos descubrimientos terminaron siendo redescubiertos de forma independiente, o lo serán algún día.
Relacionado con eso, también me pregunto cuánta investigación valiosa desaparece cuando una empresa quiebra o es adquirida.
Por ejemplo, al leer artículos de los años 90 sobre “agentes” y “sistemas multiagente” relacionados con MCC, aparecen a menudo referencias como “MCC Technical Report TR86-32791”, pero aunque algunos se pueden encontrar en línea, bastantes informes parecen difíciles o imposibles de localizar.
https://en.wikipedia.org/wiki/Microelectronics_and_Computer_...
Algo parecido pasó cuando en HN se investigó el origen del término “sharding”. Muchas evidencias apuntaban a un artículo interno de CCA, y CCA fue adquirida por Xerox, pero el artículo original hoy en día es básicamente imposible de conseguir.
Tal vez esté en algún lugar de Xerox, pero conseguirlo sería muy difícil.
https://news.ycombinator.com/item?id=36848605
La placa conmemorativa que hay allí recuerda a Gosset y sus contribuciones a la estadística.
Saber este pequeño trasfondo, personalmente, me dejó bastante satisfecho.
El lugar donde trabajé el año en que entré por primera vez a AWS fue el sitio DUB1, que formaba parte de Digital Hub, un espacio tecnológico y de incubación.
Por casualidad, la pequeña oficina de Amazon estaba en el antiguo laboratorio de William Sealy Gosset, justo al lado de St. Patrick's Tower, donde estaba el taller de control de Guinness.
Como exprofesor de estadística, les contaba entusiasmado a mis colegas lo afortunados que éramos de trabajar en ese lugar, pero casi no reaccionaban.
Hace mucho propuse que William Sealy Gosset fuera conmemorado en una estampilla irlandesa, pero no pasó nada; espero que algún día reciba más reconocimiento.
Guinness estaba muy adelantada a su época y, en muchos sentidos, era como el Google de entonces. Ofrecía vivienda, salarios altos y excelentes prestaciones.
Mi abuelo trabajó allí, así que todos los hermanos de mi padre aprendieron a nadar en la piscina de Guinness.
Otro dato interesante es que el widget para producir buena espuma en las latas fue elegido invento del año, y ese fue el mismo año en que se inventó internet.
Para más historias interesantes sobre Guinness, este artículo es bueno: https://www.thefitzwilliam.com/p/no-great-stagnation-in-guin...
Así como hoy resolvemos discusiones de bar con Google, en aquella época el libro se publicó precisamente para ese propósito.
Fui a una escuela junto a la cervecería Guinness, y creo que nunca olvidaré el olor del lúpulo hirviendo.
Pero la escuela era muy pobre en muchos sentidos, y aun durante la época de desempleo masivo y emigración a gran escala en la Irlanda de los años 80, Guinness no patrocinó el equipamiento del equipo de fútbol de la escuela.
Irónicamente, un exalumno donó varias Apple Mac y una decena de Apple IIe, así que la escuela tenía un laboratorio de computación adelantado a su tiempo.
Allí probablemente empecé a desarrollar mis habilidades aprendiendo por mi cuenta programación en BASIC.
Volviendo al punto, Guinness siempre fue inteligente y adelantada a su época, y conseguir empleo allí era como ganarse la lotería: prácticamente una garantía de por vida.
Me encantan estas historias.
Tuve la suerte de enterarme de esto en un libro de estadística de pregrado, y más tarde, cuando recorrí la cervecería Guinness en Dublín, también había una pequeña exhibición sobre Gosset. Aunque, en realidad, Gosset estuvo en la cervecería del lado inglés.
Otro dato curioso que conocí en química orgánica es que el compositor ruso Alexander Borodin, autor de “In the Steppes of Central Asia” y “Prince Igor”, componía como actividad de tiempo libre; su trabajo principal era ser químico orgánico y fue codescubridor de la reacción aldólica.
https://en.wikipedia.org/wiki/Alexander_Borodin
Lo mencioné en una charla de 2019
Para que funcionara bien, tendría que haber llevado una Guinness al escenario y abrirla ahí mismo
Es un video de EuRuKo grabado en un lugar que era un transatlántico retirado convertido en hotel y espacio para conferencias: https://youtu.be/Aczy01drwkg?si=lsVWAFv9f3eLc2fZ&t=1095
No sorprende. Casi toda la manufactura parece un entorno perfecto para probar métodos estadísticos
Hay escala suficiente como para que incluso diferencias sutiles ahorren mucho dinero, así que el beneficio aparece bastante rápido
La prueba t siempre me impresionó porque, aunque es simple comparada con técnicas más avanzadas, es ingeniosa
A principios de los años 1900, el cultivo y la agricultura se beneficiaron mucho del diseño de experimentos, como el análisis de varianza, los factores de bloqueo, los factores de confusión, factores·niveles·rangos y el diseño factorial completo
Hoy cosas como el estadístico F y el valor crítico de F se dan por sentadas
Lamentablemente, siento que el texto original en gran medida se pierde el trabajo de Gosset y la esencia de la prueba t
Es una forma común de verlo entre quienes recibieron una formación moderna que mezcla a Gosset/Fisher/Pearson/Neyman en la prueba de significancia de la hipótesis nula
Lo importante no es que se pueda calcular un valor p, sino que es un marco de decisión para tomar decisiones económicamente razonables intercambiando tasas de falsos positivos y falsos negativos: https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1...
En este caso, los registros de la cervecería tenían bien organizada la proporción de lotes defectuosos mediante pruebas y catas, así que podían decidir cuántos lotes “malos” estaban dispuestos a tolerar a cambio de ahorrar el costo de cierta cantidad de muestras de prueba
Por ejemplo, si se decide aceptar 1 de cada 100 lotes malos como falso negativo y rechazar 1 de cada 20 lotes buenos, de ahí sale el tamaño de muestra necesario n
Si se reduce la varianza de las mediciones, baja el tamaño de muestra necesario para lograr el mismo compromiso, y eso se traduce directamente en dinero por ahorro de material descartado o costos de prueba
Como convenía que el número de muestras fuera pequeño, Student no podía usar métodos asintóticos ni aproximaciones, y las aproximaciones podían equivocarse por varios órdenes de magnitud. Incluso intentó pruebas con n = 2
O quizá intentaba optimizar muy finamente el contenido de alcohol para que no superara el umbral impositivo, pero tampoco bajara tanto como para decepcionar a los clientes
Gosset calculó que “para obtener la precisión necesaria, es decir, odds de 10 a 1 con una precisión de 0.5, hay que usar el promedio de al menos cuatro mediciones”, y la junta directiva de Guinness lo recibió con agrado
Si esto suena a teoría de decisión bayesiana subjetiva, sí, pero Student, como la mayoría de los estadísticos, probablemente la habría rechazado, y habría enfatizado que, como trata con una población con tasas base conocidas, no hace falta Bayes y es solo teoría de decisión frecuentista
A veces me pregunto qué tan útil es realmente una prueba t comparada con dos diagramas de caja con puntos jitter, o con alguna otra forma de indicar la cantidad de datos
Si no se ve claramente en el diagrama de caja, me pregunto si una prueba t por sí sola puede sostener un argumento realmente convincente, suponiendo que haya suficientes puntos
La prueba t se puede calcular y verificar de manera independiente