Estadística bayesiana: tres culturas

Bayes subjetivo (Subjective Bayes)

• La escuela tradicional del bayesianismo subjetivo asume una distribución generadora de datos (es decir, la verosimilitud como función de los parámetros)
• Condicionado a ese supuesto, codifica las creencias previas como una distribución previa sobre los parámetros
• Luego realiza inferencia posterior y no vuelve la vista atrás
• No está claro si hoy alguien sigue esta filosofía de forma estricta, o si se considera a sí mismo parte de la escuela del bayesianismo subjetivo

Bayes objetivo (Objective Bayes)

• La filosofía del "Bayes objetivo" surge de la combinación de querer hacer pruebas de hipótesis (usando factores de Bayes) y sentir con fuerza lo que Andrew llama "Bayes cringe"
• Citando un artículo de un defensor destacado:

El análisis de referencia produce inferencia bayesiana objetiva en el sentido de que las afirmaciones inferenciales dependen únicamente del modelo asumido y de los datos disponibles, y en el sentido de que la distribución previa utilizada para la inferencia contiene la mínima información en un sentido de teoría de la información

• A juzgar por la organización de conferencias y la publicación de libros con "Bayes objetivo" en el título, todavía hay muchas personas haciendo trabajo caracterizado por este enfoque
• Está detrás, en cierta medida, de las distribuciones previas gamma(epsilon, epsilon) y normal(0, 10_000) ampliamente usadas en ejemplos de BUGS

Bayes pragmático (Pragmatic Bayes)

• Andrew sigue una filosofía que llama "Bayes pragmático"
• Está expuesta con claridad en la primera edición del libro de Gelman, Carlin, Stern y Rubin, "Bayesian Data Analysis"

1. Establecer un modelo probabilístico completo, una distribución de probabilidad conjunta para todas las cantidades observables y no observables. El modelo debe ser consistente con el conocimiento sobre el problema científico subyacente y el proceso de recolección de datos
2. Calcular e interpretar la distribución posterior apropiada, la distribución de probabilidad condicional de las cantidades no observables de interés dado los datos observados
3. Evaluar el ajuste del modelo y las implicaciones de la distribución posterior resultante: qué tan bien se ajusta el modelo a los datos, si las conclusiones sustantivas tienen sentido, y qué tan sensibles son los resultados a los supuestos del modelo del paso 1. En respuesta a esto, se puede revisar o ampliar el modelo y repetir los tres pasos

• Esto es precisamente el proceso que Andrew terminó llamando "workflow"

Procedimiento operativo estándar en ingeniería

• Este es el procedimiento operativo estándar que en ingeniería se llama "diseño iterativo"
• Casi todo el aprendizaje automático se hace de esta manera
• Como alguien con formación en CS y ML, me impactó descubrir que los estadísticos no pensaran así

Posdata sobre la estrategia al escribir BDA

• Andrew dice que al inicio de la escritura de la primera edición de BDA tomó la decisión explícita de saltarse la filosofía y simplemente "hacer" ciencia
• Ni él ni Rubin le pusieron nombre a su proceso de diseño iterativo
• Fue una decisión sabia, porque es difícil caracterizar con precisión las creencias filosóficas de otras personas, y todavía más difícil cambiarlas mediante discusión
• Si el método científico necesita una cláusula de exención de responsabilidad filosófica de la ciencia, probablemente no sea una ciencia muy convincente

Posdata sobre verosimilitud vs. distribución previa

• Coincido con la opinión de Andrew de que la elección de la distribución previa no es más ni menos "subjetiva" que la elección de la verosimilitud
• Andrew lo resume de forma concisa en un texto titulado "strain at the gnat of the prior distribution while swallowing the camel that is the likelihood"

Posdata sobre creencia vs. conocimiento

• Desde una perspectiva filosófica, prefiero caracterizar epistemológicamente tanto las distribuciones previas como la verosimilitud en términos de "conocimiento" más que de "creencia"
• Este es el marco que Laplace ofreció inicialmente y que John Stuart Mill exploró con mayor profundidad, y que Gelman y otros siguieron en BDA

Posdata sobre la etimología de este post

• En 1959, C.P. Snow escribió el famoso ensayo "Las dos culturas" sobre arte vs. ciencia
• En 2001, L. Breiman escribió el influyente ensayo "Statistical Modeling: The Two Cultures" sobre la distinción entre modelar explícitamente el proceso generador y usar modelos muy flexibles
• Breiman defendía los bosques de decisión en su trabajo, y su enfoque sigue ganando en competencias de Kaggle donde no hay suficientes datos para entrenar redes neuronales de última generación
• Me pregunto si Andrew consideraría a los bosques de decisión y a las redes neuronales como un ejemplo de lo que llamó una "flor que se despliega"

La opinión de GN+

• Los dos enfoques tradicionales, Bayes subjetivo y Bayes objetivo, son demasiado extremos. El enfoque de Bayes pragmático ofrece un punto intermedio realista y útil
• Coincido con la perspectiva de que la elección de la distribución previa es tan subjetiva como la elección de la verosimilitud. Todos los componentes del modelo implican subjetividad y supuestos
• El enfoque de "workflow" de evaluar el modelo, revisar el desempeño predictivo e iterar cuando sea necesario debería convertirse en el estándar en la ciencia
• Usar distribuciones previas informativas basadas en datos pasados no es raro, y debería aprovecharse en más análisis bayesianos
• En última instancia, es una estrategia sabia enfocarse en hacer ciencia de verdad más que en la filosofía de la inferencia bayesiana. Sin embargo, a veces también vale la pena debatir sobre los fundamentos de la inferencia