Un artículo defectuoso publicado en una revista de administración fue citado más de 6 mil veces

• El artículo que afirmaba una correlación entre la sostenibilidad corporativa y el desempeño bursátil fue citado más de 6 mil veces, pero se revelaron errores graves y descripciones falsas
• Andy King, que intentó reproducir el estudio, afirmó que los autores, la academia, la revista y las universidades ignoraron repetidamente sus solicitudes de corrección y verificación de errores
• El artículo incluye múltiples problemas, como marcado incorrecto de significancia estadística, errores en la metodología y emparejamiento de muestras poco realista; algunos fueron tratados como simples errores tipográficos
• King planteó el problema mediante una publicación en LinkedIn y a través de la revista especializada en estudios de replicación (JOMSR), pero Harvard Business School y London Business School concluyeron que se trataba de asuntos menores
• Los autores aún no han retirado el artículo, y el texto enfatiza el colapso del sistema de gestión de la confiabilidad científica y la necesidad de reformas

---

El artículo problemático y el intento de reproducción

• El artículo “The Impact of Corporate Sustainability on Organizational Processes and Performance” fue citado más de 6 mil veces y fue considerado un estudio influyente, citado incluso por ejecutivos de Wall Street y un exvicepresidente de Estados Unidos
• Andy King, al intentar reproducir ese artículo, encontró inconsistencias metodológicas, errores estadísticos, pruebas omitidas y una composición anómala de la muestra
  • Envió varios correos a los autores, pero no recibió respuesta
  • También existe el estudio Bloomfield et al. (2018), que señala que es común que estudios previos ignoren o retrasen las solicitudes de investigadores de reproducción/replicación (Replication)

La respuesta de la academia y de la revista

• King pidió ayuda a otros académicos, pero la mayoría se negó por evitar conflictos o por falta de tiempo
  • Algunos académicos mencionaron que “señalar errores en artículos ya publicados puede perjudicar más la carrera”
• Presentó un comentario crítico a la revista Management Science, pero fue rechazado porque “el tono era inapropiado”
  • Los autores admitieron que la marcación de significancia de los principales resultados era incorrecta, pero sostuvieron que era un ‘error tipográfico’
  • Todas las solicitudes adicionales de corrección de King fueron rechazadas

Divulgación pública y publicación del estudio de replicación

• Después de que King hiciera públicos los errores en LinkedIn, la revista publicó más tarde una fe de erratas (erratum)
• El estudio de replicación se publicó en Journal of Management Scientific Reports (JOMSR), subrayando el papel de las revistas dedicadas a estudios de replicación
• King confirmó que en el artículo original los métodos reportados y los realmente usados eran distintos, y que con los métodos reales no era posible reproducir los resultados

Investigación sobre ética de investigación y reacción de las universidades

• King presentó denuncias por violaciones a la ética de investigación ante Harvard Business School y London Business School
  • Los autores explicaron que “una frase incorrecta permaneció por un error del proceso editorial”, pero el mismo error se repitió en todos los borradores
  • Harvard mantuvo en privado si abriría una investigación, y LBS dijo que “no fue una falsedad intencional”, por lo que solo recomendó medidas educativas
• King criticó que “si hubo o no acceso a los datos no es lo esencial; una descripción incorrecta destruye la posibilidad de interpretar la investigación”

Fallo institucional y propuestas de reforma

• El artículo solo recibió algunas correcciones, y la descripción incorrecta del método sigue sin corregirse
• King afirmó que “no está funcionando un sistema confiable de gestión de la ciencia” y propuso lo siguiente
  • Evitar citar estudios individuales y verificar si fueron replicados
  • Corregir de inmediato cuando se descubran errores
  • Advertir a colegas sobre conductas no éticas
  • Apoyar los estudios de replicación y revistas como JOMSR
  • Reforzar las políticas institucionales de ética de investigación
• También planteó la necesidad de institucionalizar la transparencia, la supervisión independiente y las sanciones graduales en la gestión académica, así como de introducir sistemas de verificación posterior como FurtherReview

Comentario de Andrew Gelman

• Gelman calificó la conducta de los autores como mala conducta en investigación, pero puso el foco en problemas sistémicos más que en las personas
• Señaló que “la actitud de no reconocer errores del pasado” convierte a la ciencia en una ‘disciplina muerta (dead science)’
• Advirtió que, mientras la comunidad académica no fomente la corrección de errores y una actitud responsable, el mismo problema se repetirá

[GN⁺]

Comentarios en Hacker News

• He desarrollado un toolkit open source de modelado basado en agentes que mantengo desde 2003
  Hace poco, un artículo sobre un nuevo toolkit hecho en otro lenguaje afirmaba ser mejor comparándose con mi software, pero en realidad ejecutaron mal mi herramienta y además distorsionaron los datos
  Pedí una corrección, pero la revista lo escondió discretamente para no perder prestigio, y los autores solo dieron excusas
  El problema es que esto pasa demasiado seguido en la academia

  • A mí me pasó algo parecido. Un competidor publicó un artículo sin entender bien mi software y sacó conclusiones con datos incorrectos
    Después de vivir eso, mi confianza en los artículos académicos cayó muchísimo
  • Hace tiempo tenía un software académico que desarrollé, y me tocó revisar un artículo de otro grupo de investigación que usaba mi programa como referencia de comparación
    Su metodología de prueba estaba fundamentalmente mal y entrenaban con un criterio arbitrario en un problema donde no existía una “respuesta correcta” real, para luego afirmar que su resultado era el mejor
    Recomendé que no se publicara y la revista estuvo de acuerdo, pero unos meses después vi que ese artículo fue publicado sin cambios en otra revista, y sentí una profunda desesperanza académica
  • Si acaso eres el Sean Luke que yo conozco, tus clases en mis años de licenciatura en la Universidad de Maryland influyeron muchísimo en mi forma de pensar la informática. Gracias
  • Una vez un colega me pidió revisar el código de un artículo, y vi que habían calculado mal la complejidad, llegando a una conclusión completamente equivocada
    Al final terminé con la conclusión de “no le encarguemos programación a alguien de psicología”. Como mínimo, debió validarlo alguien de CS
  • En posgrado denuncié ante una revista que mi asesor había manipulado datos, pero nunca hubo respuesta
    Lo mismo pasó con el equipo legal de la universidad, y desde entonces casi desapareció mi confianza en la academia. Esa es justamente la razón de la crisis de reproducibilidad

• Hoy en día la cantidad de citas ya no significa tanto como antes
  Los artículos problemáticos siguen siendo citados una y otra vez con copy-paste
  Por eso estoy pensando en un servicio que superponga una red de confianza sobre el grafo de citas
  La idea sería marcar como “posiblemente contaminado” a un artículo que cite sin crítica a trabajos erróneos, y etiquetar también a autores o instituciones con muchos artículos así

  • Yo también exploré una idea así cuando recién salió GPT-3
    Pero al ponerme a leer los artículos de verdad, vi que hay demasiados artículos basura
    La premisa de que los malos artículos son excepcionales estaba equivocada, y al final era como “buscar diamantes en el lodo”
    Así que terminé concluyendo que si un campo es 90% falso, mejor ignorar ese campo
  • La idea es interesante, pero ¿no es difícil distinguir entre una cita crítica y una cita simple?
    Hasta resumir trabajos relacionados podría terminar perjudicando a alguien
  • Ver en congresos a personas que hicieron carrera con investigación falsa me hizo confiar menos en los expertos
    Pero incluso si se crea un sistema de confianza, soy escéptico porque al final también lo van a gamificar
  • En mi país también están muy extendidos los citation rings y el inflado en el número de autores

• Hay artículos malísimos en todas las áreas, pero cuando uno ve los verdaderos papers de escuelas de negocios, recupera la autoestima
  En ese campo, la gente que hace investigación seria es casi una excepción de nivel Galileo

  • Yo también hice una doble especialidad en ingeniería, economía y administración, y administración me parecía como leer el periódico
    Era interesante, pero le faltaba profundidad, casi como un documental histórico superficial
  • Al final, las escuelas de negocios estudian técnicas para generar ganancias a bajo costo, así que ese mismo hecho ya es el resultado

• Estoy totalmente de acuerdo con la idea de “no cites un solo estudio como evidencia definitiva”
  Por ejemplo, el famoso Harvard Goal Study en realidad no existe
  Incluso el FAQ de la biblioteca de Harvard deja claro que ese estudio no existe

  • El Jick Study es un caso parecido. Vale la pena ver el artículo de Wikipedia
  • Hay que ignorar los estudios únicos. Si el efecto es real, otros investigadores harán estudios de seguimiento ampliándolo mediante reproducciones parciales
    En cambio, si casi no hay citas posteriores, eso es una señal para salir corriendo

• El problema de fondo es la cultura de "publish or perish"
  Como la contratación de profesores y el financiamiento dependen de la cantidad de citas, la citación mutua y la producción en masa de papers se volvieron cosa de todos los días

  • El problema es evaluar solo por citas
    Hace falta un sistema de evaluación por múltiples etapas que incluya publicación de datos y verificación de reproducibilidad
  • Al final, la estructura competitiva de las calificaciones en la etapa escolar se prolongó al mundo adulto como “competencia por papers”
  • Este es un caso típico de la ley de Goodhart

• Hay demasiados artículos científicos terribles en el mundo
  Un texto que me gusta mucho es "Why Most Published Research Findings Are False" de John P. A. Ioannidis

  • Es un gran paper, pero algunas personas del sector tecnológico lo usan como excusa para evadir la realidad diciendo que “mi realidad es la verdad”
  • Ioannidis fue grandioso por su trabajo sobre la crisis de reproducibilidad, pero sus comentarios sobre COVID-19 me decepcionaron por su actitud conspiranoica

• El núcleo del problema es la significancia estadística y la estructura de las revistas académicas
  Como los resultados “sin significancia” no se publican, naturalmente solo sobreviven los resultados sesgados
  El preregistro y la publicación de datos reproducibles son importantes, pero rara vez se cumplen bien por la competencia por ascensos y los intereses comerciales

  • Hay un cómic de xkcd relacionado: https://xkcd.com/882/

• Me cuesta estar de acuerdo con la idea de que “un conductor ebrio no es una mala persona”
  Si se justifica una conducta que pone en riesgo la vida ajena, la palabra “malo” pierde sentido
  Decir que los investigadores actúan de forma poco ética “por culpa de su entrenamiento” suena a evasión de responsabilidad

  • Decir que alguien es “malo” es una forma de pensar dicotómica
    Si el sistema facilita comportamientos malos, entonces la causa termina siendo un problema estructural
    “Fue entrenado” no significa “recibió enseñanza”, sino que fue moldeado por su entorno
  • En vez de “mala conducta”, sería más preciso decir “conducta tonta” o “conducta irresponsable”
    La palabra ‘bad’ tiene una carga moral débil
  • En épocas en que todo el mundo actuaba así, la gente creía dentro de una ilusión cultural que ellos eran distintos
    Al final fue el resultado de una confianza excesiva causada por el efecto Dunning-Kruger
    Si caer en ese autoengaño es parte de ser humano, entonces no se puede decir que el ser humano en sí sea malo

• Decir que “los investigadores de replicación deben tener cuidado” va en contra de la esencia misma de la ciencia
  Los resultados que no pueden reproducirse no significan nada, y la investigación de replicación debería más bien promoverse

• La cantidad de citas de un artículo aparece distinta según el sitio
  SSRN muestra 109, ResearchGate 3936 y Google Scholar 6269
  Como cada uno usa criterios distintos para contar citas, es difícil confiar en esa métrica
  También hubo una propuesta de “hacer públicos los comentarios, correcciones y pedidos de retractación de todos los artículos”,
  pero si se hiciera eso, parecería que incluso los papers de Einstein se llenarían de comentarios raros

  • En la práctica, sí es correcto decir que tiene 6269 citas según Google Scholar
  • Pero si miras plataformas que permiten comentarios anónimos, como PubPeer,
    el problema del abuso no parece ser tan grande