Reemplazar la "revisión por pares" por la "replicación por pares" (2021)

• El artículo analiza la idea de reemplazar la revisión tradicional por pares en la investigación científica por la "replicación por pares".
• El autor sostiene que el proceso actual de revisión por pares tiene fallas y puede convertirse en un obstáculo importante para comunicar descubrimientos científicos relevantes.
• El proceso propuesto de "replicación por pares" consiste en enviar preprints a otros laboratorios para que repliquen los resultados, en lugar de que los revisen unos cuantos expertos.
• El autor propone que la verdadera prueba de un artículo debería ser la capacidad de reproducir sus resultados en el mundo real.
• El artículo destaca que actualmente los laboratorios independientes casi no tienen incentivos para replicar resultados publicados, lo cual va en contra de cómo idealmente debería funcionar la ciencia.
• En el sistema propuesto, los investigadores que realicen el trabajo de replicación recibirían reconocimiento en el artículo publicado, lo que les daría un incentivo por su esfuerzo.
• El autor reconoce posibles desafíos de este enfoque, como el tiempo adicional que podría requerirse entre el envío y la publicación, y la dificultad de reproducir resultados que usan técnicas científicas avanzadas o requieren recursos considerables.
• Para hacer este proceso más viable, el autor sugiere enviar los detalles de la historia y organizar la replicación mientras el manuscrito aún está en preparación.
• El artículo concluye sugiriendo que organizaciones como Review Commons podrían organizar pruebas de este nuevo enfoque, y que si los científicos vieran replicación por pares en publicaciones, podría convertirse en un método preferible a la revisión tradicional por pares.

[GN⁺]

Opinión de Hacker News

• Este artículo propone reemplazar el sistema actual de revisión por pares en la investigación científica por una "replicación por pares".
• Los críticos sostienen que replicar todos los artículos publicados requeriría un esfuerzo y recursos considerables, y que no necesariamente beneficiaría a los científicos que realicen esas replicaciones.
• El propósito de las publicaciones científicas es compartir nuevos resultados con otros científicos para que puedan continuar el trabajo o verificarlo. El proceso de revisión por pares fue diseñado originalmente para rechazar artículos mal escritos y spam evidente.
• El proceso de revisión por pares no garantiza la replicación, pero sí garantiza la legibilidad y la comprensibilidad del artículo.
• Algunos sugieren que la "replicación por pares" no es realista para experimentos que cuestan miles de millones de dólares. En cambio, agregar metadatos sobre qué artículos han sido replicados podría ser un enfoque más viable.
• En campos como la informática y el aprendizaje automático, se está exigiendo un enfoque de "si no hay código, no ocurrió" debido a la ambigüedad de los artículos.
• Algunos afirman que el concepto de "replicación por pares" ha sido malinterpretado. Si eso significa que otro laboratorio debe generar un conjunto de datos coincidente para replicar los resultados, entonces no lo ven viable por el costo y el tiempo que implica recopilar esos datos.
• Se propone dividir la "revisión por pares" en una "revisión de legibilidad" y una "declaración de replicabilidad". Esta última describiría en detalle la metodología y la estrategia utilizadas para realizar el experimento.
• Exigir una "revisión de replicabilidad" o un "mapa metodológico" para cada artículo se considera un enfoque más realista. Esto implicaría intercambios entre revisores y autores, con el objetivo de reproducir los resultados.
• Algunos críticos sostienen que en los artículos a menudo se omite información clave necesaria para reproducir los resultados, lo que genera falta de confianza en ciertas líneas de investigación científica.
• A pesar del apoyo a la "replicación por pares", los críticos argumentan que no siempre es práctica, especialmente en el caso de proyectos a gran escala como LIGO, LHC y JWST.