Investigación abierta, rigurosa y reproducible: un manual para profesionales (2021)
(stanforddatascience.github.io)- Diseñar y compartir la investigación de forma abierta, transparente y reproducible amplía el alcance de los resultados, así como su posibilidad de verificación y reanálisis
- Los artículos de pago, el código cerrado, los datos inaccesibles y el software discontinuado dificultan que otros investigadores verifiquen el proceso real de análisis
- Un diseño experimental y un análisis deficientes hacen que se acumulen hallazgos erróneos en la literatura y aumentan el costo para que nuevos investigadores distingan resultados confiables
- Aunque la apertura y la reproducibilidad implican trabajo adicional y tienen límites en la estructura de incentivos, ayudan a detectar errores temprano y a elevar la credibilidad de la investigación
- El manual organiza el diseño de investigación, el análisis y reporte de datos, y la publicación de materiales de investigación en prácticas modulares para poder aplicar primero las partes necesarias
Por qué se necesitan la apertura y la reproducibilidad
- Si la investigación no se realiza ni se comparte de manera abierta, transparente y reproducible, sus beneficios se reducen
- Si los artículos se publican en canales accesibles solo mediante pago, se limita quién puede ver los resultados y también se reduce el alcance potencial de esos productos
- Muchos análisis son complejos, por lo que es casi imposible explicar todas las decisiones y procedimientos solo en el artículo principal
- Sin el código acompañante, es difícil que otras personas tengan certeza de qué se hizo exactamente
- Incluso si el código está abierto, puede ser difícil reproducir o reanalizar investigaciones pasadas debido al acceso restringido a los datos o al software discontinuado
- Si no es fácil reanalizar investigaciones previas, a la comunidad le cuesta más explorar rutas alternativas de análisis, combinar conjuntos de datos o generalizar experimentos a nuevos entornos
El costo de las malas prácticas de investigación
- Si no se presta suficiente atención al diseño experimental y al análisis, es más probable que se acumulen más hallazgos erróneos en la literatura
- Cuantos más resultados poco confiables haya, más tiempo tendrán que dedicar los nuevos investigadores a entender el objeto de estudio y lograr avances reales
Por qué los investigadores son poco proclives a la apertura y la reproducibilidad
- La investigación abierta, transparente y reproducible requiere trabajo adicional, y la estructura actual de incentivos no siempre recompensa ese esfuerzo
- Aun así, se están produciendo cambios en varios campos y algunas comunidades valoran mucho estos esfuerzos
- El costo de los errores puede ser alto, y la apertura ayuda a evitarlos
- Algunos datos no pueden compartirse legalmente debido a la privacidad, los derechos de autor u otras consideraciones
- La investigación que usa esos datos puede ser, en general, menos útil para el mundo que la que usa datos más abiertos
- Aun así, publicar con transparencia el análisis realizado, los protocolos de recolección de datos y métodos como el prerregistro puede aumentar la confianza en la investigación
- A veces preocupa que al publicar datos y código queden expuestos errores o una baja calidad del código
- Esa preocupación es comprensible, pero en general apunta en la dirección equivocada
- Es mejor detectar los errores temprano, y la mayoría de las personas valora positivamente la publicación en sí, independientemente de la calidad del código
- Compartir el código desde el inicio pensando en su publicación final también ayuda a mejorarlo
- Muchas personas tampoco saben por dónde empezar
- Las guías existentes sobre ciencia abierta y reproducibilidad suelen presentarse como libros completos o grandes colecciones de recursos, lo que puede generar la carga de tener que aprender toda una filosofía y un enfoque integral de investigación
El enfoque del manual
- Este manual no busca transformar por completo la investigación de una sola vez, sino mostrar cómo volverla poco a poco más abierta, transparente y reproducible de distintas maneras
- Cada paso puede aportar por sí mismo cierto nivel de beneficio
- Existen matices y requisitos según cada disciplina, pero la mayoría de las áreas que trabajan con datos y análisis estadístico tienen mucho que aprender entre sí
- El formato apunta a lo siguiente
- Modular: las ideas individuales pueden usarse por separado o en combinación
- Práctico: se enfoca en prácticas viables y de alto impacto
- General: puede aplicarse a cualquier campo que trabaje con datos y análisis estadístico
- Conciso: está pensado para científicos ocupados que no tienen tiempo de tomar un curso completo ahora mismo
Tres secciones principales
- La primera sección trata sobre el diseño cuidadoso de la investigación para garantizar y mostrar que los resultados y conclusiones son válidos y útiles
- Determina con cuidado los parámetros experimentales, por ejemplo estimando un tamaño de muestra adecuado mediante análisis de potencia
- Distingue entre investigación exploratoria e investigación confirmatoria
- Planifica con anticipación el análisis estadístico
- Recolecta todos los datos relevantes para que sean comparables con investigaciones previas
- Incluye elementos adicionales como prerregistro, preparación ante posibles problemas y consideración de implicaciones éticas
- La segunda sección trata sobre las mejores prácticas para el análisis de datos y el reporte de resultados
- Decisiones y consideraciones necesarias antes de manipular los datos
- Plan previo de análisis estadístico
- Generación adecuada de datos
- Preparación transparente de los datos
- Visualización de datos informativa
- Resumen de datos usando estadísticas apropiadas
- Análisis de datos que evita errores comunes
- Consideraciones adicionales para la investigación médica
- Reporte transparente e integral del análisis estadístico
- Casos de la literatura publicada que muestran los principios del manual
- La tercera sección trata sobre cómo hacer públicos para todos todos los materiales de investigación relevantes
- Open Data: publicar los datos en bruto para investigación adicional y replicación
- Open Source Code: volver transparente el pipeline de análisis y permitir que otros lo reutilicen o lo verifiquen
- Reproducible Environments: ofrecer no solo datos y código, sino también un entorno que permita volver a ejecutar fácilmente el análisis
- Open Publication Models: hacer que cualquiera pueda ver los productos académicos relacionados con la investigación
- Documenting Processes and Decisions: dejar claro no solo qué se hizo y cómo, sino también por qué se hizo así, mediante mecanismos como cuadernos de laboratorio abiertos
Alcance del apéndice
- El apéndice cubre recursos complementarios como preguntas frecuentes, consideraciones por disciplina y enlaces a materiales adicionales
1 comentarios
Opiniones en Hacker News
Está bien registrar las versiones de los paquetes usados, pero una mejor forma es proporcionar, junto con el código, una descripción del entorno con toda la cadena de dependencias completamente fijada, como un canal de Guix o un flake de Nix.
Docker también puede forzar versiones fijas, pero con un solo
apt updatetodo puede romperse por completo.Nix y Guix no solo ofrecen un entorno para ejecutar el código con las mismas herramientas y versiones, sino que también permiten generar imágenes de contenedor compartibles.
Es excelente que universidades que normalmente son muy costosas, como Stanford, ofrezcan materiales de aprendizaje gratis.
¿Alguien lo ha usado? ¿Está bueno?
Nuestro equipo actualmente está pasando del lado de software a la ciencia de datos, y este material parece tener contenido que puede cerrar esa brecha.
En la página está incrustado https://stanforddatascience.github.io/best-practices/index.h...
Este manual puede resumirse como una guía que presenta buenas prácticas para hacer que la ciencia sea más abierta, transparente y reproducible.