Crisis de replicabilidad de artículos científicos y soluciones de ciencia abierta

Fuente: Dirk-Jan Hoek, CC-BY

Con este sugerente título, el profesor Aitor Marcos Diaz, abordó la problemática de la profunda crisis en la que parece envuelta la ciencia (sobre todo las ciencias sociales) y compartió las posibles soluciones de ciencia abierta.

Para analizar la crisis actual de la ciencia partió de tres observaciones:

• La producción científica no solo está creciendo, sino que su crecimiento se está acelerando: Aitor apuntó al HARKing (Hypothesizing After Results Are Known) como una de las principales razones por las que cada vez hay más artículos “publicables”. El HARKIng es la práctica de formular hipótesis después de conocer los resultados, presentándolas como si fueran a priori en vez de post hoc. Esta práctica ha ganado relevancia debido a la presión por publicar en un entorno académico competitivo (resumido en la famosa frase “publish or perish”). El crecimiento casi exponencial en la producción de publicaciones científicas (un aumento del 47% entre 2016 y 2022) ha exacerbado esta crisis. Factores como revisiones por pares menos rigurosas en ediciones especiales, tiempos sospechosamente cortos para evaluar artículos y el aumento en las tasas de autocitas han contribuido al problema.
• Hay poco interés en tratar de replicar resultados de otras investigaciones y, cuando se intenta, a menudo no se consigue: Garantizar la replicabilidad es un pilar fundamental de la ciencia, pero estudios recientes demuestran que solo el 40% de las investigaciones en áreas como psicología, marketing y organización empresarial son replicables. Paradójicamente, los estudios no replicables tienden a recibir más citas. Al no poder ser replicados, y tras mucho esfuerzo, se consigue que las revistas retiren algunos artículos. En 2023 se alcanzó un récord con más de 10.000 artículos retractados, gran parte debido a publicaciones fraudulentas o errores metodológicos. Plataformas como PubPeer y Retraction Watch son útiles para identificar y denunciar irregularidades post-publicación.
• La falta de ética en la investigación ha llevado a investigadores de renombre a falsear datos, por seguir el ritmo de publicaciones que se espera de ellos: El uso deliberado de datos falsificados para obtener resultados estadísticamente significativos también es un problema creciente. Casos recientes, como el fraude detectado en investigaciones de alto perfil (ej. Francesca Gino, profesora de Harvard Business School), subrayan la necesidad urgente de mayor transparencia y mecanismos para prevenir estas prácticas.

En la segunda parte de la sesión, el profesor Marcos compartió las soluciones de ciencia abierta que él recomienda para solucionar, al menos parcialmente, algunos de los problemas mencionados.

• Pre-registro de estudios: El pre-registro consiste en documentar previamente el diseño del estudio, las hipótesis y los análisis antes de recopilar datos. Así se evita el HARKing al garantizar que las hipótesis no sean ajustadas post hoc. Plataformas como AsPredicted facilitan este proceso mediante cuestionarios estructurados que guían a los investigadores en el pre-registro minucioso de sus estudios.
• Repositorios de ciencia abierta: Los repositorios abiertos, como el Open Science Framework (OSF), promueven la transparencia mediante el almacenamiento seguro y gratuito de materiales relacionados con investigaciones (datos, códigos, encuestas, etc.). Esto facilita la replicabilidad al compartir bases de datos y metodologías completas.
• Preprints: Los preprints son versiones preliminares de artículos publicados en repositorios abiertos como arXiv o SSRN antes o después del proceso formal de revisión por pares. Publicar en preprint sirve para establecer prioridad sobre ideas innovadoras y así esperar (más tranquilos) a la lenta revisión por pares de las revistas científicas serias, en vez de enviarlo a una revista con plazos de revisión sospechosamente cortos. Además, los preprints sirven para obtener feedback de forma rápida, y facilitar el acceso abierto al documento final (requerido por algunas entidades financiadoras). Aitor advirtió que, aunque útiles, los preprints también presentan riesgos, como errores no detectados debido a la falta de revisión formal o posibles malentendidos sobre su validez científica.

La sesión concluyó abriendo un turno de preguntas en el que se aclararon los detalles de funcionamiento de algunas de las soluciones de ciencia abierta mencionadas.

Se puede ver la conferencia pulsando aquí.

Desde Enpresa Institutua agradecemos enormemente esta fantástica conferencia e invitamos al profesor Marcos a volver a nuestras Comunidades de Práctica Investigadora cuando quiera.