La comunidad científica reacciona contra una epidemia de investigaciones mal diseñadas, viciadas o poco útiles.

Un grupo de diez científicos, casi todos de centros de investigación y universidades norteamericanas y británicas, ha publicado un manifiesto en la revista Nature Human Behaviour donde denuncian la falta de rigor de muchos estudios, que dañan el prestigio de la ciencia, y proponen algunos remedios. Según los autores del texto, titulado A manifesto for reproducible science, esta falta de credibilidad se debe a una combinación de malas prácticas en varias fases de la investigación, unidas a algunos incentivos perjudiciales relacionados con los intereses de las revistas científicas. El resultado es que se publican muchos estudios con datos falsos, poco significativos, “mutilados” o imposibles de replicar. Esto supone que gran parte del esfuerzo investigador –tanto el humano como el económico– sea completamente ineficaz. Metodología rigurosa y planificada Algunos incentivos editoriales o profesionales favorecen la publicación de estudios positivos o espectacularesLos firmantes del texto analizan las malas prácticas en cinco fases o aspectos de la investigación. En primer lugar, se centran en la metodología. Para evitar diseños deficientes o viciados, proponen, en primer lugar, mejorar la formación de los científicos en este aspecto. Además, señalan la conveniencia de la colaboración entre varias instituciones o departamentos que puedan generar sinergias, compartir bases de datos y dotar al estudio de mayor poder estadístico. Por otro lado, recomiendan la generalización de los equipos metodológicos independientes (no vinculados a los centros implicados en la investigación). En segundo lugar, abordan los problemas relacionados con la notificación (antes de empezar) y la publicación de los estudios. En este campo, los autores sugieren dotar de más rigor al prerregistro: el procedimiento –frecuente en algunos campos científicos pero no en otros, por ejemplo, las ciencias sociales– por el que el equipo investigador declara, antes de analizar los datos, cuál o cuáles serán los campos estudiados, y qué tipo de análisis estadístico se empleará. Se trata de evitar la “flexibilidad” metodológica, frecuentemente relacionada con intereses editoriales o profesionales, que provoca que se favorezcan los hallazgos positivos o “espectaculares”, o también aquellos que confirman teorías ya asentadas. Si los científicos se han comprometido públicamente a respetar un plan, será más difícil que pretendan cambiarlo a medio camino. Por eso, los diez firmantes del manifiesto piden que la revisión por pares (peer review) se divida en dos fases, y la primera se dedique a evaluar el estudio antes de que empiece la fase experimental, para comprobar que ese plan es riguroso. Crisis de reproducibilidad El tercer apartado analizado es la reproducibilidad de los estudios. Los autores se centran en la falta de transparencia que afecta a un gran número de investigaciones. Los datos no son accesibles para el conjunto de la comunidad científica, lo que hace improbable que se puedan reproducir para validar sus hallazgos. Los firmantes recomiendan avanzar en una política de acceso abierto, y mencionan algunas iniciativas positivas en este campo: la decisión de Nature de publicar solo trabajos cuyos datos estén accesibles o el anuncio de la National Science Foundation norteamericana de dar prioridad a estos estudios en su política de financiación. Para dotar de más rigor a los estudios, conviene fortalecer el proceso de prerregistro y generalizar la creación de equipos metodológicos independientesEn cuanto a la evaluación de los estudios, los autores sugieren aprovechar la creciente tendencia a publicar los trabajos fuera de los cauces tradicionales (a través de plataformas en Internet, en vez de en las revistas) para diversificar el proceso de peer review. La práctica más común actualmente es que cada publicación cuente con un cuerpo de revisores relativamente pequeño, lo que hace que el proceso sea lento. Si se permite que otros científicos analicen el trabajo, aumentará la rapidez y la cantidad de puntos de vista. Además, si los que evalúan no son anónimos (como es habitual en las principales publicaciones), se juegan su prestigio. No obstante, los firmantes reconocen que esta “apertura” tiene sus inconvenientes. Incentivos perversos El último aspecto analizado en el manifiesto es la política de incentivos. Para evitar la mencionada tendencia de las revistas a favorecer los hallazgos positivos o espectaculares, los autores proponen premiar –quizá, mediante un sistema de puntos– los estudios que presenten un plan metodológico más riguroso o que permitan acceder a los datos analizados. Otro incentivo perverso, del que no habla el manifiesto pero que ha sido denunciado por parte de la comunidad científica, es la obsesión por publicar, a causa del valor que se le concede en procesos de selección o promoción. Según cuenta The Economist, esto puede estar detrás del marcado aumento de estudios con varios autores. Si en 1996 la media era de 3,2 autores por trabajo, en 2015 había pasado a 4,4. Si dos científicos llegan a un acuerdo para que cada uno firme en la investigación del otro, los dos mejoran sus currículum sin aumentar la carga de trabajo.

Un manifiesto para restaurar la credibilidad de la ciencia

Contenido para suscriptores

Apúntate a la newsletter

síguenos

Un manifiesto para restaurar la credibilidad de la ciencia

Contenido para suscriptores

Apúntate a la newsletter

síguenos

Contenido exclusivo para suscriptores de Aceprensa

Funcionalidad exclusiva para suscriptores de Aceprensa