Antes de las recientes noticias acerca de fraudes en varias publicaciones científicas, un grupo de investigadores ha llevado a cabo un «experimento» consistente en publicar estudios fraudulentos (fake studies) en prestigiosas revistas científicas. Con ello tratan de poner en entredicho el clásico sistema de «revisión por pares» (peer review).
Los resultados del «experimento» no invalidan el procedimiento de «revisión por pares», que continúa ofreciendo garantías, pero pone en evidencia debilidades, que muchas veces se han obviado.
El primer problema es la sobrecarga de trabajo. Según algunas estimaciones, en todo el mundo se revisan, y publican, alrededor de dos millones y medio de trabajos; el número de los revisados y rechazados para su publicación es muy superior.
El segundo problema tiene que ver con la adecuación de los revisores. Si bien se les supone expertos en las áreas científicas en que se encuadran los trabajos que revisan, muchas veces no se han formado para llevar a cabo esta tarea. Además, su trabajo es altruista, y es difícil exigir excelencia en tareas no remuneradas.
El tercer inconveniente es la inconsistencia. Un artículo publicado en el año 2010 describe un estudio en el que dos investigadores seleccionaron 12 artículos que habían sido aceptados para su publicación en revistas de «alto impacto». Cambiaron la filiación y méritos académicos de los autores por otros falsos, reenviando los trabajos a la misma revista que ya los había aceptado con anterioridad. El «error» (en este caso fraude) solo fue observado en el 8% de los casos. De los 9 artículos que continuaron su evaluación (peer review), 8 fueron rechazados (89%), cuando en una revisión previa habían sido aceptados.
El cuarto problema de la «revisión por pares» es el efecto coercitivo sobre la innovación. Suele ser preciso un acuerdo con el revisor para la aceptación de un documento. Esta situación es especialmente molesta cuando el contenido del trabajo contraviene las teorías aceptadas en un momento dado. El ámbito científico es, en no pocas ocasiones, excesivamente conservador. En el año 2015, un estudio publicado en P.N.A.S. examinó más de 1.000 publicaciones enviadas a tres revistas médicas de prestigio. De los 808 artículos que se publicaron muchos referían en la bibliografía artículos que habían sido rechazados.
Quinto problema. Tal vez sea uno de los más importantes. El criterio de los revisores está sesgado en función de los nombres de los autores, su procedencia académica y ¡el sexo! En un estudio publicado en eLife en 2017 los investigadores crearon una base de datos compuesta por más de 9.000 editores, alrededor de 43.000 revisores, unos 126.000 autores de aproximadamente 41.000 artículos publicados en 142 revistas de diversas áreas del conocimiento. Las mujeres representaban solo el 26% de los editores, el 28% de los revisores, y el 37% de los autores.
Ciñéndonos a un determinado ámbito científico (Ciencias de la tierra y el espacio), las mujeres solo estaban representadas en una cuarta parte de los revisores, y una quinta parte de los autores, si bien el grado de aceptación de sus trabajos era mayor en relación a sus colegas masculinos.
Por ejemplo, en la revista Nature, en el año 2011 de los 5,500 revisores que trabajaron para la revista, las mujeres solo representaron el 14%.; el 18% de los 34 investigadores, y solo eran primeras firmantes del 19% de los artículos publicados (sección Comment and World View). Es posible que por razones sociológicas muchas mujeres rechacen ser revisoras. Sin embargo, diversos análisis de situación han documentado que muchos editores masculinos tienden a favorecer a revisores del mismo sexo. Este año, 2018, Nature aumentó la participación de mujeres en la sección Comment and World View hasta el 34%, mientras que los revisores femeninos solo incrementaron hasta el 16%.
No obstante, existen también argumentos a favor de la «revisión por pares».
En el año 1994 se publicó un estudio en Annals of Internal Medicine, con anterioridad y posterioridad a la instauración generalizada del método de «revisión por pares». Los autores utilizaron una herramienta de evaluación que mostró que de los 34 trabajos valorados, la «revisión por pares» mejoró la calidad de valoración en todos, excepto 1 trabajo. Las mejoras se centraron en los siguientes aspectos: discusión de las limitaciones del estudio, generalizaciones, uso de intervalos de confianza, y redacción de las conclusiones. Todos estos aspectos se mejoraron cuando se introdujo la sistemática de la trabajo de «revisión por pares».
Como se ha mencionado antes, el trabajo de revisor debe ir asociado al reconocimiento, bien económico o curricular. No obstante hay quien considera que este procedimiento podría desvirtuar la objetividad del trabajo evaluador. Quienes suscribimos el artículo no tenemos una posición definida.
Buscando elevar los estándares éticos, algunas revistas han comenzado a realizar revisiones «ciegas», a la manera de algunos concursos literarios. Sin embargo, en muchas ocasiones no es posible porque el texto contiene información suficiente para conocer la adscripción de los autores.
Otra manera de detectar problemas con la calidad de la investigación es permitir la publicación online antes de edición impresa. Este sistema está muy poco implantado en el ámbito biomédico, a diferencia de otras ciencias como la física. Además, muchas revistas científicas tendrían serios problemas económicos para mantener su publicación en formato papel.
Una mejora de los procesos, anteriores y posteriores, asociados con la publicación exige un cambio de paradigma. Se acepta que un artículo sometido a «revisión por pares», y aceptado, es verdad en todo su contenido. Con independencia de que sea así a la luz de los conocimientos actuales, puede no serlo en el futuro. Debemos tener siempre presente esa posibilidad. Cada nuevo descubrimiento o hallazgo científico puede consolidar el conocimiento previo, o bien cuestionarlo.
La «revisión por pares», a pesar de las limitaciones mencionadas al comienzo del artículo, continúa siendo la mejor manera de evaluar la calidad de las publicaciones científicas. No obstante, debiera considerarse como una etapa del progreso científico, no como un sello incuestionable de veracidad y calidad.
Zaragoza, a 6 de noviembre de 2018
Dr. José Manuel López Tricas
Farmacéutico especialista Farmacia Hospitalaria
Farmacia Las Fuentes
Florentino Ballesteros, 11-13
50002 Zaragoza