Revisión por pares

Artículos sobre

Ciencia

En la comunidad académica, la revisión por pares (peer review), también denominada arbitraje o revisión de comunes, es un método usado para validar trabajos escritos y solicitudes de financiación con el fin de evaluar su calidad, originalidad, factibilidad, rigor científico, entre otras cosas, antes de su publicación en una revista científica. La revisión por pares trata de garantizar la integridad de los artículos académicos haciendo que expertos los lean y los aprueben o desaprueben.

Este método deja abierto el trabajo al escrutinio, y frecuentemente a la anotación o modificación, por científicos de rango semejante o superior al del autor. Generalmente se considera válida una publicación científica sólo cuando ha pasado por un proceso de arbitraje como el de admisión para publicación en una revista arbitrada.

Funcionamiento

El arbitraje somete un trabajo o idea propuestos por los autores al escrutinio de uno o más expertos en el tema. Estos árbitros responden con una evaluación del trabajo, que comúnmente incluye sugerencias acerca de cómo mejorarlo (aunque está prevista la posibilidad de aceptarlo tal como está), la cual se envía al editor u otro intermediario. Generalmente, la mayoría de los comentarios de los árbitros se remiten a los autores.

Las evaluaciones habitualmente incluyen una recomendación explícita referente a lo que debe hacerse con el manuscrito, la cual se escoge entre varias opciones propuestas por el editor, que generalmente representa una revista, una conferencia arbitrada, una agencia de financiamiento de programas de investigación o una editorial. Las opciones propuestas son generalmente las siguientes:

• aceptación incondicional del manuscrito o de la propuesta;
• aceptación sujeta a las mejoras propuestas por el árbitro;
• rechazo condicionado: se anima a los autores a revisar el documento y a someterlo a revisión nuevamente;
• rechazo incondicional.

Durante el proceso de revisión, la función de los árbitros es consultiva. Su opinión no es vinculante (obligación formal) para el editor. Más aún, en las publicaciones científicas, los árbitros no actúan como grupo; no se comunican entre ellos. Generalmente no tienen conocimiento de la identidad ni de los resultados de sus colegas. En general no es necesario lograr consenso. Por ello, la dinámica del grupo es bien diferente a la de un jurado. En ocasiones su opinión no es unánime. En esos casos se pueden aplicar diferentes opciones para tomar una decisión.

Ha existido una posibilidad adicional para quien desea publicar su artículo en alguna revista: mediante una tarifa por página, pero se advierte que éste fue el procedimiento y que el trabajo no es arbitrado.

Tradicionalmente, la función de los árbitros ha sido anónima, pero poco a poco se ha ido abandonando este secretismo. En algunas ramas científicas muchas de las revistas arbitradas ofrecen ahora al árbitro la opción de mantenerse anónimo o de revelar su identidad. Por ello algunos trabajos pueden incluir una sección de agradecimientos, donde a los árbitros se les nombra según su contribución a mejorar el artículo.

En una revista o en una empresa de edición de libros, generalmente la tarea de selección de árbitros recae sobre el editor o en el consejo editorial. Al llegar un nuevo manuscrito, el editor solicita a los árbitros, seleccionados entre académicos u otros expertos en el tema. Los árbitros no necesariamente han escogido participar de esa manera en el proceso de publicación de la revista o casa editorial.

Algunas veces se les selecciona por ser conocidos en la materia de la publicación, o por haber publicado trabajos relativos a esa disciplina, o por recomendación de otros árbitros. Como paso previo a la recepción de solicitudes, las agencias de financiamiento generalmente seleccionan sus árbitros mediante un comité de revisión.

Habitualmente se evita seleccionar árbitros entre los investigadores cercanos o relacionados con los autores. Se espera que éstos informen a los editores acerca de potenciales conflictos de intereses para realizar la evaluación. Algunos editores o publicaciones solicitan a los autores una lista de posibles árbitros, así como de personas que ellos consideren inapropiadas para arbitrar su trabajo.

Generalmente se les pide incluir justificaciones de su elección. La razón de esto es que puede ocurrir que el tema de un trabajo sea tan especializado que los editores no puedan por ellos mismos ubicar especialistas en el tema. La selección de los autores se toma como sugerencia. No compromete en modo alguno a los editores.

Procedimiento

El proceso que siguen las publicaciones científicas es casi siempre el mismo:

• Selección de dos o tres árbitros, quienes envían al editor su evaluación del artículo y sus sugerencias acerca de cómo mejorarlo.
• El editor reúne los comentarios y los envía al autor (algunas recomendaciones pueden estar marcadas como confidenciales para el autor).
• Con base en los comentarios de los árbitros, el editor decide si se publica el manuscrito.
• Cuando un artículo recibe al mismo tiempo evaluaciones tanto muy positivas como muy negativas, para romper un empate, el editor puede solicitar evaluaciones adicionales, obviamente a otros árbitros.

Otra manera de desempate consiste en que los editores soliciten a los autores que respondan a las críticas de los árbitros, a fin de refutar una mala evaluación. En esos casos el editor generalmente solicita al árbitro que comente la respuesta del autor. No se acostumbra que los diferentes árbitros entren en comunicación, ni se espera que necesariamente su veredicto sea de consenso.

Sin embargo, algunas publicaciones en medicina han adoptado recientemente un modelo de acceso libre: en Internet publican el historial de los artículos, que incluye:

• Texto originalmente enviado.
• Evaluación de los árbitros.
• Cambios sucesivos hasta la publicación definitiva del trabajo.

Luego de la revisión y de la resolución de empates ocurridos, el resultado del proceso de evaluación por pares puede ser la aceptación o el rechazo del manuscrito. En algunos casos se propone una tercera opción: solicitud a los autores para que finalmente revisen el documento según los requerimientos específicos de cambios recomendados por los árbitros.

Reclutamiento de árbitros

Debido a que generalmente los árbitros no reciben remuneración y a que toman tiempo de sus actividades principales, tales como sus propios trabajos de investigación, la selección y el reclutamiento de árbitros es un «arte político».

Una ventaja para convencer a los árbitros potenciales es que ellos mismos son también autores, o al menos lectores. Saben que el sistema de publicaciones requiere que los expertos donen parte de su tiempo. Los editores toman en cuenta que, por una parte, los autores que publican artículos en revistas arbitradas han demostrado su nivel, y por otra parte conocen la importancia del sistema de arbitraje. Por ello representan una fuente de árbitros potenciales.

Igualmente las agencias de financiamiento tienden a solicitar la participación como árbitros a investigadores a quienes ya se ha concedido tal suministro. Además, haber servido como árbitro es un elemento adicional en el Currículum vítae de un investigador o de un profesor.

Otro problema que surge para que un editor logre arbitrajes adecuados en algunos temas es poca disponibilidad de candidatos realmente calificados. En esos casos es difícil mantener el anonimato de los árbitros y se dificulta evitar conflictos de interés. También aumentan las posibilidades de que un editor no logre reclutar verdaderos expertos en esa materia: gente que haya realizado trabajos del nivel y del tema del evaluado, y que pueda «leer entre líneas». En general las publicaciones de menor prestigio y las agencias que otorgan menores medios de financiamiento afrontan mayores dificultades para atraer a verdaderos expertos como árbitros.

Otra dificultad es el anonimato de los árbitros. En los medios científicos es importante dar crédito a los trabajos realizados. Si bien se considera honorífico servir de árbitro para una publicación prestigiosa, no es posible acreditarse el arbitraje de una publicación en particular. Afortunadamente el medio más importante para obtener buena reputación en los medios científicos es la publicación de trabajos.

Diferentes estilos de arbitraje

Aún cuando el arbitraje puede ser muy riguroso en términos cualitativos de un trabajo, al final la decisión de publicarlo o de financiarlo recae en el editor, y está sometida a algunas restricciones. Por ejemplo, si el espacio para publicar los artículos es limitado (como los de conferencias científicas) o si hay muchas solicitudes de financiamiento, puede ocurrir la no aceptación de trabajos con la calidad necesaria o negación de financiamiento a proyectos bien sustentados.

Inversamente, puede suceder que una publicación no haya recibido suficientes trabajos claramente publicables y decida aceptar mayor cantidad de artículos calificados «con aceptación condicionada».

En publicaciones como Science y Nature se dispone de un sistema de arbitraje muy restrictivo. A veces, cuando evalúan que un artículo no representa avance significativo en su ramo, ocurre que lo rechazan, aunque sea de buena calidad científica. Otras publicaciones, como el Astrophysical Journal y la Physical Review, utilizan el arbitraje para eliminar trabajos con errores obvios o sin sentido.

La tasa de artículos aceptados denota este tipo de criterios. Por ejemplo, de los artículos sometidos a evaluación, en Nature se acepta sólo el 5%, y en Astrophysical Journal se publica cerca del 70%. Las diferentes tasas de aceptación también se notan en la cantidad de páginas de las publicaciones.

Con el fin de preservar la integridad del proceso de arbitraje, en algunas publicaciones los árbitros no conocen la identidad de los autores. De este modo se espera que en la decisión no influyan prejuicios por el prestigio autoral. Mediante esta modalidad de arbitraje, la versión enviada a revisión no debe contener referencias que revelen a los árbitros la identidad de los autores.

La razón por la cual no todas las publicaciones utilizan este estilo de arbitraje es que existen muchos indicios que de todos modos pueden revelar la identidad de los autores, tales como:

• Uso de una notación particular.
• Estilo de escritura.
• Aplicación de métodos particulares.
• Toponimia, etcétera.

Críticas al proceso de arbitraje

Una de las críticas graves al proceso de arbitraje se refiere a su lentitud. Por lo general entre la recepción del artículo y su publicación transcurren varios meses; en los relativos a algunas ciencias, varios años, por lo cual es posible que hayan perdido vigencia.

En la práctica, buena parte de la comunicación de nuevos resultados en ramas como la astronomía ya no se realiza mediante artículos sometidos a arbitraje, sino por prepublicaciones enviadas a servidores electrónicos tales como ArXiv. Otro error grave de tal procedimiento de revisión fue la explicación contradictoria y pseudocientífica de Eliyahu Rips acerca de la existencia de códigos criptográficos en la Biblia.

Adicionalmente algunos estudios en Sociología de la Ciencia y la Tecnología argumentan que el arbitraje puede ejercer control en lo que se publica a las élites, y estar influida por intereses personales. Los árbitros tienden a ser especialmente críticos con las conclusiones cuando éstas contradicen sus propios puntos de vista, y más condescendientes con las que están en correspondencia con sus propias ideas.

Además la probabilidad de selección de los científicos más conocidos como árbitros es mayor, particularmente en las revistas más prestigiosas. Ello puede resultar en establecimiento de una especie de línea editorial que podría considerarse no neutral. Una consecuencia adversa de este método selectivo es que, según las observaciones de Thomas Kuhn acerca de las revoluciones científicas, se tiende a no publicar los artículos más revolucionarios en algunas «áreas», en grandes revistas, sino en otras más receptivas de ideas y trabajos innovadores.

Sin embargo, otros opinan que la cantidad de publicaciones científicas es suficientemente amplia de modo que se dificulta que una élite pueda controlar lo que se publica en cualquier área del conocimiento. Además, el proceso de toma de decisión fundamentado en el arbitraje, en el que cada árbitro da su opinión sin conocer a los restantes, ayuda a evitar estos problemas.

Historia del arbitraje

El arbitraje es parte integral del proceso de publicación de trabajos científicos sólo desde mediados del siglo XX. Anteriormente su aplicación era opcional. Por ejemplo, no se arbitraron los revolucionarios artículos de Albert Einstein Annus Mirabilis, en el número de 1905 de Annalen der Physik. Max Planck, jefe del consejo editorial de la publicación (y padre de la teoría cuántica), reconoció la importancia de los «manuscritos» recibidos y sencillamente los mandó a publicar.

Él o su coeditor Wilhelm Wien —ambos ciertamente «pares»— tomaron directamente la decisión de publicarlos. Posteriormente obtuvieron el Premio Nobel de Física: Wien, en 1911; Planck, en 1918. Sin embargo, este proceso abreviado no corresponde con el método de arbitraje actualmente en vigencia. En aquella época existían criterios más favorables hacia autores que ya habían publicado trabajos.

Artículos famosos no arbitrados

Dado que la adopción del arbitraje es reciente, muchos de los trabajos científicos trascendentes no pasaron por el proceso de arbitraje. Asimismo existen trabajos posteriores muy importantes, que no pasaron por este proceso. Entre ellos destaca el siguiente:

Artículo de James D. Watson y Francis Crick, de 1951, acerca de la estructura del ADN, publicado en Nature. John Maddox afirmó: «el artículo de Watson y Crick no fue arbitrado en Nature [...] el artículo no tenía que ser arbitrado: su corrección era autoevidente. Ningún árbitro que trabajara en esa área podría mantener la confidencialidad una vez que viera la estructura» (Nature 426:119 (2003). Los editores aceptaron el artículo al recibir una carta de presentación del influyente físico William Lawrence Bragg, en la cual se sugería publicarlo.

Arbitraje y fraude

Con investigadores cada vez más desesperados por reconocimiento, citas y promoción profesional, todo el sistema de revisión por pares ha sido objeto de escrutinio en los últimos años por una serie de fallas e irregularidades, que van desde la revisión displicente, al compadrazgo hasta el fraude descarado.

En el proceso de arbitraje de las publicaciones científicas se supone honestidad de quien escribió el artículo en revisión, de manera que no está diseñado para detectar fraudes. Por lo general, los árbitros no disponen de acceso completo a los datos a partir de los cuales se obtuvieron los resultados del trabajo. Salvo quizás en temas como las matemáticas, esto predispone a aceptar como ciertos algunos resultados.

No se conoce la cantidad ni la proporción de artículos fraudulentos que logran publicación. En algunos casos los timos se han descubierto sólo cuando otros grupos de investigadores, mediante procedimientos iguales, no han logrado reproducir los resultados de trabajos publicados.

Un ejemplo de esto es el caso de Jan Hendrik Schön. Se cumplió el proceso de arbitraje en las prestigiosas revistas Nature y Science, tras lo cual se aceptaron quince artículos para publicación. Todos resultaron fraudulentos. Luego se les retiró. Se descubrió el engaño después de su publicación, cuando otros grupos de investigadores no obtuvieron los resultados descritos en los artículos.

Un ejemplo de lo que puede ocurrir cuando una revista carece de un proceso de arbitraje adecuado es el caso de la publicación del profesor de física Alan Sokal, de la Universidad de Nueva York, en la revista Social Text, titulada Transgressing the Boundaries: Toward a Hermeneutics of Quantum Gravity. El resultado fue que el artículo consistía en una broma, ahora conocida como Escándalo Sokal.

En 2014, en uno de los escándalos más publicitados, el Journal of Vibration and Control, en el campo de la acústica, retiró 60 artículos a la vez, debido a lo que calificó como un "anillo de revisión por pares y citas" en el que las revisiones, sobre todo de eruditos en Taiwán, fueron presentadas por personas que utilizaron nombres falsos.

BioMed Central retiró 43 artículos por falsas revisiones por pares tras una investigación sobre 50 trabajos que levantaron sospechas de falsificación de evaluación paritarias y la posible participación de empresas de terceros que venden el servicio. En noviembre de 2014 hubo revisiones por pares falsas en Nature; en ese momento hubo unas 110 retracciones en varias revistas. La adición de 16 retracciones por Elsevier, por la misma razón, y últimamente 43 de BioMed Central.

Referencias y ligas externas

(Nota de la administración) Algunas ligas podrían estar rotas o algunos videos pueden haber sido eliminados.