En un trabajo que honra a sus autores, quienes han dado una lección de autocrítica, se investigó la diferencia entre el hecho de conocer o no conocer el origen de los trabajos presentados en las sesiones científicas anuales de la American Heart Association. El objetivo del estudio fue el de evaluar el grado de ecuanimidad de los revisores, aprovechando la circunstancia de que en esa institución los abstracts para su aceptación en el congreso eran analizados en forma abierta hasta el año 2001 (es decir, teniendo a la vista los apellidos de los autores y su origen) y en forma cerrada (ciega) a partir de 2002. Divididos en dos grupos, uno formado por los abstracts presentados en los años 2000 y 2001 (evaluación abierta) y otro con los correspondientes a los años 2002 a 2004 (evaluación a ciegas), los autores tuvieron en cuenta para el análisis comparativo el país de origen de cada trabajo, el idioma, el prestigio de la institución en la que se realizó el estudio, el sexo del autor y la relación del trabajo con algún organismo gubernamental.

Los resultados indican que cada año se enviaron en promedio 13.400 trabajos, de los cuales se aceptaron el 28,5%. En la primera etapa, de evaluación abierta, la aceptación de los trabajos de origen estadounidense superó el 40% (exactamente 40,8%) en tanto que la aceptación de los trabajos de otro origen alcanzó el 22,6%. En el grupo de evaluación ciega, al desconocer el país de origen de los trabajos y los apellidos de los autores, los revisores aceptaron el 33,4% de los trabajos nativos frente al 23,7% de los de origen extranjero. Entre los abstracts no estadounidenses se consideró también el idioma original; en la etapa de evaluación abierta, en este caso, los revisores aceptaron el 31,1% de los trabajos de países de habla inglesa, frente al 20,9% de los trabajos escritos originalmente en idiomas diferentes del inglés, pero al llegar a la etapa de la evaluación ciega los porcentajes pasaron respectivamente a 28,8% y 22,8%.

La pertenencia a instituciones académicas calificadas como “muy prestigiosas” generó una aceptación de trabajos del 51,3%, comparadas con el 32,6% de las calificadas como “no prestigiosas” en el grupo de evaluación abierta, pero al analizarse los resultados respectivos en la etapa de evaluación a ciegas estos porcentajes cambiaron al 38,8% y 29,0%, con una notable y abrupta caída en el primer caso. Además, un análisis entre los trabajos de Estados Unidos considerando su origen institucional reveló que existían preferencias por los abstracts de agencias gubernamentales, que eran aceptadas en el 65,2% de los casos, frente al 41,0% de aceptación de los trabajos que no eran de ese origen; al ponerse en práctica la evaluación ciega estos valores se convirtieron respectivamente en 45,5% y 33,5%, con una significativa atenuación de esa diferencia; también se comprobó cierto rechazo a los trabajos que provenían de empresas privadas. Finalmente, en el único dato negativo de los resultados, no se hallaron diferencias significativas al analizar el sexo de los autores, observándose igualdad de aceptación para hombres y mujeres tanto en la etapa de evaluación abierta como en la evaluación a ciegas.

Los resultados, como se señala claramente en las conclusiones, indican que existe un sesgo favorable a los autores estadounidenses, a los trabajos extranjeros cuando son de países de habla inglesa y a los provenientes de instituciones consideradas prestigiosas, además de una preferencia por los trabajos presentados por instituciones gubernamentales. La evaluación ciega de los resúmenes parece reducir este sesgo, pero no eliminó totalmente las diferencias de aceptación. En los comentarios se señala que esto puede basarse en diferencias comprobables (por ejemplo, se asume que en las instituciones de mayor prestigio usualmente se realizan trabajos de mejor calidad), pero no se excluye totalmente la persistencia de algún grado de sesgo porque en ciertos casos puede deducirse el origen de los trabajos por el contenido del abstract. No obstante, la adopción de métodos ciegos de evaluación es recomendable, según los autores, porque es una intervención de bajo costo, fácil de poner en práctica y que produce evidentes beneficios.

De modo que si usted, estimado médico hispanohablante, está por enviar un abstract a un congreso en Estados Unidos (que no sea la AHA), y tiene la fortuna de que dentro de su equipo un participante se llama McAllister o Johnstone, cédale el primer lugar. Por las dudas.

       Effect of Blinded Peer Review on Abstract Acceptance
       Ross JS, Gross CP, Desai MM et al.
       JAMA. 2006;295:1675-1680
       [Acceso al artículo completo]