Lo que se sabe sobre la reproducibilidad en la ciencia

Si alguna vez intentaste repetir un experimento publicado y no obtuviste lo mismo, no estás en minoría. En 2016, Nature publicó los resultados de un cuestionario en línea respondido por 1.576 investigadores, y más del 70 % había intentado reproducir un experimento ajeno sin lograrlo. Más de la mitad había fallado al reproducir uno propio.

La cifra se cita a menudo. Se menciona menos cómo se obtuvo, y nos parece que eso importa.

La discusión sobre reproducibilidad descansa en dos tipos de evidencia distintos. Uno es lo que los investigadores declaran haber vivido. El otro es lo que ocurre cuando un equipo repite estudios publicados con un protocolo definido de antemano.

Lo que declaran los investigadores

El cuestionario de Nature se envió por correo a lectores de la revista y se difundió en sitios y redes asociados como una encuesta sobre reproducibilidad. La propia autora advierte que ese método probablemente atrajo a personas más sensibles al tema. Con esa salvedad, el 52 % respondió que existe una crisis significativa, el 38 % que existe una crisis leve, el 3 % que no hay crisis y el 7 % que no sabía.

Al mismo tiempo, menos del 31 % pensaba que no reproducir un resultado publicado indica que probablemente es erróneo. Como causas, más del 60 % señaló que la presión por publicar y el reporte selectivo contribuyen siempre o a menudo. Es decir, la mayoría ve un problema, pero pocos leen un fallo de replicación como prueba de error.

Un estudio de Cobey y colegas repitió la pregunta en 2024 con un diseño de muestreo más controlado y acotado a biomedicina. Seleccionaron al azar 400 revistas indexadas en MEDLINE e invitaron a los autores de los artículos publicados en ellas entre octubre de 2020 y octubre de 2021. Obtuvieron 1.630 respuestas utilizables, una tasa de respuesta del 7 % sobre 23.234 invitaciones.

El 72 % estuvo de acuerdo en que hay una crisis de reproducibilidad en biomedicina, aunque solo el 27 % la calificó de significativa. La presión por publicar volvió a encabezar las causas percibidas, y el 83 % consideró más difícil conseguir financiamiento para replicar un estudio que para uno nuevo.

Lo que muestran los proyectos de replicación

En psicología, el estudio de referencia es el de la Open Science Collaboration, publicado en 2015. Replicó 100 estudios experimentales y correlacionales publicados en tres revistas de la disciplina, con diseños de alto poder estadístico y los materiales originales cuando estaban disponibles. El 97 % de los estudios originales tenía resultados estadísticamente significativos; entre las replicaciones, el 36 %. Los efectos replicados tuvieron en promedio la mitad de la magnitud de los originales.

El resultado cambia según el criterio que se use. El 47 % de los tamaños de efecto originales quedó dentro del intervalo de confianza del 95 % de la replicación, y el 39 % de los efectos fue juzgado como replicado por los equipos.

En economía experimental, Camerer y colegas replicaron 18 experimentos de laboratorio publicados en el American Economic Review y el Quarterly Journal of Economics entre 2011 y 2014. Los planes de análisis se publicaron antes de replicar y cada replicación tenía un poder de al menos 90 % para detectar el efecto original. Once estudios (61 %) mostraron un efecto significativo en la misma dirección, con un tamaño promedio equivalente al 66 % del original.

Dos años después, el mismo grupo replicó 21 experimentos de ciencias sociales publicados en Nature y Science entre 2010 y 2015, con muestras en promedio unas cinco veces mayores que las originales. Trece (62 %) se replicaron, y el efecto medio fue cerca de la mitad del original.

Many Labs 2, publicado en 2018 por Klein y colegas, abordó otra pregunta, si la replicabilidad depende del lugar y la muestra. Replicó 28 hallazgos de psicología con protocolos revisados por pares antes de la recolección, aplicados en 125 muestras de 36 países y territorios, con 15.305 participantes en total.

Con el criterio convencional de p < 0,05 se replicaron 15 hallazgos (54 %); con un criterio estricto de p < 0,0001, 14 (50 %). La mediana del tamaño de efecto bajó de d = 0,60 en los originales a d = 0,15 en las replicaciones. La variación observada se explicó más por el efecto estudiado que por la muestra o el contexto, un dato que conviene tener presente antes de atribuir un fallo de replicación a diferencias entre laboratorios.

Como estas replicaciones son caras, otros trabajos estiman la replicabilidad a partir de rasgos de los artículos. Youyou y colegas aplicaron un modelo basado en texto a 14.126 artículos publicados durante 20 años en seis revistas principales de psicología. El puntaje medio estimado fue 0,42, más bajo en los estudios experimentales (0,39) que en los no experimentales (0,50), y la atención mediática se asoció con una mayor probabilidad de fallar.

Nosotros leemos esas cifras como estimaciones de un modelo entrenado con replicaciones manuales, que todavía requieren comprobación directa.

El costo en investigación preclínica

Para Estados Unidos, Freedman y colegas estimaron, a partir de datos de 2012, un gasto anual de 114.800 millones de dólares en investigación en ciencias de la vida, de los cuales 56.400 millones corresponden a investigación preclínica. Con un método de cotas de probabilidad, situaron la tasa acumulada de irreproducibilidad preclínica entre 18 % y 88,5 %, y adoptaron 50 % como valor de trabajo.

De ahí sale la cifra de cerca de 28.000 millones de dólares al año gastados en investigación preclínica que no se puede reproducir. Conviene tomarla con cuidado, y los propios autores lo advierten. Aclaran que el costo real podría ser bastante menor o mayor, y que esa inversión no carece necesariamente de retorno.

El artículo agrega un dato que suele citarse fuera de contexto. Antes de iniciar estudios clínicos, la industria farmacéutica replica internamente los hallazgos académicos con potencial clínico, y cada una de esas replicaciones toma entre 3 y 24 meses y entre 500.000 y 2.000.000 de dólares. Esa cifra corresponde al costo de verificar un estudio prometedor antes de invertir en él. No se refiere a replicaciones fallidas.

Replicación en las humanidades

Si trabajas en humanidades, quizá todo lo anterior te parezca lejano. Para estas disciplinas no existen cifras comparables, y la discusión es sobre todo conceptual.

Peels examina tres objeciones a la idea de replicar en ellas. La primera es que sus objetos de estudio suelen ser únicos, la segunda que métodos como la hermenéutica no se prestan a la repetición, y la tercera que sus objetos tienen un carácter normativo. Sostiene que ninguna es concluyente.

Su ejemplo es la Revolución Francesa, que fue única pero dejó tantos registros que es posible repetir un método sobre ellos. Peels concluye que replicar en humanidades es posible y deseable.

Hasta dónde llega esta evidencia

Las tasas anteriores no forman una serie. Cada proyecto eligió sus estudios con criterios propios, en revistas y períodos distintos, de modo que una diferencia entre 36 % y 62 % no dice que una disciplina sea más confiable que otra. Es una comparación tentadora, y por eso preferimos decirlo de forma explícita.

Tampoco existe una única definición de replicar. Dentro del mismo proyecto de la Open Science Collaboration, la tasa va de 36 % a 47 % según el criterio. Las encuestas, por su parte, miden experiencia y percepción, y arrastran sesgos de autoselección o tasas de respuesta bajas.

Qué están exigiendo los financiadores

Varias agencias convirtieron la apertura de datos en condición de financiamiento. Desde el 25 de enero de 2023, la política de gestión y difusión de datos de los National Institutes of Health exige presentar un plan y cumplirlo. Los datos que respaldan una publicación deben compartirse a más tardar al publicarla.

Wellcome exige que los datos en que se basan las publicaciones queden disponibles al momento de publicar, junto con el software original necesario para replicar los análisis.

En Chile, la política de acceso abierto de ANID, aprobada en 2022, obliga a quienes reciben financiamiento a depositar su producción científica en el repositorio de la agencia. También les exige presentar un plan de gestión de datos de investigación para los convenios firmados desde su entrada en vigencia.

Estas exigencias coinciden con prácticas que ya usaron los proyectos que revisamos.

1. 1

   Preregistra

   Registra hipótesis y plan de análisis antes de recolectar datos, como hicieron Camerer y colegas y Many Labs 2.

2. 2

   Publica los datos con identificador persistente

   Un repositorio que asigna DOI permite citar los datos y recuperarlos tal como se analizaron.

3. 3

   Publica el código del análisis

   El código versionado junto a los datos permite regenerar tablas y figuras.

4. 4

   Documenta materiales y protocolos

   La Open Science Collaboration usó los materiales originales cuando estaban disponibles.

Aquí la infraestructura digital cumple una función precisa, y es la parte del problema en la que trabajamos. Un repositorio con datos y código verificables, o un explorador que permite revisar un análisis sobre la base original, reduce el costo de comprobar un resultado. Eso no asegura que el resultado se replique, aunque sí vuelve posible averiguarlo.

Las encuestas muestran que una mayoría de investigadores reconoce problemas de reproducibilidad y apunta a la presión por publicar. Los proyectos de replicación en psicología y ciencias sociales encuentran tasas de entre 36 % y 62 % según el conjunto de estudios y el criterio, con efectos que suelen reducirse a la mitad. Ninguna de esas cifras sirve como tasa general para la ciencia. Lo que sí está bien documentado es que verificar cuesta menos cuando los datos, el código y los protocolos están disponibles desde el principio.

Referencias

1. Agencia Nacional de Investigación y Desarrollo. (2022). Política de acceso abierto a la información científica y a datos de investigación financiados con fondos públicos de la ANID. https://s3.amazonaws.com/documentos.anid.cl/estudios/Politica_acceso_a_informacion_cientifica_2022.pdf
2. Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature, 533(7604), 452–454. https://doi.org/10.1038/533452a
3. Camerer, C. F., Dreber, A., Forsell, E., Ho, T. H., Huber, J., Johannesson, M., Kirchler, M., Almenberg, J., Altmejd, A., Chan, T., Heikensten, E., Holzmeister, F., Imai, T., Isaksson, S., Nave, G., Pfeiffer, T., Razen, M., & Wu, H. (2016). Evaluating replicability of laboratory experiments in economics. Science, 351(6280), 1433–1436. https://doi.org/10.1126/science.aaf0918
4. Camerer, C. F., Dreber, A., Holzmeister, F., Ho, T. H., Huber, J., Johannesson, M., Kirchler, M., Nave, G., Nosek, B. A., Pfeiffer, T., Altmejd, A., Buttrick, N., Chan, T., Chen, Y., Forsell, E., Gampa, A., Heikensten, E., Hummer, L., Imai, T., . . . Wu, H. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2(9), 637–644. https://doi.org/10.1038/s41562-018-0399-z
5. Cobey, K. D., Ebrahimzadeh, S., Page, M. J., Thibault, R. T., Nguyen, P. Y., Abu-Dalfa, F., & Moher, D. (2024). Biomedical researchers' perspectives on the reproducibility of research. PLOS Biology, 22(11), e3002870. https://doi.org/10.1371/journal.pbio.3002870
6. Freedman, L. P., Cockburn, I. M., & Simcoe, T. S. (2015). The economics of reproducibility in preclinical research. PLOS Biology, 13(6), e1002165. https://doi.org/10.1371/journal.pbio.1002165
7. Klein, R. A., Vianello, M., Hasselman, F., Adams, B. G., Adams, R. B., Alper, S., Aveyard, M., Axt, J. R., Babalola, M. T., Bahník, Š., Batra, R., Berkics, M., Bernstein, M. J., Berry, D. R., Bialobrzeska, O., Binan, E. D., Bocian, K., Brandt, M. J., Busching, R., . . . Nosek, B. A. (2018). Many Labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science, 1(4), 443–490. https://doi.org/10.1177/2515245918810225
8. National Institutes of Health. (2020). Final NIH policy for data management and sharing (NOT-OD-21-013). https://grants.nih.gov/grants/guide/notice-files/NOT-OD-21-013.html
9. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
10. Peels, R. (2019). Replicability and replication in the humanities. Research Integrity and Peer Review, 4, Artículo 2. https://doi.org/10.1186/s41073-018-0060-4
11. Wellcome. (2026). Data, software and materials management and sharing policy. https://wellcome.org/research-funding/guidance/policies-grant-conditions/data-software-materials-management-and-sharing-policy
12. Youyou, W., Yang, Y., & Uzzi, B. (2023). A discipline-wide investigation of the replicability of psychology papers over the past two decades. Proceedings of the National Academy of Sciences, 120(6), e2208863120. https://doi.org/10.1073/pnas.2208863120