¿Por qué no se publican los resultados negativos en ciencia?

Preguntaba @InerciaCreativa en Twitter lo siguiente:

A lo que yo replicaba:

El detalle es fundamental y, si se desea comprender por qué los resultados negativos no se publican, necesario. No es que sea secreto: no es que yo me guarde los resultados negativos para mí; es que, si los envío a una publicación, se rechazan.

Antes de comenzar, para los no familiarizados con esto, cabe preguntarse qué son los resultados negativos y si son importantes. Un resultado negativo sería, por ejemplo, que «tal vacuna que utiliza tal vector y preparada de tal forma no funciona»; o «la técnica x para confinar protones en un acelerador no funciona». ¿Son importantes? Sin duda. Algunos argumentan que tanto como los resultados positivos (i.e., una vacuna que funciona), pero yo no estoy de acuerdo por la sencilla razón de que hay millones de maneras de hacer las cosas mal y, en el mejor de los casos, unas pocas de hacerlas bien. Ahora bien, un equipo científico puede llegar a un resultado negativo siguiendo una vía en principio muy lógica y prometedora y que, por tanto, a otro equipo en otro lugar del mundo se le puede ocurrir explorar en algún momento. Dado que hacer ciencia es caro, la publicación de resultados negativos tiene el potencial de ahorrar muchísimo dinero.

Entonces, ¿por qué no se publican? La versión corta es porque el sistema de valoración de la actividad científica lo desincentiva, al igual que desincentiva otras cosas deseables en las que no voy a entrar en este artículo. Pero para entender el porqué, hay que entender primero cómo funciona este sistema que hemos erigido, uno de los demonios de la ciencia moderna.

El currículo de un científico —al contrario del de cualquier otro profesional, que cuanto más sintético, mejor—, dicho burdamente, se valora al peso: si tiene treinta páginas, mejor que veinte. Dentro de ese peso, destaca el número de publicaciones en revistas científicas importantes. Para decidir qué revistas son importantes, por consenso se toma la clasificación que todos los años elabora la empresa Thomson Reuters. Las revistas reciben un puesto en función de una métrica llamada factor de impacto, y dicha métrica depende fundamentalmente del número de citas que reciben sus artículos.

Por tanto, los científicos quieren aparecer en las revistas importantes y las revistas quieren ser importantes para que los científicos quieran publicar en ellas. Así las cosas, las revistas buscan —y los científicos preparan— artículos de impacto, artículos citables. Y un resultado negativo es muy informativo, pero no es citable. Un artículo podrá decir «hemos utilizado [esta técnica] para producir tal material», pero nunca dirá «no hemos utilizado [esta técnica] ni [esta] ni [esta] ni [esta], porque se reportó que no funcionaban». No tiene sentido.

Desde luego, yo no tengo la solución a este problema, pero la herramienta es clara: de media, lo que se incentiva sucede y lo que se desincentiva, no. En esta y en todas las actividades humanas.

23 comentarios sobre “¿Por qué no se publican los resultados negativos en ciencia?

  1. No me convence: habría que explicar por qué un resultado negativo es (sustancialmente) menos citable que uno positivo. Al fin y al cabo, como bien has dicho, es una información relevante para otros científicos, y estos otros la podrían citar para justificar por que no han tomado cierta vía de investigación, p.ej.

  2. Es lo que digo. Es informativo durante el proceso (i.e.: no sigas tal vía porque no da resultados). Pero una vez que has realizado la investigación, obtienes resultados y los publicas, es tontería andar citando todas las vías que no has explorado porque otros lo hicieron y erraron. La que da resultados es esta y aquí están. Punto.

  3. Sigo sin ver un argumento general por el que un resultado negativo no merezca la pena ser citado. En matemáticas, p.ej., son importantísimos los teoremas de inexistencia. Tiene que haber alguna razón más profunda y menos obvia, me temo.

  4. Quizás es porque te vas a las matemáticas siempre. No me sirve el ejemplo: siempre son malos ejemplos para hablar de ciencia. Primero, porque las matemáticas no son una ciencia; segundo y no menos importante, porque no hay resultados negativos en matemáticas. Un teorema de inexistencia no es un resultado negativo: es una demostración, toda demostración es un resultado positivo.

  5. Los humanos tenemos un sesgo a buscar resultados positivos, en general una revista que publique “ejercicios que no funcionan para hacer abdominales” o “técnicas que no funcionan para ligar” venderá menos que la revista que te asegure que tendrás abdominales y ligarás. Este sesgo también alcanza a la ciencia, por eso los resultados negativos son menos interesantes para publicar a pesar de su evidente valor para los investigadores.

  6. Yo no lo llamaría sesgo. Sesgo implica distorsión, juicio erróneo… pero aquí no lo hay: un resultado positivo objetivamente es más informativo, reduce más la entropía (de la información) que un resultado negativo. Esto es así. Otra cosa es que la publicación de determinados resultados negativos (tampoco todos) sea interesante y útil para ahorrar esfuerzos, tiempo y dinero.

  7. Aceptamos que un journal tiende a querer artículos citables… pero eso no quiere decir que los investigadores estemos obligados a escribir artículos citables. Nosotros podríamos escribir artículos citables para journals, y artículos no citables (con resultados negativos) y dejarlos en repositorios tipo ArXiv. Pero eso requiere trabajo por nuestra parte, tiempo y … ese tiempo no lo estaremos empleando en publicaciones citables ni en investigar.. y seguramente, lo acabaremos haciendo en casa o no haciéndolo.

    Generalmente, gana la segunda opción.

  8. A ver. El hecho de que se publiquen únicamente resultados positivos es simple y llanamente economía del lenguaje y la información. Por poner un ejemplo tonto, es mucho más «sencillo» decir que un ratón es un mamífero en lugar de describirlo como algo que no es una planta, ni un virus, ni un hongo, ni un crustáceo, ni un insecto, etc. El avance de la ciencia, la descripción de nuevos descubrimientos y en general la información debe ser debe ser sobre hechos, pruebas y demostraciones. Otra cosa es que, efectivamente, en algunas ocasiones la publicación de resultados negativos evite duplicación de trabajo…pero eso ya es un tema de «optimización», por decirlo de alguna manera

  9. Tampoco es que no se publiquen nunca… Yo lo he conseguido varias veces pero cuesta la misma vida, es cierto. Sobre todo porque 1) el diseño tiene que ser impecable, 2) tienes que buscar explicaciones alternativas sólidas, y 3) la potencia estadística del experimento debe ser suficiente para convencer al editor de turno. No es fácil, no… pero me encanta.

  10. @Iñaki:
    ¿¿Las matematicas no son una ciencia?? Además de una herramienta, claro que son una ciencia, si no la primera, de las primeras. Ejemplo: http://www.et.bs.ehu.es/varios/unesco.htm
    Aparte de eso, un resultado negativo es muy citable: si yo pruebo una nueva substancia y veo, por ejemplo, que no induce la proliferacion de macrofagos, como esperaba, podria justificarlo citando otro paper donde una substancia similar, o una prueba similar, tampoco se hubiese dado ese resultado. En mi campo (farmacología) esto es relativamente común, aunque es cierto que no abundan ese tipo de datos, que evidentemente yo veo muy útiles para ahorrar tiempo, dinero y esfuerzos a otros investigadores.

  11. Puede sonar un poco egoísta, pero me preguntó si no tendrá también que ver el hecho de la competitividad… Es decir, si la empresa X está trabajando en un proyecto de investigación, y paralelamente o quizá más adelante en el tiempo la empresa Y también trabaja en un proyecto similar, pomte en la piel de X ¿para que le vas a ahorrar tiempo y dinero a Y, que puede ser tu competidora, e indicarle los caminos que NO debe recorrer?

  12. Nota: perdón por el acento de pregunto, y la m de ponte. Lo he escrito desde el móvil y…

  13. El lío de las publicaciones fue una de las grandes razones que me hizo abandonar la Ciencia. Eso, y que tengan que salir resultados a como dé lugar, teniendo que justificar modelos obsoletos a base de factores multiplicativos, y diciendo que algo es verdad porque se cumplió con suficiente estadística en un experimento (rama de la Física Nuclear, donde es casi imposible que te permitan repetir un experimento a ver si sale lo mismo, por el mismo motivo que las publicaciones). Y sin nadie que se ponga a repetir los resultados de estudiantes de doctorado agobiados porque se les acaba la beca. Yo intenté repetir resultados y fue IMPOSIBLE, finalmente me reconocieron que hubo que empujar mucho número. Fui más feliz siendo camarera que alimentando ese monstruo absurdo.

  14. ¿Y poner en el material suplementario las condiciones en las que no ha salido nada? En articulos con resultados positivos.

  15. Sí se publican. Hay una página web, que no recuerdo cual es pero que estoy seguro encontrareis con Google, que solo publica expereimentos fallidos, para que otros científicos no cometan los mismos errores.
    Solo es conocida entgre los científicos porque al ciudadano medio solo le interesan los resultados “buenos”. Pero se publican.
    No hay secretos, ni conspiraciones ni nada parecido. Lo siento, creyentes en los dioses y conspiranoicos, pero sí se publica.

  16. @Anonymous: Exactamente. No es que estemos obligados a escribir artículos citables (ni las revistas a aceptarlos). No es que no se publiquen nunca resultados negativos. Es que, de media, lo que no se incentiva, no sucede. Y si esto no cuenta de alguna manera para el currículo, la gran mayoría de investigadores no lo hace. Y si encima hay pocas probabilidades de que se acepte, ni siquiera se intenta.

    @opert: Tienes mi admiración. La pena es que, por lo dicho más arriba, eres un outlier. :-\

    @Macno: La clasificación UNESCO podrá decir misa… pero no son una ciencia. La lógica, las matemáticas… no encajan con la definición de ciencia, porque no están ligadas al mundo real. Me da la impresión de que lo tomas como algo despectivo, pero todo lo contrario: son algo más elevado que la ciencia y, por supuesto, herramientas fundamentales e indispensables para las ciencias.

    Determinados resultados negativos, en determinados campos, pueden ser muy citables, sí. Pero, en general, no. En general, el concepto de resultado negativo es menos informativo y menos citable que el resultado positivo. Optimización, decían por ahí.

    @Gonzalo: Por supuesto que hay más factores. En este artículo hago muchas simplificaciones. Una de ellas es dejar de lado todos los factores salvo el que me parece más importante. Pero sí, tienes razón.

    @Magdalena: Qué pena que lo dejaras… La reproducibilidad, que es fundamental, se está echando a perder cada vez más, creo yo (en unos campos más que en otros). En los campos alrededor de las ciencias de la computación, por ejemplo, pasan muchos papers que no son reproducibles (por algo tan tonto como que no se publica el código).

    La verdad es que es duro. Yo ya he tenido que oír varias veces eres demasiado honesto. En ciencia, la honestidad no debería sobrar nunca. Pero de hecho a veces sobra una poca si quieres sobrevivir curricularmente. Antes o después, el sistema de valoración tendrá que cambiar. No sé hacia dónde, pero ahora mismo no parece sostenible.

    @Becariarus: Sería una buena solución de compromiso. El problema es que ahí presupones que hay un resultado positivo que publicar, pero muchas veces no existe. :-(

  17. Por no hablar de lo mucho que se retuercen los datos y las matrices para acabar obteniendo algo “por narices”.
    A veces me da la sensación de que lo que realmente se valora es la capacidad de retorcer una investigación (que por desgracia es estéril)para sacar petróleo de la nada. Lamentable…

  18. Petróleo de la nada, pero con unos gastos increíbles (materiales súper especiales y hechos a medida, viajes para reuniones y congresos, los salarios de los investigadores dinosaurios, que son altísimos…).

    Más de una vez llegué a pensar que la investigación es una cortina de humo pensada para que mentes inteligentes estuvieran entretenidas y no molestaran a los políticos intentando mejorar la sociedad.

    Pero claro, son mentes con inteligencia matemática y lógica, porque continúan e incluso justifican el absurdo en el que se ha convertido la Ciencia, con tal de permanecer en él. Carecen de inteligencia emocional y empatía social. Hay que dejarlos con sus gráficas y sus artículos, como enfermos mentales en sanatorios al aire libre, ellos mismos ya se mantienen encerrados.

  19. Sobre si las matemáticas son ciencias o no… Hombre, yo entiendo por “ciencias” cualquier actividad de búsqueda racional de conocimiento intersubjetivamente validable; me parece, por tanto, que las matemáticas no solo son ciencias, sino que lo son paradigmáticamente. Por supuesto, no son ciencias empíricas, y por ello deben usar otros procedimientos, pero vamos, eso nos aleja de la cuestión
    El caso es que sigo sin ver (seguramente por mis vicios como filósofo, que me hacen esperar algo así como un argumento “from first principles”) en el concepto de “resultado negativo” algo que NECESARIAMENTE lleve a que tienen menos interés. Si hay que ceñirse a las ciencias empíricas, pues ciñámonos: creo que hay pocos ejemplos de “resultado negativo” mejores que el experimento de Michelson-Morley, y yo no diría precisamente que es un resultado que no se consideraría interesante. Tiendo pensar, por tanto, que la razón por la que se publican menos “resultados negativos” no es porque sean negativos, sino porque los resultados negativos es posible que tengan ALGUNA OTRA CARACTERISTICA con mayor probabilidad que los positivos, en mayor medida (o que carezcan de alguna), y es ESA OTRA CARACTERISTICA (o su falta) lo que hace más razonable esperar que no haya interés en publicarlos. La cuestión es, entonces, cuál es esa característica, y por qué está más relacionada con los resultados negativos que con los positivos (o viceversa).

  20. @Jesús: Está claro que partimos de definiciones diferentes.

    1) Para mí “ciencia” está estrechamente ligado al mundo físico, la observación y la experimentación. Por tanto, las matemáticas no pueden ser una ciencia. Pero dejemos esto para otro debate.

    2) No entendemos lo mismo por “resultado negativo”. El experimento de Michelson-Morley NO es un resultado negativo. Tenemos una hipótesis (existe el éter) y una hipótesis nula (no existe) que son igualmente interesantes. Comprobar o refutar la hipótesis es un resultado positivo. Para mí, un resultado negativo es un “no resultado”, un experimento que falla, algo que ibas a hacer y no sale. En el caso de Michelson-Morley, un resultado negativo habría sido montar determinado dispositivo experimental y no ser capaces de decidir la validez o no de la hipótesis dada una precisión insuficiente o lo que sea. Por tanto, para mí, la publicación de un resultado negativo en ese caso habría sido “hemos hecho este montaje para dilucidar esto y no ha sido posible por x o y; hay que explorar otras vías”.

  21. Bueno yo desde mi punto de vista veo sencilla la solución. Como en todos los casos de todos los ámbitos si un organismo pone una web en la que todos puedan llenar la base de datos con resultados negativos y que todos puedan consultar dichos datos, el mundo de la ciencia se vería muy beneficiada. Y para evitar ese supuesto impacto negativo, que las publicaciones pudiesen ser anónimas. No seria costoso realizar el proyecto y mantenerlo tampoco demasiado.

  22. @Oscar: Recursos y medios técnicos sobran. El problema es por qué un investigador —que anda pillado de tiempo y recursos en un mundo muy competitivo— va a perder tiempo en escribir en esa web. Si no hay una retribución (curricular o de otro tipo) por ello, en general no lo va a hacer.

Comentarios cerrados.