Como muchos sabréis, la ciencia tiene un sistema de transmisión del conocimiento que funciona al mismo tiempo como mecanismo de reconocimiento del mérito investigador. Ampliamente conocidas son sus ventajas, pero menos sus miserias. Yo pertenezco a una rama de la ciencia relativamente joven: las ciencias de la computación. Y no sé si es porque tengo demasiado idealizada la ciencia en general, o las demás ramas en particular; no sé si mi visión parte de un desconocimiento de los otros campos; pero me da la sensación de que en mi área, en general, se pisotea el método científico más a menudo de lo esperable, por decirlo de una manera suave.
Hace unas semanas, charlando con el gran @Sonicando en Madrid precisamente sobre las miserias de este sistema que tenemos en ciencia, yo le comentaba: «Lo que envidio de vuestro campo [la biología molecular en su caso] es la reproducibilidad de los resultados». Y conforme lo decía, él me miraba como sorprendido y negaba con la cabeza de forma tajante: «Ya no me fío de nada de lo que lea en un paper hasta que no lo haga yo mismo», replicó él. De acuerdo, es cierto que en muchas ocasiones no se obtendrá lo que afirmaba el paper en cuestión al realizar tú mismo el experimento (por negligencia del tipo que sea, más o menos grave, en eso ya no me meto), pero también es cierto que en biología, y en otros campos, son muy estrictos —en general— detallando la metodología de sus experimentos. Y a eso iba yo: podrá salir bien o podrá salir una cosa completamente distinta, pero tienes en tus manos la información necesaria para repetir ese experimento y confirmarlo o refutarlo en un momento dado.
En ciencias de la computación, por alguna razón —y de nuevo, en general—, todo es mucho más difuso. Lo más normal es encontrarse con trabajos que afirman haber aplicado este o aquel nuevo método en un determinado campo y que ha conseguido una mejora determinada con respecto a los métodos anteriores. De acuerdo. ¿Y cómo se ha implementado ese nuevo método? ¿Cómo se ha aplicado? En definitiva, ¿dónde está el código para que yo mismo pueda verificar que lo que dices es verdad?
Es algo básico y tremendamente sencillo en nuestro campo: es solo un programa, un pedazo de código; así de simple. Y sin embargo, hay cientos y cientos de papers publicados en revistas de prestigio que adolecen de este principio tan elemental, lo cual me resulta increíble. En el mejor de los casos, tal código existe y se puede tener acceso a él, pero está lleno de errores y ¡ni siquiera compila! (uno de mis compañeros y troll, oficial y oficioso, de este blog tiene mucho que contar acerca de esto). ¿Cómo demonios se supone que han llevado a cabo la investigación asociada entonces?
Todo esto viene a colación de un fantástico artículo del blog de Jeff Leek, bioestadístico de la Johns Hopkins Bloomberg School of Public Health, titulado Statisticians and computer scientists – if there is no code, there is no paper. En él, comenta que, a partir de ahora, va a tener en cuenta un nuevo criterio a la hora de revisar los papers o CV de candidatos que pasen por sus manos: la presencia o no de código que soporte los supuestos logros. Aplaudo desde aquí su determinación. La investigación en ciencias de la computación no podría sino mejorar si esta práctica se extendiese.
No podría estar más de acuerdo. Estudio teleco y me suelo encontrar artículos en los que se omiten muchos datos realmente importantes para reproducir el experimento que ha llevado a esas maravillosas conclusiones.
La cantidad de horas que he invertido en tratar de comprobar experimentos de otros no tiene precio. Suelo pensar que, cuando algo sale mal o contrario a los resultados del artículo, soy yo, que estoy metiendo la pata. Habría que ver cuántas veces esto es así.
Hay mucha basura con formato de artículo.
En el mundo del arte y la interpretación que es el campo en el que me especializado ocurre constantemente. Lees un articulo, te venden el oro y el moro, con unas tasas de exito totalmente geniales. Y despues consigues ,normalmente mediante la reimplementacion del metodo, testear el metodo para ver como funciona y …. Bueno digamos que muchos comerciales han conseguido grado de doctor ^^.
El problema viene muchas veces ligado al prestigio del firmante, mayormente parece que la ciencia sigue unos patrones de correccion que vienen de la frase de «Create una fama y echate a dormir». A los nuevos investigadores les piden de todo, pero a los que se han ganado un hueco por ellos, o por donde trabajan ya no tienen que demostrar nada y pueden publicar cualquier mierda que su nombre validara el trabajo. Y pasa lo que pasa. :)