Thursday, January 5, 2012

Falsos positivos y conclusiones imbéciles por el afán de publicar


Esta mañana me desperté escuchando las noticias de una importante cadena radial con cobertura a nivel nacional. El afamado periodista, encargado de la dirección del programa que tiene una sección de casos curiosos, muy animado declaró que según un estudio una de las formas de prevenir un ataque cardiaco es cepillándose los dientes. Así es, yo también quedé un poco estupefacto. Con la intención de respaldar la noticia, inmediatamente se comunicaron con un afamado cardiólogo colombiano, que no tuvo nada que ver con este estudio, pero que se declaraba confiado con las conclusiones del mismo, y mediante una complicada explicación intentaba dar una especie de respaldo, a mi gusto un poco recalcitrante, al estudio. Yo no soy médico ni mucho menos, pero el estudio me pareció sospechoso. Sospeché del estudio no por lo raro de las conclusiones, sino por la defensa ultranza del cardiólogo criollo. No sé, pienso que el colombiano tiene una forma suspicaz de sobresalir, así sea a costa de cosas que él nunca hizo o ni siquiera conoce. El discurso del cardiólogo era muy parecido al de los defensores de los Nule, de Arias, de Moreno, entre otros.


Puede que sí, puede que efectivamente el cepillado sistemático de los dientes ayude a prevenir la inflamación de las encías y esto tenga una relación directa en el desprendimiento de tejido adiposo en el torrente sanguíneo, que en últimas es lo que produce los infartos. No lo sé, ni siquiera he visto la ficha técnica de tal estudio. Pero de lo que sí estoy seguro es de existe una tendencia generalizada por publicar resultados amañados que, con el respaldo del p-valor menor que 0.05, parecieran estar avalados estadísticamente. A eso lo llaman, el culto a la significación estadística y el investigador debe estar muy al tanto de las malas prácticas para no terminar en ellas.


Leí recientemente en la revista Significance que Deming era afín a no sacar conclusiones con base en el producto final, sino con base a los procesos que permitían obtener tal producto. Por esto es que Deming es el padre del control estadístico de procesos. Al examinar el producto final, es muy difícil darse cuenta de qué proceso en la producción fue el que falló, e hizo defectuosos un producto que debería ser adecuado. Sin embargo, al examinar los procesos detenidamente nunca habrá un producto defectuoso, pues la fabricación no seguirá hasta haber corregido el error en el proceso puntual. Algo parecido ocurre con este tipo de estudios observacionales. Es muy difícil concluir en dónde está la falla. Por lo tanto, la revista concluía que si las conclusiones provenían de un estudio observacional, entonces muy seguramente tales conclusiones son falsas.


Algunos ejemplos de falsos positivos y conclusiones aberrantes son:





  • Los individuos con personalidad A predominante sufren más infartos que el resto. La personalidad tipo A es aquella en donde el personaje resulta muy ansioso, con ganas de comenzar cosas nuevas y sin ningún interés en esperar. Pues bien, mediante un estudio aleatorizado y serio, esta afirmación fue fácilmente refutada.


  • Las mujeres que comen cereal al desayuno tienen más hijos varones. Bien, acá no hay necesidad de ningún tipo de estudio. Es bien sabido que el cromosoma Y, que define el sexo del hijo, es una contribución exclusiva del padre.


  • El consumo de café causa cáncer de páncreas.


Es increíble cómo incluso reconocidas instituciones caen en el engaño de los estudios que no controlan los "procesos" en la "producción" de cifras. No, espere, no estoy hablando de las entidades públicas en Colombia que no respetan los procesos en los estudios y terminan publicando estadísticas oficiales así como así. Estoy refiriéndome a algo mucho peor. Por ejemplo, a finales de la década pasada, hubo mucho alboroto por los resultados de un estudio, llevado a cabo en la Universidad de Duke, con miles y miles de observaciones de datos provenientes de micro-arreglos de personas con cáncer que concluía que sí era posible identificar y establecer el régimen de quimioterapia adecuado para lograr mejores resultados en el tratamiento. Este estudio significaba un adelanto muy grande y significativo en la historia del tratamiento contra el cáncer. Al tratar de replicar los resultados, unos investigadores (¿interventores?) en Estados Unidos se dieron cuenta de que los resultados diferían significativamente. Al final de un largo e interesante proceso (casi judicial) que incluía cartas al editor en las más influyentes publicaciones internacionales, la Universidad de Duke desaprobó su investigación y la totalidad de los artículos generados por los investigadores principales fueron declarados como nunca publicados por las mismas revistas que los divulgaron.


Si hay que creerle a un estudio, debe ser por su carácter de reproducibilidad en los resultados. Lamentablemente, los estudios observacionales carecen de esta cualidad y por lo tanto yo no soy muy susceptible a confiar en sus conclusiones, incluso si están respaldadas por la ciencia que me da de comer, o incluso si un cardiólogo leguleyo los defiende. Animo a los profesores a que formen profesionales con un transfondo teórico importante, pero también que los adiestren en el diseño de estudios porque, sinceramente, esa combinación de malicia indígena con las posibilidades que ofrece la estadística es una bomba muy peligrosa para nuestra profesión. Es algo así como los contratistas criollos con las posibilidades que ofrece la ley… pero con peores implicaciones.

No comments:

Post a Comment