Mala ciencia

Afirmaciones como "hecho científico probado" son de uso corriente
  en la propaganda. 
La frase no refleja la naturaleza de la ciencia, sino que denota más bien
un anhelo de mitología

Robert Shapiro

El último post subido a este blog, más algún comentario sobre éste, me ha llevado a subir esta reflexión sobre ciencia, autoritarismo y publicidad propaganda. Aunque la ciencia parezca un tema áspero, reservado a una “casta” de elegidos, saber si el “elegido” no es de fiar es sencillo. Tan sencillo que, un best seller como “Mala ciencia” (2008) de Ben Goldacre, en un par de capítulos es capaz de explicar y dar claves para diferenciar la mala ciencia de la ciencia. Distinguir entre la publicidad propaganda y la ciencia.

Puede parecer asombrosa la siguiente afirmación de Goldacre: “al acabar este apartado (unas 30 páginas), sabrán más acerca de la medicina basada en la evidencia y de la planificación de pruebas clínicas que el médico medio”. Esta afirmación nos puede parecer chocante, casi una fanfarronada, debido a la intencionada difusión de una caricatura de la ciencia por medios de comunicación, ministerios (sanidad, ciencia e igualdad) y planes de estudio, que divide la sociedad entre gurús (los que ponen luz en la oscuridad) y sus fieles seguidores.

Una caricatura de la ciencia

El mayor problema que identifica B. Goldcrace sobre las noticias que dan los medios de comunicación sobre ciencia es que se presentan sin la evidencia científica (sin explicar las variables que se midieron, ni cómo se midieron, ni las fuentes documentales), sólo aparecen las conclusiones de la investigación. En definitiva, sólo queda hacer reverencias, nos tenemos que fiar de las conclusiones que se presentan como “un estudio científico dice…”. Siendo este, el mundo de los llamados "escépticos": duda de todo el mundo a excepción de nosotros.

¿Cómo evitan los medios de comunicación presentar la evidencia científica, las fuentes? Pues recurriendo a las figuras de autoridad, figuras paternalistas (científicos, políticos,…) que nos bajan la “verdad”, como Moisés bajó las tablas de la ley, sin aportar ninguna evidencia. Frases como “un grupo de científicos (un estudio, el consenso científico, …) ha demostrado, ha dicho…, descubierto ..., etc.” son fórmulas típicas empleadas para omitir la evidencia científica.

Otra forma de omitir la evidencia científica, aparentando “neutralidad”, es el formato “pelea de gallos”. Se presentan científicos en desacuerdo; en este caso la “verdad” tampoco depende de la evidencia sino de la capacidad de oratoria de cada contendiente.

El recurso a la figura de autoridad, refuerza la parodia de la ciencia. La ciencia pasa a ser una serie de enunciados “formulados por unas figuras de autoridad que no están sujetas al control de elección popular” (Goldcrace). Aquí tenemos el aspecto autoritario de la caricatura de la ciencia: las cosas son así porque los poseedores de la verdad, que nadie ha elegido ni controla, enuncian su “verdad” sin necesidad de aportar prueba alguna. La ciencia pasa a convertirse en lo que no es: “un monolito, un misterio y una autoridad, antes que un método” (Goldcrace).

Para una buena conversión de la ciencia en una parodia no puede faltar el confundir la evidencia con la hipótesis como en este titular: 

La vacuna hace caer a la mitad los casos sintomáticos en las residencias navarras:

(Y sigue) No hay mejor reflejo del exitoso resultado de la vacunación que el hecho de que cada vez son menos las personas mayores que se contagian de coronavirus en residencias y que experimentan síntomas por haber contraído la enfermedad.

Investigación y ciencia

Goldcrace nos acerca al funcionamiento de la investigación, mostrando errores básicos de razonamiento, además de los fallos más comunes en la investigación. Lo que nos debería facilitar el distinguir la mala ciencia sin dificultad, y en los tiempos que corren, de lo que simplemente es fundamentalismo biológico y autoritarismo.

Pongamos que queremos conocer los efectos de un medicamento, tanto los terapéuticos como sus posibles efectos nocivos. Podríamos suministrar el medicamento a una persona enferma y observar lo que ocurre. Cualquier resultado de este experimento no nos permitiría extraer ninguna conclusión. Si observamos un efecto positivo podría deberse a una casualidad, al efecto placebo, a una simple “regresión a la media”, habría ocurrido lo mismo sin tratamiento, etc.

Podemos entonces probar el fármaco con un grupo de varias personas. En este punto volveríamos a tener problemas para llegar a alguna conclusión. Por ejemplo desconocemos si los efectos observados se deben al efecto nocebo, al efecto placebo, etc.

Ajustamos más la investigación:

Control de placebo:

Tomamos una muestra representativa de la población que queremos estudiar y la dividimos en dos grupos: uno recibe el tratamiento (grupo experimental) y el otro recibe un placebo (grupo de control). De tal forma que podamos comparar la eficacia y seguridad del fármaco entre el grupo experimental y el grupo de control.

Aleatorización:

Asignamos al azar a los participantes de la investigación a un grupo (experimental o grupo de control) para, por ejemplo, evitar que los pacientes que se sabe que van a responder mejor al tratamiento acaben en el grupo experimental.

Doble ciego:

Los sujetos de los grupos de control y placebo no conocen a qué grupo pertenecen. Ningún sujeto sabe si ha recibido placebo o tratamiento de tal forma que se bloquea cualquier efecto de las expectativas de éstos sobre la investigación. Tampoco los investigadores conocen a qué grupo pertenece cada sujeto que participa en la investigación. Se trata de bloquear el sesgo del observador. Si los investigadores conocen qué sujetos reciben tratamiento es posible que valoren de más los efectos positivos y minimicen los negativos del tratamiento.

Ajustada la investigación, una vez terminada ya podremos comparar los resultados de los dos grupos (experimental y control) y, en principio, saber si el fármaco es más eficaz que el placebo y si es seguro.

El estudio debería ser publicado con todos lo datos accesibles a la comunidad científica para poder ser revisado:

¿El ensayo fue aleatorio? ¿Recibieron los participantes del grupo de control un placebo, otro medicamento diferente o ninguna intervención? ¿Fue un ensayo doble ciego? ¿Qué criterios de valoración se eligieron (casos, ingresos hospitalarios, ingresos en UCI, fallecimientos, etc.)? ¿Quiénes fueron los participantes del ensayo? ¿Cuál fue su nivel de exposición a la enfermedad? ¿Se incluyó un número suficiente de personas con mayor riesgo de desarrollar formas graves (debido a su edad avanzada, antecedentes de enfermedad cardíaca o pulmonar, diabetes u obesidad) para permitir la interpretación de los datos obtenidos en estos grupos? ¿Durante cuánto tiempo fueron monitoreados los participantes del ensayo? ¿Se han anunciado planes para publicar otros resultados, con un seguimiento más prolongado? etc.

Un ejemplo

Vamos a prescindir del método científico. Observamos el gráfico que se encuentra líneas abajo, que representa la mortalidad en un lugar durante el periodo de un año. Se puede apreciar un gran Everest y un descenso repentino de la línea de mortalidad. Supongamos que la caída de la mortalidad coincide con una vacunación masiva de la población. Seguimos suponiendo y atribuimos el descenso de la mortalidad en esa población a la vacuna. 

Retomamos el método científico. Diferenciamos la evidencia de la hipótesis. En este caso, para refutar la hipótesis de la vacuna como factor causal de la caída de la mortalidad podríamos bloquear de alguna forma el factor vacuna y ver qué ocurre, aunque en este caso no es necesario. La grafica corresponde a mi pueblo, Madrid, en el año 2020. En abril, cuando comienza el descenso de la mortalidad no hubo ni campaña de vacunación, ni existía vacuna aprobada. Probablemente ocurrió una “regresión a la media”, sin ninguna variable especial que explique el repentino descenso de la mortalidad. No hay mal que cien años dure.

Vamos a seguir imaginando. Tomando en cuenta la misma evidencia, la gráfica de arriba, e imaginamos que sí hubo campaña de vacunación, ¿Cómo podríamos refutar la idea de que la vacuna causó el descenso de la mortalidad? Pues comparando dos grupos (vacunados y no vacunados) en un experimento con control de placebo, aleatorizado y doble ciego. Como sabemos que la vacuna no tuvo nada que ver con la vuelta a la normalidad estadística (a la otra no volveremos en la vida); esta hipotética investigación no habría encontrado ninguna diferencia significativa entre la mortalidad dentro del grupo experimental y el grupo de control, suponiendo que la vacuna es segura.

Hipótesis y evidencia

Vuelvo al artículo sobre la vacuna y las residencias de la tercera edad en Navarra (la negrita es mía):

No hay mejor reflejo del exitoso resultado de la vacunación que el hecho de que cada vez son menos las personas mayores que se contagian de coronavirus en residencias y que experimentan síntomas por haber contraído la enfermedad.

Por ejemplo, a lo largo del mes de octubre se infectaron en Navarra 317 personas de covid-19. De ellas, 162 usuarios, el 51%, experimentaban síntomas. En noviembre hubo constancia de 375 positivos y el 55% de ellos, hasta 207, experimentaron síntomas propios del virus. Si bien diciembre, debido a las restricciones, a la ausencia de visitas y salidas de las residencias, fue un mes en el que los casos cayeron en picado en general, el comienzo de la tercera ola en enero trajo consigo 129 contagios durante ese mes. De estos, solo 46, el 35%, tenían síntomas.

El artículo contiene varios errores. Uno, confunde la evidencia con una hipótesis. La caída de los contagios es una evidencia; que sea por la vacuna es una hipótesis. La única forma de comprobar esta hipótesis es comparar grupo de vacunados y no vacunados.

El segundo, que más que un error es una incógnita, está en la elección de la variable “síntomas”. Por qué no se elige otra variable como la mortalidad o los síntomas graves, que en principio es lo que interesa, y no los síntomas en general, entre los que se encuentran un estornudo o perder el olfato.

Tercero, que es el más patente, la elección de los intervalos temporales. La comparación de unos con otros es arbitraria. Como diciembre no cuadra con "el exitoso resultado de la vacunación", pues, no se tiene en cuenta y asunto concluido.

Si en vez de tomar como medida los síntomas en general (incluidos los leves) tomamos la mortalidad, entonces nos encontramos con un problema. La mortalidad entre la población mayor de 75 años aumentó en Navarra con el inicio de la vacunación (semana 53 de 2020).

Una hipótesis causal podría ser que el aumento de la mortalidad está relacionada con la vacuna. Para refutarla necesitaríamos recurrir, al menos, a comparar vacunados con no vacunados. Seguramente el aumento tiene más que ver con la temporada de la desparecida gripe que con la vacuna o quizás no o quizás sólo sea casualidad. 

Y ahora unas preguntas. Si vacunamos a toda la población del planeta como se pretende, ¿Cómo comparamos vacunados y no-vacunados?  Sin control de placebo, sin aleatorización y sin doble ciego, ¿Cómo sabremos si la vacuna funciona o no funciona o es peligrosa? ¿Serán las campañas de publicidad propaganda las que decidan la utilidad de las vacunas?

Hasta aquí la presentación de una herramienta (un libro) para ayudar a reconocer la mala ciencia, la publicidad propaganda y el autoritarismo sanitario aunque se vistan de seda.

Bibliografía complementaria:

https://www.saasoft.co.uk/download/Simcox_and_Weight_2015.pdf

Gracias Paco