El oscuro teorema matemático que rige la fiabilidad de las pruebas covid

The obscure maths theorem that governs the reliability of Covid testing

(El oscuro teorema matemático que rige la fiabilidad de las pruebas covid)

Enlace al artículo original

Ha habido mucho debate sobre las pruebas de flujo lateral: su precisión depende del contexto y de las teorías de un clérigo del siglo XVIII.



Tom Chivers
domingo 18 abr 2021
Última modificación el jue 29 abr 2021


Prueba de matemáticas: Si tu obtienes un resultado positivo en una prueba de covid que solo da un falso positivo una vez de cada 1000, ¿cuál es la probabilidad de que realmente tenga covid? Seguramente es el 99,9%, ¿verdad?

¡No! La respuesta correcta es: no tienes ni idea. No tienes suficiente información para hacer un juicio (válido).

Es importante saber esto cuando se piensa en las 'test de antígenos' (en adelante TA) (literalmente del autor, pruebas de flujo lateral), las pruebas rápidas de covid que el gobierno ha puesto a disposición de todos en Inglaterra, gratis, hasta dos veces por semana. La idea es que, con el tiempo, podrían usarse para autorizar a las personas a ingresar en espacios sociales concurridos (pubs, teatros) y estar más seguros de que no tienen la enfermedad y, por lo tanto, que no la propagarán. Se han utilizado en las escuelas de enseñanza secundaria desde hace algún tiempo.

Hay preocupaciones sobre los TA. Una es si se perderán una gran cantidad de casos, porque son menos sensibles que la prueba de reacción en cadena de la polimerasa (PCR), más lenta pero más precisa. Esas preocupaciones son comprensibles, aunque los defensores de la prueba dicen que las pruebas de PCR son demasiado sensibles, capaces de detectar material viral en personas que tuvieron la enfermedad hace semanas, mientras que los TA, en teoría, solo deberían detectar personas que son infecciosas (añado, porque tienen alta carga vírica).

Pero otra preocupación es cuando indican que una persona tiene la enfermedad cuando en realidad no la tiene, o sea, cuando dan falsos positivos.

El gobierno dice, con precisión, que la 'tasa de falsos positivos', la probabilidad de que una prueba arroje un resultado positivo en una persona que no tiene la enfermedad, es menos de uno en 1.000. Y ahí es donde entramos nosotros: se podría pensar que eso significa que, si se ha obtenido un resultado positivo, hay una posibilidad entre 1000 de que sea falso.

No es así.

Y eso se debe debido a una pequeña y fascinante ley matemática conocida como Teorema de Bayes, llamado así por el reverendo Thomas Bayes, un clérigo y estudioso de las matemáticas del siglo XVIII.

El Teorema de Bayes se escribe, en notación matemática, como P(A|B) = P(B|A)P(A))/P(B). Parece complicado. Pero no se preocupe por el significado de todos esos símbolos: es bastante fácil de entender cuando piensa en un ejemplo.

Imagine que le someten a una prueba para detectar una enfermedad rara. La prueba es asombrosamente precisa: si tiene la enfermedad, lo dirá correctamente el 99% de las veces; si no tiene la enfermedad, lo dirá correctamente el 99% de las veces.

Pero la enfermedad en cuestión es muy rara; sólo una persona de cada 10.000 la tiene. Esto se conoce como su 'probabilidad previa': la proporción de fondo en una población.

Así que, ahora imagine que se testea a 1 millón de personas y que se encuentra a 100 personas con la enfermedad. La prueba identifica correctamente a 99 de ellas. Y hay 999.900 personas que no tienen la enfermedad: la prueba identifica correctamente a 989.901 de ellas (hay 9.999 que podrían tenerla).

Pero eso significa que su prueba, a pesar de dar la respuesta correcta en el 99 % de los casos, le ha dicho a 9999 personas que tienen la enfermedad, cuando en realidad no es así. Entonces, si obtiene un resultado positivo, en este caso, su probabilidad de tener la enfermedad es de 99 sobre 10.098 casos, o sea, poco menos del 1%. Si el investigador tomó esta prueba completamente al pie de la letra, estaría asustando a muchas personas y enviándolas a procedimientos médicos intrusivos y potencialmente peligrosos, debido a un diagnóstico erróneo.

Sin conocer la probabilidad previa, no sabe qué tan probable es que un resultado sea falso o verdadero. Si la enfermedad no fuera tan rara, si, digamos, el 1% de las personas la tuvieran, sus resultados serían totalmente diferentes. Entonces tendría 9.900 falsos positivos, pero también 9.990 verdaderos positivos. Entonces, si obtuviste un resultado positivo, habría más del 50% de probabilidad de que fuese cierto.

Este no es un problema hipotético. Una revisión de la literatura encontró que el 60% de las mujeres que se hacen mamografías anuales durante 10 años tienen al menos un falso positivo; otro estudio encontró que el 70% de los resultados positivos de las pruebas de detección de cáncer de próstata eran falsos. Un procedimiento de detección prenatal para trastornos cromosómicos fetales que afirmaba 'tasas de detección de hasta el 99 % y tasas de falsos positivos tan bajas como el 0,1 %' en realidad habría arrojado falsos positivos entre el 45 % y el 94 % de las veces, porque las enfermedades son muy raras.

Por supuesto, no es que una prueba positiva se tome inmediatamente como un evangelio: los pacientes que tengan una prueba de cáncer positiva recibirán controles de diagnóstico más completos, pero asustarán a muchos pacientes que no tienen cáncer u otras anomalías.

El Teorema de Bayes mal entendido no es solo un problema en medicina. Hay una falla común en los tribunales de justicia. Se conoce como la “falacia del fiscal”, y también depende de este teorema.

En 1990, un hombre llamado Andrew Deen fue declarado culpable de violación y sentenciado a 16 años, en parte sobre la base de pruebas de ADN. Un testigo experto de la acusación dijo que la posibilidad de que el ADN procediese de otra persona era solo de una parte en 3 millones.

Pero como explicó un profesor de estadística en la apelación de Deen, esta conclusión estaba mezclando dos preguntas: primero, qué tan probable sería que el ADN de una persona coincidiera con el ADN de la muestra, dado que era inocente; y segundo, ¿cuál sería la probabilidad de que fueran inocentes si su ADN coincidiera con el de la muestra? La "falacia del fiscal" es tratar esas dos preguntas como la misma.

Podemos tratarlo exactamente como lo hicimos con los exámenes de detección de cáncer y las pruebas de Covid. Digamos que simplemente elejimos a su acusado al azar de la población británica (que por supuesto lo más probable es que no cometiese el delito, pero por simplicidad...), que en ese momento era de unos 60 millones. Entonces, su probabilidad previa de que cualquier persona al azar sea el asesino es una entre 60 millones.

Si realizara su prueba de ADN en todos esos 60 millones de personas, identificaría al asesino, pero también obtendría falsos positivos en unas 20 personas inocentes. Entonces, aunque la prueba de ADN solo arroja falsos positivos una vez en 3 millones, todavía hay un 95% de posibilidades de que alguien que obtenga una prueba positiva sea inocente.

Por supuesto, en realidad, no elegiría a su acusado al azar: tendría otras pruebas y su probabilidad previa sería mayor que uno en 60 millones. Pero el punto es que conocer la probabilidad de un falso positivo en una prueba de ADN no le dice qué tan probable es que alguien sea inocente: para empezar, necesita una evaluación de qué tan probable era que fuera culpable. Necesitas una probabilidad previa. En diciembre de 1993, el tribunal de apelaciones anuló la condena de Deen, diciendo que no era segura, precisamente porque el juez y el perito habían sido engañados por la "falacia del fiscal". (Vale la pena señalar que fue condenado de nuevo en otro juicio).


También, en 1999, los tribunales cayeron en la falacia del fiscal al juzgar el desgarrador caso de Sally Clark. Fue declarada culpable de asesinar a sus dos hijos, después de que otro testigo experto dijera que la probabilidad de que dos bebés murieran por el síndrome de "muerte súbita del lactante" en una familia era de una parte en 73 millones. Pero el testigo no tuvo en cuenta la probabilidad anterior, es decir, la probabilidad de que alguien fuera un doble asesino, que es -afortunadamente-, incluso un caso más raro que el de la muerte súbita. Eso, junto con otras dificultades (el testigo experto no tuvo en cuenta el hecho de que las familias que ya han tenido un caso de muerte súbita tienen más posibilidades de tener otro), llevó a que también se anulara la condena de Clark, en 2003.

Volvamos al asunto de las pruebas de antígenos. Supongamos que la tasa de falsos positivos de uno por cada 1000 es precisa. Pero incluso así, si obtienes un resultado positivo no sabes qué tan probable es que tengas el virus. Lo primero que necesitamos saber es -más o menos- qué tan probable era el estar contagiado antes de realizar la prueba, es decir, su probabilidad previa.

En el pico de la segunda ola, algo así como una persona de cada 50 (2% de la población) en Inglaterra estaba infectada con el virus, según la encuesta de prevalencia de la Oficina Nacional de Estadísticas. Eso se llevó a cabo con pruebas de PCR, no con TA, pero el dato lo usaremos como estándar (de probabilidad previa).

Digamos que hizo pruebas a 1.000.000 de personas, elegidas al azar, con test de antígenos y, en aras de la simplicidad, digamos que se detectan todos los casos reales (esto no es cierto en la realidad). Unas 20.000 personas que tendrían la enfermedad se habrían detectado, y de las 980.000 que no la tienen, el test revelaría erróneamente a unas 980 que la tienen, habiendo así un total de 20.980 resultados positivos (la mayoría verdaderos). Entonces, dando resultado positivo en el test, la probabilidad de un falso positivo sería 980/20.980, o casi el 5%. O, dicho de otro modo, habría un 95 % probabilidad de que realmente una persona que hiciese el test y le diese positivo tuviese la enfermedad.

Ahora, sin embargo, la prevalencia se ha reducido enormemente, hasta aproximadamente una persona infectada de cada 340 en Inglaterra. Si ejecutamos el mismo proceso, obtenemos una imagen muy diferente: del millón de personas considerado, alrededor de 2950 habrán tenido el virus. Nuevamente, suponiendo que la prueba de antígenos los identifique a todos (y recordando nuevamente que eso no será cierto en la realidad), el test revelará 950 positivos verdaderos y alrededor de 997 falsos. De repente, su tasa de falsos positivos es 997/3947, o alrededor del 25%. De hecho, los datos del gobierno de la semana pasada mostraron que el porcentaje de resultados positivos que son falsos para test de antígenos desde el 8 de marzo (de 2021) fue del 18%. Esta tasa aumentará si la prevalencia cae, lo que podría volverse problemático si, por ejemplo, supone que toda una clase de niños tiene que ausentarse de la escuela.

Estas sumas solo se aplican, por supuesto, si realmente se está probando la población al azar. Si las personas usan las pruebas porque creen que hay una buena razón por la que podrían dar positivo, tal vez tienen síntomas o estuvieron expuestas recientemente a alguien que tenía la enfermedad, entonces su probabilidad previa sería mayor y la prueba positiva sería más fuerte.

Incluso los médicos luchan por entender el razonamiento bayesiano. En un estudio de 2013, se pidió a 5000 médicos estadounidenses calificados que dieran la probabilidad de que alguien tuviera cáncer, si el 1 % de la población tenía la enfermedad y recibían un resultado positivo en una prueba con una precisión del 90 %. La respuesta correcta fue aproximadamente una de cada 10, pero incluso cuando se les dio una respuesta de opción múltiple, casi las tres cuartas partes de los médicos respondieron incorrectamente.

Nada de esto significa que los test de antígenos sean una mala idea; creo, con cautela, que serán útiles, especialmente porque los resultados positivos se confirmarán mediante PCR, y si la PCR resulta negativa, el paciente puede volver al trabajo o la escuela o a donde sea. Pero vale la pena recordar que, si lee que una prueba tiene una precisión del 99,9 %, no significa que haya un 99,9 % de posibilidades de que el resultado de la prueba sea correcto. De hecho, es mucho más complicado que eso.