Comencemos con el análisis estadístico realizado en el estudio.
Como ya mencione, el método de curvas de sobrevida Kaplan Meier, se aplica cuando el seguimiento es a partir de 30 días de seguimiento.
¿Porqué se utilizan curvas de Kaplan Meier a partir e 30 días de seguimiento ?
Este método estadístico considera que el tiempo es una variable que afecta la incidencia de eventos. Por ejemplo en u estudio pos trasplante a mayor tiempo de seguimiento mas es la probabilidad de detectar rechazo, o dicho de otra forma los pacientes con mas tiempo de trasplante tienen mayor probabilidad de sufrir rechazo al órgano u otro tipo de evento.
Tiempos menores a este se considera que no influye en la incidencia de eventos.
En este estudio el seguimiento fue de 15 días, por lo que se debió analizar la incidencia de empeoramiento de la enfermedad respiratoria entre ambos grupos con un simple test de chi cuadrado.
Además para saber si las curvas son realmente diferentes, el método estadístico que se utiliza es Log Rank test, el cual no se menciona en ninguna parte del estudio.
Los autores reportan un valor de p de 0.03 sin mencionar con que prueba estadística utilizaron.
Lo mas frecuente es ver en la figura de las curvas de Kaplan Meier la leyenda Log Rank test p xxxx.
Respecto al n de pacientes el mismo es muy chico, 80 pacientes por grupo, esto tiene una gran consecuencia que es la imposibilidad de estimar con precisión la verdadera reducción de empeoramiento.
El calculo del n de pacientes necesarios para realizar un estudio lo debe realizar una persona entrenada en estadística, porque como veremos mas adelante, trae consecuencias serias para los resultados del estudio.
La incidencia de empeoramiento respiratorio en el grupo con plasma fue de 16 % con un IC 95 % de 0.8 % a 26 %, esto significa que pueden empeorar casi un 1 % o un 26 %.
La estadística realiza estimaciones no absolutas de la probabilidad de ocurrencia de eventos, por eso debe reportarse el intervalo de confianza del 95 % (IC 95 %), que nos dice que por azar la incidencia de empeoramiento respiratorio puede ser de 1 % hasta 26 %.
Lo mismo ocurre con el grupo placebo el cual tuvo una incidencia de empeoramiento respiratorio de 31 % con IC 95 % de 21 a 42 %.
Lo mismo ocurre con el riesgo relativo (RR) reportado de 0.52 IC 95 % 29% a 94 % en este caso la interpretación es que en términos medios el plasma reduce un 52 % el agravamiento de la enfermedad respiratoria del COVID, pero este numero no es fijo puede ser que la verdadera reducción este entre casi un 70 % ( 100 - 29= 71) o bien solo un 6 % (100 - 94 = 6%).
El estudio como se aprecia, tiene una muy amplia variabilidad en la estimación del efecto del plasma, lo que nos lleva a cuestionarnos que pasaría si realizáramos un estudio con muchos mas pacientes.
Obviamente, no se puede negar que en este estudio el plasma fue beneficioso, pero por su imprecisión la conclusión debería ser que si bien en este estudio se observo un beneficio, dada la gran variabilidad e las estimaciones, se debería confirmar estos datos con un estudio de mayor envergadura.
Por ultimo el calculo del numero de paciente necesario a tratar (NNT) que es un indicador de cuanto se puede beneficiar también es muy amplio. El estudio dio que cada 7 pacientes tratados se evita 1 paciente que empeore su situación respiratoria, pero el IC 95 % es de 4 a 50.
Esto significa que se puede evitar 1 empeoramiento tratando entre 4 a 50 pacientes. Obviamente el rango es muy amplio.
En conclusión, es un estudio de pocos pacientes y como consecuencia sus resultados son muy dispares. Por otro lado el análisis estadístico no es el correcto, por lo que podemos cuestionar los resultados.
Como podemos ver en este ejemplo, este estudio nos podría parecer muy bueno solo por haberse publicado en una revista prestigiosa como El New England Journal.
Podríamos no cuestionarnos todo lo que se menciono si leyéramos solo el abstract, cosa que ocurre en el 99 % de los casos. Los médicos por no comprender conceptos de epidemiologia ni de estadística, nunca leen el apartado métodos y en particular la sección estadística, y toman como cierto las conclusiones que redactan los autores.
Moraleja: No todo lo que se publica en un revista de prestigio es de calidad metodológica. Leer siempre los apartados métodos y estadística y si no se tienen las herramientas para comprender estos aspectos consultar con alguna persona que sepa del tema.
Creo que con este ejemplo queda claro la necesidad de que los médicos se formen al menos en conceptos básicos de epidemiologia y estadística.
Comments