REMI 1930. Metaanálisis con conclusiones erróneas: el tamaño sí importa

[English version]

Artículo original: Random error in cardiovascular meta-analyses: how common are false positive and false negative results? AlBalawi Z, McAlister FA, Thorlund K, Wong M, Wetterslev J. Int J Cardiol 2013; 168(2): 1102-1107. [Resumen] [Artículos relacionados]
   
Introducción: El metaanálisis es un conjunto de herramientas estadísticas cuyo objetivo es ofrecer una síntesis cuantitativa a partir de una búsqueda exhaustiva (revisión sistemática) de la evidencia. Es sabido que un metaanálisis no puede ser clarificador si hay poca evidencia o si la evidencia es de poca calidad, por lo que es importante no interpretar nunca los resultados de forma mecanicista, sino teniendo en cuenta el riesgo de sesgos de los estudios en que se basa (error sistemático). Sin embargo, un aspecto hasta ahora poco tenido en cuenta de los metaanálisis es la probabilidad de que contengan error aleatorio (error tipo I, encontrar resultados estadísticamente significativos por azar, y error tipo II, no encontrar resultados significativos por azar) [1-3]. Este riesgo es mayor cuando el número de estudios, pacientes y eventos incluidos es escaso o cuando se someten a pruebas estadísticas repetidas, pero la magnitud y las implicaciones de este problema no se conocen bien todavía.

      

Resumen: Los autores evaluaron todos las revisiones publicadas por el grupo de cardiología de la Colaboración Cochrane el año 2012 que incluyeran al menos un metaanálisis de 5 o más ensayos clínicos aleatorizados. Mediante técnicas de análisis secuencial los metaanálisis se clasificaron como verdaderos positivos si alcanzando significación estadística su tamaño muestral agregado y/o su curva Z acumulativa cruzaban los límites de monitorización para detectar una reducción del riesgo relativo (RRR) de al menos el 25%, y verdaderos negativos si no alcanzando significación estadística su tamaño muestral era suficiente para rechazar una RRR del 25%. Se evaluaron 56 metaanálisis. De los 23 que presentaron resultados positivos, el 17% se consideraron potencialmente falsos positivos, y de los 33 que presentaron resultados negativos, el 64% fueron considerados potencialmente falsos negativos. Globalmente, el 45% de los MA contenían información insuficiente para descartar de forma concluyente un efecto distinto del encontrado. En la mayor parte de los casos, los autores de los metaanálisis no reconocieron las limitaciones de sus resultados.

       

Comentario: El estudio muestra el riesgo de obtener conclusiones prematuras con el metaanálisis (se dan por concluyentes cuando no lo son), y cómo incluso una organización tan rigurosa como la Colaboración Cochrane no tiene en cuenta en muchos casos el grado de incertidumbre en la interpretación de sus resultados. Un ejemplo claro es el de la hipotermia en la parada cardiaca recuperada, cuya efectividad se dio por probada prematuramente [4-5]. Para una interpretación correcta de los resultados es necesario incorporar en los metaanálisis técnicas que cuantifiquen el riesgo de error aleatorio.
   
Eduardo Palencia Herrejón
Hospital Universitario Infanta Leonor, Madrid.
© REMI, http://medicina-intensiva.com. Enero 2014.

      

Enlaces:

1. Trial sequential analysis reveals insufficient information size and potentially false positive results in many meta-analyses. Brok J, Thorlund K, Gluud C, Wetterslev J. J Clin Epidemiol 2008; 61: 763-769. [PubMed]
2. Updating meta-analyses leads to larger type I errors than publication bias. Borm GF, Donders AR. J Clin Epidemiol 2009; 62: 825-830. [PubMed]
3. Trial sequential analysis may establish when firm evidence is reached in cumulative meta-analysis. Wetterslev J, Thorlund K, Brok J, Gluud C. J Clin Epidemiol 2008; 61: 64-75. [PubMed]
4. Hypothermia for neuroprotection in adults after cardiopulmonary resuscitation. Arrich J, Holzer M, Havel C, Mullner M, Herkner H. Cochrane Database Syst Rev 2012: CD004128. [PubMed]
5. Hypothermia after cardiac arrest should be further evaluated--a systematic review of randomised trials with meta-analysis and trial sequential analysis. Nielsen N, Friberg H, Gluud C, Herlitz J, Wetterslev J. Int J Cardiol 2011; 151: 333-341. [PubMed]

  Búsqueda en PubMed:

• Enunciado: Importancia de la cantidad de información disponible sobre el riesgo de error en los metaanálisis
• Sintaxis: "information size" AND "meta-analysis as topic"[mh]
• [Resultados]