La importancia estadística es una piedra angular de la investigación moderna, actuando como un portero de lo que los investigadores consideran un hallazgo confiable. Desde ensayos clínicos se prueba un nuevo fármaco a experimentos A/B que optimizan un sitio web, este concepto ayuda a separar la señal del ruido. Pero a pesar de su uso generalizado, la significación estadística es a menudo malinterpretada, mal aplicada o sobrealimentada.

¿Qué es el significado estadístico?

En su significado estadístico más simple, es una medida de si un resultado observado es probable debido a un efecto real en lugar de azar. Los investigadores expresan esta probabilidad utilizando algo llamado el p-value. El valor p cuantifica la probabilidad de obtener los datos observados, o datos más extremos, si la hipótesis nula (la suposición de que no existe ningún efecto) fuera verdad. Si esa probabilidad es muy baja, el resultado se considera “estadísticamente significativo”.

El umbral convencional para declarar significación es un valor p de menos de 0.05. Esto significa que si la hipótesis nula fuera cierta, la posibilidad de ver un resultado tan extremo como el observado sería menos del 5%. Sin embargo, este umbral es arbitrario. Su adopción generalizada se deriva de un documento de 1925 de Ronald Fisher, quien sugirió 0.05 como un nivel conveniente. En la práctica, umbrales más estrictos (por ejemplo, p.ej., 0,01 o 0.001)

Es importante que la importancia estadística tenga no significa que un efecto es grande, importante o prácticamente significativo. Sólo indica que los datos observados son poco probables bajo la suposición de ningún efecto. Esta distinción se pierde con frecuencia en los titulares de noticias e incluso en los documentos académicos.

El papel de la hipótesis nula

Cada prueba de significado estadístico comienza con un hipótesis nula (H0), que normalmente declara que no hay efecto o ninguna diferencia entre grupos. Contra esto, los investigadores establecen un hipótesis alternativas (H1 o Ha) que hay un efecto. La prueba estadística entonces pregunta: “Si H0 es cierto, ¿cuán probable es que los datos observados?” Si el valor p se encuentra por debajo del nivel de significado elegido (a menudo 0,05), la hipótesis nula es rechazada a favor de la alternativa.

En este proceso pueden ocurrir dos tipos de errores. Error tipo I (falso positivo) ocurre cuando rechazas la hipótesis nula cuando es realmente cierto. El nivel de significación α (por ejemplo, 0,05) es exactamente la probabilidad de cometer un error tipo I si H0 es verdad. A Error tipo II (falso negativo) ocurre cuando no se rechaza la hipótesis nula cuando es falsa. La probabilidad de un error tipo II se denota β, y 1β es el poder estadístico de la prueba, la probabilidad de detectar un efecto real si existe.

En estudios subpotentes (pequeños tamaños de muestra), el riesgo de errores Tipo II aumenta dramáticamente. Por el contrario, en conjuntos de datos masivos, los efectos triviales se vuelven estadísticamente significativos debido al tamaño de muestra más bajo, inflando el riesgo de errores Tipo I a menos que los investigadores ajusten sus umbrales.

Cómo se calcula el significado estadístico

El cálculo depende del tipo de datos y de la pregunta de investigación. Aquí están los métodos más comunes:

El t-test

El t-test compara los medios entre dos grupos (por ejemplo, un grupo de tratamiento vs. control). Se calcula una t-estadística que refleja la diferencia entre los medios de grupo en relación con la variabilidad dentro de los grupos. La t-estadística sigue una distribución conocida, de la que se puede derivar un valor p.. Si el valor p- está por debajo de α, la diferencia se considera estadísticamente significativa.

Prueba de Chi-Square

El prueba de chi-cuadra-cuadra se utiliza para comprobar si las frecuencias observadas difieren de las frecuencias esperadas. Por ejemplo, los datos de votación pueden comparar la afiliación de partido político a través de grupos de edad. Un gran valor de la paridad relativa a los grados de libertad produce un valor p bajo, indicando una asociación no-racional.

ANOVA

Análisis de la diferencia (ANOVA) Extienda si al menos un grupo significa difiere de los demás. El resultado de la F-estadística es comparado con una F-distribución para calcular un valor p.

En todos los casos, el valor p es una función del tamaño de efecto, el tamaño de la muestra y la variabilidad de los datos. Esto significa que dos estudios con tamaños de efecto idénticos pueden producir valores p muy diferentes si uno tiene una muestra mayor. Por consiguiente, reportar sólo los valores p puede ser engañoso. tamaños de efecto y intervalos de confianza.

Intervalos de confianza

Un intervalo de confianza proporciona una gama de valores plausibles para el efecto verdadero, típicamente a nivel de confianza del 95%. Si el intervalo de confianza del 95% no incluye el valor nulo (por ejemplo, cero para una diferencia en los medios), el resultado es estadísticamente significativo a nivel 0.05. Pero los intervalos de confianza ofrecen más matiz: muestran la precisión de la estimación y el rango de los tamaños de efecto razonables.

Incomprensiones comunes sobre el significado estadístico

Incluso investigadores experimentados frecuentemente malinterpretan los valores p.. Aquí están algunas de las ideas erróneas más peligrosas:

  • Creer p < 0.05 means H₀ is false with 95% certainty. El valor p no le dice la probabilidad de que la hipótesis nula sea verdadera. Sólo le dice la probabilidad de los datos bajo el nulo. La probabilidad de que H0 sea verdadera depende de creencias previas y contexto de estudio, algo que el valor p por sí solo no puede proporcionar.
  • Pensar un resultado no significativo (p √≥ 0.05) demuestra la hipótesis nula. El no rechazar H0 no significa que H0 sea cierto. Podría ser que la muestra era demasiado pequeña, la medición demasiado ruidosa, o el efecto demasiado sutil para detectar.
  • Equiparar la importancia estadística con importancia práctica. Un p-valor muy pequeño puede surgir de un efecto diminuto si la muestra es grande. Por ejemplo, un medicamento que baja la presión arterial por 0,1 mmHg puede ser estadísticamente significativo con 10.000 pacientes, pero clínicamente irrelevante.
  • Suponiendo que los valores p son replicables. Debido a la variación aleatoria, repetir un experimento suele producir un valor p diferente. Un resultado con p = 0.049 en un estudio podría salir como p = 0.06 en una replicación exacta. Esto se conoce como la “vibración de efectos” y subraya por qué los intervalos de confianza y los tamaños de los efectos son más estables.

Importancia en diferentes campos

La importancia estadística desempeña un papel fundamental, pero también se enfrenta a un escrutinio específico sobre el terreno.

Medicina y ensayos clínicos

En el desarrollo de drogas, mostrar que un tratamiento produce una mejora estadísticamente significativa sobre placebo es el estándar de oro para la aprobación reglamentaria. El umbral es a menudo más estricto que 0.05, especialmente para los puntos finales primarios. Sin embargo, las preocupaciones acerca del accionamiento de p y los juicios insuficientes han llevado a llamar a la pre-registración de planes de análisis y la presentación obligatoria del tamaño de los efectos. FDA ahora enfatizar considerando tanto el significado estadístico como el clínico.

Ciencias sociales

La crisis de replicación en psicología y economía se ha atribuido en parte a la sobrevaloración de p-valores. Muchos hallazgos clásicos no se replicaron, en parte porque pequeños tamaños de muestra produjeron p-valores inflados o debido a la falta de p (que se realiza múltiples análisis hasta que se encuentra importancia). En respuesta, muchas revistas ahora requieren tamaños de efecto y intervalos de confianza, y algunos han prohibido la importancia basada en el asterisco reportando por completo.

Ciencia de datos y pruebas A/B

En el desarrollo digital de productos, Pruebas A/B comparar dos versiones de una página web o característica. Los practicantes a menudo declaran un ganador cuando un métrica alcanza p < 0.05. Yet these tests are vulnerable to mirando (repetidamente comprobando el valor p como acumulación de datos) que infla las tasas positivas falsas. Las mejores prácticas modernas incluyen establecer una muestra fija de tamaño de la muestra, utilizando pruebas secuenciales, o abrazando enfoques Bayesian.

Limitaciones y mejores prácticas

La significación estadística es una pantalla útil, pero nunca debe ser el único árbitro de la verdad científica. El difunto Jacob Cohen, un famoso estadístico, llamó al valor p una “dance de los valores p” y defendió los tamaños de los efectos de la presentación de informes. American Statistical Association ha emitido una declaración oficial sobre los valores p, haciendo hincapié en que no miden el tamaño de un efecto o la importancia de un resultado.

  • Siempre reporte e interprete tamaños de efecto (por ejemplo, Cohen d, coeficientes de correlación, ratios de probabilidades).
  • Proveed intervalos de confianza para todas las estimaciones.
  • Considerar el uso Métodos bayesianos, que cuantifica directamente la probabilidad de la hipótesis dadas los datos.
  • Pre-registre su plan de estudio y análisis para prevenir el pinchazo.
  • Ajuste múltiples comparaciones cuando se prueban muchas hipótesis (por ejemplo, corrección Bonferroni, falso índice de descubrimiento).

Un ejemplo clásico del mal uso de los valores p es la historia de la Beetle Mania estudio, donde los investigadores corrieron 100 correlaciones y encontraron 5 significativas por casualidad. Luego escribieron un documento que afirma un vínculo entre escarabajos y actitudes políticas, lo que ilustra por qué la dependencia poco crítica en los valores p conduce a resultados espurios.

Conclusión

La importancia estadística sigue siendo una herramienta poderosa para interpretar los datos, pero no es una varita mágica. Un valor p bajo sugiere que una observación es poco probable que sea debido a la oportunidad aleatoria, sin embargo no demuestra que el efecto es real, importante o replicable. Para utilizar sabiamente el significado estadístico, los investigadores deben complementarlo con tamaños de efecto, intervalos de confianza y sentido común. A medida que el campo de las estadísticas evoluciona, la mejor práctica es alejarnos de una disciplina binaria.

Para más lectura sobre las limitaciones de los valores p, consulte Declaración de la Asociación Americana de Estadística sobre valores p. Una guía integral para los tamaños de los efectos se puede encontrar en este artículo de Psicología Hoy. Para una introducción a alternativas Bayesianas, véase este Material Métodos de la Naturaleza.