¿Por qué el tamaño del efecto importa más de lo que piensas

Durante décadas, los investigadores han hecho un gran énfasis en los valores p para decidir si un resultado es “significante”. Pero un valor p estadísticamente significativo sólo le dice que un efecto es poco probable que haya ocurrido por casualidad – no dice nada sobre el tamaño o la importancia práctica de ese efecto. Aquí es donde el tamaño del efecto entra en la imagen. El tamaño del efecto cuantifica la magnitud de una diferencia o relación esencial, dando a los investigadores y practicantes un sentido claro de cómo un hallazgo verdaderamente bueno es.

Muchos campos reconocen que confiar exclusivamente en pruebas de significado de hipótesis nulas (NHST) puede llevar a conclusiones erróneas. Una muestra grande puede hacer incluso un efecto trivialmente pequeño estadísticamente significativo, mientras que una muestra pequeña podría ocultar un efecto grande e importante detrás de un valor p no significativo. Reportar tamaños de los efectos mueve la conversación de “¿hay un efecto?” a “¿cuán grande es el efecto?”—una pregunta mucho más relevante para los practicantes,

¿Qué es el tamaño del efecto?

El tamaño del efecto es una medida estandarizada y libre de unidad que describe la fuerza de un fenómeno. Responde a la pregunta “¿Cuán grande es el efecto?” en lugar de “¿Existe un efecto?” Por ejemplo, un estudio podría encontrar que un nuevo método de enseñanza conduce a puntuaciones de prueba más altas con p < 0.05. Pero si el tamaño del efecto es muy pequeño, la mejora puede ser insignificante en la práctica.

A diferencia de los valores p, que están fuertemente influenciados por el tamaño de la muestra, los tamaños de los efectos son en gran medida independientes del tamaño de la muestra. Un estudio grande puede producir un pequeño valor p para un efecto trivial, mientras que un pequeño estudio puede perder un efecto grande. El tamaño de los efectos de la presentación junto con intervalos de confianza proporciona una imagen mucho más rica de lo que los datos dicen.

Para calcular el tamaño de un efecto, usted típicamente estandariza la diferencia o asociación cruda por una medida de variabilidad. Por ejemplo, Cohen d divide la diferencia media por la desviación estándar de la piscina. Esta esta estandarización permite la comparación entre estudios que utilizan diferentes escalas o mediciones, por lo que los tamaños de efecto son la base de meta-análisis.

Tipos comunes de tamaño del efecto

Elegir el tamaño de efecto adecuado depende de su pregunta de diseño e investigación de estudio. A continuación se presentan las medidas más utilizadas, con orientación sobre cuándo aplicar cada uno.

Cohen's d (Diferencia de Significado Estandarizado)

Cohen es uno de los tamaños de efecto más frecuentemente reportados. Expresa la diferencia entre dos medios de grupo en unidades de la desviación estándar alberca. Un d de 0,5 significa que los dos medios difieren por medio de una desviación estándar. Esta medida es el objetivo para grupos independientes t-tests y también se puede adaptar para diseños pareados (utilizando la desviación estándar de las puntuaciones de diferencia, a menudo llamada d Cohenz). Puede calcular el d de Cohen de las estadísticas sumarias (medios y desviaciones estándar) o utilizar software estadístico. Para una herramienta rápida en línea, muchos investigadores recurren a Calculadora de tamaño de efecto de Psychometrica.

Cohen's d también se utiliza en metaanálisis de diferencias medias. Sin embargo, cuando los tamaños de la muestra son muy desiguales, una desviación estándar mancomunada ponderada por el tamaño de la muestra (Hedges’ g) puede ser preferido reducir el sesgo. Muchos paquetes de software metaanálisis computan automáticamente Hedges’ g, que es muy similar al d de Cohen pero aplica un pequeño factor de corrección.

Pearson r (Coeficiente de Corrección)

El informe de Pearson mide la fuerza y dirección de una relación lineal entre dos variables continuas. Su valor varía de –1 (perfect negativo) a +1 (perfect positivo), con 0 indicando ninguna relación lineal. Debido a que r ya está estandarizado, funciona directamente como un tamaño de efecto. El intervalo de separación da r2, la proporción de la restricción compartida entre las dos variables, una métrica útil para entender la importancia práctica.

El r de Pearson es adecuado no sólo para correlaciones simples, sino también para modelos de regresión (como coeficientes estandarizados). Al informar r, incluye un intervalo de confianza para comunicar precisión, especialmente importante porque r sí mismo es ligeramente sesgado hacia arriba en pequeñas muestras.

Eta‐Squared (cade2) y Eta-Squared parcial

En análisis de la varianza (ANOVA), eta-squared indica la proporción de la varianza total en la variable dependiente contada por un factor. Es análogo a r2 en regresión. Para una sola vía ANOVA, pira2 = SSentre / SStotal. Para los diseños factoriales, los investigadores suelen reportar parcial eta-squared (Sign2)p), que elimina la variabilidad de otros factores e interacciones antes de calcular la proporción. La eta parcial es por lo tanto comparable en estudios con diferentes diseños, lo que lo convierte en la norma en muchos campos. Sin embargo, parcial eta-squared puede sobreestimar el verdadero tamaño de efecto de la población, especialmente en pequeñas muestras. Una alternativa menos sesgada es parcial omega-squared (ω2p), que muchas metodologías ahora recomiendan.

Aun así, porque parcial eta-squared es tan común, es aceptable reportarlo mientras que también observa el potencial de sesgo.

Tasas de proporción (OR)

El índice de probabilidades es el tamaño de efecto de elección para los resultados binarios, como la enfermedad vs. ninguna enfermedad, el éxito vs. fracaso, o supervivencia vs. muerte. Se utiliza en la regresión logística, estudios de casos-control, y tablas de contingencia 2×2. Un OR de 1 no indica asociación; OR > 1 indica mayor probabilidad de resultado en el grupo expuesto; OR < 1 indica una disminución de la relación de riesgo

Cramer V

Para las pruebas de asociación de chi‐square en tablas de contingencia más grandes que 2×2, Cramer’s V ajusta phi (φ) a rango entre 0 y 1, proporcionando un tamaño de efecto similar a correlación. Un pequeño Cramer’s V podría ser 0.1, medio 0.3, y grande 0.5, aunque estos parámetros dependen de los grados de libertad. Cramer’s V es útil cuando desea cuantificar la fuerza de asociación entre dos categorías de número, independientemente de las variables categóricas.

Cohen's f2

El f2 de Cohen se utiliza en el contexto de regresión múltiple y ANOVA para cuantificar el tamaño de efecto local para un conjunto de predictores. Se define como f2 = R2 / (1 − R2) para todo el modelo, o f2 = (R2)llena − R2Reducción) / (1 − R2llena) para un subconjunto de predictores. El f2 de Cohen está directamente relacionado con el F‐test y es el tamaño de efecto requerido para el análisis de potencia utilizando G*Power. Parámetros: 0.02 (pequeño), 0.15 (medio), 0.35 (grande).

Por qué el tamaño del efecto es crítico en la investigación

De la estadística a la importancia práctica

Un tratamiento que “trabaja” estadísticamente puede producir sólo una pequeña mejora que no vale el costo o esfuerzo. Por ejemplo, un medicamento para la pérdida de peso puede mostrar una reducción estadísticamente significativa de 0,5 kg sobre placebo. Con una gran muestra, que podría ser p < 0.001, sin embargo el efecto es clínicamente trivial. Reportar Cohen’s d junto al valor p- fuerza al investigador para enfrentar la magnitud.

Meta‐Analyses and Reproducibility

Los tamaños de efecto son la moneda de metaanálisis. Combinar resultados en estudios requiere una métrica estandarizada. Sin tamaños de efecto, los investigadores no pueden agregar hallazgos, evaluar la consistencia o test para moderadores. El Proyecto de Reproducción en psicología encontró que muchos estudios originales tenían tamaños pequeños a mediano efecto que los estudios de replicación no podían confirmar, en parte porque los estudios originales estaban bajo la fuerza para detectar tales efectos.

En la medicina, los metaanálisis de ensayos controlados aleatorizados dependen de tamaños de efecto como ratios de probabilidades o diferencias medias estandarizadas para determinar el beneficio general de un tratamiento. La colaboración Cochrane requiere explícitamente tamaños de efecto y intervalos de confianza en sus revisiones. Sin estandarización, la evidencia acumulada sería un conjunto de estadísticas incompatibles.

Comprender el impacto real en el mundo

En la educación, un tamaño de efecto de 0,2 (pequeño) en una prueba nacional podría ser significativo si se aplica a millones de estudiantes. En la medicina clínica, una relación de probabilidades de 1,2 (pequeño) para un efecto secundario grave podría ser alarmante. Cuestiones de contexto. El tamaño del efecto proporciona la cantidad de crudo; luego la interpreta dentro del dominio. APA Task Force on Statistical Inference ha recomendado largo tiempo los tamaños de los efectos de la presentación de informes y los intervalos de confianza.

Declaración de la Asociación Americana de Estadística sobre valores p explícitamente fomenta la complementación de valores p-con tamaños de efecto y intervalos.

Tamaños de efectos interpretativos: Más allá de la regla del tumulto

Gracias a Cohen, muchos investigadores utilizan los parámetros de referencia: pequeños (d = 0,2), medianos (d = 0,5), grandes (d = 0,8).Pero estos son sólo puntos de partida. Cohen advirtió que los valores eran “arbitrarios” y deben ser interpretados en relación con el campo. En psicología social, un d de 0,5 puede ser considerado medio; en física, un efecto medio de desviación estándar sería enorme.

Además, los tamaños de los efectos deben ser reportados con intervalos de confianza. Un intervalo amplio alrededor de un efecto medio sugiere que el efecto verdadero podría ser pequeño o grande, reduciendo la confianza en la magnitud exacta. Por ejemplo, un Cohen d de 0.4 con un IC del 95% de 0.1 a 0.7 cuenta una historia mucho más matizada que simplemente “efecto de medio”. El ancho de intervalo también informa la investigación futura: si incluye cero, el resultado no es estadísticamente significativo; si existe cero

Otro punto importante es que los tamaños de efecto de diferentes diseños de estudio no siempre son directamente comparables. Por ejemplo, Cohen d de un diseño entre subjetos difiere de la d de Cohenz de un diseño de subjetos dentro de un diseño porque este último utiliza la desviación estándar de diferencias en lugar de la desviación estándar mancomunada. De manera similar, las ratios de probabilidades no pueden compararse directamente con las ratios de riesgo cuando el resultado es común. Siempre tenga en cuenta los detalles computacionales al interpretar tamaños de los efectos de otros estudios.

Tamaño del efecto en Meta‐Analisis

En metaanálisis, los tamaños de los efectos se combinan, y se evalúa la heterogeneidad. Una métrica común es la diferencia estándar en los medios (Cohen d o Hedges’ g) para los resultados continuos, y la relación de probabilidades de registro para los resultados binarios. La elección del tamaño del efecto puede afectar las conclusiones si los tamaños de los efectos no están correctamente estandarizados. Cochrane Handbook proporciona una amplia orientación sobre la selección e interpretación de los tamaños de los efectos en exámenes sistemáticos.

Usando el tamaño del efecto de manera efectiva en su propio trabajo

Normas de presentación de informes

Cuando escriba resultados, incluya la medida de tamaño de efecto, su valor y un intervalo de confianza. Para un test t, informe Cohen d con IC 95%. Para un ANOVA, informe parcial eta-squared o omega-squared. Para la regresión, informe coeficientes estandarizados (β) o Cohen's f2. Evite la cereza depilar el tamaño de efecto que hace su resultado se ve más grande la revista de diseño

También es buena práctica interpretar el tamaño del efecto en contexto. Por ejemplo: “La intervención llevó a una mejora mediana en las puntuaciones de lectura (Cohen d = 0,54 IC 95% [0,28, 0,80]), indicando que el estudiante promedio en el grupo de intervención anotó aproximadamente la mitad de una desviación estándar superior al estudiante de control promedio”. Tal declaración es mucho más informativa que informar simplemente p < 0,01.

Tamaños de efectos de computación en el software

Muchos paquetes estadísticos ahora incluyen opciones de tamaño de efecto. En SPSS, puede solicitar el d de Cohen para t-tests, y parcial eta-squared para ANOVA. En R, funciones como en el paquete , en , y para las correlaciones que Microsoft simplifica el proceso. Psicométricoa que compute Cohen d, r y ratios de probabilidades. Para el análisis de energía, G*Power es un programa gratuito de uso amplio que le permite introducir el tamaño del efecto (d, f2, etc.) junto con el alfa y la potencia deseada para obtener el tamaño de la muestra requerido.

Análisis de potencia y planificación de muestras

El tamaño del efecto es central al análisis de potencia. Para determinar el tamaño de la muestra necesario para un estudio, debe especificar el tamaño del efecto esperado. Si sobreestima el tamaño del efecto (por ejemplo, asuma un efecto grande cuando el efecto verdadero es mediano), su estudio será subpoderado. Es prudente basar su estimación del tamaño del efecto en la literatura anterior o un pequeño estudio piloto.

Un error común es utilizar el tamaño de efecto observado en un estudio anterior como el tamaño de efecto esperado para un análisis de potencia. Debido a que los tamaños de efecto observados se inflan a menudo debido a la sesgo de publicación (la maldición del ganador), debe utilizar una estimación metaanálisis o un “tamaño de efecto más sólido” (SESOI). El SESOI puede ser determinado por significado clínico, análisis de costos beneficios, o parámetros normativos en su campo.

Pitfalls comunes

  • Ignorando el tamaño del efecto: Resistir únicamente en valores p- conduce a la sobreconfianza en efectos triviales.
  • Mal uso de Cohen’s d para medidas repetidas: Los diseños emparejados requieren un ajuste (por ejemplo, Cohen’s dz El reporte de un entre grupos d para un diseño de subjetos dentro de los subjetos inflará la estimación porque ignora la correlación entre las mediciones.
  • Tamaños de los efectos de reportaje sin intervalos de confianza: Una estimación de puntos es menos informativa sin su precisión, y el intervalo de confianza permite al lector evaluar la gama de tamaños de efecto plausible.
  • Sobreinterpretar tamaños de efecto pequeño: Incluso si estadísticamente significativa, un efecto muy pequeño puede no tener un uso práctico. Interpretar siempre la magnitud en el contexto del campo y los costos/beneficios de la aplicación de la constatación.
  • Usando tamaños de efecto bruto sin considerar escala: Por ejemplo, una diferencia media no estandarizada de 5 puntos en una prueba de IQ (SD=15) es un D de Cohen de 0.33; pero la misma diferencia cruda en una prueba con SD=30 sería d=0.17.

Conclusión

El tamaño del efecto no es un suplemento opcional para las pruebas tradicionales de la hipótesis nula, es la moneda primaria para comunicar la magnitud de los hallazgos. Al pasar de la “p < 0.05” y abrazar el d de Cohen, Pearson r, eta-squared, ratios de probabilidades, y otras medidas, los investigadores le dan a su audiencia la información necesaria para evaluar la importancia práctica, comparar resultados a través de la disciplina

A medida que el campo se mueve hacia la ciencia abierta y reproducible, la información de tamaño de los efectos es una manera sencilla pero poderosa de mejorar la transparencia. Al adoptar estas prácticas, los investigadores pueden ayudar a asegurar que sus hallazgos no son sólo estadísticamente significativos, sino genuinamente significativos.