Pourquoi la taille des effets compte plus que vous ne pensez

Pendant des décennies, les chercheurs ont mis l'accent sur les valeurs p pour décider si un résultat est significatif. . Mais une valeur p statistiquement significative ne vous indique qu'un effet est peu probable pour avoir eu lieu par hasard – il ne dit rien sur la taille ou l'importance pratique de cet effet. C'est là que la taille de l'effet entre dans le tableau. La taille de l'effet quantifie l'ampleur d'une différence ou d'une relation, donnant aux chercheurs et aux praticiens une idée claire de la signification d'une découverte véritable.

De nombreux champs reconnaissent maintenant que le fait de se fier uniquement à des tests de signification d'hypothèses nulles (NHST) peut conduire à des conclusions erronées. Un grand échantillon peut rendre un effet même insignifiant statistiquement significatif, tandis qu'un petit échantillon pourrait cacher un effet important et important derrière une valeur p non significative.La taille des effets de rapport déplace la conversation de -Y a-t-il un effet? - à --Quelle est l'effet? -Une question beaucoup plus pertinente pour les praticiens, les décideurs et toute personne qui veut utiliser les résultats de la recherche pour prendre des décisions.

Quelle est la taille de l'effet?

La taille de l'effet est une mesure normalisée, sans unité, qui décrit la force d'un phénomène. Elle répond à la question -Quelle est l'effet ? - au lieu de --Est-ce qu'un effet existe ? - Par exemple, une étude peut trouver qu'une nouvelle méthode d'enseignement conduit à des scores de test plus élevés avec p < ; 0,05. Mais si la taille de l'effet est très petite, l'amélioration peut être négligeable dans la pratique.

Contrairement aux valeurs de p, qui sont fortement influencées par la taille de l'échantillon, la taille de l'effet est largement indépendante de la taille de l'échantillon. Une étude de grande envergure peut produire une valeur de p infime pour un effet trivial, tandis qu'une petite étude peut manquer d'un effet important. La taille de l'effet de rapport et les intervalles de confiance fournissent une image beaucoup plus riche de ce que les données disent réellement.

Pour calculer la taille d'un effet, vous standardisez généralement la différence brute ou l'association par une mesure de variabilité. Par exemple, Cohen , d divise la différence moyenne par l'écart-type commun. Cette standardisation permet de comparer entre les études utilisant différentes échelles ou mesures, ce qui explique pourquoi les tailles d'effet sont le fondement de la méta-analyse.

Types d'effets courants

Le choix de la bonne taille d'effet dépend de votre conception de l'étude et de la question de recherche. Voici les mesures les plus utilisées, avec des indications sur le moment où appliquer chacune.

Cohen , d (Différence moyenne normalisée)

Cohen , c'est l'une des tailles d'effet les plus fréquemment rapportées. Elle exprime la différence entre deux moyennes de groupe en unités de l'écart type groupé. Un d de 0,5 signifie que les deux moyennes diffèrent par la moitié d'un écart type. Cette mesure est l'entrée en fonction des tests t de groupes indépendants et peut également être adaptée pour les modèles appariés (en utilisant l'écart type des scores de différence, souvent appelés Cohen , dZ). Vous pouvez calculer Cohen , à partir de statistiques sommaires (moyennes et écarts types) ou utiliser des logiciels statistiques. Calculatrice de taille d'effet de la psychométrique- Oui.

Cohen , c'est aussi utilisé dans la méta-analyse des différences moyennes. Cependant, lorsque la taille de l'échantillon est très inégale, on peut préférer un écart-type pondéré par la taille de l'échantillon (Hedges , g) pour réduire le biais.

Pearson , (coefficient de correction)

Pearson=1 mesure la force et la direction d'une relation linéaire entre deux variables continues. Sa valeur va de –1 (parfait négatif) à +1 (parfait positif), avec 0 indiquant aucune relation linéaire. Parce que r est déjà normalisé, il fonctionne directement comme une taille d'effet. Le quating r donne r2, la proportion de variance partagée entre les deux variables – une mesure utile pour comprendre l'importance pratique. Par exemple, un r de 0.3 correspond à 9% de variance partagée, qui est considéré comme un effet moyen dans les sciences comportementales.

Pour les corrélations simples, il convient de tenir compte non seulement des modèles de régression (en tant que coefficients normalisés), mais aussi des valeurs de r, en particulier parce que r est légèrement biaisé vers le haut dans les petits échantillons.

Eta-Squared (η2) et partiellement Eta-Squared

Dans l'analyse de la variance (ANOVA), l'éta carré indique la proportion de la variance totale dans la variable dépendante représentée par un facteur. Il est analogue à r2 en régression.entre / SSTotal général. Pour les modèles factoriels, les chercheurs déclarent généralement des ETA-carrés partiels (η2pL'étal partiel est donc comparable à l'ensemble des études avec des conceptions différentes, ce qui en fait la norme dans de nombreux domaines. Cependant, l'étal partiel peut surestimer la taille réelle de l'effet de la population, surtout dans les petits échantillons.p Cependant, comme l'étal partiel est si courant, il est acceptable de le signaler tout en notant le potentiel de biais.

Taux de cotes (OR)

Le rapport de cotes est la taille de l'effet de choix pour les résultats binaires, comme la maladie par rapport à aucune maladie, le succès par rapport à l'échec ou la survie par rapport à la mort. Il est utilisé dans les études de régression logistique, les études cas-témoins et les tableaux d'urgence 2×2. Une OU de 1 indique qu'aucune association n'est associée; OR > 1 indique que les chances de résultat dans le groupe exposé sont plus élevées; OR < 1 indique que les chances sont plus faibles.

Cramer , V

Pour les tests chi-carré de l'association dans des tableaux de contingence supérieurs à 2×2, Cramer phi (λ) s'ajuste à 0 à 1, ce qui donne une dimension d'effet semblable à une corrélation. Un petit Cramer , V, peut être 0,1, 0,3 et 0,5, bien que ces repères dépendent des degrés de liberté. Cramer , V est utile quand vous voulez quantifier la force de l'association entre deux variables catégoriques, indépendamment du nombre de catégories.

Cohens f2

Cohen , f2 est utilisé dans le contexte de régression multiple et d'ANOVA pour quantifier la taille de l'effet local pour un ensemble de prédicteurs. Il est défini comme f2 = R2 / (1 − R2) pour l'ensemble du modèle, ou f2 = (R2 pleine − R2 réduit) / (1 − R2 pleine) pour un sous-ensemble de prédicteurs. Cohen , f2 est directement lié au test F et est la taille d'effet nécessaire pour l'analyse de puissance à l'aide de G*Power.

Pourquoi la taille de l'effet est-elle essentielle dans la recherche

De la statistique à l'importance pratique

Un traitement qui -usine - , statistiquement peut produire seulement une petite amélioration qui ne vaut pas le coût ou l'effort. Par exemple, un médicament perte de poids peut montrer une réduction statistiquement significative de 0,5 kg par rapport au placebo. Avec un grand échantillon, qui pourrait être p < 0.001, mais l'effet est cliniquement trivial. Reporting Cohen , aux côtés de la valeur p-force le chercheur à confronter l'ampleur. Dans la recherche éducative, une intervention qui augmente les scores de test d'une taille d'effet de 0,1 pourrait être statistiquement significative avec des milliers d'étudiants, mais le gain pratique pourrait ne pas justifier les frais de mise en oeuvre du programme.

Méta‐analyses et reproductibilité

La combinaison des résultats d'une étude à l'autre nécessite une mesure normalisée. Sans effet, les chercheurs ne peuvent pas agréger les résultats, évaluer la cohérence ou tester les modérateurs. Le projet de reproductibilité en psychologie a révélé que de nombreuses études originales avaient des effets de petite à moyenne taille que les études de réplication n'ont pu confirmer, en partie parce que les études originales étaient sous-alimentées pour détecter de tels effets. Les méta-analyses plus larges utilisant des effets de taille ont depuis précisé quelles conclusions sont robustes. En convertissant tous les résultats en effets communs (p. ex. Cohen=s d ou r), les méta-analyses peuvent pondérer les études par précision et produire une estimation globale avec un intervalle de confiance.

En médecine, les méta-analyses des essais contrôlés randomisés reposent sur des valeurs d'effet telles que des rapports de cotes ou des différences moyennes normalisées pour déterminer le bénéfice global d'un traitement. La collaboration Cochrane exige explicitement des valeurs d'effet et des intervalles de confiance dans ses examens.

Comprendre l'impact réel dans le monde

Dans le domaine de l'éducation, une taille d'effet de 0,2 (petit) sur un test national pourrait encore être significative si elle s'applique à des millions d'étudiants. En médecine clinique, un rapport de cotes de 1,2 (petit) pour un effet secondaire grave pourrait être alarmant. Équipe spéciale de l ' APA sur l ' inférence statistique a longtemps recommandé la taille des effets et les intervalles de confiance. Déclaration de l'American Statistics Association sur les valeurs p encourage explicitement à compléter les valeurs p par des valeurs d'effet et des intervalles.

Interprétation des dimensions de l'effet : au-delà de la règle de la pouce

Grâce à Cohen, de nombreux chercheurs utilisent les repères : petits (d = 0,2), moyens (d = 0,5), grands (d = 0,8). Mais ce ne sont que des points de départ. Cohen lui-même a averti que les valeurs étaient arbitraires et devraient être interprétées par rapport au domaine. En psychologie sociale, un d de 0,5 peut être considéré comme moyen; en physique, un effet moitié écart-type serait énorme. Dans les interventions éducatives, les tailles d'effet supérieures à 0,2 sont souvent rapportées comme significatives.

Il est beaucoup mieux de comparer la taille de votre effet à celles des études antérieures ou des méta-analyses dans votre domaine spécifique que de se fier à des seuils génériques.

De plus, les dimensions des effets doivent être rapportées avec des intervalles de confiance. Un intervalle large autour d'un effet moyen suggère que l'effet réel pourrait être petit ou grand, réduisant la confiance dans l'ampleur exacte. Par exemple, un Cohens d de 0,4 avec un IC à 95 % de 0,1 à 0,7 indique une histoire beaucoup plus nuancée que juste un effet moyen.

Un autre point important est que les dimensions d'effet de différents modèles d'étude ne sont pas toujours directement comparables. Par exemple, Cohen , d d d d d un design entre les sujets diffère de Cohen , dZ De même, les rapports de cotes ne peuvent être comparés directement aux rapports de risque lorsque le résultat est commun. Soyez toujours au courant des détails de calcul lors de l'interprétation des valeurs d'effet d'autres études.

Taille de l'effet dans la méta-analyse

Dans la méta-analyse, les tailles d'effet sont combinées et l'hétérogénéité est évaluée. Une métrique commune est la différence standard en moyens (Cohen , d ou Hedges , g) pour les résultats continus, et le rapport de cotes logarithmiques pour les résultats binaires. Le choix de la taille d'effet peut influer sur les conclusions si les tailles d'effet ne sont pas correctement normalisées. Manuel Cochrane fournit des conseils détaillés sur la sélection et l'interprétation des tailles d'effets dans les examens systématiques.

Utiliser efficacement la taille de l'effet dans votre propre travail

Normes de présentation des rapports

Pour un test, rapportez Cohen , avec IC à 95 %. Pour un annova, indiquez une partie de l'étal carré ou oméga carré. Pour la régression, reportez des coefficients normalisés (β) ou Cohen , f2. Évitez de choisir la taille de l'effet qui rend votre résultat plus grand; choisissez celle qui correspond à votre question de conception et de recherche.

Par exemple : -L'intervention a conduit à une amélioration de taille moyenne des scores de lecture (Cohens d = 0,54, IC à 95 % [0,28, 0,80]), ce qui indique que l'étudiant moyen du groupe d'intervention a obtenu environ la moitié d'un écart-type supérieur à l'étudiant moyen témoin. -Un tel énoncé est beaucoup plus informatif que de simplement signaler p < 0,01.

Tailles d'effet informatique dans le logiciel

Dans le SPSS, vous pouvez demander Cohen , d pour les tests t, et partiellement eta-carré pour ANOVA. Dans le R, des fonctions comme dans le paquet , dans et pour les corrélations simplifient le processus. Psychométrie pour l'analyse de puissance, G* Puissance est un programme libre largement utilisé qui vous permet d'entrer la taille de l'effet (d, f2, etc.) avec l'alpha et la puissance souhaitée pour obtenir la taille de l'échantillon requise.

Analyse de puissance et planification des échantillons

Pour déterminer la taille de l'échantillon nécessaire à une étude, vous devez préciser la taille de l'effet escomptée. Si vous surestimez la taille de l'effet (p. ex., supposer un effet important lorsque l'effet réel est moyen), votre étude sera sous-alimentée. Il est sage de baser votre estimation de la taille de l'effet sur la littérature antérieure ou une petite étude pilote. Beaucoup de calculatrices et de programmes en ligne comme G*Power facilitent cette tâche.

Une erreur courante est d'utiliser la taille de l'effet observée dans une étude précédente comme la taille de l'effet attendu pour une analyse de puissance. Parce que la taille de l'effet observé est souvent gonflée en raison du biais de publication (la malédiction de -winner), vous devriez plutôt utiliser une estimation méta-analytique ou une taille de l'effet -supérieur de l'intérêt -(SESOI).

Pièges fréquents

  • Taille de l'effet d'ignorance: Se contenter de valeurs p conduit à une surconfiance dans les effets triviaux.
  • Utilisation abusive de Cohen , pour des mesures répétées: Les modèles appariés nécessitent un ajustement (p. ex. Cohen,Z La déclaration d'un groupe d pour une conception à l'intérieur de sujets gonflera l'estimation parce qu'elle ignore la corrélation entre les mesures.
  • Tailles des effets de déclaration sans intervalles de confiance: Une estimation ponctuelle est moins informative sans précision, et l'intervalle de confiance permet au lecteur d'évaluer la gamme de tailles d'effets plausibles.
  • Surinterprétation de petites tailles d'effets: Même si l'effet est statistiquement significatif, il peut ne pas être utile d'en tirer un effet très faible.
  • Utilisation de tailles d'effet brutes sans tenir compte de l'échelle: Par exemple, une différence moyenne non normalisée de 5 points sur un test de QI (SD=15) est une Cohen="d de 0,33; mais la même différence brute sur un test avec SD=30 serait d=0,17.

Conclusion

En allant au-delà de -p-lt; 0.05 et en embrassant Cohen, Pearson, r, eta-carré, les rapports de cotes, et d'autres mesures, les chercheurs donnent à leur public l'information nécessaire pour évaluer l'importance pratique, comparer les résultats d'études et concevoir des expériences futures bien propulsées. La taille des effets avec intervalles de confiance devrait devenir une pratique courante dans chaque discipline quantitative. La prochaine fois que vous effectuez un test statistique, rappelez-vous : la signification statistique vous indique si quelque chose s'est passé; la taille des effets vous indique combien cela compte.

À mesure que le terrain s'oriente vers une science ouverte et reproductible, la déclaration de la taille des effets est un moyen simple mais puissant d'améliorer la transparence.