How to Calculate and Interpret Effect Size in Research Studies
Table of Contents
Contrairement aux valeurs p, qui indiquent si un effet existe, la taille de l'effet montre combien cet effet est réellement important, ce qui la rend essentielle pour interpréter les résultats de la recherche et en évaluer l'importance pratique. À une époque où de nombreuses disciplines scientifiques sont aux prises avec des problèmes de reproductibilité, la taille de l'effet constitue un outil essentiel pour évaluer la force des données probantes dans les études et les contextes.
Pourquoi la taille de l'effet compte plus que les valeurs p
Pendant des décennies, la valeur p a été le gardien de l'importance statistique dans les sciences sociales, la médecine et au-delà. Une valeur p inférieure à 0,05 indique aux chercheurs qu'un résultat observé est improbable en raison de l'hypothèse nulle, mais il ne dit rien sur la taille ou l'importance de ce résultat. La taille de l'effet comble cette lacune en quantifiant la différence ou l'association réelle. Par exemple, un grand échantillon pourrait donner une valeur p statistiquement significative pour une différence insignifiante de 0,1 point sur une échelle de 100 points – statistiquement significative, mais pratiquement sans signification.
En outre, la taille des effets permet la méta-analyse en standardisant les résultats de différentes études qui ont utilisé différentes mesures. Sans la taille des effets, il serait presque impossible de synthétiser les résultats dans une littérature. Association américaine de psychologie (APA), il faut maintenant faire rapport de la taille des effets en même temps que les valeurs p. L'évolution vers la taille des effets reflète une plus grande importance accordée à la transparence, à la reproductibilité et à la pertinence pratique de la recherche.
Quelle est la taille de l'effet?
La taille de l'effet quantifie la force d'un phénomène. En termes simples, elle répond à la question « combien ? » plutôt qu'à « existe-t-elle ? » Cette quantification permet aux chercheurs de comparer les résultats entre les études, les différentes échelles et les différentes populations. La taille de l'effet peut être exprimée par une différence entre les groupes, une corrélation entre les variables ou un rapport de cotes dans les analyses par catégories.
Les familles à effet commun comprennent :
- d-famille (p. ex., Cohen's d, Hedges' g): différences moyennes normalisées utilisées pour comparer deux groupes.
- Famille (p. ex., r de Pearson, rho de Spearman) : coefficients de corrélation mesurant la force d'association entre variables continues.
- Taux de cotes (OR) et ratio de risque (RR): mesures de l'effet pour les résultats catégoriques, fréquemment utilisées dans l'épidémiologie et les essais cliniques.
Le choix de l'effet approprié dépend de la conception de la recherche, de la nature des données et de la question principale d'intérêt.
Cohen's d pour les comparaisons de groupe
Cohen est peut-être la taille de l'effet la plus utilisée. Elle exprime la différence entre deux moyennes de groupes en termes d'unités d'écart-type, nous indiquant effectivement combien d'écarts-types sont séparés des groupes.
d = (M1 – M2) / DD mise en commun
où1 et M2 sont les moyens d'échantillonnage et le DD mise en commun est l'écart-type groupé, calculé comme la racine carrée de la moyenne des variances des deux groupes. C'est vrai. applique une petite correction pour des échantillons de taille inégale, ce qui rend plus approprié pour les études avec des groupes petits ou déséquilibrés.
Pearson pour les corrélés
Lorsqu'on examine la relation entre deux variables continues (p. ex., les heures d'étude et les notes d'examen), le r de Pearson mesure à la fois la direction et la force d'une relation linéaire. Il varie de -1 (négatif parfait) à 0 (aucune relation linéaire) à +1 (positif parfait). L'écart entre le coefficient de corrélation donne le coefficient de détermination, r2, qui représente la proportion de variance partagée entre les deux variables. Par exemple, un r de 0,5 correspond à r2 = 0,25, ce qui signifie que 25 % de la variabilité d'une variable peut être expliqué par l'autre.
Ratio de cotes pour les résultats catégoriques
Dans les études cas-témoins, les essais randomisés avec des résultats dichotomiques (p. ex., survivants vs décès, rechute vs aucune rechute), le rapport de cotes compare les chances d'un événement dans le groupe traité par rapport au groupe témoin. Un rapport de cotes de 1 indique aucun effet; les valeurs supérieures à 1 indiquent des cotes accrues; les valeurs inférieures à 1 indiquent des cotes réduites. L'ampleur du écart par rapport à 1 reflète la force de l'association.
Comment calculer la taille de l'effet
La méthode de calcul de la taille de l'effet dépend du type de données et d'analyses utilisées. Ci-dessous sont les procédures pour les situations les plus courantes, ainsi que les explications de la logique sous-jacente.
Calcul des d de Cohen à partir des moyens et des écarts standard
Lorsque vous avez des statistiques descriptives de deux groupes indépendants (écart moyen et écart type), Cohen's d est calculé comme suit :
- Calculer l'écart type commun: SD mise en commun = sqrt( (n)1 – 1) * DD12 + (n2 – 1) * DD22)/ (n1 + n2 – 2) )
- Calculer d = (M1 – M2) / DD mise en commun
Par exemple, imaginez une étude comparant une nouvelle méthode d'enseignement à l'enseignement traditionnel.Le groupe de traitement (n=30) a une note d'examen moyenne de 85 (SD=10), et le groupe témoin (n=30) a une moyenne de 78 (SD=12). Le branchement dans la formule donne un DD groupé d'environ 11,05 et un d (85 – 78)/11,05 .
Calcul de la valeur de Pearson à partir de données brutes ou de statistiques sommaires
Avec les données brutes, le r de Pearson est calculé à l'aide de la formule :
r = - -(XLes – MX(Y)Les – M Oui)) / sqrt( -)Les – MX)2 * -(YLes – M Oui)2)
Si vous avez la valeur t et les degrés de liberté par rapport à une analyse de régression ou de corrélation, vous pouvez calculer r en utilisant : r = t / sqrt(t2 + df). Cette approximation est pratique lorsque vous lisez les résultats publiés qui rapportent des statistiques t mais pas directement la corrélation.
Calcul des rapports de cotes à partir des tableaux de contingence
D'un tableau 2x2 :
| Événement | Pas d'événement | |
| Traitement | a | b |
| Contrôle | c | d |
Le rapport de cotes est (a/b) / (c/d) = (a*d)/(b*c). Par exemple, si a=20, b=80, c=10, d=90, alors OR = (20*90)/(80*10) = 1800/800 = 2,25, cela indique que les cotes de l'événement dans le groupe traité sont 2,25 fois celles du groupe témoin.
Taille de l'effet informatique dans les logiciels statistiques
La plupart des paquets statistiques peuvent calculer les tailles d'effet directement ou fournir la sortie nécessaire. Autres, le paquet offre des fonctions comme . SPSS, les estimations de la taille des effets (p. ex., Cohen's d for t-tests, partiellement eta-carré pour ANOVA) sont disponibles dans les options « Taille des effets » dans les menus d'analyse. JASP et jambovi, les tailles d'effet sont automatiquement fournies en même temps que les résultats des tests. Méta-analyse globale ou les métafor paquet en R peut mettre en commun les tailles d'effet de plusieurs études.
Les chercheurs doivent toujours indiquer les tailles d'effet avec leurs intervalles de confiance pour transmettre la précision de l'estimation. Un intervalle de confiance qui s'étend sur zéro (pour d) ou sur les croisements 1 (pour OR) indique que l'effet n'est pas statistiquement significatif au niveau alpha choisi, mais la largeur de l'intervalle révèle également combien d'incertitude reste.
Taille de l'effet d'interprétation
L'interprétation de la taille des effets implique de comprendre son ampleur en utilisant des repères établis, mais aussi en tenant compte du contexte et du domaine de la recherche. Analyse statistique de la puissance pour les sciences du comportement. Cohen lui-même a souligné que ce sont des «conventions» et qu'elles ne devraient pas être appliquées de manière rigide; elles servent de point de départ à la discussion.
Cohen's d Benchmarks
- Petite: d = 0,2 — une différence non visible à l'œil nu dans les milieux typiques des sciences sociales
- Moyenne: d = 0,5 — une différence suffisamment grande pour être remarquée par un observateur attentif
- Grande: d = 0,8 — une différence très évidente
Par exemple, en éducation, un d de 0,2 pourrait correspondre à une amélioration de quelques points seulement sur un test standardisé, alors qu'un d de 0,8 pourrait représenter le déplacement d'un élève du 50e au 79e centile. En psychologie clinique, la taille des effets de certains médicaments antidépresseurs par rapport au placebo est souvent d = 0,3 (petit à moyen), ce qui informe les décisions de traitement en même temps que les effets secondaires et les préférences du patient.
Les repères de Pearson
- Petite: r = 0,1 — une faible association
- Moyenne: r = 0,3 — une relation modérée
- Grande: r = 0,5 — une forte association
Dans de nombreux domaines de la psychologie et de l'éducation, les corrélations supérieures à 0,5 sont rares pour les prédicteurs uniques en raison de la complexité du comportement humain. Par exemple, la corrélation entre les heures d'étude et les notes d'examen varie généralement de 0,3 à 0,5, ce qui indique un effet modéré.
Interprétation du rapport de cotes
En médecine, un ratio de cotes de 1,5 est parfois considéré comme un effet faible, soit 2,0 modéré et 3,0 ou plus fort. Toutefois, en épidémiologie, même un rapport de cotes de faible importance (p. ex. 1,2) peut être significatif si l'exposition est fréquente et si le résultat est grave (p. ex. cancer). La clé est de combiner la taille de l'effet avec le risque de base : un effet relatif faible peut avoir une incidence absolue importante sur la santé de la population.
Les idées fausses courantes sur la taille de l'effet
Malgré son importance croissante, plusieurs idées fausses persistent :
- « Une grande taille d'effet signifie toujours que le résultat est important. » Une grande taille d'effet d'une étude mal conçue avec des variables confusionnelles peut être trompeuse. La taille d'effet doit être interprétée en même temps que la qualité de l'étude, la représentativité de l'échantillon et les biais potentiels.
- "La taille effective remplace le besoin de valeurs p." Les valeurs p et les dimensions des effets servent à des rôles complémentaires. Une valeur p vérifie si l'effet observé peut être dû au hasard, tandis que la taille des effets quantifie sa force.
- "Les repères de Cohen sont universels." Dans certains domaines (p. ex., la physique ou la génétique), les dimensions des effets de d = 0,2 peuvent être considérées comme énormes, tandis que dans la psychologie sociale, d = 0,8 peut être une pratique courante.
- "La taille effective n'est que pour les essais paramétriques." Il existe des tailles d'effet non paramétriques, comme le delta de Cliff pour les données ordinales, la corrélation entre le grade et le bisérial, et le V de Cramer pour les tests chi-carrés, qui offrent une interprétabilité comparable sans hypothèses de distribution normales.
Exemples pratiques de la taille des effets dans la recherche
Pour illustrer l'utilité de la taille des effets, il faut envisager trois scénarios de recherche :
Exemple 1 : Comparaison de deux méthodes d'enseignement
Les notes obtenues après le test montrent une différence moyenne de 4 points (nouveau : 82, traditionnel : 78) avec un DD commun = 10. Cohen's d = 0,4 – un effet de petite à moyenne valeur. La valeur de p est 0,04 (significative à α = 0,05). Sans effet, un lecteur pourrait surestimer l'importance de la constatation « significative ». Avec d = 0,4, le chercheur reconnaît que la nouvelle méthode offre une amélioration modeste, peut-être pas assez pour justifier une révision coûteuse du programme.
Exemple 2: Corrélation entre l'exercice et l'humeur
Une étude de 200 adultes a trouvé un r de Pearson de 0,25 entre les heures d'exercice hebdomadaires et les scores d'humeur auto-déclarés (p = 0,001), c'est-à-dire une corrélation de petite à moyenne. Le r2 = 0,0625 indique que l'exercice n'explique qu'environ 6 % de la variance d'humeur.
Exemple 3: Ratio de cotes dans une étude de cas-contrôle
Une étude cas-témoins du cancer du poumon (200 cas, 200 témoins appariés) examine l'association avec un biomarqueur spécifique. Le rapport de cotes est de 3,2 (IC à 95 % : 2,1-4.9), ce qui indique que les probabilités de cancer du poumon sont plus de trois fois plus élevées chez les personnes atteintes du biomarqueur.
Taille de l'effet de déclaration dans les documents de recherche
Les guides de style et les exigences de la revue ont évolué pour rendre compte de la taille des effets. Le Manuel de publication de l'APA (7e éd.) indique : « Pour que le lecteur puisse apprécier l'ampleur ou l'importance des résultats d'une étude, il est presque toujours nécessaire d'inclure une certaine mesure de la taille des effets dans la section Résultats. » De même, l'American Medical Association (AMA) et les lignes directrices du réseau EQUATOR pour les essais cliniques prévoient des tailles d'effets avec intervalles de confiance.
Pour les rapports, suivre ces pratiques exemplaires :
- Toujours indiquer le type d'effet utilisé (p. ex. Cohen's d, Pearson's r, Hedges' g).
- Fournir l'intervalle de confiance pour l'estimation de la taille de l'effet (p. ex. IC à 95 % [0,12, 0,68] pour d).
- Interpréter la taille des effets dans le contexte de la littérature antérieure et de la pertinence pratique, et non pas seulement des repères.
- Évitez les expressions comme « une grande taille d'effet a été trouvée » sans parler de ce que signifie « grande » dans le contexte de cette étude.
Exemples de bons rapports : « Le groupe d'intervention a obtenu des résultats plus élevés que le groupe témoin, l'IC de Cohen d = 0,63, 95 % [0,27, 0,99], un effet moyen à grand conforme aux méta-analyses antérieures.
Limites des valeurs repères de la taille des effets
Bien que les repères de Cohen soient des outils d'enseignement utiles, ils ont des limites. Ils ont été proposés à l'origine pour les sciences comportementales et peuvent ne pas s'appliquer dans d'autres domaines. 0,2 taille de l'effet dans les essais cliniques de médicaments qui sauvent des vies pourrait être extrêmement important, tandis que 0,8 taille de l'effet En outre, les dimensions des effets peuvent être gonflées dans de petits échantillons (surtout avec de petits biais N et de gros biais) ou dégonflées par erreur de mesure. Considérez toujours la fiabilité des instruments utilisés et l'homogénéité de l'échantillon lors de l'interprétation de la grandeur des dimensions des effets.
Les chercheurs choisissent la mesure de la taille des effets qui rend leurs résultats plus impressionnants. Pour contrer cette situation, il est recommandé de préenregistrer les mesures de la taille des effets. De plus, les méta-analyseurs préfèrent de plus en plus les différences moyennes normalisées qui s'adaptent aux biais de faible échantillon (p. ex., Hedges' g) et utilisent des modèles d'effets aléatoires pour tenir compte de la variabilité entre les études.
Analyse de la taille et de la puissance des effets
La taille de l'effet est centrale à l'analyse de puissance, qui détermine la taille de l'échantillon nécessaire pour détecter un effet donné avec un niveau de puissance statistique souhaité. G* Puissance Les chercheurs peuvent utiliser la taille de l'effet observé pour calculer la puissance obtenue après l'étude, bien que cette pratique soit controversée parce qu'elle ne traite pas de la question principale de l'étude et qu'elle peut être trompeuse.
Par exemple, une analyse de puissance a priori pour un test t de deux groupes visant à détecter un effet moyen (d = 0,5) avec α = 0,05 et puissance = 0,80 nécessite environ 64 participants par groupe (128 au total), ce qui aide les chercheurs à éviter les études sous-alimentées qui gaspillent les ressources et produisent des estimations peu fiables.
Conclusion
En allant au-delà de la pensée dichotomique «significative ou non significative» et en se concentrant sur l'ampleur des effets, les chercheurs peuvent tirer des conclusions plus nuancées et répliquées. La taille des effets facilite la méta-analyse, éclaire la planification du pouvoir et fournit un langage commun pour comparer les résultats d'études et de domaines.
Pour les étudiants et les éducateurs, maîtriser les concepts de la taille des effets – notamment quand utiliser les ratios d, r ou cotes de Cohen, Pearson – est une étape essentielle pour devenir des consommateurs et des producteurs de recherche critiques. Comme la communauté scientifique continue de mettre l'accent sur la transparence et la reproductibilité, la taille des effets restera une pierre angulaire de la pratique statistique saine.
Pour plus de détails, consulter le site Web suivant: Manuel de publication de l'APA pour des lignes directrices sur la déclaration de la taille des effets, et visiter le Centre national d'information sur les biotechnologies Pour une plongée plus profonde dans les méthodes de calcul, la paquet effsize pour R Elle fournit des fonctions complètes. Calculatrice de la taille des effets psychométriques offre un outil en ligne facile pour les calculs rapides.