Understanding the Concept of Statistical Significance
Table of Contents
De la recherche clinique à l'expérimentation d'un nouveau médicament à l'expérimentation d'un A/B, ce concept permet de séparer le signal du bruit. Mais malgré son utilisation généralisée, la signification statistique est souvent mal comprise, mal appliquée ou trop traitée. Cet article précisera exactement ce que signifie la signification statistique, comment elle est calculée et interprétée, et surtout, où elle est insuffisante. D'ici là, vous aurez une base solide pour utiliser et critiquer cet outil statistique essentiel.
Quelle est l'importance statistique?
La signification statistique est la mesure de la probabilité qu'un résultat observé soit attribuable à un effet réel plutôt qu'à une chance aléatoire. Valeur p. La valeur p quantifie la probabilité d'obtenir les données observées, ou des données plus extrêmes, si l'hypothèse nulle (l'hypothèse qu'il n'existe aucun effet) était vraie. Si cette probabilité est très faible, le résultat est considéré comme significatif -.
Le seuil conventionnel de déclaration de signification est une valeur p inférieure à 0,05. Cela signifie que si l'hypothèse nulle était vraie, la probabilité de voir un résultat aussi extrême que celui observé serait inférieur à 5 %. Cependant, ce seuil est arbitraire. Son adoption généralisée découle d'un document de 1925 de Ronald Fisher, qui a suggéré que 0,05 était un niveau pratique.
Fait important, la signification statistique pas Il n'indique que les données observées sont peu probables en supposant qu'elles n'ont pas d'effet. Cette distinction est souvent perdue dans les journaux d'actualité et même dans les journaux universitaires.
Le rôle de l'hypothèse null
Chaque test de signification statistique commence par un hypothèse nulle (H0), qui indique généralement qu'il n'y a pas d'effet ou de différence entre les groupes. hypothèse alternative (H1 ou Ha) qu'il y a un effet. Le test statistique demande alors: -Si H0 est vrai, quelle est la probabilité que les données observées? - Si la valeur p tombe sous le niveau de signification choisi (souvent 0,05), l'hypothèse nulle est rejetée en faveur de l'alternative.
Deux types d'erreurs peuvent survenir dans ce processus. Erreur de type I (faux positif) se produit lorsque vous rejetez l'hypothèse nulle quand elle est réellement vraie. Le niveau de signification α (p. ex. 0,05) est exactement la probabilité de commettre une erreur de type I si H0 est vrai. Erreur de type II (faux négatif) se produit lorsque vous ne rejettez pas l'hypothèse nulle quand elle est fausse. La probabilité d'une erreur de type II est indiquée β, et 1−β est la puissance statistique du test – la probabilité de détecter un effet réel si une erreur existe.
Dans les études sous-alimentées (petites tailles d'échantillon), le risque d'erreurs de type II augmente de façon spectaculaire. Inversement, dans les ensembles de données massives, les effets triviaux deviennent statistiquement significatifs en raison de la taille de l'échantillon, ce qui gonfle le risque d'erreurs de type I, à moins que les chercheurs n'ajustent leurs seuils.
Comment calcule l'importance statistique
Le calcul dépend du type de données et de la question de recherche. Voici les méthodes les plus courantes:
L'essai t
Les Essai de t Il calcule une statistique t qui reflète la différence entre les moyennes de groupe par rapport à la variabilité au sein des groupes. La statistique t suit une distribution connue, à partir de laquelle une valeur p peut être dérivée. Si la valeur p est inférieure à α, la différence est considérée statistiquement significative.
Essai de Chi-Square
Les Essai chi carré Par exemple, les données de sondage pourraient comparer l'affiliation des partis politiques entre les groupes d'âge. Une grande valeur chi-carré par rapport aux degrés de liberté donne une faible valeur p, ce qui indique une association non aléatoire.
ANOVA
Analyse de la variation (ANOVA) Le test T est étendu à trois groupes ou plus, et permet de déterminer si au moins une moyenne de groupe diffère des autres. La statistique F résultante est comparée à une distribution F pour calculer une valeur p.
Dans tous les cas, la valeur p est fonction de la taille de l'effet, de la taille de l'échantillon et de la variabilité des données, ce qui signifie que deux études avec des valeurs d'effet identiques peuvent produire des valeurs p très différentes si l'on a un échantillon plus grand. taille des effets et intervalles de confiance- Oui.
Intervalles de confiance
Si l'intervalle de confiance à 95 % n'inclut pas la valeur nulle (p. ex. zéro pour une différence de moyens), le résultat est statistiquement significatif au niveau de 0,05. Mais les intervalles de confiance offrent plus de nuance : ils montrent la précision de l'estimation et l'étendue des valeurs d'effet raisonnables. Un intervalle large suggère une incertitude même si l'on atteint l'importance.
Mauvaises compréhensions communes sur l'importance statistique
Même les chercheurs expérimentés interprètent souvent mal les valeurs p. Voici quelques-unes des idées les plus dangereuses:
- Croyant p < 0.05 means H₀ is false with 95% certainty. La valeur de p ne vous indique pas la probabilité que l'hypothèse nulle soit vraie. Elle ne vous indique que la probabilité des données sous la valeur nulle. La probabilité que H0 soit vraie dépend des croyances antérieures et du contexte d'étude – quelque chose que la valeur de p ne peut fournir à elle seule.
- Penser à un résultat non significatif (p > 0,05) prouve l'hypothèse nulle. Le fait de ne pas rejeter H0 ne signifie pas que H0 est vrai. Il se peut que l'échantillon soit trop petit, que la mesure soit trop bruyante ou que l'effet soit trop subtil pour être détecté.
- L'importance statistique est en effet comparable à celle de la pratique. Une valeur p très faible peut résulter d'un effet minuscule si l'échantillon est grand. Par exemple, un médicament qui abaissera la pression artérielle de 0,1 mmHg peut être statistiquement significatif chez 10 000 patients, mais cliniquement non pertinent.
- En supposant que les valeurs p soient reproductibles. En raison de variations aléatoires, répéter une expérience donne souvent une valeur de p différente. Un résultat avec p = 0,049 dans une étude pourrait apparaître comme p = 0,06 dans une réplication exacte. Ceci est connu sous le nom de -vibration des effets - et souligne pourquoi les intervalles de confiance et les tailles d'effet sont plus stables.
Importance dans différents domaines
L'importance statistique joue un rôle central, mais elle fait également l'objet d'un examen sur le terrain.
Médecine et essais cliniques
Dans le cadre de la mise au point de médicaments, la norme d'or pour l'approbation réglementaire est souvent plus stricte que 0,05, surtout pour les critères primaires. Cependant, les préoccupations concernant le p-hacking et les essais sous-alimentés ont conduit à des appels à l'enregistrement préalable des plans d'analyse et à la déclaration obligatoire de la taille des effets. FDA Il faut maintenant insister sur la pertinence statistique et clinique.
Sciences sociales
La crise de la réplication en psychologie et en économie a été en partie attribuée à la dépendance excessive à l'égard des valeurs p. De nombreuses découvertes classiques n'ont pas été reproduites, en partie parce que de petites tailles d'échantillons ont produit des valeurs p gonflées ou à cause du p-hacking (en cours de multiples analyses jusqu'à ce que l'on trouve de l'importance).
Science des données et essais A/B
Dans le développement de produits numériques, Essais A/B comparer deux versions d'une page Web ou d'une fonctionnalité. Les praticiens déclarent souvent un gagnant quand une métrique atteint p < 0.05. Yet these tests are vulnerable to regards (vérification répétée de la valeur p en tant que données accumulées) qui gonfle les taux faussement positifs. Les meilleures pratiques modernes comprennent la fixation d'un échantillon fixe à l'avance, au moyen de tests séquentiels ou en adoptant des approches bayésiennes.
Limites et pratiques exemplaires
La signification statistique est un écran utile, mais il ne devrait jamais être le seul arbitre de la vérité scientifique. Le feu Jacob Cohen, un statisticien renommé, appelé la valeur p une -dance des valeurs p , et prôné pour rapporter la taille des effets. Association américaine de statistique a publié une déclaration officielle sur les valeurs p, soulignant qu'elles ne mesurent pas l'ampleur d'un effet ou l'importance d'un résultat. Les principales recommandations sont les suivantes :
- Toujours signaler et interpréter taille des effets (p. ex. Cohen, coefficients de corrélation, rapports de cotes).
- Fournir intervalles de confiance pour toutes les estimations.
- Envisager d'utiliser Méthodes bayésiennes, qui quantifie directement la probabilité de l'hypothèse étant donné les données.
- Pré-enregistrez votre plan de conception et d'analyse pour éviter le p-haking.
- Régler pour comparaisons multiples lors de la mise à l'essai de nombreuses hypothèses (p. ex. correction de Bonferroni, taux de fausses découvertes).
Un exemple classique de l'abus des valeurs p est l'histoire de la Manille de caprin Les chercheurs ont ensuite écrit un article qui prétendait qu'il y avait un lien entre les scarabées et les attitudes politiques, ce qui montre pourquoi la dépendance non critique à l'égard des valeurs p conduit à des résultats fallacieux.
Conclusion
Une faible valeur p suggère qu'une observation ne sera probablement pas due au hasard, mais elle ne prouve pas que l'effet est réel, important ou réplicable. Pour utiliser judicieusement la signification statistique, les chercheurs doivent la compléter par des dimensions d'effet, des intervalles de confiance et un sens commun. À mesure que le domaine des statistiques évolue, la meilleure pratique est de s'éloigner d'un état d'esprit binaire significatif/non significatif et de l'interpréter de façon plus nuancée.
Pour plus de détails sur les limites des valeurs p, consulter le site American Statistics Association (Association américaine de statistique) : déclaration sur les valeurs p. Un guide complet pour les tailles d'effet peut être trouvé dans cet article Psychologie Aujourd'hui. Pour une introduction aux alternatives bayésiennes, voir cette méthode naturelle primer- Oui.