Comprendre la dispersion dans les distributions de probabilité

Deux ensembles de données peuvent avoir des moyens identiques, mais ils sont complètement différents : l'un peut se regrouper autour de la moyenne, l'autre contient des valeurs éparpillées loin de celle-ci. La variation et l'écart-type sont les principaux outils pour quantifier cette propagation. Ils mesurent la distance, en moyenne, entre les points de données individuels et la moyenne. Ces concepts sont essentiels non seulement dans les statistiques descriptives mais aussi dans la théorie des probabilités, où ils définissent la forme et l'incertitude des distributions. Sans comprendre la variabilité, les conclusions tirées des données peuvent être trompeuses.

Écart : Mesure de la déviation carrée moyenne

La variation est définie comme la moyenne des différences carrées entre chaque point de données et la moyenne. En classant les écarts, nous veillons à ce que toutes les contributions soient positives et donnent plus de poids aux valeurs extrêmes (aberrantes). Le résultat est un nombre en unités carrées des données originales. Une variance élevée indique que les points de données sont largement répartis; une faible variance indique qu'ils se regroupent près de la moyenne.

Formule de variation de population

Pour une population complète, la variance (ε2) est calculée comme suit:

ε2 = (1 / N) φ (xi - μ)2

  • N = nombre total de points de données dans la population
  • xi = chaque valeur individuelle
  • μ = moyenne de la population

Exemple de calcul étape par étape

Considérez une petite population : scores 2, 4, 6, 8, 10. Moyenne μ = (2+4+6+8+10)/5 = 6.

  1. Écarts : (2-6) = -4, (4-6) = -2, (6-6) = 0, (8-6) = 2, (10-6) = 4
  2. Écarts carrés: 16, 4, 0, 4, 16
  3. Moyenne des écarts carrés: (16+4+0+4+16)/5 = 40/5 = 8

variance de population ε2 = 8. Notez que les unités sont des points carrés. α Cette embarrassance nous conduit à l'écart-type.

Variation des distributions de probabilité

Pour une variable aléatoire X discrète avec fonction de masse de probabilité P(X=xi), la variance est:

Var(X) = E[(X - μ)2] = -- (xi - μ)2 P(xi)

C'est l'écart au carré attendu de la moyenne. Pour les distributions continues, la somme devient intégrale. La variation quantifie la propagation de la distribution entière, et non pas seulement un échantillon.

Déviation standard : la propagation interpretable

L'écart type (ε) est la racine carrée de la variance. Il retourne la mesure de l'écart aux unités originales des données, ce qui facilite l'interprétation. Dans l'exemple ci-dessus, ε = √8 γ 2,83 points. Cela nous indique que les scores diffèrent typiquement de la moyenne par environ 2,83 points.

Pourquoi prendre la racine carrée ?

En prenant la racine carrée, nous défaire en partie cette inflation tout en préservant la propriété que toutes les contributions sont positives. Le résultat est une échelle robuste et interprétable qui correspond aux unités de données. L'écart-type est la mesure la plus courante de la propagation dans les statistiques inferentielles et forme la base pour les scores en z, les intervalles de confiance et de nombreux tests d'hypothèse.

Population par rapport à l'échantillon : une distinction essentielle

Dans la pratique, nous avons rarement la population entière; nous recueillons un échantillon. L'utilisation de la formule de population sur un échantillon donne une estimation biaisée de la véritable variance de population – elle tend à être trop petite.

Variance d'échantillon et formules normalisées de déviation

Écart de l'échantillon (s2) = 1/(n-1) - - - (xi - x̄)2

Déviation standard de l'échantillon (s) = √s2

Lorsque n est la taille de l'échantillon, x̄ est la moyenne de l'échantillon. Le dénominateur n-1 est appelé les degrés de liberté: un degré est utilisé -- en estimant la moyenne de l'échantillon.

Quand utiliser chaque

  • Si vous avez tous les membres d'une population (p. ex., tous les élèves d'une petite école), utilisez des formules de population avec N.
  • Si vous avez un échantillon aléatoire provenant d'une population plus grande (la plupart des scénarios réels), utilisez des formules d'échantillon avec n-1.
  • Les fonctions de logiciel statistique et de tableur (par exemple STDEV.S dans Excel) utilisent automatiquement n-1 pour les échantillons.

Propriétés de la variation et de la déviation standard

Comprendre le comportement mathématique de ces mesures aide à l'interprétation et évite les erreurs courantes.

  • Non-négatif: Les deux mesures sont ≥ 0. Zéro n'est observé que lorsque toutes les valeurs sont identiques.
  • Changements d'échelle : Multiplier chaque point de données par un c constant multiplie la variance par c2 et l'écart-type par -c. L'ajout d'une constante à toutes les valeurs ne change pas la dispersion.
  • Unités: La variation est en unités carrées; l'écart type est en unités originales.
  • Sensibilité aux valeurs aberrantes : Comme les écarts sont équarris, les valeurs extrêmes affectent de façon disproportionnée la variance et l'écart type, ce qui peut être souhaitable (pour détecter les variations) ou problématique (si les données contiennent des erreurs).
  • Additif pour les variables indépendantes: Pour deux variables aléatoires indépendantes X et Y, Var(X+Y) = Var(X) + Var(Y). Cette propriété est cruciale en théorie du portefeuille et en propagation des erreurs.

Rôle dans les distributions de probabilités clés

Les écarts et les écarts types sont des paramètres intégrés de nombreuses distributions de probabilité. Ils définissent la forme et l'échelle de la distribution, permettant des énoncés de probabilité précis.

Distribution normale

La distribution normale est entièrement caractérisée par sa moyenne μ et son écart type ε. La fameuse règle empirique (68-95-99,7) indique :

  • Environ 68 % des données se situent dans la zone μ ± ε
  • Environ 95 % se trouvent dans les limites de μ ± 2
  • Environ 99,7 % se trouvent dans les limites de μ ± 3

Par exemple, si les hauteurs des adultes sont normalement réparties en μ=170 cm et ε=10 cm, environ 68 % des adultes sont entre 160 cm et 180 cm. Cette règle est un outil puissant pour estimer rapidement les probabilités et détecter les valeurs aberrantes.

Distribution binôme

Pour les essais indépendants de Bernoulli avec probabilité de succès p, la moyenne est de np et la variance est de np(1-p). L'écart-type est de √[np(1-p)]. Cela montre que l'écart de distribution binomiale est plus important lorsque p=0.5 et plus petit lorsque p est proche de 0 ou 1.

Distribution du poisson

La distribution de Poisson modélise le nombre d'événements rares dans un intervalle fixe. Sa caractéristique : la moyenne est égale à la variance (λ). L'écart-type est de √λ. Par exemple, si un centre d'appels reçoit une moyenne de 20 appels par heure (λ=20), l'écart-type est d'environ 4,47 appels.

Répartition uniforme continue

La distribution uniforme sur [a,b] présente une variance (b-a)2/12 et une déviation type (b-a)/ √12. Cette distribution quantifie la propagation lorsque tous les résultats sont également probables.

Applications pratiques dans tous les domaines

Finances et gestion des risques

En finance, la volatilité est synonyme d'écart type de rendement des actifs. Un stock avec un écart type élevé est plus risqué parce que son prix fluctue largement. Les gestionnaires de portefeuille construisent des matrices de covariance en utilisant des écarts et des covariances pour minimiser le risque pour un rendement donné. Rapport de pointage (rendement moins taux sans risque divisé par écart type) mesure le rendement ajusté du risque. Les investisseurs regardent généralement l'écart type annualisé pour comparer les actifs.

Article Investopedia sur l'écart type explique son utilisation en théorie du portefeuille.

Contrôle de qualité et Six Sigma

Six méthodes Sigma ont fixé un objectif de 3,4 défauts par million d'opportunités, ce qui correspond à un écart type de processus qui maintient les spécifications dans les limites de 6 ° de la moyenne. Les diagrammes de contrôle tracent les moyennes et les intervalles d'échantillonnage (ou écarts types) au fil du temps pour détecter les changements. Manuel de statistiques techniques du NIST est une référence standard pour la construction de cartes de contrôle.

Recherche et sciences sociales

L'écart type est utilisé pour calculer les erreurs types, les intervalles de confiance et les tailles d'effet. Cohen , une taille d'effet commune, divise la différence entre deux moyens de groupe par l'écart type groupé, donnant une mesure de l'effet sans unité. Les chercheurs signalent des écarts types avec des moyens pour transmettre la propagation de leurs données. Il apparaît également dans la méta-analyse pour combiner les résultats de plusieurs études. Vidéo de l'Académie Khan sur la variance- Oui.

Erreurs et pièges courants

  • Écart par rapport à la moyenne de la déviation absolue (DDM) : La DAM (moyenne des écarts absolus) est parfois plus intuitive parce qu'elle n'a pas de carré. Cependant, la variance a des propriétés mathématiques supérieures: elle est différentiable, additive pour les variables indépendantes, et se produit naturellement dans la distribution normale.
  • La règle empirique s'applique uniquement aux distributions normales: Beaucoup de gens appliquent à tort la règle 68-95-99,7 à tout ensemble de données. Alors que l'inégalité de Chebyshev fournit des limites faibles pour toute distribution, les pourcentages précis ne tiennent que pour la famille normale.
  • Utilisation de la formule de population sur un échantillon : Ceci donne une estimation biaisée (trop petite) de la variance de population réelle. Appliquer toujours la correction de Bessel (n-1) lors de l'utilisation d'un échantillon.
  • variance de confus avec l'écart type: Comme la variance est exprimée en unités carrées, elle n'est pas directement comparable à la moyenne. L'écart type devrait être utilisé pour la déclaration de la part de la moyenne.

Conclusion

La variation fournit le fondement mathématique avec des unités carrées, tandis que l'écart type offre une mesure interprétable sur l'échelle originale. Appliquer correctement les formules de population par rapport à l'échantillon est essentiel pour une estimation impartiale. Ces concepts sous-tendent la règle empirique, l'évaluation des risques en finance, l'amélioration de la qualité de la fabrication et les calculs de la taille des effets dans la recherche. En maîtrisant la variance et l'écart type, vous renforcez votre capacité à décrire l'incertitude des données, à comparer les distributions et à prendre des décisions statistiques solides. Wikipédia article sur la variance couvre les propriétés théoriques avancées, et Le tutoriel de variabilité de Stat Trek fournit des exemples interactifs et des problèmes de pratique.