Understanding Skewness and Kurtosis in Data Distributions
Table of Contents
Ecrous : Asymétrie de la distribution mesurée
La symétrie quantifie l'asymétrie d'une distribution de probabilité autour de sa moyenne. Une distribution parfaitement symétrique a une symétrie de zéro. Toute déviation de la symétrie indique qu'une queue de la distribution est plus longue ou plus lourde que l'autre. Cette mesure est essentielle parce qu'elle révèle si des valeurs extrêmes s'appuyent sur un côté, ce qui a des implications directes pour l'inférence statistique, l'évaluation des risques et le prétraitement des données. La symétrie est calculée comme le troisième moment normalisé : pour une population, avec des ajustements de l'échantillon pour tenir compte du biais.
Les trois principales catégories de skewness sont les suivantes:
- Pivot positif (à queue droite): La queue droite est plus longue et la masse de la distribution est concentrée à gauche. Mode moyen > Médian >. Commun dans les distributions de revenus, où un petit nombre de hauts revenus tirent la moyenne vers le haut, ou dans les temps de réaction où la plupart des réponses sont rapides mais quelques-uns sont extrêmement lents.
- Ecrou négatif (à queue gauche): La queue gauche est plus longue et les données se cluster à droite. Mode moyen < Médiane <. Souvent vu dans les distributions d'âge à mort (la plupart des gens meurent après un certain âge, mais quelques meurent jeunes) ou les scores de test avec un effet plafond où beaucoup d'étudiants scorent près du maximum.
- Écheveau zéro (symétrique): La distribution est équilibrée, comme avec une distribution normale, bien que d'autres distributions symétriques existent également (par exemple, uniforme, distribution t avec de grands degrés de liberté). La symmétrie ne garantit pas la normalité, mais elle est une hypothèse commune pour de nombreux tests paramétriques.
Les valeurs de skewness sont habituellement mesurées au troisième moment normalisé. Une règle de base : les valeurs comprises entre -0,5 et 0,5 indiquent des données approximativement symétriques; les valeurs comprises entre -1 et -0,5 ou 0,5 et 1 indiquent un skew modéré; les valeurs au-delà de ±1 indiquent des données fortement biaisées qui peuvent nécessiter une transformation pour des tests paramétriques.
Kurtose: comportement de queue et picitude
La Kurtose caractérise la forme des queues d'une distribution par rapport à son centre. Malgré des explications communes, la kurtose n'est pas principalement au sujet de la « parole » mais du poids de la queue. Une distribution avec la haute kurtose a des queues plus lourdes et plus aberrantes, tandis que la basse kurtose indique des queues plus légères et moins de valeurs extrêmes. surkurtose, définie comme la kurtose moins 3, de sorte que la distribution normale a un excès de kurtose de 0. La quatrième formule de moment normalisée est soustrayant 3 pour l'excès de kurtose.
Les trois types classiques de kurtose sont:
- Leptokurtic (kurtose excédentaire positive): Plus d'observations dans les queues signifient une probabilité plus élevée de valeurs aberrantes. Exemples : la distribution en t de l'étudiant avec un faible degré de liberté (p. ex., t avec 4 df a une kurtose excessive de -) et les rendements financiers des actifs, qui présentent souvent des queues grasses.
- Platykurtique (excès de kurtose négatif): Les queues plus légères et un pic plus plat (ou même une forme bimodale). Moins de valeurs aberrantes, avec des valeurs moins extrêmes. La distribution uniforme est un exemple platykurtique classique, avec une kurtose excessive de -1.2.
- Mésokurtique (excédent de kurtose près de zéro): Comportement de queue similaire à la distribution normale. est De nombreux ensembles de données du monde réel avec des tailles d'échantillons modérées semblent mésokurtiques même quand ils ne sont pas strictement normaux.
La compréhension de la kurtose est essentielle pour l'analyse des risques, car une kurtose élevée indique que les événements extrêmes sont plus probables qu'un modèle normal ne le prévoit. En finance, par exemple, ignorer la leptokurtose peut conduire à sous-estimer le risque de collision.
Pourquoi la scepticité et la Kurtose comptent dans l'analyse des données
La simple déclaration de la moyenne et de la variance d'un ensemble de données peut être trompeuse si la distribution n'est pas symétrique et a un comportement inhabituel de la queue. L'étroitesse et la kurtose ensemble fournissent une image plus complète de la forme des données, permettant une meilleure prise de décision dans plusieurs domaines:
- Sélection du modèle: De nombreux modèles statistiques supposent une normalité. Une grande irrégularité ou une kurtose peut indiquer la nécessité d'essais non paramétriques, de méthodes robustes ou de transformations de données (p. ex., log, Box-Cox ou Johnson transformation). Par exemple, le test t est raisonnablement robuste à léger, mais sensible aux queues lourdes qui gonflent la variance.
- Identification plus précise: La Kurtose mesure directement le poids de la queue, aidant à déterminer si les observations extrêmes sont des événements rares ou une partie de la distribution sous-jacente.
- Gestion des risques : Dans les sciences de la finance, de l'assurance et du climat, la probabilité de résultats extrêmes est déterminée par le comportement de la queue.
- Contrôle qualité: La rigidité des processus de fabrication peut indiquer l'usure des outils ou des processus non centrés, tandis que la kurtose peut révéler des aberrations inattendues de défauts. Les cartes de contrôle basées sur la normalité peuvent signaler de fausses alarmes si la distribution sous-jacente est à queue lourde.
- Prétraitement des données: Les algorithmes d'apprentissage automatique comme la régression linéaire, PCA et les réseaux neuronaux fonctionnent souvent mieux sur des données qui sont approximativement symétriques et ont délimité les queues. Guide de diagnostic de la skewness et de la kurtose caractéristiques choix d'ingénierie et de mise à l'échelle. Par exemple, une fonctionnalité avec skewness > 2 pourrait bénéficier d'une transformation log ou carré-root avant de se nourrir en modèle linéaire.
Calcul de la skewness et de la Kurtose en pratique
La plupart des logiciels statistiques fournissent des fonctions intégrées pour la scorbut et la kurtose, mais il est essentiel de comprendre ce que chaque fonction renvoie: la kurtose brute (normale = 3) ou l'excès de kurtose (normale = 0).
Formules de skewness
L'équerre (ajusté pour tenir compte du biais de l'échantillon) est :
g1 = ( n / (n-1) (n-2) ) × - - (xi - x̄)3 / s3 )
où n est la taille de l'échantillon, x̄ est la moyenne de l'échantillon et s est l'écart type de l'échantillon. Dans Python, retourne cette balance ajustée par défaut. Dans R, utilise également le même ajustement.
Formules de Kurtose
L'excès de kurtose (corrigé de l'échantillon) est:
g2 = ( n(n+1) / ( n-1)(n-2)(n-3)) × ↓( (xi - x̄)4 / s4 ) - ( 3(n-1)2 / (n-2)(n-3))
Cette formule réduit le biais et soustrait 3 de sorte qu'une distribution normale donne une valeur proche de 0. L'option de Python avec l'option calcule l'excès de kurtose; R fait la même chose par défaut.
Important: Vérifiez toujours la documentation de votre logiciel. Documents sur la kurtose de SciPy Dans Excel, la fonction KURT retourne l'excès de kurtose, alors que l'ancienne fonction KURT dans certaines versions peut ne pas s'ajuster pour le biais – vérifier votre version.
Visualisation de la skewness et de la Kurtose
Les boxplots montrent une fausseté par rapport à la médiane et par rapport à la longueur des moustaches : un plus long fouetter d'un côté suggère une fausseté dans cette direction. Les boxplots Q-Q comparent les quantiles des données à une distribution normale théorique; la courbure indique une fausseté, tandis que les motifs en forme de S suggèrent des queues lourdes. Lorsque vous calculez la fausseté de 0,8 et la kurtose de 4, confirmez toujours par un contrôle visuel — une seule mesure peut être trompeuse si la distribution est multimodale ou a des arêtes.
Interprétation des valeurs de la scepticité et de la Kurtose : un guide pratique
Bien qu'il existe des règles de base, l'interprétation devrait toujours tenir compte de la taille de l'échantillon et du contexte du domaine.
- Effets sur la taille de l'échantillon : Avec les petits échantillons (n < 50), les estimations de la scrosse et de la kurtose présentent des erreurs standard élevées. Une grande valeur absolue peut survenir par hasard.
- Interprétation combinée: Une distribution peut être biaisée positivement et Leptokurtic (p. ex., log‐normal), biaisé négativement et leptokurtic (p. ex., certains rendements financiers), ou symétrique et platykurtic (p. ex., uniforme). Chaque combinaison raconte une histoire différente sur le processus de production de données.
- Seuils: De nombreux manuels suggèrent que l'erreur absolue > 1 ou l'excès de kurtose > 2 (en valeur absolue) indique une déviation substantielle par rapport à la normale. Cependant, il ne s'agit pas de seuils difficiles; des études de simulation montrent que même la kurtose modérée peut gonfler les taux d'erreur de type I dans les tests de t lorsque la taille de l'échantillon est faible.
- Visualisation : Toujours compléter la sorcellerie numérique et la kurtose par des histogrammes, des boxplots et des placettes Q‐Q. Une statistique unique peut masquer la multimodalité ou d'autres caractéristiques de forme. Par exemple, une distribution bimodale peut avoir une sorcellerie proche de zéro et une kurtose modérée, mais être très différente de la normale.
Erreurs courantes
- La Kurtose mesure la picitude: Comme on l'a vu, la kurtose est dominée par les queues; une distribution avec des queues lourdes peut avoir un pic aigu (par exemple, la distribution en t) ou même un pic plat (par exemple, un mélange de deux normales éloignées). Le quatrième moment est fortement influencé par des valeurs extrêmes.
- L'étroitesse zéro signifie normale: De nombreuses distributions symétriques ont une fausseté zéro, y compris l'uniforme, Laplace, et Cauchy. L'erreur zéro est nécessaire mais pas suffisante pour la normalité.
- L'excès de kurtose zéro signifie la normale: Non. De nombreuses distributions ont une kurtose excessive près de zéro, mais ne sont pas normales (p. ex., certaines familles symétriques et unimodales). La combinaison des deux moments avec d'autres tests (Shapiro-Wilk, Anderson-Darling) est nécessaire.
- La transformation corrige toujours l'erreur : Les transformations de log peuvent réduire le skew droit, mais peuvent créer le skew gauche ou augmenter la kurtose. Vérifiez toujours le résultat.
Applications pratiques dans tous les domaines
Finances et économie
Les rendements des actifs présentent souvent des mouvements négatifs (provinces de mouvements négatifs importants) et une kurtose élevée (fat-sacks). Les gestionnaires de portefeuille utilisent ces mesures pour évaluer le risque de queue et ajuster les modèles de la valeur‐at‐risque (VaR). approche kurtose-aware Par exemple, les S&P 500 ont une kurtose excessive empirique autour de 5-10, ce qui signifie que les mouvements extrêmes se produisent beaucoup plus souvent qu'un modèle normal ne le prévoit.
Ingénierie de qualité
Si les données montrent une fausseté ou une kurtose en dehors des plages acceptables, les limites de contrôle peuvent être incorrectes. Les indices de capacité de processus comme Cpk supposent une symétrie; les processus biaisés nécessitent d'autres indices (p. ex., support pour les distributions asymétriques). La fausseté peut également signaler l'usure des outils (dérivation progressive) ou les flux de production mixtes.
Recherche médicale
Les distributions de biomarqueurs (p. ex. pression artérielle, cholestérol) sont souvent biaisées à droite. Les chercheurs peuvent transformer ces variables avant d'appliquer des modèles linéaires. La Kurtose peut révéler si un traitement introduit des réponses extrêmes, mettant en évidence des préoccupations de sécurité. Publications sur les méthodes statistiques pour les sciences de la santé Dans les essais cliniques, on peut réduire l'écart de base en utilisant des modèles de régression robustes ou linéaires généralisés.
L'apprentissage automatique et la science des données
Pour les modèles basés sur les arbres, la scorbut est moins important, mais pour les réseaux neuronaux et les algorithmes basés sur la distance (voix k-nearest, SVM), les caractéristiques symétriques et limitées réduisent l'instabilité de l'entraînement. La Kurtose peut indiquer si une fonctionnalité contient des aberrations bruyantes qui devraient être plafonnées ou supprimées. Le transformateur de puissance de sklearn utilise des méthodes Box-Cox ou Yeo-Johnson qui sont conçues pour stabiliser la variance et réduire l'étroitesse.
Limitations et réserves
Aucune mesure ne permet de saisir complètement la forme de la distribution. L'écheveau et la kurtose sont sensibles aux valeurs aberrantes; un ou deux points extrêmes peuvent modifier radicalement l'estimation. Pour les ensembles de données comportant de nombreuses variables, il est courant de calculer ces statistiques pour le dépistage initial, mais des mesures plus robustes (p. ex., l'écheveau à base de quantile comme le rapport Bowley ou le rapport L-moment) peuvent être appropriées pour les données à queue lourde.
Les utilisateurs devraient également savoir que certains ensembles de données populaires sur l'apprentissage automatique ont été artificiellement transformés (p. ex., à échelle logarithmique), ce qui réduit l'erreur, mais peut masquer une structure intéressante. Comprendre la forme des données d'origine guide une modélisation plus honnête.
Au-delà de la skewness et de la Kurtose: des alternatives robustes
Lorsque les données sont fortement contaminées ou proviennent d'une distribution à moments infinis (p. ex., Cauchy), l'étroitesse et la kurtose classiques peuvent être inutiles. Équité de Bowley est défini comme (Q3 + Q1 - 2×Medien) / (Q3 - Q1). Kurtose à base de L-moments (la L-kurtose) est moins sensible aux aberrations et est limitée entre 0 et 1. Ces versions robustes sont particulièrement utiles dans des domaines comme l'hydrologie ou la géophysique où les extrêmes sont communs.
Conclusion
La skewness et la kurtose sont des outils fondamentaux pour comprendre la forme de la distribution au-delà de la tendance centrale et de la dispersion. La skewness vous indique si les valeurs extrêmes tirent la distribution gauche ou droite; la kurtose vous indique à quelle fréquence des valeurs extrêmes se produisent.
En vérifiant régulièrement ces mesures, en les interprétant dans un contexte de visualisations appropriées et en étant conscients de leurs limites, les analystes peuvent éviter les pièges de la normalité et construire des modèles plus robustes et plus fiables. Manuel de statistiques techniques du NIST pour une référence technique approfondie, et Wikipedia articles sur l'erreur et kurtose pour des résumés accessibles avec des exemples travaillés.