Qu'est-ce que les valeurs aberrantes?

Les valeurs extrêmes peuvent apparaître comme des valeurs extrêmement élevées ou basses par rapport à la majeure partie des données. La compréhension de ce qui constitue un facteur aberrant dépend du contexte : une lecture de la température de 120°F pourrait être un facteur aberrant dans un ensemble de moyennes quotidiennes pour une ville tempérée, mais normale pour un climat désertique. Les valeurs extrêmes proviennent de trois sources primaires : variabilité naturelle (p. ex., événements rares mais légitimes comme un milliardaire, revenu dans une enquête nationale), erreurs de mesure (p. ex., un capteur de mauvais fonctionnement ou une entrée mal enregistrée) ou erreurs expérimentales (p. ex., une erreur de saisie de données comme la saisie de 999 au lieu de 99).

En termes statistiques, les valeurs aberrantes sont des observations qui ne sont pas dans la plage de valeurs prévue pour une distribution donnée. Pour les données normalement distribuées, les points au-delà de trois écarts types par rapport à la moyenne sont considérés comme extrêmes. Cependant, les données du monde réel suivent rarement une normalité parfaite, de sorte que des méthodes robustes comme la plage interquartile (IQR) sont souvent préférées.

L'importance de détecter les valeurs aberrantes

La détection des valeurs aberrantes n'est pas seulement un exercice académique, elle a des conséquences directes sur la fiabilité des analyses, des modèles et des décisions d'affaires. Les valeurs aberrantes peuvent exercer une influence disproportionnée sur les mesures statistiques telles que la moyenne, l'écart-type et les coefficients de corrélation. Une valeur extrême unique peut déplacer la moyenne de manière à fausser la tendance centrale d'un ensemble de données, ce qui conduit à des interprétations biaisées.

En modélisation prédictive, les valeurs aberrantes peuvent entraîner une suradaptation — le modèle apprend à tenir compte de l'anomalie au lieu de généraliser les modèles. Inversement, elles peuvent déformer les pentes de régression, réduire la précision des algorithmes de regroupement et gonfler les taux d'erreur dans les tests d'hypothèse. La détection permet aux analystes d'étudier les causes profondes: L'écart est-il une erreur de saisie de données? Un problème de mesure? Ou un événement extrême réel qui justifie une analyse séparée?

Sans détection, l'ensemble du pipeline d'analyse devient fragile.

Impact sur l'analyse des données

  • Moyennes biaisées et tendances trompeuses: Un seul aberrant peut éloigner la moyenne de la médiane, créant une fausse impression de l'emplacement des données. Les lignes de tendance dans les séries temporelles peuvent être inclinées par un seul pic anormal.
  • Prévisions incorrectes dans les modèles: Les algorithmes d'apprentissage automatique comme la régression linéaire et les voisins k-neareset sont sensibles aux valeurs aberrantes. Ils peuvent produire des coefficients qui ne sont pas représentatifs de la vraie relation.
  • Mauvaise interprétation de la variabilité des données : Les écarts types et les variances sont gonflés par des valeurs aberrantes, ce qui rend les données plus dispersées qu'elles ne l'est réellement.
  • Hypothèses statistiques non valides: Les essais comme les tests t et l'ANOVA supposent la normalité et la variance égale. Les valeurs aberrantes violent ces hypothèses, entraînant des valeurs p incorrectement élevées ou faibles et des conclusions erronées.

Méthodes de détection des valeurs aberrantes

La détection des valeurs aberrantes nécessite une combinaison d'exploration visuelle, de mesures statistiques et de connaissances du domaine. Aucune méthode ne fonctionne pour tous les ensembles de données; le choix dépend de la distribution, de la taille de l'échantillon et du contexte.

Contrôle visuel

Les méthodes graphiques fournissent un sens immédiat et intuitif des points aberrants. Elles sont particulièrement utiles dans l'analyse des données exploratoires (EDA).

  • Emplacements en boîte: Un graphique de boîte montre la médiane, les quartiles et les whiskies s'étendant jusqu'à 1.5×IQR. Les points au-delà des whiskers sont des valeurs aberrantes potentielles.
  • Places de dispersion: Pour les données bivariées, un graphique de dispersion révèle des points qui tombent loin du nuage principal. Dans les données multivariées, vous pouvez utiliser des diagrammes de dispersion ou de réduction de dimensionnalité (PCA) par paire pour repérer des valeurs aberrantes.
  • Histogrammes: Un histogramme avec une longue queue ou des barres isolées loin de la distribution principale indique des valeurs aberrantes potentielles.
  • Emplacements Q-Q: Un graphique quantile-quantile compare la distribution de vos données à une distribution normale théorique. Les points qui s'écartent fortement de la ligne de référence sont aberrants.

Essais statistiques

Les méthodes statistiques offrent des critères objectifs pour les aberrations de marquage. Elles sont essentielles pour l'automatisation et pour les ensembles de données trop grands pour l'inspection manuelle.

  • Méthode Z-score: Normaliser les données en soustrayant la moyenne et en divisant par écart type. Les observations avec un z-score supérieur ou inférieur à 3 sont considérées comme aberrantes (pour des données approximativement normales).Cette méthode est sensible à la présence d'autres aberrantes parce que la moyenne et l'écart type eux-mêmes sont influencés par des aberrations.
  • Note Z modifiée (en utilisant le MAD): Utiliser l'écart moyen et médian absolu (DAM) plutôt que l'écart moyen et l'écart type. Un z-score modifié supérieur à 3,5 est un seuil commun, ce qui est plus robuste pour les distributions biaisées.
  • Méthode IQR: Comme indiqué plus haut, calculez Q1, Q3 et IQR. Les valeurs de référence se trouvent en dessous de Q1 - 1,5×IQR ou au-dessus de Q3 + 1,5×IQR. Pour les valeurs extrêmes, utilisez un multiplicateur de 3 à la place.
  • Essai de Grubbs Un test d'hypothèse formel pour un aberrant unique dans les données normalement distribuées. Il teste l'écart absolu maximal par rapport à la moyenne par rapport à une valeur critique. L'application répétée peut détecter plusieurs aberrants, mais il souffre de masquage (un aberrant cache d'autres).
  • Chouvenet , critère: Supprime les points de données dont la probabilité d'occurrence est inférieure à 1/(2N), où N est la taille de l'échantillon. Il suppose la normalité et est moins couramment utilisé aujourd'hui en raison de sa sensibilité.

Méthodes avancées multivariées

Les ensembles de données modernes ont souvent de nombreuses variables, et une variable aberrante peut ne pas être extrême sur une variable unique, mais être inhabituelle dans la combinaison de dimensions.

  • Distance entre les mahalanobis: Une mesure de distance qui tient compte des corrélations entre les variables. Les points avec une distance élevée de Mahalanobis (par exemple, la valeur critique chi-carré) sont des valeurs aberrantes multivariées.
  • Groupement DBSCAN : Cet algorithme basé sur la densité indique que dans les régions à faible densité, le bruit est considéré comme un bruit (aberrant).
  • Forêt d'isolement : Une méthode d'ensemble qui isole les anomalies par des caractéristiques de division aléatoire. Les anomalies sont peu nombreuses et différentes des points normaux, donc elles nécessitent moins de scissions pour isoler.
  • Facteur de sortie local (FLO): Calcule l'écart de densité locale d'un point par rapport à ses voisins. Les points avec une densité significativement plus faible que leurs voisins sont aberrants. LOF est efficace pour les ensembles de données avec des densités variables.

Comment gérer les valeurs aberrantes une fois détectées

La détection n'est que la moitié de la bataille. L'action appropriée dépend de la source des objectifs aberrants et de l'analyse.

  • Enquêter et corriger : Si l'aberration est due à une erreur de mesure ou de saisie de données, corrigez la valeur (par exemple, corrigez une typo) ou supprimez-la.
  • Supprimer ou exclure: Si l'aberration est une erreur claire et ne peut être corrigée, ou si elle n'est pas pertinente à l'analyse, retirez-la. Cependant, la suppression réduit la taille de l'échantillon et peut introduire un biais si les aberrations ne sont pas aléatoires.
  • Cap ou winsorize: Remplacer les valeurs extrêmes par la valeur la plus proche non-extérieure (p. ex., fixer toutes les valeurs au-dessus du 99e centile à la valeur du 99e centile), ce qui réduit l'influence sans perdre de points de données.
  • Transformer les données: Appliquer des transformations log, root carrée ou Box-Cox pour réduire la traction des valeurs extrêmes. Cela peut rendre les données plus normalement distribuées et diminuer l'impact des valeurs aberrantes.
  • Utiliser des statistiques solides: Au lieu de l'écart moyen et standard, utiliser la médiane et la DAM. Utiliser une régression robuste (p. ex. RANSAC, Huber) qui pèse plus bas que les valeurs aberrantes lors de l'ajustement du modèle.
  • Analyse séparée: Parfois, les valeurs aberrantes représentent une sous-population distincte qui mérite sa propre étude. Par exemple, dans la détection des fraudes, les valeurs aberrantes sont les transactions frauduleuses et les points d'intérêt.

Des hors-la-loi dans l'apprentissage automatique : une épée à double tranchant

Dans l'apprentissage automatique, le traitement des valeurs aberrantes dépend de l'algorithme et du problème. Certains algorithmes sont robustes par la conception : les méthodes basées sur les arbres (forêt aléatoire, dilatation) gèrent bien les valeurs aberrantes parce qu'ils utilisent des valeurs scindées en fonction du rang.

  • De grands gradients dans les réseaux neuraux, conduisant à une formation instable
  • Centres de regroupement étant retirés de la masse réelle en k-moyens
  • Les vecteurs de soutien dans SVM étant dominés par des anomalies

Inversement, dans les tâches de détection d'anomalies (par exemple, intrusion de réseau, fraude par carte de crédit), les valeurs aberrantes sont le signal que vous voulez trouver. Dans de tels cas, l'objectif est de détecter les événements rares.

Études de cas sur le monde réel

Santé : identifier les erreurs médicales

Une série de données sur les durées de séjour des patients à l'hôpital avait une valeur de 365 jours pour une procédure de routine. En utilisant la méthode IQR, cela a été signalé comme un aberrant extrême. L'enquête a révélé une erreur d'entrée des données - la durée du séjour était de 3,65 jours (décimal déplacé). Une étude sur la détection aberrante dans les soins de santé illustre des modèles similaires.

Finances : détection des opérations frauduleuses

Un émetteur de carte de crédit a appliqué une forêt d'isolement sur les caractéristiques de transaction (montant, emplacement, temps). Il a signalé des transactions anormalement grandes ou de sites inhabituels. Il s'est avéré que ce sont des cas de fraude réels. Ceci vers l'article sur la science des données explique la technique en détail.

Fabrication: Détection d'anomalies de capteur

Les capteurs de température au sol de l'usine ont enregistré une brève pointe à 200°C. En utilisant des points z mobiles (fenêtre tournante d'une heure), la pointe a été identifiée comme un point de repère plutôt qu'une température réelle. un guide complet pour la détection aberrante utilisé dans le contrôle de la qualité.

Pièges communs dans la détection des anomalies

  • Sur-repère sur une méthode: Chaque méthode a des hypothèses. Z-score échoue sur les données biaisées; IQR peut indiquer de nombreux points dans de petits échantillons. Validation croisée en utilisant des vérifications visuelles et de domaine.
  • Ignorer le contexte du domaine : Un point de données peut être statistiquement extrême mais parfaitement valide (p. ex., les relevés de température climatique).
  • Masque et marécage : Dans un groupe de valeurs aberrantes multiples, un aberrant peut masquer d'autres valeurs (masking) ou des points normaux peuvent apparaître comme valeurs aberrantes (swamping).
  • Non documentant les décisions : Chaque étape de manipulation plus aberrante doit être enregistrée. La reproductibilité est une pierre angulaire de l'analyse fiable des données.

Conclusion

Les valeurs aberrantes sont un aspect essentiel de l'analyse des données, qui permet de connaître les anomalies, les erreurs ou les phénomènes rares. La détection des données par des méthodes visuelles et statistiques, depuis les parcelles de boîtes et les RQI jusqu'à la distance entre la forêt et Mahalanobis, assure l'intégrité de l'interprétation des données et favorise une meilleure prise de décision. La clé est de jumeler les techniques avec les connaissances du domaine : pas tous les valeurs aberrantes sont une erreur, et pas toutes les valeurs extrêmes doivent être supprimées.

Pour plus de détails, voir: L'article de Wikipédia sur les aberrations offre un aperçu solide. scikit-learn , la documentation de détection aberrante offre des exemples de code pratique.