The Significance of Outliers and How to Detect Them in Data Sets
Table of Contents
Was sind Ausreißer?
Ausreißer sind Datenpunkte, die so stark von anderen Beobachtungen in einem Datensatz abweichen, dass sie den Verdacht erwecken, dass ein anderer Mechanismus sie erzeugt hat. Sie können als extrem hohe oder niedrige Werte im Verhältnis zum Datenumfang erscheinen. Zu verstehen, was einen Ausreißer ausmacht, hängt vom Kontext ab: Ein Temperaturwert von 120 ° F kann ein Ausreißer in einem Datensatz von Tagesdurchschnitten für eine gemäßigte Stadt sein, aber normal für ein Wüstenklima. Ausreißer entstehen aus drei Hauptquellen: natürliche Variabilität (z. B. seltene, aber legitime Ereignisse wie das Einkommen eines Milliardärs in einer nationalen Umfrage), Messfehler (z. B. ein fehlerhafter Sensor oder falsch aufgezeichneter Eintrag) oder experimentelle Fehler (z. B. ein Dateneingabefehler wie das Eingeben von 999 anstelle von 99).
Statistisch gesehen sind Ausreißer Beobachtungen, die außerhalb des erwarteten Wertebereichs für eine gegebene Verteilung liegen. Für normal verteilte Daten gelten Punkte, die über drei Standardabweichungen vom Mittelwert hinausgehen, als extrem. Reale Daten folgen jedoch selten einer perfekten Normalität, so dass robuste Methoden wie der Interquartilbereich (IQR) oft bevorzugt werden. Ein Punkt wird markiert, wenn er unter Q1 - 1,5 × IQR oder über Q3 + 1,5 × IQR liegt. Diese Regel wird in Box-Plots weit verbreitet verwendet.
Die Bedeutung der Erkennung von Ausreißern
Die Erkennung von Ausreißern ist nicht nur eine akademische Übung, sondern hat direkte Konsequenzen für die Zuverlässigkeit von Analysen, Modellen und Geschäftsentscheidungen. Ausreißer können einen unverhältnismäßigen Einfluss auf statistische Messungen wie den Mittelwert, die Standardabweichung und Korrelationskoeffizienten ausüben. Ein einzelner Extremwert kann den Mittelwert so weit verschieben, dass er die zentrale Tendenz eines Datensatzes falsch darstellt, was zu verzerrten Interpretationen führt. Wenn beispielsweise eine Klasse von 20 Schülern einen Schüler hat, der 100 % erzielt, während der Rest zwischen 40-60% liegt, wird der Durchschnitt aufgeblasen und verdeckt die wahre Leistung der Mehrheit.
Bei der prädiktiven Modellierung können Ausreißer Überanpassungen verursachen — das Modell lernt, die Anomalie zu berücksichtigen, anstatt Muster zu verallgemeinern. Umgekehrt können sie Regressionssteigungen verzerren, die Genauigkeit von Clustering-Algorithmen verringern und Fehlerraten in Hypothesentests aufblasen. Wenn sie entdeckt werden, können Analysten die Ursachen untersuchen: Ist der Ausreißer ein Dateneingabefehler? Ein Messfehler? Oder ein echtes Extremereignis, das eine separate Analyse erfordert?
Ohne Erkennung wird die gesamte Analysepipeline zerbrechlich.
Auswirkungen auf die Datenanalyse
- Verzerrte Durchschnittswerte und irreführende Trends: Ein einzelner Ausreißer kann den Mittelwert vom Median wegziehen und einen falschen Eindruck von der Position der Daten erzeugen.
- Falsche Vorhersagen in Modellen: Algorithmen des maschinellen Lernens wie lineare Regression und k-nächste Nachbarn sind empfindlich gegenüber Ausreißern. Sie können Koeffizienten erzeugen, die nicht repräsentativ für die wahre Beziehung sind.
- Fehlinterpretation der Datenvariabilität: Standardabweichungen und -varianzen werden durch Ausreißer aufgebläht, wodurch die Daten breiter erscheinen, als sie tatsächlich sind.
- Ungültige statistische Annahmen: Tests wie t-Tests und ANOVA gehen von Normalität und gleicher Varianz aus, wobei Ausreißer gegen diese Annahmen verstoßen und zu falsch hohen oder niedrigen p-Werten und falschen Schlussfolgerungen führen.
Methoden zum Erkennen von Ausreißern
Um Ausreißer zu erkennen, ist eine Kombination aus visueller Erkundung, statistischen Messungen und Domänenwissen erforderlich. Keine einzige Methode funktioniert für alle Datensätze; die Auswahl hängt von der Verteilung, der Stichprobengröße und dem Kontext ab.
Sichtprüfung
Grafische Methoden vermitteln ein unmittelbares, intuitives Gefühl dafür, wo Ausreißer liegen, und sind besonders bei der Sondierungsdatenanalyse (Exploratory Data Analysis, EDA) nützlich.
- Feldflächen: Ein Box-Plot zeigt den Median, Quartile und Schnurrhaare, die sich bis zu 1,5 x IQR erstrecken. Punkte jenseits der Schnurrhaare sind potenzielle Ausreißer. Dies ist eine robuste Methode, da sie Quartile verwendet, die von Extremwerten nicht beeinflusst werden.
- Streuflächen: Bei bivariaten Daten zeigt ein Streudiagramm Punkte, die weit von der Hauptwolke entfernt liegen. Bei multivariaten Daten können Sie paarweise Streudiagramme oder Dimensionalitätsreduktion (PCA) verwenden, um Ausreißer zu erkennen.
- Histogramme: Ein Histogramm mit einem langen Schwanz oder isolierten Balken, die weit von der Hauptverteilung entfernt sind, zeigt mögliche Ausreißer an, jedoch können Histogramme für kleine Datensätze weniger präzise sein.
- Q-Q-Flächen: Ein Quantil-Quantil-Plot vergleicht die Verteilung Ihrer Daten mit einer theoretischen Normalverteilung. Punkte, die stark von der Referenzlinie abweichen, sind Ausreißer.
Statistische Tests
Statistische Methoden bieten objektive Kriterien für die Kennzeichnung von Ausreißern, die für die Automatisierung und für Datensätze, die für die manuelle Inspektion zu groß sind, unerlässlich sind.
- Z-Score-Methode: Die Daten werden standardisiert, indem der Mittelwert subtrahiert und durch Standardabweichung dividiert wird. Beobachtungen mit einem z-Wert über 3 oder unter -3 werden als Ausreißer betrachtet (für ungefähr normale Daten). Diese Methode ist empfindlich auf das Vorhandensein anderer Ausreißer, da die Mittelwert- und Standardabweichung selbst durch Ausreißer beeinflusst werden.
- Modifizierter Z-Score (unter Verwendung von MAD): Der Median und der Median der absoluten Abweichung (MAD) werden anstelle der Mittelwert- und Standardabweichung verwendet. Ein modifizierter z-Score von mehr als 3,5 ist ein gemeinsamer Schwellenwert. Dieser ist robuster für schiefe Verteilungen.
- IQR-Methode: Wie bereits beschrieben, berechnen Sie Q1, Q3 und IQR. Ausreißer liegen unter Q1 - 1,5 x IQR oder über Q3 + 1,5 x IQR. Für extreme Ausreißer verwenden Sie stattdessen einen Multiplikator von 3. Diese Methode ist robust und parameterfrei.
- Grubbs-Test: Formale Hypothesenprüfung für einen einzelnen Ausreißer in normal verteilten Daten; Prüfung der maximalen absoluten Abweichung vom Mittelwert gegen einen kritischen Wert; wiederholte Anwendung kann mehrere Ausreißer erkennen, leidet jedoch unter Maskierung (ein Ausreißer verbirgt andere).
- Chauvenet-Kriterium: Entfernt Datenpunkte, deren Eintrittswahrscheinlichkeit kleiner als 1/(2N) ist, wobei N die Stichprobengröße ist; es wird von Normalität ausgegangen und wird heute aufgrund seiner Empfindlichkeit seltener verwendet.
Fortgeschrittene multivariate Methoden
Moderne Datensätze haben oft viele Variablen, und ein Ausreißer kann bei keiner einzelnen Variablen extrem sein, aber in der Kombination der Dimensionen ungewöhnlich sein. Univariate Methoden verfehlen diese.
- Entfernung Mahalanobis: Punkte mit einem hohen Mahalanobis-Abstand (z. B. Chi-Quadrat-kritischer Wert) sind multivariate Ausreißer. Dies funktioniert gut für Daten, die ungefähr multivariat normal sind.
- DBSCAN-Clustering: Dieser dichtebasierte Algorithmus bezeichnet Punkte in Regionen mit geringer Dichte als Rauschen (Ausreißer), ist für räumliche Daten effektiv und erfordert keine bestimmte Anzahl von Clustern.
- Abgeschiedener Wald: Eine Ensemble-Methode, die Anomalien durch zufällige Aufspaltung von Merkmalen isoliert. Anomalien sind wenige und unterscheiden sich von normalen Punkten, so dass sie weniger Aufspaltungen erfordern, um sie zu isolieren. Dies funktioniert gut bei hochdimensionalen Daten und ist schnell.
- Lokaler Ausreißerfaktor (LOF): Berechnen Sie die lokale Dichteabweichung eines Punktes relativ zu seinen Nachbarn. Punkte mit einer signifikant geringeren Dichte als ihre Nachbarn sind Ausreißer. LOF ist für Datensätze mit unterschiedlichen Dichten wirksam.
Wie man Ausreißer behandelt, sobald sie entdeckt wurden
Die Erkennung ist nur die halbe Miete. Die richtige Aktion hängt von der Quelle des Ausreißers und den Analysezielen ab.
- Untersuchen und korrigieren: Wenn der Ausreißer auf einen Mess- oder Dateneingabefehler zurückzuführen ist, korrigieren Sie den Wert (z. B. einen Tippfehler beheben) oder entfernen Sie ihn.
- Entfernen oder Ausschließen: Wenn der Ausreißer eindeutig ein Fehler ist und nicht korrigiert werden kann oder wenn er für die Analyse irrelevant ist, entfernen Sie ihn, aber die Streichung verringert die Stichprobengröße und kann Verzerrungen hervorrufen, wenn Ausreißer nicht zufällig sind.
- Cap oder winsorize: Ersetzen Sie extreme Werte durch den nächstgelegenen nicht-äußeren Wert (z. B. setzen Sie alle Werte oberhalb des 99. Perzentils auf den 99. Perzentilwert), wodurch der Einfluss verringert wird, ohne Datenpunkte zu verlieren.
- Daten transformieren: Log-, Quadratwurzel- oder Box-Cox-Transformationen anwenden, um die Anziehungskraft extremer Werte zu reduzieren, wodurch die Daten normaler verteilt werden und die Auswirkungen von Ausreißern verringert werden können.
- Verwenden Sie robuste Statistiken: Anstelle der Mittelwert- und Standardabweichung Median und MAD verwenden. Verwenden Sie eine robuste Regression (z. B. RANSAC, Huber), die Ausreißer während der Modellanpassung reduziert.
- Separate Analyse: Manchmal stellen Ausreißer eine eigene Subpopulation dar, die eine eigene Studie verdient, zum Beispiel sind Ausreißer bei der Betrugserkennung die betrügerischen Transaktionen und die Punkte, die von Interesse sind.
Ausreißer im maschinellen Lernen: Ein zweischneidiges Schwert
Beim maschinellen Lernen hängt die Behandlung von Ausreißern vom Algorithmus und dem Problem ab. Einige Algorithmen sind durch ihr Design robust: Baumbasierte Methoden (zufälliger Wald, Gradientenverstärkung) behandeln Ausreißer gut, weil sie Splits basierend auf dem Rang verwenden. Andere, wie lineare Modelle, neuronale Netzwerke und k-Means Clustering, sind hochsensibel. Ausreißer können Folgendes verursachen:
- Große Gradienten in neuronalen Netzwerken, die zu instabilem Training führen
- Clusterzentren werden in k-Mitteln von der wahren Masse weggezogen
- Unterstützungsvektoren in SVM werden von Anomalien dominiert
Umgekehrt sind Ausreißer bei Anomalieerkennungsaufgaben (z. B. Netzwerkeinbruch, Kreditkartenbetrug) das Signal, das Sie finden möchten. In solchen Fällen ist das gesamte Ziel, seltene Ereignisse zu erkennen. Methoden wie Isolation Forest und Ein-Klasse-SVM sind speziell für diesen Zweck entwickelt. Berücksichtigen Sie daher immer den Geschäftsbereich: Sollen Ausreißerrauschen gefiltert oder Schätze abgebaut werden?
Real-World Case Studies
Gesundheitsversorgung: Identifizierung medizinischer Fehler
Ein Krankenhausdatensatz der Aufenthaltsdauern hatte für ein Routineverfahren einen Wert von 365 Tagen. Mit der IQR-Methode wurde dies als extremer Ausreißer gekennzeichnet. Die Untersuchung ergab einen Fehler bei der Dateneingabe - die Aufenthaltsdauer betrug 3,65 Tage (fehlverlegte Dezimalzahl). Durch die Korrektur dieses Wertes wurde der mittlere Aufenthalt um 1,2 Tage gesenkt und die Effizienzbewertung des Krankenhauses geändert. Eine Studie zur Entdeckung von Ausreißern im Gesundheitswesen ähnliche Muster illustriert.
Finanzen: Aufdeckung betrügerischer Transaktionen
Ein Kreditkartenherausgeber hat auf Transaktionsmerkmale (Betrag, Ort, Zeit) einen Isolationswald angewandt, der ungewöhnlich große oder ungewöhnliche Transaktionen auszeichnete. Diese Fälle stellten sich als tatsächliche Betrugsfälle heraus. Die Methode reduzierte die Falschmeldungen um 30 % im Vergleich zu einem einfachen regelbasierten System. Dies in Richtung Data Science Artikel erklärt die Technik im Detail.
Fertigung: Sensor Anomalie Detection
Fabrikhallentemperatursensoren zeichneten einen kurzen Anstieg auf 200°C auf. Mithilfe von z-Scores (einstündiges Fenster rollen) wurde der Anstieg als Sensorfehler und nicht als reale Temperatur identifiziert. Er wurde aus den Trainingsdaten für ein prädiktives Wartungsmodell entfernt, um Fehlalarme zu verhindern. Das NIST Engineering Statistics Handbook bietet Ein umfassender Leitfaden zur Erkennung von Ausreißern zur Qualitätskontrolle verwendet werden.
Häufige Fallstricke bei der Erkennung von Ausreißern
- Überwiegend auf eine Methode angewiesen: Jede Methode hat Annahmen. Z-Score schlägt bei verzerrten Daten fehl; IQR kann viele Punkte in kleinen Samples markieren. Cross-Validieren mit visuellen und Domänenüberprüfungen.
- Domain-Kontext ignorieren: Ein Datenpunkt kann statistisch extrem, aber absolut gültig sein (z. B. Klimatemperaturaufzeichnungen), und durch blindes Entfernen können wertvolle Informationen verworfen werden.
- Maskierung und Überwärmung: In einem Cluster mehrerer Ausreißer kann ein Ausreißer andere maskieren (Masken) oder normale Punkte können als Ausreißer auftreten (Swamping), iterative oder robuste Methoden reduzieren dies.
- Nichtdokumentation von Entscheidungen: Jeder Ausreißer-Handling-Schritt sollte protokolliert werden. Reproduzierbarkeit ist ein Eckpfeiler der vertrauenswürdigen Datenanalyse.
Schlussfolgerung
Ausreißer sind ein wichtiger Aspekt der Datenanalyse, sie bieten Einblicke in Anomalien, Fehler oder seltene Phänomene. Ihre Erkennung mit visuellen und statistischen Methoden — von Boxplots und IQR bis hin zu Isolationswald und Mahalanobis-Distanz — stellt die Integrität der Dateninterpretation sicher und unterstützt eine bessere Entscheidungsfindung. Der Schlüssel ist, Techniken mit Domänenwissen zu kombinieren: Nicht jeder Ausreißer ist ein Fehler, und nicht jeder extreme Wert sollte entfernt werden. Durch das Verständnis der Quellen und Auswirkungen von Ausreißern können Analysten und Studenten ihre Datenkompetenz verbessern und robustere Modelle erstellen. Integrieren Sie die Ausreißererkennung in Ihren regulären EDA-Workflow, und Sie werden Probleme erkennen, bevor sie Ihre Schlussfolgerungen verzerren.
Für weitere Lektüre, Wikipedia-Artikel über Ausreißer einen soliden Überblick bietet. Dokumentation zur Entdeckung von Ausreißern durch scikit-learn bietet praktische Codebeispiele.