Was ist eine kumulative Verteilungsfunktion?

Eine kumulative Verteilungsfunktion (CDF) beschreibt die Wahrscheinlichkeit, dass eine Zufallsvariable einen Wert kleiner oder gleich einem bestimmten Punkt annimmt. Sie stellt eine vollständige Darstellung der Wahrscheinlichkeitsverteilung einer Zufallsvariable dar, unabhängig davon, ob diese Variable diskret oder kontinuierlich ist.

Die CDF wird gemeinhin als F()x) und mathematisch definiert als:

F()x) = P()X ≤ x)

Diese Funktion bildet jede reelle Zahl ab x auf einen Wahrscheinlichkeitswert zwischen 0 und 1. Für sehr klein x (Näherung von negativer Unendlichkeit) neigt die CDF zu 0, weil es keine Wahrscheinlichkeit unter diesem Wert gibt. x Zunehmend in Richtung positiver Unendlichkeit, nähert sich die CDF 1, wobei die gesamte Bandbreite der möglichen Ergebnisse erfasst wird.

Eigenschaften kumulativer Verteilungsfunktionen

Jede gültige CDF weist mehrere wichtige Eigenschaften auf, die sie für die Analyse nützlich machen:

  • Monotonie: Die CDF ist nicht rückläufig; wenn x1 < x2, dann F()x1) ≤ F()x2Dies spiegelt die Tatsache wider, dass das Hinzufügen weiterer möglicher Ergebnisse die kumulative Wahrscheinlichkeit nicht verringern kann.
  • Grenzverhalten: Limx→-∞ F()x) = 0 und limx→ + ∞ F()x) = 1.
  • Rechtskontinuität: Für kontinuierliche Zufallsvariablen ist die CDF überall kontinuierlich. Für diskrete Zufallsvariablen ist die CDF eine Schrittfunktion, die bei jedem möglichen Wert springt, und sie ist bei diesen Sprüngen von rechts kontinuierlich.

Diese Eigenschaften stellen sicher, dass die CDF die Wahrscheinlichkeitsverteilung der Zufallsvariable eindeutig charakterisiert.

Kontinuierliche vs diskrete CDFs

Für eine kontinuierliche Zufallsvariable ist die CDF eine glatte Kurve, und die Wahrscheinlichkeitsdichtefunktion (PDF) ist die Ableitung der CDF: f()x) = dF()x)/dxFür eine diskrete Zufallsvariable ist die CDF eine Schrittfunktion, und die Wahrscheinlichkeitsmassenfunktion (PMF) gibt die Höhe jedes Schritts an. Das Verständnis der Unterscheidung ist wichtig, wenn man mit realen Datensätzen arbeitet, die oft diskreter Natur sind (z. B. Zählungen, Bewertungen), aber durch kontinuierliche Verteilungen angenähert werden können.

Beziehung zwischen CDF und PDF / PMF

Während die CDF und die Wahrscheinlichkeitsdichte (oder Masse) eng miteinander verknüpft sind, zeigt die PDF/PMF die Wahrscheinlichkeit bestimmter Werte oder kleiner Intervalle, während die CDF diese Wahrscheinlichkeiten bis zu einem bestimmten Punkt akkumuliert. Diese duale Perspektive bietet unterschiedliche Einblicke in die gleiche Verteilung.

  • Von PDF bis CDF: Für eine kontinuierliche Zufallsvariable, F()x) = ∫- ∞x f()t)tDie CDF ist der Bereich unter der PDF-Kurve links von x.
  • Von CDF bis PDF: Die Ableitung der CDF stellt das PDF wieder her (falls vorhanden), in der Praxis kann man das PDF anhand der Steigung der empirischen CDF anhand von Kerneldichteschätzungen oder Histogrammen abschätzen.
  • Für diskrete Verteilungen: Die CDF an einem Punkt ist die Summe der PMF-Werte für alle Ergebnisse ≤ xDer PMF kann durch Differenzen der CDF an benachbarten Punkten wiederhergestellt werden.

Die Verwendung von CDF und PDF ergibt ein vollständiges Bild, beispielsweise liefert die CDF direkte Quantilinformationen, während die PDF-Datei Modi und Spreads hervorhebt.

Wie man eine kumulative Verteilungsfunktion aus Daten berechnet

In der Datenanalyse kennen Sie selten die wahre zugrunde liegende Verteilung, so dass Sie mit dem Empirische CDF (ECDF)Die ECDF wird direkt aus beobachteten Datenpunkten aufgebaut und konvergiert mit zunehmender Stichprobengröße (durch den Satz von Glivenko-Cantelli).

Bau einer empirischen CDF

Wenn man einen Datensatz von n Beobachtungen x1, x2, ..., xn, der ECDF zu einem Wert t definiert als:

Fn()t) = (1/)n) × (Anzahl der Beobachtungen ≤ t)

Schritte zum Berechnen:

  1. Sortieren Sie die Datenwerte in aufsteigender Reihenfolge.
  2. Für jeden sortierten Wert ist ein kumulativer Anteil zuzuweisen: i/n für die i-ten kleinsten Wert (oder verwenden Sie Anpassungen wie (i-0,5) / n für eine bessere Quantilschätzung).
  3. Zeichne die Punkte ()x()i), i/n) und verbinden sie mit einer Schrittfunktion (das ECDF ist rechtskontinuierlich).

Die meisten Programmierpakete, wie Pythons Matplotlib und NumPy, integrierte Funktionen für ECDF-Berechnung und -Plotting bereitstellen. Software wie R, Excel und viele statistische Tools unterstützen auch ECDF-Funktionen. Das ECDF ist nicht parametrisch; es macht keine Annahmen über die Datenverteilung, was es zu einem robusten Erkundungsinstrument macht.

Interpretation von CDF-Plots

Ein gut gezeichnetes CDF-Plot zeigt mehrere Aspekte der Datenverteilung auf einen Blick:

  • Zentrale Tendenz: Der Median ist der Wert, bei dem die CDF 0,5 ist. Der Interquartilbereich (IQR) ist die Spanne zwischen dem 25. und 75. Perzentil (CDF = 0,25 und 0,75).
  • Ausbreitung und Form: Ein steiles Segment in der CDF zeigt an, dass viele Datenpunkte in diesem Bereich konzentriert sind (hohe Dichte), eine sanfte Steigung bedeutet, dass Daten ausgebreitet werden, Asymmetrie erscheint als längerer flacher Bereich auf einer Seite, was auf Schieflage hinweist.
  • Ausreißer: Werte, die weit vom Hauptdatensatz entfernt sind, führen dazu, dass sich die CDF sehr langsam 0 oder 1 nähert Ein plötzlicher Sprung an den äußersten Enden kann auf Ausreißer hinweisen.
  • Vergleich mit theoretischen Verteilungen: Durch Überlagerung der empirischen CDF mit einer theoretischen CDF (z. B. normal, exponentiell) können Sie die Güte der Passform visuell beurteilen.

Wenn Sie beispielsweise die Wartezeiten der Kunden analysieren, kann die CDF den Anteil der Kunden anzeigen, die innerhalb einer bestimmten Zeit bedient wurden, z. B. den Prozentsatz, der innerhalb von 10 Minuten bedient wurde.

Praktische Anwendungen in der Datenanalyse

Kumulative Verteilungsfunktionen sind vielseitig und werden für viele Datenanalyseaufgaben verwendet.

Perzentile und Quantile

Die Umkehrung der CDF, die als Quantilfunktion (auch als Prozentpunktfunktion bezeichnet) bekannt ist, bildet Wahrscheinlichkeitswerte auf Datenwerte zurück. Dies ermöglicht es Ihnen, jedes gewünschte Perzentil zu berechnen. Zum Beispiel ist das 90. Perzentil der Wert, unter den 90 % der Daten fallen. In der Praxis verwendet man die ECDF oder ihre Umkehrung, um Perzentile zu finden.

Dies ist wichtig für die Festlegung von Schwellenwerten, wie die Bestimmung der Mindestpunktzahl, die in den oberen 10 % der Bewerber liegen muss.

Vergleich zweier Datensätze

Wenn eine CDF konsistent rechts von einer anderen liegt, hat dieser Datensatz tendenziell größere Werte. Kolmogorov-Smirnov (K-S) Test Der maximale vertikale Abstand zwischen zwei ECDFs wird verwendet, um zu testen, ob sie aus derselben Verteilung stammen. Dieser nicht-parametrische Test wird häufig bei der Qualitätskontrolle, A/B-Tests und Anomalieerkennung verwendet. Zum Beispiel können Sie die Verteilung der Klickraten zwischen zwei Webseitendesigns vergleichen, um zu sehen, ob sie sich signifikant unterscheiden.

Überlebensanalyse und die ergänzende CDF

In Bereichen wie Zuverlässigkeitstechnik und Biostatistik wird die komplementäre CDF (CCDF), auch Überlebensfunktion genannt, verwendet. S()x) = 1 – F()x) = P()X > xDie CCDF wird oft auf einer logarithmischen Skala aufgetragen, um das Verhalten von Schwanzzellen zu untersuchen, wie z. B. Verteilungen im Netzwerkverkehr oder finanzielle Verluste.

Wahrscheinlichkeitsintegrale Transformation (PIT)

Die PIT gibt an, dass wenn X hat eine kontinuierliche CDF F, dann die transformierte Variable U = F()X) ist einheitlich verteilt auf (0,1). Diese Eigenschaft wird in der Modelldiagnostik verwendet: Wenn Sie die vorhergesagte CDF auf Ihre Daten anwenden, deutet die resultierende einheitliche Verteilung auf eine gute Modellanpassung hin. PIT unterstützt auch viele Resampling- und Simulationstechniken, wie z. B. inverse Transformations-Probenahme, bei der Sie einheitliche Zufallszahlen erzeugen und dann die inverse CDF anwenden, um Proben aus einer beliebigen Verteilung zu erzeugen.

Beispiel: Analyse von Testergebnissen mit CDFs

Betrachten Sie einen Datensatz von Abschlussprüfungsergebnissen für eine Klasse von 200 Schülern. Sie möchten die Verteilung verstehen, den Median identifizieren und bestimmen, welche Punktzahl ein Schüler in den Top 5% sein muss.

  1. Sortieren Sie die Ergebnisse: Bestellen Sie alle 200 Punkte von niedrigsten bis höchsten.
  2. Berechnung des ECDF: Wenn man die kumulative Wahrscheinlichkeit für jede sortierte Punktzahl angibt, dann hat die 50. niedrigste Punktzahl (der Median) die kumulative Wahrscheinlichkeit 50/200 = 0,25? Warten Sie – vorsichtig: Der Median entspricht der kumulativen Wahrscheinlichkeit 0,5, also finden Sie die Punktzahl, bei der die ECDF 0,5 erreicht. Das könnte ungefähr die 100. sortierte Punktzahl sein. Berichtigung: Verwendung i/n; für i= 100, i/n= 0,5, so ist der 100. sortierte Wert der Median.
  3. Perzentile finden: Um das 95. Perzentil (obere 5%) zu erhalten, finden Sie die Punktzahl, bei der die ECDF 0,95 erreicht. Das entspricht der sortierten Position 0,95 × 200 = 190. Die 190. sortierte Punktzahl ist der Cutoff.
  4. Zeichne die CDF: Zeichne die ECDF, um die Form zu sehen. Ein steiler Bereich in der Mitte zeigt an, dass die meisten Schüler in einem engen Bereich erzielt haben. Wenn die Kurve in der Nähe der Spitze schnell ansteigt, deutet dies darauf hin, dass die Spitzenwerte eng geclustert sind.

Mit dem CDF können Sie auch Fragen wie: „Wie viel Prozent der Schüler haben unter 70 Punkte erreicht? beantworten, indem Sie den ECDF-Wert bei 70 Punkte lesen. Diese direkte Interpretierbarkeit macht CDFs zu einem leistungsstarken Kommunikationsinstrument in Berichten und Präsentationen.

Verwenden von CDFs in Ihrem Workflow

Die Integration kumulativer Verteilungsfunktionen in Ihre Datenanalyseroutine fügt eine Ebene probabilistischer Überlegungen hinzu, die über einfache zusammenfassende Statistiken hinausgehen. Beginnen Sie damit, dass Sie die ECDF für jeden neuen Datensatz vor der Modellierung aufzeichnen. Sie zeigt Verteilungsform, Ausreißer und potenzielle Datenprobleme, die Histogramme möglicherweise verschleiern (wie Lücken oder mehrere Modi). Beim Erstellen von Modellen für maschinelles Lernen können CDFs helfen, vorhergesagte Wahrscheinlichkeiten zu kalibrieren: Plot die CDF der vorhergesagten Wahrscheinlichkeiten gegen die empirische Verteilung der tatsächlichen Ergebnisse, um die Ausrichtung zu überprüfen.

Für fortgeschrittene Anwendungen sind CDFs von zentraler Bedeutung für Methoden wie die Quantilregression, die bedingte Quantile anstelle von Mitteln modelliert, und für nichtparametrische Hypothesentests wie den K-S-Test und den Anderson-Darling-Test. CDFs zu verstehen öffnet auch die Tür zu Copula-Modellen, die CDFs verwenden, um Abhängigkeitsstrukturen zwischen mehreren Variablen zu beschreiben.

Um Ihr Wissen zu vertiefen, erkunden Sie Ressourcen wie Wikipedia-Eintrag auf CDFs, NIST Engineering Statistics Handbuchoder einleitende Texte wie Statistische Schlussfolgerungen Viele statistische Computerbibliotheken enthalten auch detaillierte Tutorials zu ECDFs; für Python-Benutzer ist die SciPy Dokumentation für ECDF ist ein praktischer Ausgangspunkt.

Durch die Beherrschung von CDFs erhalten Sie ein flexibles Tool, das sowohl die explorative Analyse als auch die rigorose Inferenz unterstützt und Ihnen hilft, Rohdaten in umsetzbare Erkenntnisse umzuwandeln.