Qu'est-ce qu'une fonction de distribution cumulative?

Une fonction de distribution cumulative (CDF) décrit la probabilité qu'une variable aléatoire prenne une valeur inférieure ou égale à un point précis. Elle fournit une représentation complète de la distribution de probabilité d'une variable aléatoire, que cette variable soit discrète ou continue. Dans l'analyse des données, la CDF est un outil fondamental pour comprendre la distribution sous-jacente des données, identifier les modèles et faire des énoncés probabilistes.

Le CDF est communément désigné comme F(x) et est définie mathématiquement comme suit:

F(x) = P(X ≤ x)

Cette fonction map chaque nombre réel x pour une valeur de probabilité comprise entre 0 et 1. x (en approchant l'infini négatif), le CDF tend à 0 parce qu'il n'y a pas de probabilité en dessous de cette valeur. x l'amélioration de l'infini, le CDF approche 1, en prenant en compte toute la gamme des résultats possibles.

Propriétés des fonctions de distribution cumulative

Chaque CDF valide présente plusieurs propriétés clés qui le rendent utile pour l'analyse :

  • Monotonicité: La FDC ne diminue pas; si x1 < x2, alors F(x1(En milliers de dollars des États-Unis) F(x2). Cela reflète le fait qu'ajouter des résultats plus possibles ne peut pas diminuer la probabilité cumulative.
  • Comportement limite : limxLes F(x) = 0 et limx►+ , F(x) = 1.
  • Continuité de droite : Pour les variables aléatoires continues, le CDF est continu partout. Pour les variables aléatoires discrètes, le CDF est une fonction étape qui saute à chaque valeur possible, et il est continu de la droite à ces sauts.

Ces propriétés garantissent que le CDF caractérise de façon unique la distribution de probabilité de la variable aléatoire.

CDF continus ou discrets

Pour une variable aléatoire continue, le CDF est une courbe lisse, et la fonction de densité de probabilité (PDF) est la dérivée du CDF : f(x) = dF(x)/dx. Pour une variable aléatoire discrète, le CDF est une fonction par étapes, et la fonction de masse de probabilité (PMF) donne la hauteur de chaque étape. Comprendre la distinction est important lorsque l'on travaille avec des ensembles de données réels, qui sont souvent de nature discrète (p. ex., nombres, cotes) mais peuvent être approchés par des distributions continues.

Relation entre le CDF et le PDF/PMF

La fonction CDF et la densité de probabilité (ou masse) sont étroitement liées. Bien que le PDF/PMF montre la probabilité de valeurs spécifiques ou de petits intervalles, la CDF accumule ces probabilités jusqu'à un point donné. Cette double perspective offre des indications différentes sur la même distribution.

  • De PDF à CDF : Pour une variable aléatoire continue, F(x) = -- ,x f(t) dt. Le CDF est la zone sous la courbe PDF à gauche de x- Oui.
  • De CDF au PDF : La dérivée du CDF récupère le PDF (s'il existe). En pratique, vous pouvez estimer le PDF à partir de la pente du CDF empirique en utilisant l'estimation de densité du noyau ou des histogrammes.
  • Pour les distributions discrètes: Le CDF en un point est la somme des valeurs du CMF pour tous les résultats ≤ x. Le FMP peut être récupéré en prenant des différences du FDC aux points adjacents.

L'utilisation du CDF et du PDF ensemble donne une image complète. Par exemple, le CDF fournit des informations quantiles directes, tandis que le PDF met en évidence les modes et la diffusion.

Comment calculer une fonction de distribution cumulative à partir de données

En analyse de données, vous connaissez rarement la distribution sous-jacente réelle, donc vous travaillez avec la CDF empirique (ECDF). Le FEC est construit directement à partir des points de données observés et converge vers le CDF véritable à mesure que la taille de l'échantillon augmente (par le théorème Glivenko-Cantelli).

Construction d'un CDF empirique

Compte tenu d'un ensemble de données n observations x1, x2, ..., xn, le FCED à une valeur t est défini comme suit:

F. F.n(t) = (1/n) × (nombre d'observations ≤ t)

Étapes à suivre pour calculer :

  1. Trier les valeurs de données en ordre croissant.
  2. Pour chaque valeur triée, attribuer une proportion cumulative : Les/n pour la Les- la valeur la plus faible (ou utiliser des ajustements comme (i-0,5)/n pour une meilleure estimation quantile).
  3. Déplacer les points (x(Les), Les/n) et les connecter à une fonction étape (l'ECDF est continuelle à droite).

La plupart des paquets de programmation, tels que Python , Matplotlib et Numéro, fournir des fonctions intégrées pour le calcul et le tracé ECDF . Des logiciels comme R, Excel et de nombreux outils statistiques soutiennent également les fonctions ECDF . L'ECDF est non paramétrique ; il ne fait aucune hypothèse sur la distribution des données, en faisant un outil exploratoire robuste .

Interprétation des terrains de la CDF

Un graphique bien dessiné de la FDC révèle plusieurs aspects de la distribution des données en un coup d'oeil:

  • Tendance centrale: La médiane est la valeur où le CDF est égal à 0,5. La plage interquartile (IQR) est la portée entre le 25e et le 75e percentiles (CDF = 0,25 et 0,75).
  • Étalonnage et forme: Un segment abrupt du CDF indique que de nombreux points de données sont concentrés dans cette région (haute densité). Une pente douce signifie que les données sont réparties. L'asymétrie apparaît comme une région plus plate d'un côté, indiquant une fausseté.
  • Déblais: Les valeurs loin du corps principal des données font que le CDF approche 0 ou 1 très lentement. Un saut soudain aux extrémités extrêmes peut indiquer des valeurs aberrantes.
  • Comparaison avec les distributions théoriques: En superposant le CDF empirique avec un CDF théorique (p. ex. normal, exponentiel), vous pouvez évaluer visuellement la bonté d'adaptation.

Par exemple, si vous analysez les temps d'attente des clients, le CDF peut indiquer la proportion de clients servis dans un délai donné, comme le pourcentage servi dans les 10 minutes.

Applications pratiques dans l'analyse des données

Les fonctions de distribution cumulative sont polyvalentes et utilisées pour de nombreuses tâches d'analyse de données. Ci-dessous sont quelques applications communes avec des exemples concrets.

Pourcentages et quantiles

L'inverse du CDF, connu sous le nom de fonction quantile (également appelée fonction cent points), permet de cartographier les valeurs de probabilité en fonction des valeurs de données. Cela vous permet de calculer n'importe quel centile désiré. Par exemple, le 90e centile est la valeur en dessous de laquelle 90 % des données tombent. En pratique, vous utilisez le CDF ou son inverse pour trouver des centiles.

Comparaison de deux ensembles de données

Deux CDF empiriques peuvent être tracés sur les mêmes axes pour comparer les distributions. Si un CDF se trouve toujours à droite d'un autre, cet ensemble de données a tendance à avoir des valeurs plus grandes. Essai de Kolmogorov-Smirnov (K-S) Cette méthode non paramétrique est largement utilisée pour le contrôle de la qualité, les tests A/B et la détection d'anomalies. Par exemple, vous pouvez comparer la distribution des taux de clic entre deux conceptions de pages Web pour voir s'ils diffèrent significativement.

Analyse de survie et CDF complémentaire

Dans des domaines comme l'ingénierie de la fiabilité et la biostatistique, on utilise le CDF (CCDF), également appelé fonction de survie. S(x) = 1 – F(x) = P(X > x). Il donne la probabilité qu'un système ou un individu survive au-delà d'un certain temps. Le CCDF est souvent tracé sur une échelle logarithmique pour examiner le comportement de queue, comme les distributions à queue lourde dans le trafic réseau ou les pertes financières.

Transformation intégrale de probabilité (PIT)

Le PIT déclare que si X a un CDF continu F, puis la variable transformée U = F(X Cette propriété est utilisée dans les diagnostics de modèles : si vous appliquez le CDF prévu à vos données, la distribution uniforme qui en résulte suggère un bon ajustement du modèle. Le PIT sous-tend également de nombreuses techniques de rééchantillonnage et de simulation, comme l'échantillonnage de transformation inverse, où vous générez des nombres aléatoires uniformes et ensuite appliquez le CDF inverse pour produire des échantillons de toute distribution souhaitée.

Exemple : Analyse des scores de test avec les CDF

Considérez un ensemble de données sur les scores finals de l'examen pour une classe de 200 étudiants. Vous voulez comprendre la distribution, identifier la médiane et déterminer quelle note un étudiant doit être dans le top 5%.

  1. Triez les scores : Commandez les 200 scores du plus bas au plus haut.
  2. Calculer le FEC: Par exemple, le score le plus bas (la médiane) a une probabilité cumulative 50/200 = 0,25? Attendez – attention : la médiane correspond à la probabilité cumulative 0,5, alors trouvez le score où le CEDF atteint 0,5. Cela pourrait être autour du 100e score trié. Correction : Utilisation Les/n; pour Les= 100, Les/n=0.5, donc la valeur du 100e tri est la médiane.
  3. Trouver des percentiles : Pour obtenir le 95e percentile (en haut de 5%), localisez le score où le ECDF atteint 0,95. Cela correspond à la position triée 0,95 × 200 = 190. Le 190e score trié est la limite.
  4. Déplacer le CDF : Graphiquez le CEDF pour voir la forme. Une région raide au milieu indique la plupart des élèves inscrits dans une fourchette étroite. Si la courbe augmente rapidement près du sommet, cela suggère que les scores supérieurs sont étroitement groupés.

En utilisant le CDF, vous pouvez également répondre à des questions comme : - Quel pourcentage des élèves ont marqué en dessous de 70 ?- en lisant la valeur du CEDF au score 70.

Utilisation des CDF dans votre flux de travail

L'intégration de fonctions de distribution cumulative dans votre routine d'analyse de données ajoute une couche de raisonnement probabiliste qui va au-delà des simples statistiques sommaires. Commencez par tracer l'ECDF pour toute nouvelle série de données avant la modélisation. Il révèle la forme de distribution, les aberrations et les problèmes de données potentiels que les histogrammes pourraient masquer (comme les lacunes ou les modes multiples).

Pour les applications avancées, les CDF sont au cœur de méthodes comme la régression quantile, qui modélisent les quantiles conditionnels au lieu des moyens, et à des tests d'hypothèses non paramétriques comme le test K-S et le test Anderson-Darling. Comprendre les CDF ouvre également la porte aux modèles de copules, qui utilisent les CDF pour décrire les structures de dépendance entre plusieurs variables.

Pour approfondir vos connaissances, explorez des ressources comme Wikipedia , entrée sur les CDF, les Manuel de statistiques techniques du NISTou des textes d'introduction comme Inférence statistique De nombreuses bibliothèques de calcul statistique incluent également des tutoriels détaillés sur les ECD; pour les utilisateurs de Python, la Documents SciPy pour le CEDF est un point de départ pratique.

En maîtrisant les CDF, vous obtenez un outil flexible qui supporte à la fois l'analyse exploratoire et l'inférence rigoureuse, vous aidant à transformer les données brutes en informations exploitables.