How to Use Cumulative Distribution Functions in Data Analysis
Table of Contents
¿Qué es una función de distribución acumulativa?
Una función de distribución acumulativa (CDF) describe la probabilidad de que una variable aleatoria tome un valor inferior o igual a un punto específico. Proporciona una representación completa de la distribución de probabilidad de una variable aleatoria, ya sea discreta o continua. En el análisis de datos, el CDF es una herramienta fundamental para entender la distribución subyacente de datos, identificar patrones y hacer declaraciones probabilísticas.
El CDF se denota comúnmente como F(Gr.)x) y se define matemáticamente como:
F(Gr.)x) P(Gr.)X ≤ x)
Esta función mapea cada número real x a un valor de probabilidad entre 0 y 1. Para muy pequeño x (aproximando el infinito negativo), el CDF tiende a 0 porque no hay probabilidad por debajo de ese valor. x aumentos hacia la infinidad positiva, el CDF se acerca 1, capturando toda la gama de posibles resultados.
Propiedades de las funciones de distribución acumulativa
Cada CDF válido exhibe varias propiedades clave que lo hacen útil para el análisis:
- Monotonicity: El CDF no disminuye; si x1 < x2Entonces F(Gr.)x1≤ F(Gr.)x2). Esto refleja el hecho de que la adición de resultados más posibles no puede disminuir la probabilidad acumulativa.
- Comportamiento de límite: limx→- F(Gr.)x= 0 y limx→+ F(Gr.)x) = 1.
- Continuidad derecha: Para variables continuas aleatorias, el CDF es continuo en todas partes. Para variables discretas aleatorias, el CDF es una función paso que salta a cada valor posible, y es continua desde la derecha en esos saltos.
Estas propiedades aseguran que el CDF caracteriza de forma única la distribución de probabilidad de la variable aleatoria.
CDF continuos vs discretos
Para una variable aleatoria continua, el CDF es una curva suave, y la función de densidad de probabilidad (PDF) es el derivado del CDF: f(Gr.)x♪ = dF(Gr.)x)/dxPara una variable discreta aleatoria, el CDF es una función paso, y la función de masa de probabilidad (PMF) da la altura de cada paso. Entender la distinción es importante cuando se trabaja con conjuntos de datos reales, que a menudo son discretos en la naturaleza (por ejemplo, cuenta, calificaciones) pero puede ser aproximado por distribuciones continuas.
Relación entre el CDF y el PDF/PMF
El CDF y la función de densidad de probabilidad (o masa) están estrechamente vinculadas. Mientras que el PDF/PMF muestra la probabilidad de valores específicos o intervalos pequeños, el CDF acumula esas probabilidades hasta un punto dado. Esta perspectiva dual ofrece diferentes puntos de vista sobre la misma distribución.
- De PDF a CDF: Para una variable aleatoria continua, F(Gr.)x) = ∫- ¡No!x f(Gr.)t♪t. El CDF es el área bajo la curva PDF a la izquierda de x.
- De CDF a PDF: El derivado del CDF recupera el PDF (si existe). En la práctica, puede estimar el PDF desde la pendiente del CDF empírico utilizando la estimación de densidad del núcleo o histogramas.
- Para distribuciones discretas: El CDF en un punto es la suma de los valores de PMF para todos los resultados ≤ x. El PMF se puede recuperar tomando diferencias del CDF en puntos adyacentes.
Utilizando el CDF y PDF juntos da una imagen completa. Por ejemplo, el CDF proporciona información cuntil directa, mientras que el PDF destaca los modos y la difusión.
Cómo calcular una función de distribución acumulativa de datos
En el análisis de datos, rara vez conoces la verdadera distribución subyacente, así que trabajas con la FDC empírico (ECDF)El ECDF se construye directamente desde los puntos de datos observados y converge al verdadero CDF a medida que aumenta el tamaño de la muestra (por el teorema Glivenko-Cantelli).
Construyendo un CDF empírico
Dado un conjunto de datos n Observaciones x1, x2, ..., xn, el ECDF a un valor t se define como:
F ⁇ n(Gr.)t) = (1/n) × (número de observaciones ≤ t)
Pasos para calcular:
- Ordenar los valores de los datos en orden ascendente.
- Para cada valor clasificado, asigne una proporción acumulativa: i/n para el i- el valor más pequeño (o utilizar ajustes como (i-0.5)/n para una mejor estimación cuantitativa).
- Parcela los puntos (x(Gr.)i), i/n) y conectarlos con una función de paso (el ECDF es continuo derecho).
La mayoría de los paquetes de programación, como Python Matplotlib y NumPy, proporcionar funciones integradas para la computación y trama del ECDF. Software como R, Excel y muchas herramientas estadísticas también apoyan las funciones del ECDF. El ECDF no es paramétrico; no hace suposiciones sobre la distribución de datos, lo que lo convierte en una herramienta exploratoria robusta.
Interpretación de las parcelas de CDF
Un diagrama CDF bien diseñado revela varios aspectos de la distribución de datos de un vistazo:
- Tendencia central: El medio es el valor donde el CDF es igual a 0.5. El rango intercuartil (IQR) es el lapso entre los percentiles 25 y 75 (CDF = 0.25 y 0.75).
- Esparcimiento y forma: Un segmento pronunciado en el CDF indica que muchos puntos de datos se concentran en esa región (alta densidad). Una suave pendiente significa que los datos se distribuyen. La asimetría aparece como una región más plana más larga de un lado, indicando el estiércol.
- Alineados: Los valores lejos del cuerpo principal de datos hacen que el CDF se acerque 0 o 1 muy lentamente. Un salto repentino en los extremos puede apuntar a los puntos más destacados.
- Comparación con distribuciones teóricas: Al superar el CDF empírico con un CDF teórico (por ejemplo, normal, exponencial), se puede evaluar visualmente la bondad de la adaptación.
Por ejemplo, si está analizando los tiempos de espera del cliente, el CDF puede mostrar la proporción de clientes atendidos dentro de un tiempo dado, como el porcentaje servido dentro de 10 minutos.
Aplicaciones Prácticas en Análisis de Datos
Las funciones de distribución acumulativa son versátiles y se utilizan en muchas tareas de análisis de datos. A continuación se presentan algunas aplicaciones comunes con ejemplos concretos.
Percentiles y cuantiles
El inverso del CDF, conocido como función cuantil (también llamada función de punto porcentual), mapea los valores de probabilidad de volver a los valores de datos. Esto le permite calcular cualquier percentil deseado. Por ejemplo, el percentil 90 es el valor inferior al cual el 90% de los datos caen. En la práctica, usted utiliza el ECDF o su inverso para encontrar percentiles. Esto es esencial para establecer umbrales, tales como determinar la puntuación mínima del 10%
Comparación de dos conjuntos de datos
Dos CDF empíricos pueden ser trazados en los mismos ejes para comparar distribuciones. Si un CDF se encuentra consistentemente con el derecho de otro, ese conjunto de datos tiende a tener valores más grandes. Prueba de Kolmogorov-Smirnov (K-S) usa la distancia vertical máxima entre dos ECDF para probar si provienen de la misma distribución. Esta prueba no paramétrica es ampliamente utilizada en control de calidad, pruebas A/B y detección de anomalías. Por ejemplo, puede comparar la distribución de tasas de clic a través entre dos diseños de páginas web para ver si difieren significativamente.
Análisis de la supervivencia y el CDF complementario
En campos como la ingeniería de fiabilidad y la bioestadística, se utiliza el CDF complementario (CCDF), también llamado función de supervivencia, y el CCDF se define como S(Gr.)x) = 1 – F(Gr.)x) P(Gr.)X > x). Da la probabilidad de que un sistema o individuo sobreviva más allá de un tiempo determinado. El CCDF se trama a menudo en una escala logarítmica para examinar el comportamiento de la cola, como las distribuciones de cola pesada en el tráfico de red o pérdidas financieras.
Transformación integral de probabilidad (PIT)
El PIT dice que si X tiene un CDF continuo F, entonces la variable transformada U = F(Gr.)X) se distribuye uniformemente en (0,1). Esta propiedad se utiliza en el diagnóstico modelo: si aplica el CDF predicho a sus datos, la distribución uniforme resultante sugiere un buen modelo apropiado. PIT también apoya muchas técnicas de muestreo y simulación, como el muestreo de transformación inversa, donde genera números aleatorios uniformes y luego aplica el CDF inverso para producir muestras de cualquier distribución deseada.
Ejemplo: Analizar los resultados de los exámenes con CDFs
Considere un conjunto de datos de las puntuaciones de examen final para una clase de 200 estudiantes. Usted quiere entender la distribución, identificar el medio, y determinar qué puntuación debe tener un estudiante en el 5% superior.
- Clasificar las puntuaciones: Ordenar los 200 puntajes de más bajo a más alto.
- Computar el ECDF: Asigne cada puntuación ordenada una probabilidad acumulativa. Por ejemplo, la 50a puntuación más baja (el mediano) tiene probabilidad acumulativa 50/200 = 0.25? Espera – cuidado: el medio corresponde a probabilidad acumulativa 0.5, así que encuentra la puntuación donde el ECDF alcanza 0.5. Eso podría estar alrededor de la puntuación 100a clasificada. Corrección: Uso i/n; para i=100, i/n=0.5, por lo que el valor 100o clasificado es el medio.
- Encontrar percentiles: Para obtener el percentil 95 (top 5%), localice la puntuación donde el ECDF alcanza 0.95. Eso corresponde a la posición ordenada 0.95 × 200 = 190. La puntuación ordenada 190 es el corte.
- Parcela el CDF: Gráfico del ECDF para ver la forma. Una región empinada en el centro indica que la mayoría de los estudiantes anotó en un rango estrecho. Si la curva se eleva rápidamente cerca de la parte superior, sugiere que las puntuaciones superiores están apretadas.
Utilizando el CDF, también puedes responder preguntas como: “¿Qué porcentaje de estudiantes anotó por debajo de 70?” leyendo el valor ECDF en la puntuación 70. Esta interpretación directa hace que los CDFs sean una poderosa herramienta de comunicación en informes y presentaciones.
Usando CDF en su flujo de trabajo
Incorporar funciones de distribución acumulativa en su rutina de análisis de datos añade una capa de razonamiento probabilístico que va más allá de simples estadísticas sumarias. Comience por trazar el ECDF para cualquier nuevo conjunto de datos antes de modelar. Revela la forma de distribución, los outliers y los posibles problemas de datos que los histogramas podrían obscurecer (como vacíos o múltiples modos).
Para aplicaciones avanzadas, los CDF son centrales en métodos como la regresión cuantitativa, que modelos quantiles condicionales en lugar de medios, y a pruebas de hipótesis no paramétricas como la prueba K-S y la prueba Anderson-Darling. Entendiendo los CDFs también abre la puerta a modelos de copula, que utilizan CDFs para describir estructuras de dependencia entre múltiples variables.
Para profundizar su conocimiento, explore recursos como Entrada de Wikipedia en CDFs, el Manual de estadísticas de ingeniería NIST, o textos introductorios como Información estadística por Casella y Berger. Muchas bibliotecas de informática estadística también incluyen tutoriales detallados sobre ECDF; para usuarios de Python, Documentación de SciPy para el ECDF es un punto de partida práctico.
Al dominar los CDFs, usted gana una herramienta flexible que soporta tanto el análisis exploratorio como la inferencia rigurosa, ayudando a convertir los datos brutos en ideas factibles.