How to Use Cumulative Distribution Functions in Data Analysis
Table of Contents
O que é uma função de distribuição cumulativa?
Uma função de distribuição cumulativa (CDF) descreve a probabilidade de que uma variável aleatória tenha um valor menor ou igual a um ponto específico. Ela fornece uma representação completa da distribuição de probabilidade de uma variável aleatória, seja ela discreta ou contínua. Na análise dos dados, o CDF é uma ferramenta fundamental para entender a distribuição subjacente dos dados, identificar padrões e fazer afirmações probabilísticas.
O CDF é comumente denotado como F(x) e é definida matematicamente como:
F(x) = P(X ≤ x)
Esta função mapeia cada número real x para um valor de probabilidade entre 0 e 1. Para muito pequeno x (aproximando-se do infinito negativo), o CDF tende a 0 porque não há probabilidade abaixo desse valor. x aumenta em direção ao infinito positivo, o CDF aproxima-se 1, capturando a gama completa de possíveis resultados.
Propriedades das Funções de Distribuição Cumulativa
Cada CDF válido exibe várias propriedades chave que o tornam útil para análise:
- Monotonicidade: O CDF não está a diminuir; se x1 < x2, então F(x1) ≤ F(x2). Isso reflete o fato de que adicionar mais resultados possíveis não pode diminuir a probabilidade cumulativa.
- Comportamento limite: limx→- . F(x) = 0 e limx→+. F(x) = 1.
- Continuação à direita: Para variáveis aleatórias contínuas, o CDF é contínuo em toda parte. Para variáveis aleatórias discretas, o CDF é uma função de passo que salta em cada valor possível, e é contínuo a partir da direita nesses saltos.
Essas propriedades garantem que o FDL caracterize exclusivamente a distribuição de probabilidade da variável aleatória.
CDFs contínuos vs discretos
Para uma variável aleatória contínua, o CDF é uma curva suave, e a função densidade de probabilidade (PDF) é a derivada do CDF: f(x) = dF(x)/dx. Para uma variável aleatória discreta, o CDF é uma função de passo, e a função de massa de probabilidade (PMF) dá a altura de cada passo. Compreender a distinção é importante quando se trabalha com conjuntos de dados reais, que são muitas vezes discretos na natureza (por exemplo, contagens, classificações), mas pode ser aproximado por distribuições contínuas.
Relação entre CDF e PDF/PMF
A função de densidade de probabilidade (ou massa) e CDF estão intimamente ligadas. Enquanto o PDF/PMF mostra a probabilidade de valores específicos ou pequenos intervalos, o CDF acumula essas probabilidades até um dado ponto. Esta perspectiva dupla oferece insights diferentes na mesma distribuição.
- De PDF para CDF: Para uma variável aleatória contínua, F(x) = ∫- .x f(t) dtO CDF é a área sob a curva PDF à esquerda de x.
- De CDF para PDF: A derivada do CDF recupera o PDF (se ele existir). Na prática, você pode estimar o PDF a partir da inclinação do CDF empírico usando estimativa de densidade do kernel ou histogramas.
- Para distribuições discretas: O FDC em um ponto é a soma dos valores de FPM para todos os resultados ≤ x. O FPM pode ser recuperado tomando diferenças do FDL em pontos adjacentes.
Usando tanto o CDF e PDF juntos dá uma imagem completa. Por exemplo, o CDF fornece informações quantis diretas, enquanto os modos de destaque PDF e propagação.
Como calcular uma função de distribuição cumulativa a partir de dados
Na análise dos dados, raramente se sabe a verdadeira distribuição subjacente, por isso trabalha com CDF empírico (ECDF)O ECDF é construído diretamente a partir de pontos de dados observados e converge para o verdadeiro CDF como tamanho da amostra aumenta (pelo teorema de Glivenko-Cantelli).
Construindo um CDF empírico
Dado um conjunto de dados de n observações x1, x2, ..., xn, o ECDF a um valor t é definido como:
F' sn(t) = (1/n) × (número de observações ≤ t)
Passos a calcular:
- Ordenar os valores dos dados em ordem crescente.
- Para cada valor classificado, atribuir uma proporção cumulativa: i/n para a i-o valor mais pequeno (ou ajustes de uso como (i-0,5)/n para melhor estimativa quantil).
- Trace os pontos (x(i), i/n) e conectá-los com uma função de passo (o ECDF é direito-contínuo).
A maioria dos pacotes de programação, como Python Matplotlib e NumPy, fornecer funções integradas para computação e plotagem ECDF. Software como R, Excel, e muitas ferramentas estatísticas também suportam funções ECDF. O ECDF não é paramétrico; não faz suposições sobre a distribuição de dados, tornando-o uma ferramenta exploratória robusta.
Interpretando Gráficos CDF
Um gráfico CDF bem desenhado revela vários aspectos da distribuição de dados em um relance:
- Tendência central: A mediana é o valor em que o CDF é igual a 0,5. A faixa interquartil (IQR) é o intervalo entre os percentis 25 e 75 (CDF = 0,25 e 0,75).
- Espalhar e formar: Um segmento íngreme no CDF indica que muitos pontos de dados estão concentrados nessa região (alta densidade). Uma inclinação suave significa que os dados estão espalhados. A assimetria aparece como uma região mais plana de um lado, indicando a inclinação.
- Ausências: Valores distantes do corpo principal de dados fazem com que o FDL se aproxime de 0 ou 1 muito lentamente. Um salto súbito nas extremidades extremas pode apontar para outliers.
- Comparação com distribuições teóricas: Ao sobrepor o CDF empírico com um CDF teórico (por exemplo, normal, exponencial), você pode avaliar visualmente a bondade de ajuste.
Por exemplo, se você estiver analisando os tempos de espera do cliente, o CDF pode mostrar a proporção de clientes atendidos em um determinado tempo, como a porcentagem servida em 10 minutos.
Aplicações Práticas em Análise de Dados
As funções de distribuição cumulativa são versáteis e usadas em muitas tarefas de análise de dados. Abaixo estão algumas aplicações comuns com exemplos concretos.
Percentils e Quantis
O inverso do CDF, conhecido como função quantil (também chamado de função de ponto percentual), mapeia os valores de probabilidade de volta aos valores de dados. Isto permite- lhe calcular qualquer percentil desejado. Por exemplo, o percentil 90 é o valor abaixo do qual 90% dos dados caem. Na prática, você usa o ECDF ou o seu inverso para encontrar percentis. Isto é essencial para definir os limiares, como a determinação da pontuação mínima necessária para estar no topo 10% dos candidatos.
Comparando Dois Conjuntos de Dados
Dois CDFs empíricos podem ser plotados nos mesmos eixos para comparar distribuições. Se um CDF estiver consistentemente à direita de outro, esse conjunto de dados tende a ter valores maiores. Ensaio de Kolmogorov-Smirnov (K-S) usa a distância vertical máxima entre dois ECDFs para testar se eles vêm da mesma distribuição. Este teste não paramétrico é amplamente utilizado no controle de qualidade, teste A/B e detecção de anomalias. Por exemplo, você pode comparar a distribuição de taxas de cliques entre dois desenhos de páginas da web para ver se eles diferem significativamente.
Análise de Sobrevivência e CDF Complementar
Em campos como engenharia de confiabilidade e bioestatística, o CDF complementar (CCDF), também chamado de função de sobrevivência, é usado. S(x) = 1 – F(x) = P(X > x). Dá a probabilidade de que um sistema ou indivíduo sobreviva além de um determinado tempo. O CCDF é frequentemente plotado em uma escala logarítmica para examinar o comportamento da cauda, como distribuições de cauda pesada no tráfego de rede ou perdas financeiras.
Transformação Integral de Probabilidade (PIT)
O PIT afirma que se X tem um CDF contínuo F, então a variável transformada U = = F(X Esta propriedade é usada em diagnósticos de modelos: se você aplicar o CDF previsto para seus dados, a distribuição uniforme resultante sugere um bom ajuste do modelo. O PIT também sustenta muitas técnicas de reamostragem e simulação, como a amostragem inversa, onde você gera números aleatórios uniformes e, em seguida, aplica o inverso CDF para produzir amostras de qualquer distribuição desejada.
Exemplo: Analisando as pontuações de teste com CDFs
Considere um conjunto de dados de notas finais do exame para uma turma de 200 alunos. Você quer entender a distribuição, identificar a mediana e determinar qual pontuação um aluno precisa estar no top 5%.
- Ordenar as pontuações: Ordene todas as 200 pontuações de menor a mais alta.
- Calcular o ECDF: Atribuir a cada escore ordenado uma probabilidade cumulativa. Por exemplo, o 50o menor escore (a mediana) tem probabilidade cumulativa 50/200 = 0,25? Esperar – cuidado: a mediana corresponde à probabilidade cumulativa 0,5, então encontrar o escore onde o ECDF atinge 0,5. Isso pode ser em torno do 100o escore classificado. Correcção: Utilização i/n; i=100, i/n=0,5, então o 100o valor classificado é a mediana.
- Procurar percentis: Para obter o percentil 95 (topo 5%), localizar o escore onde o ECDF atinge 0,95. Isso corresponde à posição ordenada 0,95 × 200 = 190. O escore 190 é o ponto de corte.
- Trace o CDF: Gráfico do ECDF para ver a forma. Uma região íngremes no meio indica que a maioria dos alunos marcou em uma faixa estreita. Se a curva sobe rapidamente perto do topo, sugere que as pontuações superiores são fortemente agrupadas.
Usando o CDF, você também pode responder a perguntas como: “Qual porcentagem de alunos pontuaram abaixo de 70?”, lendo o valor do ECDF na pontuação 70. Essa interpretabilidade direta faz do CDFs uma poderosa ferramenta de comunicação em relatórios e apresentações.
Usando CDFs em seu fluxo de trabalho
Incorporando funções de distribuição cumulativas na sua rotina de análise de dados adiciona uma camada de raciocínio probabilístico que vai além de estatísticas simples de resumo. Comece por plotar o ECDF para qualquer novo conjunto de dados antes de modelar. Ele revela forma de distribuição, outliers e potenciais problemas de dados que os histogramas podem obscurecer (como lacunas ou múltiplos modos). Ao construir modelos de aprendizagem de máquina, os CDFs podem ajudar a calibrar probabilidades previstas: plote o CDF das probabilidades previstas contra a distribuição empírica de resultados reais para verificar o alinhamento.
Para aplicações avançadas, os FDL são centrais em métodos como regressão quantil, que modelam quantis condicionais em vez de médias, e em testes de hipóteses não paramétricos como o teste K-S e o teste Anderson-Darling. Compreender FDLs também abre a porta para modelos de cópulas, que usam FDLs para descrever estruturas de dependência entre múltiplas variáveis.
Para aprofundar seu conhecimento, explore recursos como Entrada da Wikipédia em CDFs, o Manual de Estatísticas de Engenharia NIST, ou textos introdutórios como Inferência Estatística por Casella e Berger. Muitas bibliotecas de computação estatística também incluem tutoriais detalhados sobre ECDFs; para usuários Python, o Documentação SciPy para o ECDF é um ponto de partida prático.
Ao dominar CDFs, você ganha uma ferramenta flexível que suporta análises exploratórias e inferências rigorosas, ajudando você a transformar dados brutos em insights acionáveis.