Understanding Skewness and Kurtosis in Data Distributions
Table of Contents
Esquema: Medindo a Assometria de Distribuição
A inclinação quantifica a assimetria de uma distribuição de probabilidade em torno de sua média. Uma distribuição perfeitamente simétrica tem uma inclinação de zero. Qualquer desvio da simetria indica que uma das caudas da distribuição é mais longa ou mais pesada do que a outra. Essa medida é essencial porque revela se os valores extremos são magros para um lado, o que tem implicações diretas para inferência estatística, avaliação de risco e pré-processamento de dados. A inclinação é calculada como o terceiro momento padronizado: ] para uma população, com ajustes amostrais para viés.
As três categorias primárias de assimetria são:
- Inclinação positiva (cauda direita): A cauda direita é mais longa e a massa da distribuição está concentrada à esquerda. Modo médio & gt; Mediano & gt;. Comum nas distribuições de renda, onde um pequeno número de pessoas com renda alta puxa a média para cima, ou em tempos de reação onde a maioria das respostas são rápidas, mas algumas são extremamente lentas.
- Desviolência negativa (cauda esquerda): A cauda esquerda é mais longa e os dados aglomeram- se à direita. Média < Mediana < Modo. Muitas vezes visto nas distribuições de idade à morte (a maioria das pessoas morre depois de uma certa idade, mas algumas morrem jovens) ou as pontuações de teste com um efeito de teto, onde muitos alunos pontuam perto do máximo.
- Zero inclinação (simétrica): A distribuição é equilibrada, como com uma distribuição normal, embora outras distribuições simétricas também existam (por exemplo, uniforme, distribuição em t com grandes graus de liberdade). Simetria não garante normalidade, mas é uma suposição comum para muitos testes paramétricos.
Os valores de inclinação são normalmente medidos no terceiro momento padronizado. Uma regra de polegar: valores entre -0,5 e 0,5 indicam dados aproximadamente simétricos; valores entre -1 e -0,5 ou 0,5 e 1 indicam inclinação moderada; valores além de ±1 indicam dados altamente distorcidos que podem requerer transformação para testes paramétricos. No entanto, estes limiares não são universais — tamanho da amostra e matéria de contexto de domínio. Com tamanhos de amostra inferiores a 50, as estimativas de inclinação têm grandes erros padrão, assim, recomendam-se intervalos de confiança no bootstrap.
Kurtose: Comportamento de cauda e Peakedness
A Kurtose caracteriza a forma da cauda de uma distribuição em relação ao seu centro. Apesar das explicações comuns, a curtose não é principalmente sobre "pico" mas sobre o peso da cauda. Uma distribuição com alta curtose tem caudas mais pesadas e mais outliers, enquanto que a baixa curtose indica caudas mais leves e menos valores extremos. excesso de Kurtose, definida como curtose menos 3, portanto a distribuição normal tem excesso de curtose de 0. A quarta fórmula padronizada é subtraindo 3 para excesso de curtose.
Os três tipos clássicos de curtose são:
- Leptokurtic (excesso positivo de Kurtose): Mais altas caudas e muitas vezes um pico mais agudo do que a distribuição normal. Mais observações nas caudas significam uma maior probabilidade de outliers. Exemplos incluem a distribuição t de Student com baixos graus de liberdade (por exemplo, t com 4 df tem excesso de .) e retornos de ativos financeiros, que frequentemente exibem caudas gordas.
- Platykurtic (excesso negativo de curtose): Rabos mais leves e um pico liso (ou mesmo uma forma bimodal). Menos outliers, com valores menos extremos. A distribuição uniforme é um exemplo platykurtic clássico, com um excesso de kurtosis de -1.2.
- Mesokurtic (custose excessiva perto de zero): Comportamento semelhante da cauda à distribuição normal. Isto não implica a distribuição é normal, apenas que o seu peso da cauda é comparável. Muitos conjuntos de dados do mundo real com tamanhos de amostra moderados parecem mesokurtic mesmo quando não estritamente normal.
Entender a curtose é fundamental para a análise de risco, pois a alta curtose indica que eventos extremos são mais prováveis do que um modelo normal preveria. Em finanças, por exemplo, ignorar a leptokurtose pode levar a subestimar o risco de queda. Uma distribuição com excesso de curtose de 5 tem uma probabilidade muito maior de observações além de 4 desvios padrão do que uma distribuição normal sugere.
Por que a inclinação e a Kurtose importam na análise de dados
Simplesmente relatar a média e variância de um conjunto de dados pode ser enganoso se a distribuição não é simétrica e tem comportamento incomum da cauda. A inclinação e a curtose juntos fornecem uma imagem mais completa da forma dos dados, permitindo uma melhor tomada de decisão em várias áreas:
- Seleção do modelo: Muitos modelos estatísticos assumem normalidade. Alta inclinação ou curtose pode indicar a necessidade de testes não paramétricos, métodos robustos ou transformações de dados (por exemplo, log, Box-Cox ou Johnson transformação). Por exemplo, o teste t é razoavelmente robusto a leve inclinação, mas sensível a caudas pesadas que inflam variância.
- Identificação de saída: Kurtose mede diretamente o peso da cauda, ajudando a identificar se observações extremas são eventos raros ou parte da distribuição subjacente. Excesso de kurose acima de 2 muitas vezes sugere que outliers não são simplesmente ruído, mas características estruturais do processo.
- Gestão de riscos: Em finanças, seguros e ciência do clima, a probabilidade de resultados extremos é impulsionada pelo comportamento da cauda. Kurtose alta significa eventos de cauda mais frequentes do que uma distribuição normal preveria, afetando diretamente o valor em risco e cálculos de falha esperados.
- Controlo de qualidade: A inclinação nos processos de fabricação pode indicar o desgaste da ferramenta ou processos não centralizados, enquanto a curtose pode revelar outliers inesperados de defeitos. Gráficos de controle baseados na normalidade podem sinalizar alarmes falsos se a distribuição subjacente for pesada.
- Pré-processamento de dados: Algoritmos de aprendizagem de máquina como regressão linear, PCA e redes neurais frequentemente funcionam melhor em dados que são aproximadamente simétricos e tem caudas delimitadas. O skewness e o diagnóstico de curtose guiam a engenharia de características e as escolhas de escala. Por exemplo, uma funcionalidade com o skewness > 2 pode beneficiar de uma transformação de log ou raiz quadrada antes de se alimentar para um modelo linear.
Computação de Esquema e Kurtose na Prática
A maioria dos softwares estatísticos fornece funções integradas para a inclinação e a curtose, mas é vital entender o que cada função retorna — kurose crua (normal = 3) ou o excesso de kurose (normal = 0).
Fórmulas de inclinação
A inclinação da amostra (ajustada para o viés da amostra pequena) é:
g1 = ( n / ((n-1)(n-2)) ) × Ł( ( ( xi - x̄)3 / s3 )
onde n é o tamanho da amostra, x̄ é a média da amostra, e s é o desvio padrão da amostra. Em Python, retorna esta inclinação ajustada por padrão. Em R, também usa o mesmo ajuste.
Fórmulas de Kurtose
A citossupressão é:
g2 = ( n(n+1) / ((n-1)(n-2)(n-3)) ) × Ł( (xi - x̄)4 / s4 ) - ( 3(n-1)2 / ((n-2)(n-3) )
Esta fórmula reduz o viés e subtrai 3 de modo que uma distribuição normal produz um valor próximo de 0. Python's com a opção calcula o excesso de kurtosis; R's faz o mesmo por padrão. Setting em Python retorna a curtosis bruta (normal = 3).
Importante: Verifique sempre a documentação do seu software. Documentação da kurtose SciPy esclarece o parâmetro Fisher. No Excel, a função KURT retorna o excesso de kurtose, enquanto a antiga função KURT em algumas versões pode não ajustar para viés - verificar sua versão.
Visualizando o Esquema e a Kurtose
Os resumos numéricos são valiosos, mas a visualização permanece essencial. Um histograma ou gráfico de densidade pode revelar imediatamente assimetria e espessura da cauda. As parcelas de caixa mostram inclinação através da posição da mediana relativa à caixa e ao comprimento dos bigodes: o bigode mais comprido de um lado sugere inclinação nessa direção. As parcelas Q-Q comparam os quantis dos dados com uma distribuição teórica normal; a curvatura indica inclinação, enquanto os padrões em forma de S sugerem caudas pesadas. Quando você calcula a inclinação de 0,8 e a curtose de 4, sempre confirma com uma verificação visual – uma única medida pode ser enganosa se a distribuição for multimodal ou tiver grumos.
Interpretação dos valores de inclinação e de Kurtose: um guia prático
Enquanto existem regras de polegar, a interpretação deve sempre considerar o tamanho da amostra e o contexto do domínio.
- Efeitos do tamanho da amostra: Com pequenas amostras (n < 50), as estimativas de inclinação e curtose têm erros padrão elevados. Um grande valor absoluto pode surgir por acaso. Os intervalos de confiança do arranque fornecem uma inferência mais fiável.
- Interpretação combinada: Uma distribuição pode ser positivamente distorcida e leptokurtic (por exemplo, log-normal), negativamente distorcido e leptokurtic (por exemplo, alguns retornos financeiros), ou simétrico e platykurtic (por exemplo, uniforme). Cada combinação conta uma história diferente sobre o processo gerador de dados.
- Limiares: Muitos livros didáticos sugerem que a inclinação absoluta > 1 ou o excesso de kurtose > 2 (em valor absoluto) indica um desvio substancial da normalidade. No entanto, estes não são pontos de corte difíceis; estudos de simulação mostram que mesmo a curtose moderada pode inflar taxas de erro Tipo I em testes t quando o tamanho das amostras é pequeno.
- Visualização: Complemente sempre a inclinação numérica e a curtose com histogramas, boxplots e gráficos Q-Q. Uma única estatística pode obscurecer a multimodalidade ou outras características de forma. Por exemplo, uma distribuição bimodal pode ter uma inclinação quase zero e uma kurtose moderada, mas ser muito diferente do normal.
Conceções Frequentes
- Kurtose mede o pico: Este é o mito mais persistente. Como observado, a curtose é dominada pelas caudas; uma distribuição com caudas pesadas pode ter um pico agudo (por exemplo, distribuição em t) ou mesmo um pico plano (por exemplo, uma mistura de dois normais distantes). O quarto momento é fortemente influenciado por valores extremos.
- Desviolência zero significa normal: Muitas distribuições simétricas têm inclinação zero, incluindo o uniforme, Laplace e Cauchy. A inclinação zero é necessária, mas não suficiente para a normalidade.
- O excesso de kurtose de zero significa normal: Não. Muitas distribuições têm excesso de curtose perto de zero, mas não são normais (por exemplo, algumas famílias simétricas unimodal). A combinação de ambos os momentos, juntamente com outros testes (Shapiro-Wilk, Anderson-Darling) é necessária.
- Transformação sempre corrige a inclinação: As transformações de log podem reduzir o desvio direito, mas podem criar inclinação esquerda ou aumentar a curtose. Verifique sempre o resultado.
Aplicações Práticas em Domínios
Finanças e Economia
Os retornos de ativos frequentemente exibem movimentos negativos (grandes movimentos negativos ocasionais) e alta curtose (caudas de gordura). Os gerentes de carteira usam essas medidas para avaliar o risco de cauda e ajustar os modelos Value-at-Risk (VarR). abordagem com conhecimento de curtose Ajuda a evitar subestimar a probabilidade de quedas graves no mercado. Por exemplo, os retornos diários de 500 P&S têm um excesso empírico de curtose em torno de 5-10, o que significa que movimentos extremos acontecem muito mais frequentemente do que um modelo normal prevê.
Engenharia de Qualidade
Os processos de fabricação são monitorados usando gráficos de controle que assumem normalidade. Se os dados mostrarem assimetria ou curtose fora dos intervalos aceitáveis, os limites de controle podem estar incorretos. Os índices de capacidade de processo como Cpk assumem simetria; processos distorcidos requerem índices alternativos (por exemplo, suporte para distribuições assimétricas). O espesso também pode sinalizar o desgaste da ferramenta (diluição gradual) ou fluxos de produção mistos. A kurtose excessiva indica defeitos intermitentes ou erros de medição.
Pesquisa Médica
As distribuições de biomarcadores (por exemplo, pressão arterial, colesterol) são frequentemente distorcidas para a direita. Os pesquisadores podem transformar estas variáveis antes de aplicar modelos lineares. Kurtosis pode revelar se um tratamento introduz respostas extremas, sinalizando preocupações de segurança. literatura sobre métodos estatísticos para as ciências da saúde Em ensaios clínicos, a inclinação basal pode ser reduzida usando regressão robusta ou modelos lineares generalizados.
Aprendizagem de máquina e ciência de dados
A engenharia de recursos inclui frequentemente transformar preditores distorcidos para melhorar o desempenho do modelo. Para modelos baseados em árvores, a inclinação é menos importante, mas para redes neurais e algoritmos baseados em distância ( vizinhos k-nearrest, SVM), características simétricas e delimitadas reduzem a instabilidade do treinamento. Kurtosis pode indicar se uma funcionalidade contém outliers barulhentos que devem ser tampados ou removidos. PowerTransformer do Sklearn usa métodos Box-Cox ou Yeo-Johnson que são projetados para estabilizar a variância e reduzir a inclinação.
Limitações e Caveats
Nenhuma medida captura completamente a forma de distribuição. A inclinação e a curtose são sensíveis a outliers; um ou dois pontos extremos podem alterar drasticamente a estimativa. Para conjuntos de dados com muitas variáveis, é comum calcular estas estatísticas para a triagem inicial, mas medidas mais robustas (por exemplo, a inclinação baseada em quantis como a inclinação de Bowley, ou as razões de momento L) podem ser apropriadas para dados de cauda pesada. Além disso, distribuições com assimetria idêntica e a curtose podem parecer muito diferentes – sempre examinam resumos gráficos.
Os usuários também devem estar cientes de que alguns conjuntos de dados populares de aprendizado de máquina foram artificialmente transformados (por exemplo, em escala de log), o que reduz a inclinação, mas pode mascarar uma estrutura interessante. Compreender os guias de forma de dados originais de modelagem mais honesta. Finalmente, note que tanto a inclinação quanto a curtose têm alta variabilidade amostral – o bootstrapping é uma boa prática ao relatar essas estatísticas.
Além da inclinação e da Kurtose: Alternativas robustas
Quando os dados estão altamente contaminados ou provêm de uma distribuição com momentos infinitos (por exemplo, Cauchy), a inclinação convencional e a curtose podem ser sem sentido. Inclinação de Bowley é definido como (Q3 + Q1 - 2×Median) / (Q3 - Q1). Kurtose baseada em momentos L (a L-kurtosis) é menos sensível a outliers e está limitada entre 0 e 1. Estas versões robustas são particularmente úteis em campos como hidrologia ou geofísica onde extremos são comuns.
Conclusão
A inclinação e a curtose são ferramentas fundamentais para compreender a forma de distribuição além da tendência central e dispersão. A inclinação diz se valores extremos puxam a distribuição para a esquerda ou para a direita; a curtose diz-lhe quantas vezes ocorrem valores extremos. Juntos, eles informam as decisões de transformação de dados, seleção de modelos, análise de outliers e avaliação de risco entre campos, desde finanças até o controle de qualidade.
Ao verificar rotineiramente essas medidas, interpretá-las em contexto com visualizações adequadas e estar ciente de suas limitações, os analistas podem evitar as armadilhas de assumir normalidade e construir modelos mais robustos e confiáveis. Manual de Estatísticas de Engenharia NIST para uma referência técnica completa, e Artigos da Wikipédia sobre o espertismo e kurtose para resumos acessíveis com exemplos trabalhados.