How to Detect and Correct for Heteroscedasticity in Regression Models
Table of Contents
Introdução: Por que a heterocedasticidade importa na análise de regressão
A heterocedasticidade é uma das violações mais frequentemente encontradas dos pressupostos clássicos de regressão linear, ocorrendo quando a variância dos termos de erro não é constante em todos os níveis das variáveis independentes, o que compromete a confiabilidade de ferramentas inferenciais padrão, como p- valores, intervalos de confiança e testes de hipóteses. Embora as estimativas de coeficiente de mínimos quadrados (OLS) não sejam eficiente, e os erros padrão tornam-se tendenciosos. Este viés pode levar a conclusões incorretas - quer declarando falsamente um preditor significativo (erro tipo I inflado) ou não detectando uma relação verdadeira (poder reduzido).
Em campos aplicados como economia, finanças, ciência ambiental e engenharia, heterocedasticidade é comum. Por exemplo, em estudos transversais de renda familiar e despesas, a variabilidade dos gastos normalmente aumenta com o nível de renda. Em séries de tempo financeiros, períodos de alta volatilidade são seguidos por alta volatilidade (aglomeração de volatilidade). Detectar e corrigir heterocedasticidade é, portanto, um passo crucial na construção de modelos de regressão confiáveis.
Este artigo fornece um guia abrangente para compreender, detectar e corrigir heterocedasticidade. Nós cobrimos diagnósticos gráficos, testes estatísticos e vários métodos de correção – variando de transformações simples a erros padrão robustos e mínimos quadrados ponderados. Recomendações práticas e referências a fontes autoritárias estão incluídas.
Compreender a heterocedasticidade: A Teoria e as Consequências
Em um modelo de regressão linear padrão \( y = X\beta + \varepsilon \), um dos pressupostos Gauss-Markov é que os erros têm variância constante: \( \text{Var}(\varepsilon i) = \sigma^2 \) para todas as observações. Esta propriedade é chamada homocedasticidade Quando essa suposição falha, o modelo exibe heterocedasticidade.
A heterocedasticidade pode surgir de várias fontes:
- Efeitos da escala: À medida que uma variável cresce, a variância da resposta aumenta proporcionalmente, por exemplo, na modelagem dos custos hospitalares por idade do paciente, os pacientes mais velhos podem ter custos médios mais elevados e maior variabilidade devido às diversas condições de saúde.
- Erro de medição: Se algumas observações forem medidas com maior precisão do que outras, a variância de erro será diferente, o que é comum em dados de pesquisa onde as respostas de diferentes subgrupos têm confiabilidade variável.
- Especificação incorrecta do modelo: Omitir uma variável chave ou usar uma forma funcional errada (por exemplo, linear em vez de log-linear) pode criar padrões nos resíduos que mimetizam heterocedasticidade.
- Pontos de alavanca ou de alavancagem: Observações extremas podem inflar variância em regiões específicas do espaço preditor.
- Dados agrupados: As observações agrupadas entre os grupos (por exemplo, estudantes dentro das escolas) podem ter diferenças de variância entre os grupos.
As consequências de ignorar a heterocedasticidade são graves. As estimativas da OLS permanecem imparcial, mas a variância dos coeficientes não é mais corretamente estimada. inflacionado t- estatística e intervalos de confiança mais estreitos Em grandes amostras, o viés pode ser pequeno, mas em amostras moderadas ou pequenas pode ser grave, portanto, a detecção e correção devem ser uma parte rotineira dos diagnósticos de regressão.
Detecção de heterocedasticidade: Métodos Gráficos e Estatísticos
Nenhum método único é infalível. Uma combinação de inspeção visual e testes formais de hipóteses fornece a avaliação mais robusta.
Métodos visuais
Gráfico residual vs. montado: A diagnóstico mais intuitivo é uma plataforma de dispersão de resíduos (ou resíduos padronizados) contra valores ajustados. Sob homocedasticidade, os pontos devem ser aleatoriamente espalhados em torno da linha horizontal a zero com espalhamento vertical aproximadamente constante. Uma forma de funil – os resíduos que se abanam conforme os valores ajustados aumentam – indica heterocedasticidade. Da mesma forma, plotar resíduos contra cada preditor pode revelar qual variável está conduzindo a heterocedasticidade.
Gráfico de localização da escala: Também chamado de gráfico de localização- espalhamento, este gráfico mostra a raiz quadrada dos resíduos absolutos padronizados contra valores ajustados. A ideia é que a raiz quadrada dos resíduos absolutos aproxima o desvio padrão dos erros. Uma linha horizontal com pontos de dispersão igualmente sugere homocedasticidade; qualquer tendência (por exemplo, inclinação ascendente) indica heterocedasticidade. A maioria dos softwares estatísticos fornece isto como parte de gráficos diagnósticos padrão (por exemplo, [[FLT: 0]]] em R).
QQ-plot de resíduos: Embora seja usado principalmente para verificar a normalidade, heterocedasticidade grave também pode distorcer o QQ-plot, especialmente se a variância muda sistematicamente com a média. Se as caudas se desviam da linha diagonal, heterocedasticidade pode ser um fator contribuinte.
Testes estatísticos
A inspeção visual é subjetiva. Testes formais fornecem uma regra de decisão objetiva. Três testes amplamente utilizados são o teste Breusch-Pagan, o teste White e o teste Goldfeld-Quandt.
Teste de Breusch-Pagan (BP)
O teste de PA pressupõe que a variância dos resíduos é uma função linear dos preditores. A hipótese nula é homocedasticidade. A estatística do teste é calculada regredindo os resíduos ao quadrado nos preditores originais (ou nos valores ajustados). A estatística segue uma distribuição qui-quadrado com graus de liberdade iguais ao número de regressores na regressão auxiliar. p- valor (tipicamente < 0,05) indica heterocedasticidade. O teste de PA é sensível à normalidade dos erros, mas funciona bem em grandes amostras.
Teste em Branco
O teste de White é uma versão mais geral do teste de BP. Ele não assume uma forma linear específica para a função de variância. Em vez disso, inclui os preditores originais, seus quadrados e produtos cruzados na regressão auxiliar. Isto torna o teste mais flexível, mas também usa mais graus de liberdade, por isso é mais adequado quando o número de preditores é modesto. Um resultado significativo sugere que heterocedasticidade está presente em uma forma não especificada.
Muitos pacotes de software (por exemplo, ]] no Stata, ] em stats models) implementá-lo.
Teste de Goldfeld-Quandt (GQ)
O teste GQ é útil quando se suspeita que a heterocedasticidade esteja relacionada a uma variável específica, como renda ou tamanho. Os dados são ordenados por essa variável e divididos em dois grupos (geralmente após omitir a porção média das observações). As variâncias residuais de regressões OLS separadas em cada grupo são comparadas usando um teste F. Um significativo F-estatística indica que as variâncias diferem, implicando heterocedasticidade. A escolha do ponto de ruptura e a proporção de observações omitidas médias é um pouco arbitrária, mas o teste é simples e poderoso quando a estrutura de variância é monotônica.
Recomendação: Execute pelo menos dois testes (p. ex., BP e White) e examine parcelas residuais. Se as evidências visuais e estatísticas apontarem para heterocedasticidade, é necessária uma ação corretiva.
Corrigindo para heteroscedasticidade: De simples fixações para métodos avançados
Uma vez detectada a heterocedasticidade, o analista deve escolher um remédio adequado, que depende da severidade da violação, tamanho da amostra, objetivos da análise e se a forma de heterocedasticidade é conhecida. Abaixo, discutimos as abordagens mais comuns, desde as mais simples até as mais complexas.
1. Transforme a variável dependente
Aplicar uma transformação estabilizadora de variâncias à variável dependente pode muitas vezes atenuar a heterocedasticidade. As transformações mais comuns incluem:
- Transformação do log: Efetivo quando o desvio padrão dos resíduos é proporcional à média (heterocedasticidade multiplicativa). Use se todos os valores são positivos. Por exemplo, modelar log(renda) em vez de renda muitas vezes iguala a variância.
- Transformação da raiz quadrada: Funciona bem para dados de contagem onde a variância é igual à média (como em Poisson).
- Transformação inversa: Adequado quando a variância é proporcional à quarta potência da média (raro na prática).
- Caixa–Transformação de varetas: Uma família de transformações de potência que inclui log e raiz quadrada como casos especiais. O parâmetro de potência ideal pode ser estimado através da máxima verossimilhança.
Após a transformação da variável dependente, re-ajustar o modelo e reexaminar os gráficos residuais. Note que as transformações alteram a interpretação dos coeficientes; por exemplo, em um modelo log-linear, os coeficientes representam mudanças percentuais aproximadas. As transformações são mais bem utilizadas quando o contexto de pesquisa permite uma interpretação significativa da escala transformada.
2. Use erros padrão heteroscedasticity-consistente (Robust SE)
Este é o método de correção mais popular e conveniente, especialmente na econometria. Erros padrão robustos (também chamados estimadores sanduíche) ajustar os erros padrão dos coeficientes OLS para ser válido na presença de heterocedasticidade de forma desconhecida. O coeficiente estima-se se mantém inalterado, preservando a escala original e interpretabilidade.
A variante mais comum é o estimador Branco (HC0), mas correções de amostras pequenas melhoradas incluem HC1, HC2 e HC3. Na maioria dos softwares, você pode especificar uma opção para obter erros padrão robustos (por exemplo, ] no Stata, em R, nos modelos de estatísticas Python).
Vantagens: Simples, funciona sem modelar a estrutura de variância, preserva os coeficientes de OLS, e é amplamente aceito em pesquisas revisadas por pares. Desvantagens: Pouco menos eficiente do que os mínimos quadrados ponderados quando a verdadeira estrutura de variância é conhecida; pode não ser confiável em amostras muito pequenas (embora HC3 ajuda).
Para a maioria dos trabalhos aplicados, erros padrão robustos são uma escolha padrão segura. Eles são fortemente recomendados por econométricos como Angrist e Pischke (Econometrias, principalmente inofensivas).
3. Quadrados de Menos Peso (WLS)
A WLS é adequada quando a variância dos erros pode ser modelada em função dos preditores, sendo cada observação ponderada pelo inverso de sua variância estimada, de modo que as observações com maior variância obtêm menos peso, visando atingir homocedasticidade na regressão ponderada.
A implementação requer estimar a função de variância. As estratégias comuns incluem:
- Pesos conhecidos: Se a teoria sugere que a variância é proporcional a uma variável X (por exemplo, tamanho da população), use pesos = 1/X.
- Pesos estimados: Regressar os resíduos absolutos (ou resíduos ao quadrado) nos preditores, então usar os valores ajustados (ou seus inversos) como pesos. Por exemplo, se os resíduos absolutos estão linearmente relacionados com X, calcular valores previstos de resíduos absolutos, esquadrá-los, e tomar o inverso.
- Reponderação iterativa: Alguns pacotes oferecem WLS iterativos que alternam entre estimar coeficientes e atualizar pesos.
A WLS produz estimativas eficientes quando os pesos são corretamente especificados. Entretanto, pesos erroneamente especificados podem levar a erros padrão inconsistentes e até mesmo viés se os pesos estiverem correlacionados com os erros. Portanto, a WLS é melhor utilizada quando a forma de heterocedasticidade é bem compreendida a partir de análises teóricas ou prévias.
4. Quadrados mínimos generalizados (GLS)
O GLS é uma estrutura mais geral que permite que os erros tenham qualquer estrutura de covariância, incluindo heterocedasticidade e autocorrelação. No caso de erros independentes, mas heterocedásticos, o GLS reduz-se a WLS. O GLS viável (FGLS) usa parâmetros de covariância estimados, que podem ser baseados em informações prévias ou estimativas de dois passos. Embora teoricamente atraente, o FGLS pode ser sensível a erros de especificação do modelo de variância. Na prática, erros padrão robustos são muitas vezes preferidos devido à sua simplicidade e robustez.
5. Métodos de Regressão Robust
Se a heterocedasticidade for acompanhada por outliers ou distribuições de erros de cauda pesada, técnicas de regressão robusta (por exemplo, estimativa de M, regressão quantil Huber-White) podem ser usadas. Estes métodos baixam o peso das observações influentes e fornecem estimativas de coeficientes menos sensíveis a violações dos pressupostos clássicos. Combinados com erros padrão consistentes com heterocedasticidade, eles oferecem proteção contra múltiplas formas de misespecificação. A regressão quantital é particularmente útil porque pode modelar toda a distribuição condicional e não assume variância constante em tudo.
Recomendações Práticas: Fluxo de trabalho passo a passo
Ao construir modelos de regressão, considere o seguinte fluxo de trabalho para lidar com heterocedasticidade:
- Ajustar o modelo OLS inicial e então gerar um gráfico de versus-resíduo e um gráfico de localização de escala. Procure qualquer padrão sistemático na propagação de resíduos.
- Realizar testes formais (Breusch-Pagan e White) para confirmar a impressão visual. Se ambos os testes não são significativos e os gráficos parecem limpos, você pode não precisar corrigir.
- Se a heterocedasticidade está presente, primeiro considere se uma transformação da variável dependente é apropriada. Por exemplo, se o DGP sugerir erros multiplicativos, uma transformação de log pode corrigir tanto heterocedasticidade quanto não linearidade.
- Se a transformação não for desejável (por exemplo, a interpretação torna-se estranha), utilizar erros padrão robustos (HC3 para amostras pequenas), que é a abordagem mais simples e amplamente aceita.
- Se a estrutura de variância for conhecida e a eficiência é importante, implemente mínimos quadrados ponderados. Verifique se os pesos são positivos e que a parcela residual ponderada não apresenta padrão.
- Documentar todas as etapas e correções de diagnóstico no seu relatório ou script. Relatórios transparentes aumentam a reprodutibilidade e confiança nos resultados.
Conclusão: Construindo modelos de regressão confiáveis
A heterocedasticidade é uma violação comum, mas controlável, dos pressupostos de regressão. Ao utilizar rotineiramente diagnósticos gráficos e testes formais, os analistas podem detectar a sua presença precocemente. A escolha do método de correção depende do contexto: erros padrão robustos oferecem uma solução simples e robusta que funciona na maioria das configurações, enquanto as transformações e os mínimos quadrados ponderados proporcionam ganhos de eficiência quando a estrutura de variância é compreendida. Incorporar essas práticas no seu fluxo de trabalho de modelagem levará a testes de hipóteses, intervalos de confiança e previsões mais confiáveis.
Para mais leitura, consulte textos econométricos autoritários, tais como Woodridge’s Econometria Introdutiva e Greene’s Análise Econométrica. Uma visão concisa pode ser encontrada em Wikipedia. Exemplos práticos de software e código estão disponíveis a partir Grupo de Consultoria Estatística da UCLAFinalmente, a Notas de curso do PennState STAT 462 fornecer uma introdução acessível com exemplos de dados reais.