How to Detect and Correct for Heteroscedasticity in Regression Models
Table of Contents
Einleitung: Warum Heteroscedasticity in der Regressionsanalyse wichtig ist
Heteroscedastizität ist eine der am häufigsten vorkommenden Verstöße gegen die klassischen linearen Regressionsannahmen, die auftritt, wenn die Varianz der Fehlerterme nicht über alle Ebenen der unabhängigen Variablen konstant ist, was die Zuverlässigkeit von Standard-Inferenzwerkzeugen wie pObwohl gewöhnliche Koeffizientenschätzungen (OLS) unter Heteroszenetizität unvoreingenommen bleiben, sind sie nicht mehr effizientDiese Verzerrung kann zu falschen Schlussfolgerungen führen, die entweder einen Prädiktor als signifikant deklarieren (aufgeblasener Fehler Typ I) oder eine wahre Beziehung nicht erkennen (reduzierte Leistung).
In angewandten Bereichen wie Wirtschaft, Finanzen, Umweltwissenschaften und Ingenieurwissenschaften ist Heteroscedastizität weit verbreitet. Beispielsweise nimmt die Variabilität der Ausgaben in Haushaltsschnitten typischerweise mit dem Einkommensniveau zu. In Finanzzeitreihen folgen auf Perioden hoher Volatilität eine hohe Volatilität (Volatility Clustering). Die Erkennung und Korrektur der Heteroscedastizität ist daher ein entscheidender Schritt beim Aufbau vertrauenswürdiger Regressionsmodelle.
Dieser Artikel bietet einen umfassenden Leitfaden zum Verständnis, zur Erkennung und Korrektur von Heteroscedastizität. Wir behandeln grafische Diagnosen, statistische Tests und verschiedene Korrekturmethoden - von einfachen Transformationen bis hin zu robusten Standardfehlern und gewichteten kleinsten Quadraten. Praktische Empfehlungen und Verweise auf maßgebliche Quellen sind enthalten.
Heteroscedasticity: Die Theorie und Konsequenzen verstehen
In einem linearen Standardregressionsmodell \(y = X\beta + \varepsilon \) ist eine der Gauß-Markov-Annahmen, dass die Fehler eine konstante Varianz haben: \( \text{Var}(\varepsilon i) = \sigma^2 \) für alle Beobachtungen. HomoscedastizitätWenn diese Annahme fehlschlägt, zeigt das Modell Heteroscedastizität.
Heteroscedasticity kann aus mehreren Quellen entstehen:
- Skalierungseffekte: Wenn eine Variable wächst, steigt die Varianz der Reaktion proportional, beispielsweise bei der Modellierung der Krankenhauskosten nach Patientenalter können ältere Patienten sowohl höhere Durchschnittskosten als auch höhere Variabilität aufgrund unterschiedlicher Gesundheitszustände haben.
- Messfehler: Wenn einige Beobachtungen mit größerer Genauigkeit gemessen werden als andere, wird die Fehlervarianz unterschiedlich sein, was bei Umfragedaten üblich ist, bei denen die Antworten verschiedener Untergruppen unterschiedlich zuverlässig sind.
- Modellfehlspezifikation: Das Weglassen einer Schlüsselvariable oder die Verwendung einer falschen funktionalen Form (z. B. linear statt log-linear) kann Muster in den Residuen erzeugen, die die Heteroscedastizität nachahmen.
- Ausreißer oder Hebelpunkte: Extreme Beobachtungen können die Varianz in bestimmten Regionen des Prädiktorraums aufblasen.
- Clusterdaten: Beobachtungen, die innerhalb von Clustern gruppiert sind (z. B. Schüler in Schulen), können Varianzunterschiede zwischen Clustern aufweisen.
Die Folgen des Ignorierens der Heteroscedastizität sind schwerwiegend. OLS-Schätzungen bleiben unvoreingenommen, aber die Varianz der Koeffizienten wird nicht mehr korrekt geschätzt. Die üblichen Formeln für Standardfehler sind verzerrt - typischerweise nach unten - was zu aufgeblasen t-Statistik und engere Konfidenzintervalle Als Folge davon werden Hypothesentests unzuverlässig. Bei großen Proben kann die Voreingenommenheit gering sein, bei mittleren oder kleinen Proben kann sie jedoch schwerwiegend sein. Daher sollten Erkennung und Korrektur ein routinemäßiger Bestandteil der Regressionsdiagnostik sein.
Erkennung von Heteroscedasticity: Grafische und statistische Methoden
Keine einzige Methode ist narrensicher, eine Kombination aus visueller Inspektion und formalen Hypothesentests bietet die robusteste Bewertung.
Visuelle Methoden
Rest-/Parzelle: Die intuitivste Diagnose Die Werte für die Residuen werden in der Regel durch die Differenz zwischen den Werten der einzelnen Residuen und den Werten der einzelnen Residuen bestimmt. Bei Homoszendizität sollten die Punkte zufällig um die horizontale Linie bei Null mit ungefähr konstanter vertikaler Verteilung verteilt werden.
Flächen mit maßstäblicher Lage: Diese Grafik wird auch als Spread-Location-Plot bezeichnet und zeigt die Quadratwurzel der absoluten standardisierten Residuen gegen angepasste Werte. Die Idee ist, dass die Quadratwurzel der absoluten Residuen der Standardabweichung der Fehler nähert. Eine horizontale Linie mit gleich verteilten Punkten schlägt Homoscedastizität vor; jeder Trend (z. B. Aufwärtsneigung) zeigt Heteroscedastizität an. Die meisten statistischen Software bietet dies als Teil von Standarddiagnoseplots (z. B. in R).
QQ-Diagramm der Residuen: Während sie hauptsächlich zur Überprüfung der Normalität verwendet wird, kann auch eine schwere Heteroscedastizität die QQ-Diagramm verzerren, insbesondere wenn sich die Varianz systematisch mit dem Mittelwert ändert.
Statistische Tests
Die visuelle Prüfung ist subjektiv. Formale Tests bieten eine objektive Entscheidungsregel. Drei weit verbreitete Tests sind der Breusch-Pagan-Test, der Weiß-Test und der Goldfeld-Quandt-Test.
Breusch-Pagan (BP)-Test
Der BP-Test geht davon aus, dass die Varianz der Residuen eine lineare Funktion der Prädiktoren ist. Die Nullhypothese ist Homoszendizität. Die Teststatistik wird berechnet, indem die quadrierten Residuen auf den ursprünglichen Prädiktoren (oder auf den angepassten Werten) regressiv berechnet werden. Die Statistik folgt einer chi-quadrierten Verteilung mit Freiheitsgraden, die der Anzahl der Regressoren in der Hilfsregression entsprechen. p-Wert (typischerweise < 0.05) zeigt Heteroscedastizität an. Der BP-Test ist empfindlich auf die Normalität von Fehlern, funktioniert aber gut in großen Proben.
Weißtest
Der Weißtest ist eine allgemeinere Version des BP-Tests. Er nimmt keine spezifische lineare Form für die Varianzfunktion an. Stattdessen enthält er die ursprünglichen Prädiktoren, ihre Quadrate und Kreuzprodukte in der Hilfsregression. Dies macht den Test flexibler, verwendet aber auch mehr Freiheitsgrade, so dass er am besten geeignet ist, wenn die Anzahl der Prädiktoren bescheiden ist. Ein signifikantes Ergebnis legt nahe, dass Heteroscedastizität in einer nicht spezifizierten Form vorliegt.
Viele Softwarepakete (z. B. in Stata, in Statsmodellen implementieren ihn.
Goldfeld-Quandt (GQ) Test
Der GQ-Test ist nützlich, wenn vermutet wird, dass die Heteroscedastizität mit einer bestimmten Variablen wie Einkommen oder Größe in Zusammenhang steht. Die Daten werden nach dieser Variablen sortiert und in zwei Gruppen aufgeteilt (in der Regel nach Weglassen des mittleren Teils der Beobachtungen). FDie Varianzen unterscheiden sich, was Heteroscedastizität bedeutet. Die Wahl des Bruchpunktes und des Anteils der ausgelassenen mittleren Beobachtungen ist etwas willkürlich, aber der Test ist einfach und leistungsstark, wenn die Varianzstruktur monoton ist.
Empfehlung: Führen Sie mindestens zwei Tests (z. B. BP und Weiß) durch und untersuchen Sie die Restflächen; weisen sowohl visuelle als auch statistische Beweise auf Heteroszenetizität hin, sind Korrekturmaßnahmen erforderlich.
Korrektur für Heteroscedasticity: Von einfachen Fixes zu fortgeschrittenen Methoden
Sobald Heteroscedastizität erkannt wird, muss der Analytiker ein geeignetes Mittel wählen. Die Wahl hängt von der Schwere der Verletzung, der Stichprobengröße, den Zielen der Analyse und der Frage ab, ob die Form der Heteroscedastizität bekannt ist. Im Folgenden diskutieren wir die gängigsten Ansätze, von einfachsten bis komplexeren.
1. Verwandeln Sie die abhängige Variable
Die Anwendung einer Varianz-stabilisierenden Transformation auf die abhängige Variable kann Heteroscedastizität oft mildern.
- Log-Transformation: Wenn die Standardabweichung der Residuen proportional zum Mittelwert ist (multiplikative Heteroscedastizität), verwenden Sie , wenn alle Werte positiv sind.
- Quadratwurzeltransformation: Funktioniert gut für Zähldaten, bei denen die Varianz dem Mittelwert entspricht (Poisson-like).
- Inverse Transformation: Geeignet, wenn die Varianz proportional zur vierten Potenz des Mittelwerts ist (selten in der Praxis).
- Box-Cox-Transformation: Eine Familie von Leistungstransformationen, die Log- und Quadratwurzel als Sonderfälle enthält.
Nach der Transformation der abhängigen Variablen ist das Modell neu anzupassen und die Restkurven zu überprüfen. Es ist zu beachten, dass Transformationen die Interpretation von Koeffizienten verändern; in einem log-linearen Modell stellen Koeffizienten ungefähre prozentuale Veränderungen dar. Transformationen werden am besten verwendet, wenn der Forschungskontext eine sinnvolle Interpretation der transformierten Skala ermöglicht.
2. Verwendung von Heteroscedasticity-Consistent Standard Errors (Robust SE)
Dies ist die beliebteste und bequemste Korrekturmethode, insbesondere in der Ökonometrie. Robuste Standardfehler (auch Sandwich-Schätzer genannt) passen die Standardfehler der OLS-Koeffizienten so an, dass sie bei Vorhandensein von Heteroscedastizität unbekannter Form gültig sind. Die Koeffizientenschätzungen selbst bleiben unverändert, wobei der ursprüngliche Maßstab und die Interpretierbarkeit erhalten bleiben.
Die häufigste Variante ist der White-Schätzer (HC0), aber verbesserte Korrekturen für kleine Stichproben umfassen HC1, HC2 und HC3. In den meisten Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software-Software.
Vorteile: Einfach, funktioniert ohne Modellierung der Varianzstruktur, bewahrt OLS-Koeffizienten und wird in der von Experten begutachteten Forschung weitgehend akzeptiert. Nachteile: Etwas weniger effizient als gewichtete kleinste Quadrate, wenn die wahre Varianzstruktur bekannt ist; kann in sehr kleinen Proben unzuverlässig sein (obwohl HC3 hilft).
Für die meisten angewandten Arbeiten sind robuste Standardfehler eine sichere Standardwahl, die von Ökonometrieern wie Angrist und Pischke dringend empfohlen werden (siehe auch: „Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-Symbole-SymboleMeist harmlose Ökonometrie.
3. Gewichtete kleinste Quadrate (WLS)
WLS ist dann geeignet, wenn die Varianz der Fehler als Funktion der Prädiktoren modelliert werden kann. Jede Beobachtung wird durch die Inverse ihrer geschätzten Varianz gewichtet, so dass Beobachtungen mit höherer Varianz weniger Gewicht erhalten.
Die Umsetzung erfordert die Schätzung der Varianzfunktion.
- Bekannte Gewichte: Wenn die Theorie nahelegt, dass die Varianz proportional zu einer Variablen X ist (z. B. Populationsgröße), verwenden Sie Gewichte = 1/X.
- Geschätzte Gewichte: Regression der absoluten Residuen (oder quadrierten Residuen) auf den Prädiktoren, dann verwenden Sie die angepassten Werte (oder ihre Inversen) als Gewichte, z. B. wenn die absoluten Residuen linear mit X in Beziehung stehen, berechnen Sie die vorhergesagten Werte der absoluten Residuen, quadrieren sie und nehmen Sie die Inverse.
- Iterative Neugewichtung: Einige Pakete bieten iterative WLS, die zwischen Schätzungskoeffizienten und Aktualisierungsgewichten wechselt.
WLS liefert effiziente Schätzungen, wenn die Gewichte korrekt angegeben sind, jedoch können falsch angegebene Gewichte zu inkonsistenten Standardfehlern und sogar Verzerrungen führen, wenn die Gewichte mit den Fehlern korreliert sind. Daher wird WLS am besten verwendet, wenn die Form der Heteroscedastizität aus der Theorie oder aus früheren Analysen gut verstanden wird.
4. Generalisierte kleinste Quadrate (GLS)
GLS ist ein allgemeineres Rahmenwerk, das es erlaubt, dass die Fehler eine Kovarianzstruktur haben, einschließlich Heteroscedastizität und Autokorrelation. Im Falle unabhängiger, aber heteroscedastischer Fehler reduziert GLS auf WLS. Durchführbares GLS (FGLS) verwendet geschätzte Kovarianzparameter, die auf Vorinformationen oder zweistufiger Schätzung basieren können. Obwohl theoretisch attraktiv, kann FGLS empfindlich auf Fehlspezifikation des Varianzmodells reagieren. In der Praxis werden robuste Standardfehler aufgrund ihrer Einfachheit und Robustheit oft bevorzugt.
5. Robuste Regressionsmethoden
Wenn Heteroscedastizität von Ausreißern oder schweren Fehlerverteilungen begleitet wird, können robuste Regressionstechniken (z. B. M-Schätzung, Huber-White, Quantilregression) verwendet werden. Diese Methoden reduzieren einflussreiche Beobachtungen und liefern Koeffizientenschätzungen, die weniger empfindlich auf Verstöße gegen die klassischen Annahmen reagieren. In Kombination mit Heteroscedastizitätskonsistenten Standardfehlern bieten sie Schutz vor multiplen Formen der Fehlspezifikation. Quantilregression ist besonders nützlich, da sie die gesamte bedingte Verteilung modellieren kann und keine konstante Varianz annimmt.
Praktische Empfehlungen: Ein Schritt-für-Schritt-Workflow
Wenn Sie Regressionsmodelle erstellen, sollten Sie den folgenden Workflow in Betracht ziehen, um mit Heteroscedastizität umzugehen:
- Passen Sie das ursprüngliche OLS-Modell an und dann eine Residual-gegen-Anpassung-Diagramm und eine Skala-Location-Diagramm zu erzeugen, nach einem systematischen Muster in der Verteilung der Residuale suchen.
- Durchführung formaler Tests (Breusch-Pagan und Weiß) um den visuellen Eindruck zu bestätigen. Wenn beide Tests nicht signifikant sind und die Plots sauber aussehen, müssen Sie möglicherweise nicht korrigieren.
- Wenn Heteroscedastizität vorhanden ist, Wenn beispielsweise der DGP multiplikative Fehler vorschlägt, kann eine Log-Transformation sowohl Heteroscedastizität als auch Nichtlinearität fixieren.
- Wenn Transformation nicht wünschenswert ist (z. B. Interpretation wird umständlich), robuste Standardfehler (HC3 für kleine Proben) verwenden.
- Wenn die Varianzstruktur bekannt ist und die Effizienz ist wichtig, gewichtete kleinste Quadrate des Geräts; es ist zu prüfen, ob die Gewichte positiv sind und ob die gewichtete Restkurve kein Muster zeigt.
- Dokumentieren Sie alle Diagnoseschritte und Korrekturen Transparente Berichterstattung erhöht die Reproduzierbarkeit und das Vertrauen in die Ergebnisse.
Fazit: Aufbau vertrauenswürdiger Regressionsmodelle
Heteroscedastizität ist eine häufige, aber überschaubare Verletzung von Regressionsannahmen. Durch die routinemäßige Verwendung von grafischen Diagnosen und formalen Tests können Analysten ihre Anwesenheit frühzeitig erkennen. Die Wahl der Korrekturmethode hängt vom Kontext ab: robuste Standardfehler bieten eine einfache, robuste Lösung, die in den meisten Einstellungen funktioniert, während Transformationen und gewichtete kleinste Quadrate Effizienzgewinne bieten, wenn die Varianzstruktur verstanden wird. Die Einbeziehung dieser Praktiken in Ihren Modellierungsworkflow führt zu zuverlässigeren Hypothesentests, Konfidenzintervallen und Vorhersagen.
Für weitere Informationen konsultieren Sie autoritative ökonometrische Texte wie Wooldridge Einführende Ökonometrie und Greene’s ÖkonometrieEine kurze Übersicht finden Sie unter WikipediaPraktische Softwarebeispiele und Code sind erhältlich unter Die Statistische Beratungsgruppe der UCLA. Schließlich ist die PennState STAT 462 Kursnotizen eine zugängliche Einführung mit realen Datenbeispielen bieten.