How to Use Residual Plots to Check Regression Models
Table of Contents
Was sind Residuale?
Residuale sind die Differenzen zwischen den beobachteten Werten und den von Ihrem Regressionsmodell vorhergesagten Werten.
Rest = Beobachteter Wert − Voraussichtlicher Wert
In einem gut sitzenden Modell sollten Residuen zufällig um Null herum verteilt sein, ohne klare Muster, sie stellen den Teil des Ergebnisses dar, den Ihr Modell nicht erklären kann – die übrig gebliebene Variation oder das "Rauschen".
Mathematisch, wenn Sie n Beobachtungen und Ihr vorhergesagter Wert für die Beobachtung i ist ŷi, dann der Rest ei = yi - ŷiPositive Residuen bedeuten, dass das Modell zu wenig prognostiziert wird; negative Residuen bedeuten, dass es zu viel prognostiziert wird.
Residuen zu verstehen ist von grundlegender Bedeutung, da sie Informationen über Verstöße gegen Regressionsannahmen enthalten. Durch die Untersuchung von Residuen können Sie Nichtlinearität, ungleiche Fehlervarianzen (Heteroszenetizität), Ausreißer und einflussreiche Datenpunkte erkennen. In der Praxis ist kein Modell perfekt, und Residuen sind das primäre Werkzeug zur Diagnose, wo und wie Ihr Modell zu kurz kommt. In einem einfachen linearen Modell, das Hauspreise vorhersagt, können Residuen zeigen, dass das Modell größere Häuser systematisch unterbewertet, was auf eine fehlende Interaktion mit Quadratmeterzahl hinweist.
Residuale spielen auch eine zentrale Rolle bei der Beurteilung von Modellen, die über R2 hinausgehen. Ein hoher R2 könnte Sie in Selbstgefälligkeit wiegen, aber eine Darstellung von Residualen kann versteckte Muster aufdecken, die Vorhersagen unzuverlässig machen. Jeder Datenwissenschaftler sollte die Restanalyse als einen nicht verhandelbaren Schritt nach dem Anpassen eines Regressionsmodells behandeln.
Warum Residual Plots verwenden?
Residual Plots sind visuelle Werkzeuge, die Ihnen helfen zu beurteilen, ob Ihr Modell die wichtigsten Annahmen der Normalen Least Squares (OLS) Regression erfüllt:
- Linearität Die Beziehung zwischen Prädiktoren und Antwort ist linear.
- Unabhängigkeit – Residuale sind voneinander unabhängig (besonders wichtig für Zeitreihendaten).
- Homoscedastizität Die Varianz der Residuen ist über alle Ebenen der vorhergesagten Werte konstant.
- Normalität der Fehler – Die Reste sind ungefähr normal verteilt (wichtig für Konfidenzintervalle und Hypothesentests).
Ein einzelnes Restplot kann nicht alle Annahmen überprüfen, aber eine Reihe von Standard-Diagnostikplots – Residuale vs. angepasst, Q-Q-Plot, Skalierungs-Location-Plot und Residuale vs. Leverage – gibt Ihnen eine umfassende Übersicht. Wenn Sie diese Plots zu Beginn des Modellierungsprozesses verwenden, können Sie Stunden fehlgeleiteter Analysen sparen und Ihnen helfen, zuverlässigere Modelle zu erstellen.
Über die Annahmeprüfung hinaus zeigen Restplots auch praktische Probleme wie fehlende Interaktionen oder den Bedarf an Transformationen. Viele Data Science-Praktiker verlassen sich auf sie als ersten Schritt nach der Anpassung eines Regressionsmodells. Zum Beispiel kann das Rest-gegen-Anpassungsplot Sie auf einen fehlenden quadratischen Term aufmerksam machen, lange bevor Sie AIC-Werte vergleichen.
Ein weiterer Grund für die Verwendung von Residual-Plots ist, dass sie robust gegenüber der Komplexität von Modellen sind. Selbst in hochdimensionalen Umgebungen oder mit regularisierter Regression kann die Darstellung von Residualen gegen angepasste Werte eine systematische Verzerrung hervorheben, die numerische Tests möglicherweise übersehen. Residuale lügen nie; sie sagen Ihnen nur, was Ihr Modell nicht erklären kann.
Erstellen eines Residual Plots
Die Erstellung eines Restdiagramms ist einfach, und nach der Anpassung eines Regressionsmodells sind folgende Schritte auszuführen:
- Die vorhergesagten Werte (ŷ) für jede Beobachtung berechnen.
- Berechnen Sie die Residuen (beobachtet - vorhergesagt).
- Wählen Sie die Art des Residuums, das Sie zeichnen möchten.
- Normale Restwerte Rohe Unterschiede. Einfach zu interpretieren, aber abhängig vom Ausmaß der Antwort. Sie sind nützlich für die Erkennung von Mustern, aber nicht für den Vergleich zwischen Modellen mit verschiedenen Einheiten.
- Standardisierte Residuale - Geteilt durch eine Schätzung ihrer Standardabweichung. Hilfreich für das Aufspüren von Ausreißern (Werte >2 oder <-2 sind verdächtig). Die Standardisierung setzt Residuen auf eine gemeinsame Skala, wodurch es einfacher wird, extreme Punkte zu identifizieren.
- Studentisierte (gelöschte) Residuen - Robuster für die Identifizierung von Ausreißern, weil jedes Residuum berechnet wird, nachdem diese Beobachtung ausgelassen wurde. Studentisierte Residuen sind besonders stark, wenn Sie einige potenzielle Ausreißer haben, die die Regressionslinie zu sich selbst ziehen könnten.
- Zeichnen Sie die Residuen auf der y-Achse und die vorhergesagten Werte (oder manchmal die unabhängige Variable) auf der x-Achse.
Die meisten statistischen Softwares erzeugen diese Plots automatisch. R Sie können anrufen, nachdem Sie ein lineares Modell mit versehen haben. PythonMit kannst du aufrufen oder die -Funktion verwenden. Excel, können Sie eine Streukurve der Residuen mit den vorhergesagten Werten manuell erstellen, nachdem Sie das Data Analysis Toolpak aktiviert haben.
Wenn man Plots manuell erstellt, benutzt man immer eine konsistente Skala für die Achsen. Ein häufiger Fehler ist es, die Plots auf eine Gruppe von Punkten heranzoomen zu lassen, während man Ausreißer von der Skala ignoriert; die Achsgrenzen zu zwingen, alle Daten einzuschließen.
Arten von Restflächen
Während die einfachste Residualkurve Residualwerte gegenüber angepassten Werten ist, beinhaltet eine gründliche Diagnose mehrere komplementäre Diagramme. Jede Diagramme zielen auf eine bestimmte Annahme ab. Im Folgenden untersuchen wir die vier Standarddiagramme, die Teil jeder Regressionsanalyse sein sollten.
Restwerte vs. angepasste Werte
Dies ist die häufigste diagnostische Handlung. Sie prüft auf Nichtlinearität und Heteroscedastizität. Idealerweise möchten Sie, dass die Punkte zufällig um Null herum verteilt sind, ohne systematische Form (wie eine Kurve oder einen Trichter). Ein horizontales Band (konstante Ausbreitung) ist erwünscht. Wenn Sie eine U-Form oder ein invertiertes U sehen, fehlt dem Modell möglicherweise ein quadratischer Term oder eine Wechselwirkung. Wenn sich die Ausbreitung entlang der x-Achse erweitert oder verengt, haben Sie wahrscheinlich Heteroscedastizität.
Praktisches Beispiel: In einem Modell, das die Kraftstoffeffizienz anhand der Motorgröße vorhersagt, könnte ein gekrümmtes Muster darauf hindeuten, dass sich die Effizienz mit zunehmender Motorgröße mit abnehmender Geschwindigkeit verbessert. Das Hinzufügen eines quadratischen Begriffs für die Motorgröße behebt dies oft. In ähnlicher Weise ist ein Trichtermuster (Spread mit angepassten Werten zunehmend) in Modellen üblich, bei denen die Reaktionsvariable eine natürliche Untergrenze von Null hat, wie z. B. medizinische Kosten; eine Log-Transformation der Reaktion kann helfen.
Normale Q‐Q-Darstellung
Ein Q-Q-Plot vergleicht die Verteilung Ihrer Residuen mit einer theoretischen Normalverteilung. Fallen die Punkte etwa entlang der 45-Grad-Referenzlinie, gilt die Normalitätsannahme. Abweichungen an den Enden deuten auf schwere Schwänze (Ausreißer) oder Schiefe hin. Diese Darstellung ist besonders wichtig, wenn Sie Hypothesentests oder Konfidenzintervalle verwenden möchten, die auf Normalität beruhen. Bei großen Stichprobengrößen (n > 100) sind geringfügige Abweichungen von der Normalität aufgrund des zentralen Limit-Theorems oft akzeptabel, aber schwere Schiefe kann immer noch Konfidenzintervalle verzerren.
Worauf zu achten ist: Punkte, die oberhalb der Linie rechts verirren, weisen auf positive Ausreißer hin (rechts-verzerrte Residuen), Punkte unterhalb der Linie links auf negative Ausreißer (links-verzerrt) hin. Eine klassische S-Form legt nahe, dass die Residuenverteilung kürzere Schwänze hat als normal, was weniger problematisch ist als schwere Schwänze.
Flächenordnung (Spread-Location)
Diese Darstellung zeigt die Quadratwurzel der absoluten standardisierten Residuen gegenüber den angepassten Werten. Sie hilft, Heteroscedastizität deutlicher zu erkennen als die Residuen gegenüber der angepassten Darstellung allein. Eine horizontale Linie mit gleich verteilten Punkten lässt eine konstante Varianz erkennen. Ein Aufwärts- oder Abwärtstrend zeigt an, dass sich die Varianz mit den angepassten Werten ändert. Die y-Achse (√|standardisierte Residuen|) bewirkt, dass große Residuen gedämpft werden, während sie noch Muster zeigt.
Wenn Sie einen klaren Trend sehen, wie z. B. zunehmende Spreads mit größeren angepassten Werten, haben Sie Hinweise auf Heteroscedastizität. Dies ist üblich in Modellen, bei denen die Antwort eine Anzahl (z. B. Anzahl der Defekte) oder eine positive kontinuierliche Variable mit einem breiten Bereich (z. B. Einkommen) ist.
Residuals vs. Leverage Plot (Kochdistanz)
Leverage misst, wie sehr sich die Prädiktorwerte einer Beobachtung vom Mittelwert unterscheiden. Hochhebelpunkte können einen unverhältnismäßigen Einfluss auf die Regressionskoeffizienten haben. Diese Darstellung kombiniert Hebelwirkung (x-Achse) mit standardisierten Residuen (y-Achse), oft mit Konturen, die Cooks Entfernung anzeigen. Punkte außerhalb der Cooks Entfernungskonturen (normalerweise >1) verdienen eine weitere Untersuchung als einflussreiche Ausreißer.
Nicht jeder hochhebelnde Punkt ist problematisch; ist sein Residuum klein, kann es harmlos sein. Die Gefahr entsteht, wenn ein Punkt sowohl eine hohe Hebelwirkung als auch ein großes Residuum hat. Solche Punkte können die Regressionslinie dramatisch kippen. Immer die Daten hinter diesen Punkten betrachten - es könnten Dateneingabefehler sein, oder es könnten legitime Extremfälle sein, die eine andere Modellspezifikation erfordern (z. B. ein separates Segment).
In der Praxis eine kurze Faustregel: Jeder Punkt mit Cooks Abstand > 1 erfordert einen genauen Blick. Einige Analysten verwenden einen Cutoff von 4 / n, aber die genaue Schwelle ist weniger wichtig als die Identifizierung von Punkten, die sich von den anderen abheben.
Interpretation von Restflächen
Die Interpretation von Restplots erfordert Übung. Hier sind die häufigsten Muster und was sie anzeigen:
- Zufällige Streuung um Null mit konstantem Spread Idealmuster. Das Modell erfüllt die Annahmen von Linearität und Homoszendizität. Sie können mit Vertrauen in Ihre Schlussfolgerung fortfahren.
- Trichterform (Ausbreitung zu- oder abnehmend) Heteroscedastizität. Die Varianz der Fehler hängt vom angepassten Wert ab. Beispielsweise weisen höhere Einkommen in einem Einkommensvorhersagemodell oft größere Variabilität auf. Gewichtete kleinste Quadrate oder eine Log-Transformation der Antwort können dies abschwächen.
- Kurvenmuster (z. B. U-Form, invertiertes U) Nichtlinearität. Das Modell kann die wahre Beziehung nicht erfassen. Versuchen Sie, Polynombegriffe, Splines oder transformierende Prädiktoren hinzuzufügen. Die Krümmungsrichtung sagt Ihnen, ob das Modell in bestimmten Bereichen systematisch unter- oder überprädiziert.
- Deutliche Ausreißer weit von der Nulllinie - Mögliche Messfehler oder ungewöhnliche Fälle. Verwenden Sie studentisierte Residuen, um Punkte mit dem absoluten Wert > 2,5 oder 3 zu markieren.
- Punkte mit hohem Leverage und großen Residualen - Einflussreiche Punkte, die die Koeffizienten dramatisch verändern können, wenn sie entfernt werden.
- Serielle Korrelation in Residuen (z. B. Wechselmuster) – Für Zeitreihendaten legt dies eine Autokorrelation nahe; erwägen Sie, verzögerte Variablen hinzuzufügen oder autoregressive Modelle zu verwenden.
- Cluster oder Lücken in Residualen – Gibt an, dass das Modell eine kategorische Gruppierung verfehlt; erwägen Sie, eine Faktorvariable für diese Gruppe hinzuzufügen oder ein gemischtes Modell zu verwenden; beispielsweise legen Residuen, die in einer Studie mit wiederholten Messungen nach Probanden gruppiert sind, die Notwendigkeit von Zufallseffekten nahe.
Verifizieren Sie Muster immer, indem Sie mehrere Diagramme zusammen betrachten. Ein Diagramm kann auf ein Problem hindeuten, das ein anderes Diagramm widerlegt. Zum Beispiel können einige Ausreißer auf dem Q-Q-Plot eine Trichterform in den Residuen vs. Fited-Plot allein aufgrund ihrer Größe verursachen. In ähnlicher Weise kann Heteroscedastizität ein falsch gekrümmtes Muster erzeugen, wenn die Varianz mit dem Mittel stark zunimmt. Querverweise schützen vor Überinterpretation.
Gemeinsame Probleme und Lösungen
Wenn Restplots Verstöße aufdecken, haben Sie mehrere Korrekturoptionen. Nachfolgend werden die Lösungen für die häufigsten Probleme detailliert beschrieben, von einfachen Korrekturen bis hin zu fortschrittlicheren Techniken.
Nicht-Linearität
Wenn Sie ein gekrümmtes Muster sehen, denken Sie daran:
- Hinzufügen von Polynom-Begriffen (z.B., x2 oder x3) oder Interaktionsbegriffe zwischen numerischen Prädiktoren. Beginnen Sie mit einem quadratischen Begriff - er erfasst oft die häufigsten Formen der Krümmung.
- Transformieren der Antwortvariablen (z. B. log, Quadratwurzel, Box-Cox) zur Linearisierung der Beziehung. Log-Transformationen sind besonders effektiv, wenn die Beziehung multiplikativ ist.
- Umstieg auf ein nichtlineares Modell wie generalisierte additive Modelle (GAMs) oder Verwendung von Splines (natürliche kubische Splines, B-Splines), um flexible Passungen zu ermöglichen, ohne die genaue Form anzugeben.
- Nutzung von Domänenwissen, um eine bestimmte nichtlineare Form vorzuschlagen (z. B. exponentielles Wachstum, abnehmende Renditen); manchmal passt eine einfache theoretische Funktion besser als ein Polynom.
Heteroscedastizität
Wenn die Varianz nicht konstant ist, können Sie:
- Verwendung gewichtete kleinste Quadrate Beobachtungen mit größerer Varianz weniger Gewicht zu verleihen; die Gewichte sind in der Regel invers zur geschätzten Varianz bei jedem angepassten Wert.
- Anwenden a Varianzstabilisierende Transformation zur Antwort (z. B. log für multiplikative Fehler, Quadratwurzel für Poisson-ähnliche Zählungen, Arcsinus für Proportionen) Die Box-Cox-Familie kann die Auswahl leiten.
- Berechnen Sie heteroscedastische konsistente Standardfehler (HCSE, auch robuste Standardfehler genannt), um gültige Inferenz zu erhalten, ohne die Varianz zu beheben.
- Wenn Sie ein lineares Modell mit einer nicht-normalen Fehlerverteilung verwenden, sollten Sie ein generalisiertes lineares Modell (GLM) mit einer geeigneten Familie (z. B. Gamma für Heteroscedastizität proportional zum Mittelwert) in Betracht ziehen.
Ausreißer und einflussreiche Punkte
Für Ausreißer:
- Untersuchen Sie die Quelle: Ist es ein Fehler bei der Dateneingabe? Wenn ja, korrigieren oder entfernen Sie sie. Wenn der Ausreißer ein reales, aber seltenes Ereignis widerspiegelt, entscheiden Sie, ob es separat modelliert werden soll.
- Verwenden Sie robuste Regressionsmethoden, die Ausreißer (z.B. Huber oder M-Schätzung) reduzieren und dabei automatisch den Einfluss extremer Residuale reduzieren, während Sie alle Daten nutzen.
- Berücksichtigen Sie den Einfluss über Cooks Abstand; entfernen Sie Punkte mit Entfernung > 1 und re-fit. Alternativ verwenden Sie DFBETAS oder DFFITS, um zu sehen, wie viel jeder Koeffizient sich ändert.
- Wenden Sie eine Log- oder Box-Cox-Transformation an, um extreme Werte zu ziehen, was Ausreißer oft weniger einflussreich macht, ohne Daten zu verwerfen.
Nicht-Normalität
Wenn Residuen von der Normalität abweichen:
- Größe der Stichprobe vergrößern – der Central Limit Theorem hilft bei der Inferenz in großen Proben. Mit n > 200 ergeben selbst nicht-normale Residuen oft zuverlässige Konfidenzintervalle.
- Die Box-Cox-Transformation kann einen Leistungsparameter vorschlagen, der die Residuen normaler macht.
- Bootstrapping wird für Konfidenzintervalle und Hypothesentests verwendet. Bootstrapping geht nicht von Normalität aus und funktioniert auch bei verzerrten Residuen gut, sofern die Stichprobe repräsentativ ist.
- Wechseln Sie zu einer nichtparametrischen Regressionsmethode (z. B. Zufallswälder, Quantilregression), wenn die Normalität für Ihre Inferenzziele entscheidend ist.
Serienkorrelation
Bei Zeitreihendaten verstößt die Restautokorrelation gegen die Unabhängigkeitsannahme.
- Hinzufügen von verzögerten Termen der Antwort oder Prädiktoren als neue Funktionen.
- Verwenden autoregressiver integrierter gleitender Durchschnitt (ARIMA) Modelle anstelle von OLS.
- Verwendung von generalisierten kleinsten Quadraten (GLS) mit einer spezifizierten Korrelationsstruktur (z. B. AR(1)).
- Differenzierung der Daten, um Trend und Saisonalität vor der Modellierung zu entfernen.
Software-Implementierung
Die Implementierung von Restdiagrammen ist in den meisten statistischen Umgebungen einfach.
- R: Wenn Sie verwenden, was vier Standardplots erzeugt, dann können Sie mit aus dem Paket eine vollständige Anpassung vornehmen.
- Python: stellt die -Funktion und zur Verfügung. Mit müssen Sie Residuen manuell berechnen und mit zeichnen.
- SPSS: Nach dem Ausführen der linearen Regression aktivieren Sie die Schaltfläche "Plots" im Dialog "Speichern". ZRESID (standardisierte Residuen) gegen ZPRED Sie können auch ein Histogramm und ein normales Wahrscheinlichkeitsdiagramm anfordern.
- Excel: Aktivieren Sie das Add-In Analysis Toolpak. Führen Sie Regression aus, aktivieren Sie "Residuale" und "Restplots". Sie erhalten ein Streudiagramm von Residualen gegenüber vorhergesagten Werten. Für erweiterte Plots können Sie manuell ein Q-Q-Plot mit der Funktion NORM.S.INV erstellen.
- MATLAB: Verwenden Sie für ein lineares Modellobjekt Die Funktion bietet Optionen für 'angepasste', 'laggige' und 'Wahrscheinlichkeits'-Plots.
- SAS: In , geben Sie an, um ein Panel mit Restplots zu erhalten.
Unabhängig von der Software, überprüfen Sie die Plots immer mit einem kritischen Auge. Algorithmen können Plots erstellen, aber nur Sie können sie im Kontext Ihrer Daten und Forschungsfragen interpretieren.
Schlussfolgerung
Residuale Plots sind unverzichtbar, um Regressionsmodelle zu validieren. Sie geben schnelles, visuelles Feedback darüber, ob die grundlegenden Annahmen Ihres Modells zutreffen. Indem Sie lernen, gemeinsame Muster zu identifizieren – zufällige Streuung, Trichter, Kurven, Ausreißer – können Sie Probleme frühzeitig diagnostizieren und korrigierende Maßnahmen ergreifen. Die regelmäßige Überprüfung von Residualplots sollte ein Standardbestandteil jedes Regressionsanalyse-Workflows sein, was zu genaueren, vertrauenswürdigeren Ergebnissen führt.
Residualanalyse ist kein einmaliger Schritt; greift Ihre Plots immer wieder auf, wenn Sie das Modell ändern oder neue Daten hinzufügen. Im Laufe der Zeit werden Sie eine Intuition entwickeln, um subtile Probleme zu erkennen, die numerische Zusammenfassungen vermissen. Die wenigen Minuten, die mit der Untersuchung von Residuen verbracht werden, können Tage der Jagd nach falschen Erkenntnissen oder falschen Schlussfolgerungen ersparen.
Für weitere Informationen konsultieren Sie maßgebliche Ressourcen wie die Penn State STAT 501 Kursnotizen, Statistische Beratungsgruppe der UCLAoder den klassischen Text Angewandte lineare statistische Modelle von Kutner et al. Für praktische Anleitung zur Restdiagnostik in Zeitreihen, siehe Forecasting: Prinzipien und Praxis Hyndman und Athanasopoulos, auch moderne Datenwissenschaftler profitieren von scikit-learn Dokumentation zur linearen Regressionsdiagnostik. Schließlich ist die University of Virginia Library Leitfaden für diagnostische Plots Machen Sie Restplots zur Gewohnheit, und Ihre Modelle werden es Ihnen danken.