How to Use Residual Plots to Check Regression Models
Table of Contents
Qu'est-ce que les résidus?
Les valeurs résiduelles sont les différences entre les valeurs observées et les valeurs prévues par votre modèle de régression. Pour chaque point de données, le résidu est calculé comme suit:
Valeur résiduelle = Valeur observée − Valeur prévue
Dans un modèle bien adapté, les résidus devraient être dispersés au hasard autour de zéro, sans aucun motif clair. Ils représentent la partie du résultat que votre modèle ne peut expliquer – la variation de gauche ou le « bruit ».
Mathématiquement, si vous avez n les observations et votre valeur prévue pour l'observation Les est ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Les, puis le résidu eLes = yLes − ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Les. Les résidus positifs signifient que le modèle est sous-estimé; les résidus négatifs signifient qu'il est surprévisé.
En examinant les résidus, vous pouvez détecter la non-linéarité, les écarts d'erreur inégaux (hétéroscédasicité), les valeurs aberrantes et les points de données influents. En pratique, aucun modèle n'est parfait et les résidus sont le principal outil pour diagnostiquer où et comment votre modèle est court. Par exemple, dans un modèle linéaire simple prévoyant les prix des maisons, les résidus peuvent révéler que le modèle sous-estime systématiquement les maisons plus grandes, ce qui indique une interaction manquante avec les surfaces carrées.
Les résidus jouent également un rôle central dans l'évaluation de la concordance du modèle au-delà de R2. Un R2 élevé pourrait vous attirer dans la complaisance, mais un graphique de résidus peut exposer des patrons cachés qui rendent les prédictions peu fiables.
Pourquoi utiliser les parcelles résiduelles?
Les placettes résiduelles sont des outils visuels qui vous aident à évaluer si votre modèle satisfait aux principales hypothèses de régression des moindres carrés ordinaires (SLO) :
- Linéarité – La relation entre les prédicteurs et la réponse est linéaire.
- Indépendance – Les résidus sont indépendants les uns des autres (surtout pour les données des séries chronologiques).
- Homoscédasticité – La variance des résidus est constante pour tous les niveaux de valeurs prévues.
- Normalité des erreurs – Les résidus sont répartis approximativement normalement (important pour les intervalles de confiance et les tests d'hypothèse).
Une seule parcelle résiduelle ne peut pas vérifier toutes les hypothèses, mais un ensemble de parcelles diagnostiques standard – résidus vs. ajustés, Q-Q, place à l'échelle et résidus vs. levier – vous donne une vue complète. L'utilisation de ces parcelles au début du processus de modélisation peut économiser des heures d'analyse erronée et vous aider à construire des modèles plus fiables.
Au-delà de la vérification des hypothèses, les placettes résiduelles révèlent également des problèmes pratiques comme les interactions manquantes ou la nécessité de transformations.De nombreux praticiens de la science des données s'en fient pour la première étape après avoir adapté un modèle de régression.
Une autre raison d'utiliser des placettes résiduelles est qu'elles sont robustes pour modéliser la complexité. Même dans des contextes à haute dimension ou avec une régression régularisée, la représentation des résidus par rapport aux valeurs ajustées peut mettre en évidence un biais systématique que les tests numériques pourraient manquer.
Création d'un terrain résiduel
La construction d'un tracé résiduel est simple. Après avoir adapté un modèle de régression, suivez ces étapes:
- Calculer les valeurs prévues (=) pour chaque observation.
- Calculer les résidus (observés − prédits).
- Choisissez le type de résidu que vous voulez tracer. Les choix communs incluent:
- Résidus ordinaires – Différences brutes. Facile à interpréter mais dépendant de l'échelle de la réponse. Elles sont utiles pour détecter les modèles mais pas pour comparer entre les modèles avec des unités différentes.
- Résidus normalisés – Divisé par une estimation de leur écart type. Utile pour repérer les valeurs aberrantes (les valeurs >2 ou <−2 sont suspectes). La normalisation met les résidus à une échelle commune, ce qui facilite l'identification des points extrêmes.
- Résidus étuvés (supprimés) – Plus robuste pour identifier les valeurs aberrantes parce que chaque résidu est calculé après avoir omis cette observation. Les valeurs résiduelles stupéfiées sont particulièrement puissantes lorsque vous avez quelques valeurs aberrantes potentielles qui pourraient être en train de tirer la droite de régression vers elles-mêmes.
- Placer les résidus sur l'axe des y et les valeurs prévues (ou parfois la variable indépendante) sur l'axe des x.
La plupart des logiciels statistiques produisent automatiquement ces graphiques. Autres vous pouvez appeler après avoir adapté un modèle linéaire avec . Python, en utilisant vous pouvez appeler ou utiliser la fonction . Excel, vous pouvez créer un graphique de dispersion des résidus par rapport aux valeurs prédites manuellement après avoir activé le Data Analysis Toolpak.
Lorsque vous créez des tracés manuellement, utilisez toujours une échelle cohérente pour les axes. Une erreur courante est de laisser le zoom de l'emplacement sur un groupe de points tout en ignorant les valeurs aberrantes de l'échelle; forcez les limites de l'axe à inclure toutes les données.
Types de parcelles résiduelles
Bien que la courbe résiduelle la plus simple soit les valeurs résiduelles par rapport aux valeurs ajustées, un diagnostic approfondi implique plusieurs courbes complémentaires. Chaque courbe cible une hypothèse spécifique.
Valeurs résiduelles vs valeurs ajustées
C'est le schéma diagnostique le plus courant. Il vérifie la non-linéarité et l'hétéroscédasivité. Idéalement, vous voulez que les points soient dispersés au hasard autour de zéro, sans forme systématique (comme une courbe ou un entonnoir). Une bande horizontale (prolongation constante) est souhaitée. Si vous voyez une forme U ou inversement-U, le modèle peut manquer un terme ou une interaction quadratique. Si la propagation s'élargit ou se rétrécit le long de l'axe des x, vous avez probablement l'hétéroscédastie.
Exemple pratique : Dans un modèle qui prévoit l'efficacité énergétique à partir de la taille du moteur, un modèle incurvé pourrait indiquer que l'efficacité s'améliore à un rythme décroissant à mesure que la taille du moteur augmente. L'ajout d'un terme quadratique pour la taille du moteur corrige souvent cette situation. De même, un modèle d'entonnoir (en augmentant à plusieurs reprises avec des valeurs ajustées) est courant dans les modèles où la variable de réponse a une limite naturelle inférieure de zéro, comme les coûts médicaux; une transformation logarithmique de la réponse peut aider.
Emplacement Q‐Q normal
Si les points tombent à peu près le long de la ligne de référence de 45 degrés, l'hypothèse de la normalité est maintenue. Les écarts aux extrémités indiquent des queues lourdes (aberrantes) ou des équerres. Cette représentation est particulièrement importante lorsque vous prévoyez d'utiliser des tests d'hypothèse ou des intervalles de confiance qui reposent sur la normalité. Pour les grandes tailles d'échantillons (n > 100), des écarts mineurs par rapport à la normalité sont souvent acceptables en raison du théorème de limite centrale, mais une équerre sévère peut encore fausser les intervalles de confiance.
Que chercher : les points qui s'égarent au-dessus de la ligne à droite indiquent des valeurs aberrantes positives (résidus à droite); les points situés en dessous de la ligne à gauche indiquent des valeurs aberrantes négatives (assemblés à gauche).
Emplacement à l'échelle (emplacement à l'échelle)
Cette courbe montre la racine carrée des résidus normalisés absolus par rapport aux valeurs ajustées. Elle permet de détecter plus clairement l'hétéroscédasicité que les résidus par rapport aux seuls résidus. Une ligne horizontale avec des points de dispersion égale suggère une variance constante. Une tendance ascendante ou descendante indique que la variance change avec les valeurs ajustées. L'axe des y ( √=résidus normalisés) a pour effet d'atténuer les importants résidus tout en montrant des motifs.
Si vous voyez une tendance claire, comme l'augmentation de la propagation avec des valeurs plus grandes ajustées, vous avez la preuve d'une hétéroscédastie. Ceci est courant dans les modèles où la réponse est un nombre (p. ex., nombre de défauts) ou une variable continue positive avec une large gamme (p. ex., revenu).
Résidus vs. Lot de levier (distance de Cuisson)
Le levier mesure la différence entre les valeurs prédictives d'une observation et la moyenne. Les points de levier élevés peuvent avoir une influence disproportionnée sur les coefficients de régression. Cette courbe combine l'effet de levier (axe x) et les résidus normalisés (axe y), souvent avec des contours montrant la distance de Cook.
Chaque point de levier élevé n'est pas problématique; si son résidu est petit, il peut être inoffensif. Le danger se présente lorsqu'un point a un effet de levier élevé et un important résidu. De tels points peuvent incliner la droite de régression de façon spectaculaire.
En pratique, une règle de pouce rapide : tout point avec la distance de Cook > 1 mérite un regard étroit. Certains analystes utilisent une limite de 4/n, mais le seuil exact est moins important que l'identification de points qui se distinguent des autres.
Interprétation des parcelles résiduelles
L'interprétation des placettes résiduelles nécessite une pratique. Voici les modèles les plus courants et ce qu'ils indiquent:
- Dispersion aléatoire autour de zéro avec propagation constante – Modèle idéal. Le modèle répond aux hypothèses de linéarité et d'homoscédasticité. Vous pouvez procéder avec confiance dans votre inférence.
- Forme de l'entonnoir (augmentation ou diminution de la fréquence) – Hétéroscédastique. La variance des erreurs dépend de la valeur ajustée. Par exemple, dans un modèle de prévision du revenu, les revenus plus élevés présentent souvent une variabilité plus grande.
- Motif courbé (p. ex., forme U, inversion U) – Non-linéarité. Le modèle ne parvient pas à saisir la vraie relation. Essayez d'ajouter des termes polynômes, des lignes ou des prédicteurs transformants. La direction de courbure vous indique si le modèle est systématiquement sous-prédicteur ou surprédicatif à certaines plages.
- Aberrations distinctes loin de la ligne zéro – Erreurs de mesure possibles ou cas inhabituels. Utilisez des résidus étudiants pour marquer des points avec valeur absolue > 2.5 ou 3. Enquêtez sur ces cas avant de décider de les exclure.
- Points à effet de levier élevé et résidus importants – Points influents qui peuvent changer radicalement les coefficients s'ils sont supprimés. Vérifiez la distance de Cook. Un seul point influent peut faire ou casser un modèle; une régression robuste est souvent une bonne alternative à la suppression.
- Corrélation en série des résidus (p. ex., patron alternatif) – Pour les données des séries chronologiques, cela suggère l'autocorrélation; envisager d'ajouter des variables décalées ou d'utiliser des modèles autorégressifs.
- Groupes ou lacunes dans les résidus – Indique que le modèle manque un groupe catégorique. Envisager d'ajouter une variable de facteur pour ce groupe ou d'utiliser un modèle mixte. Par exemple, les résidus regroupés par sujet dans une étude de mesures répétées suggèrent la nécessité d'effets aléatoires.
Toujours vérifier les patrons en regardant plusieurs parcelles ensemble. Une parcelle peut suggérer un problème que l'autre parcelle réfute. Par exemple, quelques aberrations sur la parcelle Q‐Q peuvent causer une forme d'entonnoir dans les résidus par rapport à la parcelle ajustée simplement en raison de leur magnitude. De même, l'hétéroscédasticité peut produire un faux motif incurvé si la variance augmente fortement avec la moyenne.
Problèmes et solutions communs
Lorsque les parcelles résiduelles révèlent des violations, vous avez plusieurs options correctives. Ci-dessous, nous détaillons des solutions pour les problèmes les plus fréquents, ordonnées à partir de simples corrections aux techniques plus avancées.
Non-Linéarité
Si vous voyez un motif incurvé, considérez:
- Ajouter des termes polynômes (par exemple, x2 ou x3) ou les termes d'interaction entre les prédicteurs numériques. Commencez par un terme quadratique – il capture souvent les formes les plus courantes de courbure.
- Transformer la variable de réponse (p. ex. log, racine carrée, Box‐Cox) pour linéariser la relation. Les transformations de log sont particulièrement efficaces lorsque la relation est multiplicative.
- Passer à un modèle non linéaire comme les modèles additifs généralisés (GAM) ou utiliser des attelles (cubiques naturels, B-splines) pour permettre des ajustements flexibles sans préciser la forme exacte.
- Utiliser les connaissances du domaine pour suggérer une forme non linéaire spécifique (p. ex. croissance exponentielle, diminution des rendements). Parfois, une simple fonction théorique convient mieux qu'un polynôme.
Hétéroscédastique
Lorsque la variance n'est pas constante, vous pouvez :
- Utilisation les moindres carrés pondérés Pour donner moins de poids aux observations avec plus de variance. Les poids sont généralement inverses à la variance estimée à chaque valeur ajustée.
- Appliquer une la transformation stable de la variance La famille Box-Cox peut guider le choix.
- Calculez les erreurs standard cohérentes avec l'hétéroscédasicité (HCSE, également appelées erreurs standard robustes) pour obtenir une inférence valide sans corriger la variance. Ceci est une correction rapide si votre intérêt principal est dans les tests d'hypothèse plutôt que dans les intervalles de prédiction.
- Si vous utilisez un modèle linéaire avec une distribution d'erreurs non normale, envisagez un modèle linéaire généralisé (GLM) avec une famille appropriée (p. ex. Gamma pour l'hétéroscédastie proportionnelle à la moyenne).
Points extérieurs et influencenels
Pour les valeurs aberrantes:
- Enquêter sur la source : Est-ce une erreur de saisie de données ? Si oui, corriger ou supprimer. Si l'aberration reflète un événement réel mais rare, décidez si elle doit être modélisée séparément.
- Utilisez des méthodes de régression robustes qui ont un poids aberrant (p. ex. Huber ou M-estimation) qui réduisent automatiquement l'influence des résidus extrêmes tout en utilisant toutes les données.
- Considérez l'influence par la distance de Cook; supprimez les points avec la distance > 1 et réadaptez-les.
- Appliquer une transformation log ou Box‐Cox pour tirer dans des valeurs extrêmes. Cela rend souvent les plus aberrantes moins influents sans jeter de données.
Non-Normalité
Lorsque les résidus s'écartent de la normale:
- Augmenter la taille de l'échantillon – le théorème de la limite centrale aide à l'inférence dans les grands échantillons.
- Transformer la variable de réponse pour obtenir une symétrie. La transformation Box‐Cox peut suggérer un paramètre de puissance qui rend les résidus plus normaux.
- Utilisez le bootstraping pour les intervalles de confiance et les tests d'hypothèse. Bootstrapping ne suppose pas la normalité et fonctionne bien même avec les résidus biaisés, à condition que l'échantillon soit représentatif.
- Passez à une méthode de régression non paramétrique (p. ex., forêts aléatoires, régression quantile) si la normalité est critique pour vos objectifs d'inférence.
Corrélation des séries
Pour les données de séries chronologiques, l'autocorrélation résiduelle viole l'hypothèse de l'indépendance.
- Ajouter des termes décalés de la réponse ou des prédicteurs comme nouvelles fonctionnalités.
- Utiliser des modèles autorégressifs de moyenne mobile intégrée (ARIMA) au lieu de l'OLS.
- Utilisation de carrés les moins généraux (SGL) avec une structure de corrélation spécifiée (p. ex. AR(1)).
- Differenciant les données pour supprimer les tendances et la saisonnalité avant la modélisation.
Mise en œuvre du logiciel
La mise en œuvre de places résiduelles est simple dans la plupart des environnements statistiques. Voici des guides rapides pour les outils communs:
- C'est un peu comme ça. Utilisez qui produit quatre placettes standard. Pour plus de contrôle, avec du paquet vous donne la pleine personnalisation. Vous pouvez également utiliser le paquet pour des diagnostics interactifs.
- Python : fournit la fonction et . Avec , vous devez calculer manuellement les résidus et tracer avec . La bibliothèque automatise les résidus et facilite la production de graphiques diagnostiques.
- - Oui. Après avoir exécuté la régression linéaire, cochez le bouton "Plots" dans la boîte de dialogue Enregistrer. Sélectionnez ZRESID (résidus normalisés) par rapport à ZPRED Vous pouvez également demander un histogramme et un graphique de probabilité normal.
- C'est un peu comme ça. Activez l'ajout de l'outil d'analyse. Exécutez la régression, cochez « Résiduels » et « Résiduels ». Vous obtiendrez un graphique de dispersion des valeurs résiduelles par rapport aux valeurs prédites. Pour les graphiques avancés, vous pouvez créer manuellement un graphique Q‐Q en utilisant la fonction NORM.S.INV.
- - C'est pas vrai. Utilisez pour un objet modèle linéaire . La fonction offre des options pour les tracés 'fitted', 'lagged' et 'probabilité'.
- C'est pas vrai. Dans , préciser pour obtenir un panneau de placettes résiduelles. Sinon, utiliser puis pour le contrôle complet.
Quel que soit le logiciel, inspectez toujours les parcelles avec un œil critique. Les algorithmes peuvent produire des parcelles, mais vous pouvez les interpréter uniquement dans le contexte de vos données et questions de recherche.
Conclusion
Les diagrammes résiduels sont indispensables pour valider les modèles de régression. Ils fournissent une rétroaction visuelle rapide sur la conservation des hypothèses de base de votre modèle. En apprenant à identifier les modèles communs – dispersion aléatoire, entonnoirs, courbes, aberrations – vous pouvez diagnostiquer les problèmes tôt et prendre des mesures correctives.
L'analyse résiduelle n'est pas une étape unique; revisiter vos tracés chaque fois que vous modifiez le modèle ou ajoutez de nouvelles données. Au fil du temps, vous développerez une intuition pour reconnaître des problèmes subtils que les résumés numériques manquent.
Pour plus de renseignements, consulter les ressources faisant autorité, telles que Penn State STAT 501 notes de cours, Groupe de conseil statistique de l'UCLA, ou le texte classique Modèles statistiques linéaires appliqués par Kutner et al. Pour des conseils pratiques sur les diagnostics résiduels dans les séries chronologiques, voir Prévision: Principes et pratiques par Hyndman et Athanasopoulos. Les data savants modernes bénéficient également de la Documentation sur les analyses de régression linéaire. Enfin, Guide de la bibliothèque de l'Université de Virginie sur les parcelles de diagnostic vous offre des exemples clairs avec le code R. Faites des placettes résiduelles une habitude, et vos modèles vous remercieront.