Introduction: Pourquoi l'hétéroscédasisme compte dans l'analyse de régression

L'hétéroscédasticité est l'une des violations les plus fréquentes des hypothèses de régression linéaire classique. Elle se produit lorsque la variance des termes d'erreur n'est pas constante à tous les niveaux des variables indépendantes, ce qui mine la fiabilité des outils standard inferentiels tels que p-valeurs, intervalles de confiance et tests d'hypothèses. Bien que les estimations des coefficients des moindres carrés (SCO) ordinaires demeurent impartiales sous l'hétéroscédastie, elles ne sont plus efficace, et les erreurs standard deviennent biaisées. Ce biais peut conduire à des conclusions erronées — soit faussement déclarer un prédicteur significatif (erreur de type I gonflée) ou ne pas détecter une relation réelle (puissance réduite).

Dans les domaines appliqués comme l'économie, la finance, la science de l'environnement et l'ingénierie, l'hétéroscédasisme est courant. Par exemple, dans les études transversales sur le revenu et les dépenses des ménages, la variabilité des dépenses augmente généralement avec le niveau de revenu.

Cet article fournit un guide complet pour comprendre, détecter et corriger l'hétéroscédasisme. Nous couvrons les diagnostics graphiques, les tests statistiques et plusieurs méthodes de correction, allant de simples transformations à des erreurs standard robustes et des moindres carrés pondérés.

Comprendre l'hétéroscédasisme : la théorie et les conséquences

Dans un modèle de régression linéaire standard \( y = X\beta + \varepsilon \), l'une des hypothèses de Gauss–Markov est que les erreurs ont une variance constante : \( \text{Var}(\varepsilon i) = \sigma^2 \) pour toutes les observations. homoscédastiques. Lorsque cette hypothèse échoue, le modèle présente une hétéroscédastie.

L'hétéroscédasisme peut provenir de plusieurs sources:

  • Effets d'échelle : À mesure que la variable augmente, la variance de la réponse augmente proportionnellement. Par exemple, dans la modélisation des coûts hospitaliers selon l'âge du patient, les patients plus âgés peuvent avoir à la fois des coûts moyens plus élevés et une variabilité plus élevée en raison de diverses conditions de santé.
  • Erreur de mesure: Si certaines observations sont mesurées avec plus de précision que d'autres, la variance d'erreur sera différente, ce qui est courant dans les données d'enquête où les réponses de différents sous-groupes ont une fiabilité variable.
  • Défaut de spécification du modèle: L'omission d'une variable clé ou l'utilisation d'une forme fonctionnelle erronée (par exemple linéaire au lieu de log-linéaire) peuvent créer des patrons dans les résidus qui imitent l'hétéroscédasicité.
  • Points de levier ou valeurs aberrantes: Les observations extrêmes peuvent gonfler la variance dans des régions spécifiques de l'espace prédictif.
  • Données regroupées: Les observations regroupées dans des grappes (p. ex., les élèves à l'intérieur des écoles) peuvent présenter des différences entre les grappes.

Les conséquences de l'ignorance de l'hétéroscédasisme sont graves. Les estimations de l'OLS restent impartiales, mais la variance des coefficients n'est plus correctement estimée. gonflé t-statistiques et des intervalles de confiance plus étroits Par conséquent, les tests d'hypothèse deviennent peu fiables. Dans les grands échantillons, le biais peut être petit, mais dans les petits ou les moyens échantillons, il peut être sévère.

Détecter l'hétéroscédasicité : Méthodes graphiques et statistiques

Aucune méthode n'est infaillible. Une combinaison d'inspection visuelle et de tests d'hypothèse formels fournit l'évaluation la plus robuste.

Méthodes visuelles

Terrain résiduel par rapport à un terrain aménagé: Les diagnostic le plus intuitif Une forme d'entonnoir – les résidus s'amplifient à mesure que les valeurs s'accroissent – indique l'hétéroscédasicité. De même, la représentation des résidus par rapport à chaque prédicteur peut révéler quelle variable conduit à l'hétéroscédasicité.

Emplacement de l'échelle : Aussi appelé graphique de localisation des écarts, ce graphique montre la racine carrée des résidus normalisés absolus par rapport aux valeurs ajustées. L'idée est que la racine carrée des résidus absolus est approximative de l'écart type des erreurs. Une ligne horizontale avec des points de dispersion égaux suggère l'homoscédachicité; toute tendance (p. ex. pente ascendante) indique l'hétéroscédachité. La plupart des logiciels statistiques fournissent cela dans le cadre des diagrammes de diagnostic par défaut (p. ex. en R).

QQ-plot de résidus: Bien que principalement utilisé pour vérifier la normalité, l'hétéroscédasie sévère peut également déformer le QQ-plot, surtout si la variance change systématiquement avec la moyenne. Si les queues s'écartent de la ligne diagonale, l'hétéroscédasie peut être un facteur contributif.

Essais statistiques

Les tests officiels fournissent une règle de décision objective. Trois tests largement utilisés sont le test Breusch–Pagan, le test White et le test Goldfeld–Quandt.

Essai Breusch–Pagan (BP)

Le test BP suppose que la variance des résidus est une fonction linéaire des prédicteurs. L'hypothèse nulle est homoscédastique. La statistique de test est calculée en régressant les résidus carrés sur les prédicteurs originaux (ou sur les valeurs ajustées). La statistique suit une distribution chi-carré avec des degrés de liberté égaux au nombre de régresseurs dans la régression auxiliaire. p-la valeur (typiquement < 0,05) indique l'hétéroscédasicité. Le test BP est sensible à la normalité des erreurs, mais fonctionne bien dans les grands échantillons.

Essai blanc

Le test blanc est une version plus générale du test BP. Il n'assume pas une forme linéaire spécifique pour la fonction de variance. Il inclut plutôt les prédicteurs originaux, leurs carrés et les produits croisés dans la régression auxiliaire. Cela rend le test plus flexible mais utilise aussi plus de degrés de liberté, donc il est mieux adapté lorsque le nombre de prédicteurs est modeste. Un résultat significatif suggère que l'hétéroscédasticité est présente sous une forme non spécifiée. De nombreux progiciels (p. ex. dans Stata, dans les modèles statistiques) l'implémententent.

Essai Goldfeld–Quandt (GQ)

Le test GQ est utile lorsque l'hétéroscédasisme est soupçonné d'être lié à une variable spécifique, comme le revenu ou la taille. Les données sont triées par cette variable et divisées en deux groupes (généralement après avoir omis la partie médiane des observations). F-statistique indique que les variances diffèrent, impliquant une hétéroscédastie. Le choix du point de rupture et la proportion d'observations intermédiaires omises sont quelque peu arbitraires, mais le test est simple et puissant lorsque la structure de variance est monotone.

Recommandation: Effectuer au moins deux tests (p. ex., BP et White) et examiner les placettes résiduelles. Si les preuves visuelles et statistiques indiquent l'hétéroscédasie, il est justifié de prendre des mesures correctives.

Correction pour l'hétéroscédastie: des corrections simples aux méthodes avancées

Une fois l'hétéroscédasisme détecté, l'analyste doit choisir un remède approprié. Le choix dépend de la gravité de la violation, de la taille de l'échantillon, des objectifs de l'analyse et de la connaissance de la forme de l'hétéroscédasisme.

1. Transformer la variable dépendante

L'application d'une transformation stable par variance à la variable dépendante peut souvent atténuer l'hétéroscédasisme.

  • Transformation du journal : Efficace lorsque l'écart type des résidus est proportionnel à la moyenne (hétéroscédasisme multiple). Utilisez si toutes les valeurs sont positives. Par exemple, la modélisation du log(revenu) au lieu du revenu égalise souvent la variance.
  • Transformation des racines carrées : Fonctionne bien pour les données de comptage où la variance est égale à la moyenne (comme Poisson).
  • Transformation inverse: Convient lorsque la variance est proportionnelle à la quatrième puissance de la moyenne (rare en pratique).
  • Transformation de la boîte–Cox: Une famille de transformations de puissance qui inclut log et racine carrée comme cas spéciaux. Le paramètre de puissance optimal peut être estimé par la probabilité maximale.

Après avoir transformé la variable dépendante, réadapter le modèle et réexaminer les placettes résiduelles. Notez que les transformations changent l'interprétation des coefficients; par exemple, dans un modèle log-linéaire, les coefficients représentent des changements approximatifs en pourcentage. Les transformations sont mieux utilisées lorsque le contexte de recherche permet une interprétation significative de l'échelle transformée.

2. Utiliser des erreurs standard compatibles avec l'hétéroscédasicité (Robust SE)

C'est la méthode de correction la plus populaire et la plus pratique, en particulier en économétrie. Des erreurs standard (aussi appelées estimateurs sandwich) ajustent les erreurs standard des coefficients OLS pour être valides en présence d'hétéroscédastie de forme inconnue. Les estimations de coefficient elles-mêmes restent inchangées, préservant l'échelle originale et l'interpretation.

La variante la plus courante est l'estimateur blanc (HC0), mais les corrections de petits échantillons améliorées incluent HC1, HC2 et HC3. Dans la plupart des logiciels, vous pouvez spécifier une option pour obtenir des erreurs standard robustes (p. ex., dans Stata, dans R, dans les modèles statistiques de Python).

Avantages: Simple, fonctionne sans modéliser la structure de variance, préserve les coefficients de SLO et est largement accepté dans la recherche évaluée par les pairs. Inconvénients: Un peu moins efficace que les moindres carrés pondérés lorsque la vraie structure de variance est connue; peut ne pas être fiable dans de très petits échantillons (bien que le HC3 aide).

Pour la plupart des travaux appliqués, les erreurs standard robustes sont un choix par défaut sûr. Elles sont fortement recommandées par les économétriques tels qu'Angrist et Pischke (Économétrie la plus dangereuse) .

3. Les moindres carrés pondérés (WLS)

La WLS est appropriée lorsque la variance des erreurs peut être modélisée en fonction des prédicteurs. Chaque observation est pondérée par l'inverse de sa variance estimée, de sorte que les observations avec variance plus élevée obtiennent moins de poids. L'objectif est d'atteindre l'homoscédasticité dans la régression pondérée.

La mise en oeuvre nécessite une estimation de la fonction de variance.

  • Poids connus: Si la théorie suggère que la variance est proportionnelle à une variable X (p. ex., taille de la population), utiliser des poids = 1/X.
  • Poids estimés: Régressez les résidus absolus (ou les résidus carrés) sur les prédicteurs, puis utilisez les valeurs ajustées (ou leurs inverses) comme poids. Par exemple, si les résidus absolus sont linéairesment liés à X, calculez les valeurs prédites des résidus absolus, les carrér et prenez l'inverse.
  • Repondération itérative: Certains paquets offrent des WLS itératifs qui alternent entre l'estimation des coefficients et la mise à jour des poids.

WLS fournit des estimations efficaces lorsque les poids sont correctement spécifiés. Cependant, les poids mal précisés peuvent conduire à des erreurs standard incohérentes et même biais si les poids sont corrélés avec les erreurs. Par conséquent, WLS est le mieux utilisé lorsque la forme de l'hétéroscédasie est bien comprise de la théorie ou de l'analyse préalable.

4. Les moindres carrés généralisés

GLS est un cadre plus général qui permet aux erreurs d'avoir une structure de covariance, y compris l'hétéroscédasisme et l'autocorrélation. Dans le cas d'erreurs indépendantes mais hétéroscédastiques, GLS se réduit à WLS. Feasible GLS (FGLS) utilise des paramètres de covariance estimés, qui peuvent être basés sur des informations antérieures ou une estimation en deux étapes.

5. Méthodes de régression robuste

Si l'hétéroscédasisme est accompagné de distributions d'erreurs aberrantes ou à queue lourde, on peut utiliser des techniques de régression robustes (p. ex., estimation M, régression Huber-White, régression quantile).Ces méthodes réduisent le poids des observations influentes et fournissent des estimations de coefficients moins sensibles aux violations des hypothèses classiques. Combinées à des erreurs standard compatibles avec l'hétéroscédastisme, elles offrent une protection contre de multiples formes de déflexion.

Recommandations pratiques : un flux de travail étape par étape

Lors de la construction de modèles de régression, considérez le workflow suivant pour gérer l'hétéroscedasticité:

  1. Adapter le modèle initial de l'OLS et ensuite générer une parcelle de résidus contre-encastrés et une parcelle de localisation à l'échelle.
  2. Effectuer des essais officiels (Breusch–Pagan et White) pour confirmer l'impression visuelle. Si les deux tests sont non significatifs et que les parcelles semblent propres, vous n'aurez peut-être pas besoin de corriger.
  3. Si l'hétéroscédasisme est présent, d'abord examiner si une transformation de la variable dépendante est appropriée. Par exemple, si le DGP suggère des erreurs multiplicatives, une transformation log peut corriger à la fois l'hétéroscédasicité et la non-linéarité.
  4. Si la transformation n'est pas souhaitable (p. ex., l'interprétation devient gênante), utiliser des erreurs standard robustes (HC3 pour les petits échantillons), c'est l'approche la plus simple et la plus largement acceptée.
  5. Si la structure de variance est connue et l'efficacité est importante, implémenter les moindres carrés pondérés. Vérifier que les poids sont positifs et que la courbe résiduelle pondérée ne montre aucun motif.
  6. Documenter toutes les étapes du diagnostic et les corrections dans votre rapport ou script. Un rapport transparent améliore la reproductibilité et la confiance dans les résultats.

Conclusion : Construire des modèles de régression fiables

L'hétéroscédasisme est une violation courante mais gérable des hypothèses de régression. En utilisant systématiquement des diagnostics graphiques et des tests formels, les analystes peuvent détecter sa présence tôt. Le choix de la méthode de correction dépend du contexte : des erreurs standard robustes offrent une solution simple et robuste qui fonctionne dans la plupart des paramètres, tandis que les transformations et les moindres carrés pondérés fournissent des gains d'efficacité lorsque la structure de variance est comprise.

Pour plus de détails, consulter des textes économétriques faisant autorité, tels que Laine de terre Économétrie introductive et Verts Analyse économétrique. Un aperçu concis peut être trouvé sur Wikipédia. Des exemples pratiques de logiciels et de code sont disponibles à partir de UCLA , Groupe de consultation statistique. Enfin, PennState STAT 462 notes de cours fournir une introduction accessible avec des exemples de données réelles.