Understanding the Concept of Multicollinearity and Its Effects on Regression
Table of Contents
Ce qui est la multicollinéarité et pourquoi cela importe dans l'analyse de régression
La multicollinéarité est un phénomène qui se produit lorsque deux variables prédictives ou plus dans un modèle de régression présentent une forte relation linéaire. Dans un contexte de régression idéal, chaque prédicteur devrait fournir des informations uniques sur la variable dépendante. Lorsque les prédicteurs sont fortement corrélés, le modèle a du mal à isoler leurs effets individuels.
La multicolinéarité peut être soit parfait ou imparfait. La multicolinéarité parfaite se produit lorsqu'un prédicteur est une combinaison linéaire exacte d'autres facteurs (p. ex., incluant à la fois la « hauteur en mètres » et la « hauteur en centimètres). L'imperfect multicolinéarité, qui est plus courante dans la pratique, implique des corrélations très élevées, mais pas exactes. Bien que la colinéarité imparfaite ne rompe pas l'hypothèse de pleine qualité, elle dégrade encore la qualité du modèle.
Causes communes de la multicolinéarité
La multicolinéarité découle souvent des données elles-mêmes, de la construction variable ou de la conception de la recherche. La reconnaissance de ces causes aide les analystes à vérifier la colinéarité de façon proactive avant d'interpréter les résultats.
- Variables liées à la mathématique: Inclure à la fois un total et ses composantes (p. ex., scores totaux et sous-échelles, ou revenu et impôts payés) garantit la redondance.
- Mesures du double ou du double emploi: L'utilisation d'indicateurs très similaires comme le PIB et le PNB, ou la pression artérielle systolique et diastolique, peut introduire la colinéarité.
- Petite taille d'échantillon par rapport au nombre de prédicteurs : Lorsque n est petit et p est grande, le modèle a peu d'information pour estimer des coefficients séparés, conduisant souvent à des corrélations presque parfaites dans la matrice de conception.
- Variables transformées: La création de termes polynômes (par exemple x et x2) ou d'interactions (x×z) produit souvent des corrélations élevées avec les variables originales, surtout si les plages de variables sont confinées.
- Dépendances temporelles ou spatiales: Les données de séries chronologiques avec des tendances, comme celles qui incluent à la fois « l'année » et « la taille de la population », peuvent présenter une colinéarité, car les deux variables augmentent au fil du temps.
Dans certains domaines, les prédicteurs sont intrinsèquement corrélés.Par exemple, dans les modèles de prix de l'habitation, les superficies carrées, le nombre de chambres et la taille du lot ont tendance à être modérément corrélés. L'objectif n'est pas d'éliminer toute corrélation – certaines sont naturelles – mais d'éviter les niveaux qui déstabilisent la régression.
Effets de la multicolinéarité sur les résultats de régression
Lorsque la multicollinéarité est présente, les estimations ordinaires des moindres carrés (SCO) demeurent impartiales, mais leurs variances augmentent. Les conséquences peuvent altérer gravement l'utilité du modèle :
Erreurs standard gonflées et intervalles de confiance plus larges
La colinéarité élevée rend le modèle difficile à attribuer une variance unique à chaque prédicteur. Par conséquent, les erreurs standard des coefficients de régression ballonnent. Les erreurs standard plus grandes rendent plus difficile de rejeter l'hypothèse nulle; un prédicteur qui est vraiment important peut sembler statistiquement insignifiant.
Coefficients instables
L'ajout ou la suppression d'une seule observation peut faire basculer des signes ou modifier radicalement des grandeurs. Cette instabilité est particulièrement dangereuse lorsque le modèle est utilisé pour l'inférence ou les recommandations de politique, car les conclusions tirées des coefficients ne peuvent pas se reproduire dans de nouveaux échantillons.
Réduction de l'interpretabilité
Avec les prédicteurs corrélés, la pente de régression individuelle ne représente plus l'effet isolé de cette variable qui maintient tout le reste constant, car la condition « constante » est irréaliste lorsque les prédicteurs se déplacent ensemble.
Performance prédictive dégradée
Bien que la multicolinéarité ne fausse pas les prévisions en moyenne, elle augmente la variance des valeurs prédites. Dans la pratique, les modèles à forte colinéarité ont tendance à suradapter les données de formation et à généraliser mal aux nouvelles données.
Comment détecter la multicollinéarité
Plusieurs outils de diagnostic existent pour signaler la colinéarité problématique. Les mesures les plus utilisées sont le facteur d'inflation de variance (VIF), les matrices de corrélation et les indices de condition.
Facteur d'inflation des écarts (FIV)
Le FIV mesure la variance d'un coefficient de régression gonflée en raison de la colinéarité avec d'autres prédicteurs. Il est calculé en régressant chaque prédicteur sur tous les autres prédicteurs et en calculant ensuite le FIV.Les = 1 / (1 – R2Les) Une règle courante est que les valeurs de la FIV supérieures à 5 ou 10 indiquent une multicolinéarité problématique, bien que les seuils puissent varier selon la taille du champ et de l'échantillon. Page de Wikipedia fournit une explication technique approfondie.
Matrice de corrélation
L'inspection des corrélations Pearson par paires entre les prédicteurs est une première étape rapide. Les corrélations supérieures à 0,7 ou 0,8 peuvent signaler des problèmes, mais il est à noter que la multicollinéarité peut impliquer plus de deux variables (collinéarité multivariée) qui ne peuvent pas apparaître dans les corrélations par paires.
Numéro de condition et analyse de la valeur propre
Le nombre de conditions de la matrice de conception est un diagnostic plus complet. Il est calculé comme la racine carrée du rapport de la plus grande valeur propre à la plus petite valeur propre de la matrice de corrélation. Un nombre de conditions inférieur à 30 est souvent considéré comme léger, 30–100 indique une multicolinéarité modérée à forte, et plus de 100 suggère une colinéarité sévère. Documentation du NCSS sur le diagnostic de la colinéarité offre des conseils détaillés sur l'interprétation des indices de condition et des proportions de décomposition de variance.
Autres diagnostics
- Tolérance: La réciprocité de VIF (tolérance = 1 – R2Les) Les valeurs inférieures à 0,1 ou 0,2 indiquent une colinéarité grave.
- Proportions de décomposition des écarts: Indique quelles variables contribuent à chaque valeur propre. Une forte proportion (par exemple >0,5) de deux coefficients ou plus sur une petite valeur propre indique une colinéarité néfaste.
Stratégies de lutte contre la multicolinéarité
Une fois diagnostiquée, plusieurs approches peuvent atténuer les effets négatifs de la multicolinéarité. Le meilleur choix dépend des objectifs de recherche (inférence par rapport à prédiction) et de la nature des données.
Supprimer ou combiner des variables
La solution la plus simple consiste à abandonner un ou plusieurs des prédicteurs fortement corrélés. La connaissance du domaine devrait guider la variable à conserver. Ou bien, créer une variable composite (p. ex., indice de masse corporelle moyen et rapport taille-poil en un seul indice d'obésité) si la combinaison de ces variables a un sens conceptuel.
Analyse des composantes principales (APC)
PCA transforme les prédicteurs corrélés en un ensemble de composants principaux non corrélés. Vous pouvez ensuite utiliser un sous-ensemble de ces composants comme prédicteurs. Bien que PCA supprime efficacement la colinéarité, il sacrifie l'interprétation parce que les composants sont des combinaisons linéaires de variables originales.
Régression de la crête (régularisation L2)
La régression de la crête ajoute une pénalité sur la somme des coefficients carrés, les réduisant vers zéro mais ne les éliminant pas. Ce compromis de la variation de biais réduit la variance des estimations de coefficients, faisant de la crête un choix populaire lorsque la multicolinéarité est présente. Cet article sur le Moyen explique la comparaison entre la crête et le lasso en termes pratiques. Ridge est particulièrement utile quand vous voulez garder tous les prédicteurs dans le modèle.
Régression de Lasso (régularisation L1)
Lasso ajoute une pénalité sur la taille absolue des coefficients, qui peut réduire certains coefficients exactement à zéro. Cela fournit la sélection automatique de variables, faisant de lasso une bonne option lorsque vous soupçonnez que de nombreux prédicteurs sont redondants. Cependant, lasso peut être instable avec des groupes fortement corrélés; une variante appelée filet élastique combine les sanctions de crête et lasso pour gérer la colinéarité avec plus de grâce.
Augmenter la taille de l'échantillon
Si la colinéarité provient d'un petit n relative à p, la collecte de plus de données peut réduire les erreurs types suffisamment pour stabiliser les estimations. Cependant, cela est souvent impossible en raison des contraintes de coûts ou de temps.
Régression partielle des moindres carrés (PLS)
PLS extrait des composants latents qui maximisent la covariance entre les prédicteurs et le résultat, semblable à PCA mais avec une torsion supervisée. Il gère bien la colinéarité et préserve l'interprétabilité mieux que PCA dans certains contextes.
Exemple pratique : Détecter la colinéarité dans un modèle de prix de logement
Imaginez que vous construisez un modèle pour prédire les prix des maisons (ySi la précision des prédictions est le seul objectif, on peut appliquer une régression de crête pour garder toutes les variables tout en stabilisant les estimations.
Conclusion : Faire du diagnostic de multicollinéarité une étape courante
La multicolinéarité n'est pas une faille fatale, c'est une condition de données courante qui, lorsqu'elle est correctement identifiée et manipulée, n'empêche pas la construction de modèles de régression utiles. La clé est de calculer régulièrement les indices de la VIF et de l'état avant d'interpréter les coefficients ou de faire des prédictions. La compréhension des nuances de détection et de remède permet aux analystes d'améliorer la fiabilité du modèle, d'éviter les interprétations erronées et de communiquer les résultats avec confiance.
Pour plus de détails, voir Communauté d'échange de piles validées croisées offre de longues discussions sur la multicolinéarité avec des exemples du monde réel, tandis que Penn State STAT 462 notes de cours fournir un traitement académique solide du sujet.