Lo que es la multicollinearidad y por qué importa en el análisis de regresión

La multicollinearidad es un fenómeno que ocurre cuando dos o más variables predictoras en un modelo de regresión muestran una fuerte relación lineal. En un entorno de regresión ideal, cada predictor debe aportar información única sobre la variable dependiente. Cuando los predictores están muy correlacionados, el modelo lucha por aislar sus efectos individuales. Esto puede llevar a errores estándar inflados, estimaciones coeficiente inestables, y reducción de potencia estadística, problemas de predicción y predicción.

La multicollinealidad puede ser perfecto o imperfecto. La multicollinearidad perfecta surge cuando un predictor es una combinación lineal exacta de otros (por ejemplo, incluyendo tanto "altura en metros" como "altura en centímetros"). La multicollinearidad imperfecta, que es más común en la práctica, implica correlaciones muy altas, pero no exactas, mientras que la colinearidad imperfecta no rompe la asunción de la alta graduación, todavía degrada a los investigadores de la calidad del modelo.

Causas comunes de la multicollinearidad

La multicollinearidad suele surgir de los datos mismos, de la construcción variable o del diseño de investigación. Reconocer estas causas ayuda a los analistas a comprobar proactivamente la colilinearidad antes de interpretar los resultados.

  • Variables relacionadas con la temática: Incluyendo tanto un total como sus partes componentes (por ejemplo, puntuación total y puntuaciones subescala, o ingresos e impuestos pagados) garantizan la redundancia.
  • Mediciones duplicadas o superpuestas: Utilizar indicadores muy similares como el PIB y el PNB, o la presión arterial sistólica y diastólica, pueden introducir colilinearidad.
  • Tamaño de muestra pequeño en relación con el número de predictores: Cuando n es pequeño y p es grande, el modelo tiene información limitada para estimar coeficientes separados, a menudo conduce a correlaciones casi perfectas en la matriz de diseño.
  • Variables transformadas: La creación de términos polinomios (por ejemplo, x y x2) o términos de interacción (x×z) a menudo produce altas correlaciones con las variables originales, especialmente si los rangos de las variables están limitados.
  • Dependencias temporales o espaciales: Los datos de la serie de tiempo con tendencias, como incluir "año" y "tamaño de población" pueden exhibir collinearidad porque ambas variables aumentan con el tiempo.

En algunos campos, los predictores están inherentemente correlacionados. Por ejemplo, en modelos de precios de vivienda, imágenes cuadradas, número de dormitorios y mucho tamaño tienden a ser moderadamente correlacionados.El objetivo es no eliminar toda correlación —algunos es natural— sino evitar niveles que desestabilizan la regresión.

Efectos de la multicollinearidad en los resultados de la regresión

Cuando se presenta multicollinearidad, las estimaciones de los mínimos cuadrados ordinarios siguen siendo imparciales, pero sus diferencias aumentan. Las consecuencias pueden perjudicar gravemente la utilidad de los modelos:

Errores estándar inflados e intervalaciones de confianza más amplia

La alta colilinearidad hace que el modelo tenga dificultad para asignar una varianza única a cada predictor. Como resultado, los errores estándar del globo de coeficientes de regresión. Los errores más grandes estándar hacen que sea más difícil rechazar la hipótesis nula; un predictor que es realmente importante puede parecer estadísticamente insignificante. Esto aumenta el riesgo de error tipo II, al no poder detectar un efecto real.

Coeficientes inestables

Las estimaciones de coeficiente pueden ser extremadamente sensibles a los pequeños cambios de los datos. La adición o eliminación de una observación individual puede cambiar las señales o alterar drásticamente las magnitudes. Esta inestabilidad es particularmente peligrosa cuando el modelo se utiliza para las recomendaciones de inferencia o política, ya que las conclusiones extraídas de los coeficientes no pueden reproducirse en nuevas muestras.

Reducir la interpretación

Con predictores correlativos, la pendiente de regresión individual ya no representa el efecto aislado de esa variable manteniendo todo lo demás constante, porque la condición "continuista" no es realista cuando los predictores se mueven juntos. Los analistas pueden malinterpretar coeficientes, lo que conduce a un consejo erróneo.

Desgravación del rendimiento predictivo

Aunque la multicollinearidad no sesgada las predicciones en promedio, aumenta la diferencia de valores predichos. En la práctica, los modelos con alta collinearidad tienden a sobrepalancar los datos de capacitación y generalizarse mal a nuevos datos. Los métodos de regularización pueden ayudar, pero la collinearidad debe ser abordada para predicciones confiables.

Cómo detectar la multicollinearidad

Existen varias herramientas de diagnóstico para marcar la collinearidad problemática. Las métricas más utilizadas son el Factor de Inflación de Variancia (VIF), matrices de correlación y índices de afección.

Factor de inflación de la variación (VIF)

VIF mide cuánto se infla la varianza de un coeficiente de regresión debido a la colinearidad con otros predictores. Se calcula registrándose cada predictor en todos los otros predictores y luego computando VIFi = 1 / (1 – R2i). Una regla común del pulgar es que los valores de VIF superiores a 5 o 10 indican la multicollinearidad problemática, aunque los umbrales pueden variar por campo y tamaño de muestra. Página VIF de Wikipedia proporciona una explicación técnica detallada.

Matriz de correlación

Inspección de correlaciones pares entre predictores Pearson es un primer paso rápido. Correlaciones por encima de 0.7 o 0.8 pueden indicar problemas, pero note que la multicollinearidad puede implicar más de dos variables (collinearidad multitivariada) que podrían no aparecer en correlaciones pares. Por lo tanto, confiar solamente en una matriz de correlación es insuficiente.

Número de condición y análisis de valor

El número de condición de la matriz de diseño es un diagnóstico más completo. Se calcula como la raíz cuadrada de la relación del mayor valor eigenvalue al menor valor de la matriz de correlación. Un número de condición inferior a 30 se considera a menudo leve, 30–100 indica moderada a fuerte multicollinealidad, y más de 100 sugiere una colilinearidad severa. Documentación de NCSS sobre diagnóstico de collinearidad ofrece orientaciones detalladas sobre la interpretación de índices de condiciones y proporciones de descomposición de diferencias.

Otros diagnósticos

  • Tolerancia: El recíproco de la VIF (tolerancia = 1 – R2i). Los valores inferiores a 0.1 o 0,2 indican una grave collinearidad.
  • Proporciones de descomposición de la variación: Muestra qué variables contribuyen a cada eigenvalue. Una alta proporción (por ejemplo, √0.5) para dos o más coeficientes en una pequeña señal de eigenvalue la collinearidad dañina.

Estrategias para abordar la multicollinearidad

Una vez diagnosticado, varios enfoques pueden mitigar los efectos negativos de la multicollinearidad. La mejor opción depende de los objetivos de investigación (inferencia vs. predicción) y de la naturaleza de los datos.

Quitar o combinar variables

El remedio más simple es soltar uno o más de los predictores altamente correlacionados. El conocimiento de dominio debe guiar qué variable a mantener. Alternativamente, crear una variable compuesta (por ejemplo, índice de masa corporal promedio y relación de cintura a hip en un único índice de obesidad) si la combinación de ellos tiene sentido conceptual. Este enfoque preserva la información sin la colinearidad.

Principales análisis de componentes (PCA)

PCA transforma los predictores correlativos en un conjunto de componentes principales no relacionados. Luego puede utilizar un subconjunto de estos componentes como predictores. Mientras PCA elimina eficazmente la collinearidad, sacrifica la interpretabilidad porque los componentes son combinaciones lineales de variables originales. Este método se utiliza a menudo más para la predicción que la explicación.

Regreso de Ridge (L2 Regularización)

La regresión de Ridge añade una penalización sobre la suma de coeficientes cuadrados, encogiéndolos hacia cero pero no eliminandolos. Este intercambio de sesgos-variancia reduce la variabilidad de las estimaciones de coeficiente, haciendo de la cresta una opción popular cuando está presente la multicollinearidad. Este artículo sobre Medium explica la comparación entre la cresta y el láser en términos prácticos. Ridge es especialmente útil cuando desea mantener todos los predictores en el modelo.

Regreso de Lasso (L1 Regularización)

Lasso añade una penalización sobre el tamaño absoluto de los coeficientes, que puede reducir algunos coeficientes exactamente a cero. Esto proporciona una selección automática variable, haciendo que el láser sea una buena opción cuando usted sospecha que muchos predictores son redundantes. Sin embargo, el lasso puede ser inestable con grupos altamente correlacionados; una variante llamada red elástica combina la cresta y las penas lasso para manejar la collinearidad más agraciadamente.

Aumentar el tamaño de la muestra

Si la collinearidad surge de un pequeño n relativa a p, recopilar más datos puede reducir los errores estándar suficientes para estabilizar las estimaciones. Sin embargo, esto a menudo es poco práctico debido a los costos o limitaciones de tiempo.

Regreso parcial de las plazas mínimas (PLS)

PLS extrae componentes latentes que maximizan la covariancia entre predictores y el resultado, similar a PCA pero con un giro supervisado. Maneja bien la collinearidad y preserva la interpretabilidad mejor que PCA en algunos contextos.

Ejemplo práctico: Detectar la Collinearidad en un modelo de precio de vivienda

Imagínate que estás construyendo un modelo para predecir los precios de la casa (Y tú.) utilizando los predictores: tamaño (sq ft), número de dormitorios, número de baños, tamaño de lote y año construido. tamaño y número de dormitorios a menudo correlacionados (r √≥ 0.7). Ejecutar un cálculo VIF podría producir valores VIF de 9 para tamaño y 8 para dormitorios. El índice de condición podría ser 45, indicando la colilinearidad moderada.

Conclusión: Hacer Diagnósticos de Multicollinearidad un paso de rutina

La multicollinearidad no es un defecto fatal, es una condición de datos común que, cuando se identifica y maneja correctamente, no impide construir modelos de regresión útiles. La clave es calcular de forma rutinaria los índices VIF y condicionar antes de interpretar coeficientes o hacer predicciones. Entender los matices de detección y remedio permite a los analistas mejorar la fiabilidad de modelo, evitar interpretaciones erróneas y comunicar los resultados con confianza.

Para más lectura, el Intercambio de pila validado por Cruz ofrece extensas discusiones sobre la multicollinearidad con ejemplos reales, mientras Notas del curso STAT 462 del Estado del Penn proporcionar un tratamiento académico sólido del tema.