The Basics of Logistic Regression and Its Applications
Table of Contents
La regresión logística es una de las técnicas estadísticas más utilizadas para problemas de clasificación binaria. Si usted está prediciendo si un cliente se va a descomponer, un paciente tiene una enfermedad, o un correo electrónico es spam, regresión logística proporciona un marco simple pero poderoso para estimar la probabilidad de un evento basado en una o más variables predictoras. A diferencia de la regresión lineal, que modelos resultados continuos, regresión logística es diseñado para resultados categóricos
Comprender la función logística
En el núcleo de regresión logística es la función logística, también conocida como la función sigmoide. Esta curva en forma de S mapea cualquier número real valorado a un valor entre 0 y 1, lo que lo hace ideal para representar probabilidades. La función logística se define como:
P(Y = 1 TENIDO X) = 1 / (1 + e-(β)0 + β1X1 + βnXn))
Aquí, P(Y = 1 TENIDO X) es la probabilidad de que el resultado sea igual a la clase positiva (por ejemplo, “diseastante”) dadas las previsiones. La expresión dentro del exponente es una combinación lineal de los predictores, ponderada por coeficientes β. Al aplicar la función logística, esta combinación lineal se exprime en el rango [0, 1], produciendo una estimación de probabilidad.
Una formulación equivalente utiliza el logit la tracción (probabilidades de la trama) es el logarit natural de las probabilidades del evento:
logit(p) = ln(p / (1 - p)) = β0 + β1X1 + βnXn
Esta relación lineal entre las probabilidades de registro y los predictores es lo que hace que la regresión logística sea un miembro de la familia modelo lineal generalizado (GLM). Los coeficientes representan el cambio en las probabilidades de registro del resultado para un aumento único en el predictor, manteniendo constantes otras variables.
Cómo se calculan los coeficientes
La regresión logística no utiliza los mínimos cuadrados ordinarios (OLS) como la regresión lineal. En lugar de ello, emplea estimación máxima de probabilidad (MLE). El objetivo de MLE es encontrar el conjunto de valores de coeficiente que hacen los datos observados más probables. Para un conjunto de datos con N observaciones, la función de probabilidad multiplica las probabilidades predichas para los resultados reales. El algoritmo ajusta iterativamente los coeficientes para maximizar esta probabilidad (o equivalentemente, minimizar la probabilidad de log negativo).
Debido a que la función de probabilidad no tiene una solución de forma cerrada, se utilizan métodos de optimización numéricos como Newton‐Raphson o gradiente descenso. Software estadístico moderno (R, Python's , SPSS) maneja esto automáticamente, pero entender la naturaleza iterativa ayuda a explicar por qué la regresión logística a veces puede no converger, especialmente con una separación perfecta o datos extremadamente desequilibrados.
Interpretación de los coeficientes
Los coeficientes de regresión logística no son tan sencillos como en regresión lineal. Mientras un coeficiente positivo aumenta las probabilidades de registro (y por lo tanto la probabilidad), la magnitud no se traduce directamente en un cambio de probabilidad, el efecto depende del nivel de probabilidad actual.
Para una interpretación más fácil, muchos analistas exponen los coeficientes para obtener ratios de probabilidades. Una relación de probabilidades mayor a 1 indica que el predictor aumenta las probabilidades del evento; menos de 1 disminuye las probabilidades. Por ejemplo, si el coeficiente para un predictor es de 0.5, la relación de probabilidades es e0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0 0 0 0,5 0,5 0,5 0,5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Ω 1.65. Eso significa un aumento de una unidad en ese predictor multiplica las probabilidades del evento por 1.65, manteniendo todo lo demás constante.
Las relaciones de riesgo son comúnmente reportadas en investigación médica y epidemiológica porque son intuitivas y fáciles de comunicar. Sin embargo, sólo aproximan el riesgo relativo cuando el evento es raro.
Tipos de regresión logística
Aunque el caso binario es la regresión logística más común se extiende a los resultados con más de dos categorías:
- Regreso logístico binario: Dos categorías de resultados (por ejemplo, sobrevivieron o fueron).
- Regreso logístico multinomio: Tres o más categorías no ordenadas (por ejemplo, tipo de transporte: coche, autobús, tren).
- Regreso logístico ordinal: Tres o más categorías ordenadas (por ejemplo, calificación: baja, media, alta). Los modelos ordinal (proporcional probabilidades) asumen el efecto de los predictores es consistente en los umbrales.
Cada variante utiliza funciones de enlace apropiadas y procedimientos de estimación, pero se aplica el marco básico de regresión logística.
Sumas de regresión logística
La regresión logística es más flexible que la regresión lineal, pero sigue dependiendo de varias hipótesis clave:
- Resultado binario o ordinal: La variable dependiente debe ser categórica.
- Independencia de las observaciones: Los puntos de datos no deben provenir de medidas repetidas o pares emparejados sin contabilizar el agrupamiento.
- No multicollinearidad: Los predictores no deben estar muy correlacionados entre sí; de lo contrario, los errores estándar se inflaman y estiman inestables.
- Linearidad de probabilidades de registro: La transformación de la logit asume una relación lineal entre predictores continuos y las probabilidades de registro del resultado. Las relaciones no lineales pueden ser abordadas con términos de interacción o líneas de espacia.
- Tamaño de muestra suficiente: Una regla común de pulgar es 10-20 eventos por variable predictor (EPV). Demasiados eventos pueden llevar a estimaciones parciales e inestables.
Violar estas suposiciones puede reducir la validez del modelo. Se recomiendan cheques de diagnóstico, como pruebas para puntos influyentes, comprobando la prueba de bondad de beneficio de Hosmer‐Lemeshow y examinando las parcelas residuales antes de finalizar el modelo.
Evaluando los modelos de regresión logística
Después de ajustar un modelo de regresión logística, usted necesita evaluar su rendimiento. métricas de evaluación comunes incluyen:
- Precisión: La proporción de predicciones correctas. No es ideal para conjuntos de datos desbalanzados.
- Precisión y Rechazo: Precisión = TP / (TP + FP); Recordar = TP / (TP + FN). A menudo se utiliza en la recuperación de información y pruebas médicas.
- F1 Puntuación: La forma armónica de precisión y memoria, útil cuando ambos son importantes.
- ROC‐AUC: El área bajo la curva característica de funcionamiento del receptor mide la capacidad del modelo para distinguir entre clases a través de todas las configuraciones del umbral. Los valores varían de 0,5 (arbor) a 1 (perfecto).
- Log‐Perdida: También se llama pérdida de la tropieza cruzada, esto penaliza las predicciones erróneas confiadas en gran medida. La pérdida de tronco inferior indica mejores probabilidades calibradas.
Para la selección de modelos, criterios tales como Akaike Information Criterion (AIC) y Criterio de información Bayesian (BIC) equilibrio adecuado y complejidad. Los valores inferiores son preferidos.
Pitfalls comunes y cómo evitarlos
La regresión logística, a pesar de su simplicidad, puede hacer tropiezos con los practicantes. Aquí hay algunos problemas frecuentes:
- Separación perfecta: Cuando un predictor separa perfectamente los dos grupos de resultados, la función de probabilidad no tiene un máximo — los coeficientes pueden llegar a ser infinitos. Las soluciones incluyen el uso de la probabilidad penalizada de Firth, la eliminación del predictor del delito, o el establecimiento de un enfoque anterior (acercamiento de Basílica).
- Superficie: Incluir demasiados predictores relativos al tamaño de la muestra puede hacer que el modelo se ajuste al ruido. La regularización (L1 o L2) ayuda a reducir los coeficientes y mejorar la generalización.
- Ignorando interacciones: La asunción de efectos aditivos puede ser errónea. Prueba de interacciones, especialmente para los predictores clave, puede mejorar el modelo adecuado.
- Escala de predictores: Aunque no se requiere estrictamente (como en las redes de SVM o neuronales), grandes diferencias de escala pueden causar problemas de convergencia en algunas rutinas de optimización.
Aplicaciones en todas las industrias
La regresión logística sigue siendo un elemento básico de la ciencia y las estadísticas de datos debido a su interpretación y fiabilidad. Algunas aplicaciones del mundo real incluyen:
- Salud: Predecir la probabilidad de readmisión hospitalaria, riesgo de enfermedad (por ejemplo, diabetes, ataque cardíaco) o respuesta a un tratamiento.
- Finanzas: Anotación de crédito, predicción por defecto de préstamo, detección de fraude (bario: transacción fraudulenta o legítima).
- Marketing: Estimación de la respuesta del cliente a una promoción, predecir los índices de clics.
- Ciencias sociales: Modelar el comportamiento de voto, la reincidencia o el logro educativo.
- Comercio electrónico: Aceptación de recomendación de producto, predicción de churn.
En cada dominio, la regresión logística proporciona un modelo de referencia que a menudo realiza sorprendentemente bien en comparación con algoritmos más complejos, especialmente cuando los datos están bien estructurados y las relaciones son aproximadamente lineales en probabilidades de registro.
Comparación con otros métodos de clasificación
Regreso logístico contra regresión lineal
La regresión lineal predice resultados continuos y supone una distribución normal de errores. La regresión logística predice probabilidades y utiliza una distribución binomio de errores. Utilizar regresión lineal para los resultados binarios puede producir probabilidades fuera del rango [0,1] y violar las suposiciones de la homoscedasticidad.
Regreso logístico vs. Árboles de decisión
Los árboles de decisión pueden capturar interacciones no lineales automáticamente y son más interpretables en forma de árboles. Sin embargo, son propensos a sobreajustar y pueden no generalizar, así como regresión logística regularizada. La regresión logística tiende a ser más estable con pequeños conjuntos de datos y produce estimaciones de probabilidad suave.
Regreso logístico vs. Máquinas vectoriales de soporte (SVM)
Los SVM con un núcleo lineal son similares a la regresión logística pero se centran en maximizar el margen entre las clases. Los SVM pueden manejar mejor los datos de alta dimensión, pero la regresión logística ofrece estimaciones de probabilidad directa y es más fácil de interpretar a través de ratios de probabilidades. Para límites no lineales, SVMs con núcleos a menudo superan la regresión logística a menos que se aplique la ingeniería de características.
Regreso logístico contra redes neuronales
Las redes neuronales pueden modelar relaciones muy complejas pero requieren más datos, sintonización y recursos computacionales. Para problemas en los que la interpretabilidad es crítica (por ejemplo, cumplimiento regulatorio), la regresión logística es preferida. La regresión logística se puede ver como una red neuronal de un solo capa con una activación sigmoide.
Las mejores prácticas para la construcción de modelos de regresión logística
Para sacar el máximo provecho de la regresión logística, siga estos pasos:
- Análisis de datos exploratorios (EDA): Consulte los valores perdidos, los valores más destacados, el desequilibrio de clase y las correlaciones entre los predictores. Considere técnicas como SMOTE para datos desbalanzados.
- Selección Variable: Utilice el conocimiento de dominio, selección gradual o regularización (Lasso) para retener sólo predictores significativos.
- Fit y Diagnostico: Fitar el modelo y examinar los residuos, influir en el diagnóstico (la distancia de Cook) y la prueba Hosmer‐Lemeshow.
- Validar: Dividir datos en conjuntos de entrenamiento, validación y test (o utilizar la validación cruzada).
- Interpret: Coeficientes actuales como ratios de probabilidades con intervalos de confianza. Plot predijo probabilidades para escenarios clave.
Aplicación del software
La regresión logística está disponible en prácticamente todos los entornos estadísticos. En R, utilice con . En Python, ofrece regularización L1/L2 y soporte multinomio. Para el modelado más avanzado, herramientas como en Python proporcionan una producción sumaria detallada con valores teóricos y pseudo-R2 estadística más profunda. Artículo de regresión logística de Wikipedia ofrece un tratamiento matemático completo.
Conclusión
La regresión logística es una técnica fundamental que sigue siendo muy relevante en la era del aprendizaje profundo. Su facilidad de interpretación, robustez estadística y capacidad para producir probabilidades bien calibradas lo hacen indispensable para muchas tareas de clasificación binaria. Si bien modelos más complejos pueden ocasionalmente ofrecer mayor precisión predictiva, la regresión logística proporciona una base transparente y explicable que a menudo es suficiente, especialmente cuando los datos son limitados o regulatorios la interpretación de la disciplina. Notas del curso del estado del pene y Recursos de regresión logística de UCLA IDRE proporcionar material suplementario excelente.