The Basics of Logistic Regression and Its Applications
Table of Contents
La régression logistique est l'une des techniques statistiques les plus utilisées pour les problèmes de classification binaire. Que vous prévoyiez si un client va churn, un patient a une maladie, ou un courriel est spam, la régression logistique fournit un cadre simple mais puissant pour estimer la probabilité d'un événement basé sur une ou plusieurs variables prédictives. Contrairement à la régression linéaire, qui modélise les résultats continus, la régression logistique est conçue pour des résultats catégoriques, généralement avec deux valeurs possibles : succès/échec, oui/non, ou 0/1. Cet article fournit un aperçu complet de la régression logistique, ses fondements mathématiques, applications pratiques, hypothèses clés et pièges communs.
Comprendre la fonction logistique
Au cœur de la régression logistique se trouve la fonction logistique, aussi connue sous le nom de fonction sigmoïde. Cette courbe en forme de S cartographie tout nombre réel à une valeur comprise entre 0 et 1, ce qui la rend idéale pour représenter les probabilités. La fonction logistique est définie comme:
P(Y = 1 , X) = 1 / (1 + e-(β)0 + β1X1 + ... + βnXn))
Ici, P(Y = 1 , X) est la probabilité que le résultat soit égal à la classe positive (par exemple, -) donnée par les prédicteurs. L'expression à l'intérieur de l'exposant est une combinaison linéaire des prédicteurs, pondérée par les coefficients β. En appliquant la fonction logistique, cette combinaison linéaire est pressée dans la plage [0, 1], produisant une estimation de probabilité.
Une formulation équivalente utilise la logit transformation. Le logit (probabilité de log) est le logarithme naturel des chances de l'événement:
logit(p) = ln(p / (1 - p)) = β0 + β1X1 + ... + βnXn
Cette relation linéaire entre les cotes logarithmiques et les prédicteurs fait de la régression logistique un membre de la famille des modèles linéaires généralisés (GLM). Les coefficients représentent le changement des cotes logarithmiques du résultat pour une augmentation d'une unité dans le prédicteur, tenant d'autres variables constantes.
Comment les coefficients sont estimés
La régression logistique n'utilise pas les moindres carrés ordinaires (SLO) comme la régression linéaire. estimation de la probabilité maximale (EMI). L'objectif de MLE est de trouver l'ensemble de valeurs de coefficient qui rendent les données observées plus probables. N La fonction de probabilité multiplie les probabilités prévues pour les résultats réels. L'algorithme ajuste les coefficients pour maximiser cette probabilité (ou, de façon équivalente, minimiser la probabilité de log-lihood négative).
Comme la fonction de probabilité n'a pas de solution de forme fermée, des méthodes d'optimisation numérique telles que Newton-Raphson ou descente par gradient sont utilisées. Un logiciel statistique moderne (R, Python) , SPSS) gère automatiquement cette option, mais comprendre la nature itérative aide à expliquer pourquoi la régression logistique peut parfois ne pas converger, en particulier avec une séparation parfaite ou des données extrêmement déséquilibrées.
Interprétation des coefficients
Les coefficients de régression logistique ne sont pas aussi simples que ceux de régression linéaire. Bien qu'un coefficient positif augmente les probabilités logarithmiques (et donc la probabilité), l'ampleur ne se traduit pas directement par un changement de probabilité, l'effet dépend du niveau de probabilité actuel.
Pour faciliter l'interprétation, de nombreux analystes exposent les coefficients à obtenir ratios de cotes. Un rapport de cotes supérieur à 1 indique que le prédicteur augmente les cotes de l'événement; moins de 1 diminue les cotes. Par exemple, si le coefficient pour un prédicteur est de 0,5, le rapport de cotes est e0,5 - 1.65. Cela signifie qu'une augmentation d'une unité de ce prédicteur multiplie les chances de l'événement par 1,65, tout en maintenant le reste constant.
Les rapports de cotes sont fréquemment rapportés dans la recherche médicale et épidémiologique parce qu'ils sont intuitifs et faciles à communiquer. Cependant, ils n'approximativement de risque relatif que lorsque l'événement est rare.
Types de régression logistique
Bien que le cas binaire soit le plus commun, la régression logistique s'étend aux résultats comportant plus de deux catégories :
- Régression logistique binaire : Deux catégories de résultats (p. ex., survivants/morts).
- Régression logistique multinomiale : Trois catégories ou plus non classées (p. ex., type de transport : voiture, autobus, train).
- Régression logistique ordinale: Trois catégories ou plus (p. ex., cote : faible, moyenne, élevée). Les modèles ordinaux (probabilités proportionnelles) supposent que l'effet des prédicteurs est cohérent entre les seuils.
Chaque variante utilise des fonctions de liaison appropriées et des procédures d'estimation, mais le cadre de régression logistique de base s'applique.
Hypothèses de régression logistique
La régression logistique est plus souple que la régression linéaire, mais elle repose toujours sur plusieurs hypothèses clés :
- Résultat binaire ou ordinal: La variable dépendante doit être catégorique.
- Indépendance des observations: Les points de données ne devraient pas provenir de mesures répétées ou de paires appariées sans tenir compte du regroupement.
- Pas de multicolinéarité: Les prédicteurs ne devraient pas être fortement corrélés les uns aux autres; autrement, les erreurs standard deviennent gonflées et les estimations sont instables.
- Linéarité des cotes de log : La transformation logit suppose une relation linéaire entre les prédicteurs continus et les probabilités logarithmiques du résultat. Les relations non linéaires peuvent être traitées avec des termes d'interaction ou des lignes d'interaction.
- Taille suffisante de l'échantillon: Une règle courante est 10 à 20 événements par variable prédictrice (VPE). Trop peu d'événements peuvent conduire à des estimations biaisées et instables.
Les vérifications diagnostiques, comme les tests pour les points influents, la vérification du test de la bonté d'ajustement Hosmer‐Lemeshow et l'examen des placettes résiduelles, sont recommandées avant la finalisation du modèle.
Évaluation des modèles de régression logistique
Après avoir adapté un modèle de régression logistique, vous devez évaluer son rendement. Les paramètres d'évaluation communs comprennent :
- Précision: La proportion de prévisions correctes. Pas idéal pour les ensembles de données déséquilibrés.
- Précision et rappel : Précision = TP / (TP + FP); Rappel = TP / (TP + FN). Souvent utilisé pour la recherche d'information et les tests médicaux.
- F1 Note: La moyenne harmonique de précision et de rappel, utile quand les deux sont importants.
- C-AUC : La zone sous la courbe caractéristique du récepteur mesure la capacité du modèle à distinguer les classes entre tous les paramètres de seuil. Les valeurs varient de 0,5 (aléatoire) à 1 (parfait).
- Log‐Perte: Aussi appelée perte de l'entropie croisée, cela pénalise fortement les prédictions erronées confiantes.
Pour la sélection des modèles, des critères tels que Critère d'information d'Akaike (AIC) et Critère d'information bayésienne (CBI) Les valeurs inférieures sont préférées.
Pièges communs et comment les éviter
La régression logistique, malgré sa simplicité, peut faire monter les praticiens. Voici quelques problèmes fréquents:
- Séparation parfaite : Lorsqu'un prédicteur sépare parfaitement les deux groupes de résultats, la fonction de probabilité n'a pas de maximum — les coefficients peuvent devenir infinis. Les solutions comprennent l'utilisation de la probabilité pénalisée Firth, l'élimination du prédicteur contrevenant ou la mise en place d'un précédent (approche bayesienne).
- Surmonter : La régularisation (L1 ou L2) aide à réduire les coefficients et à améliorer la généralisation.
- Ignorer les interactions: L'hypothèse d'effets additifs peut être erronée. L'essai des interactions, en particulier pour les principaux prédicteurs, peut améliorer l'ajustement du modèle.
- Élargissement des prédicteurs: Bien que pas strictement nécessaire (contrairement à SVM ou aux réseaux neuronaux), de grandes différences d'échelle peuvent causer des problèmes de convergence dans certaines routines d'optimisation.
Applications dans les industries
La régression logistique demeure un élément essentiel de la science des données et des statistiques en raison de son interprétabilité et de sa fiabilité.
- Santé : Prévoir la probabilité de réadmission à l'hôpital, le risque de maladie (p. ex. diabète, crise cardiaque) ou la réponse à un traitement.
- Financement : Note du crédit, prévision du défaut de crédit, détection de fraude (opération binaire : transaction frauduleuse ou légitime).
- Commercialisation: Estimation de la réponse du client à une promotion, prévision des taux de clic.
- Sciences sociales : Modéliser le comportement électoral, la récidive ou le niveau d'instruction.
- Commerce électronique: Recommandation produit, prévision de la courbure.
Dans chaque domaine, la régression logistique fournit un modèle de base qui se produit souvent étonnamment bien par rapport à des algorithmes plus complexes, surtout lorsque les données sont bien structurées et que les relations sont à peu près linéaires dans les cotes logarithmiques.
Comparaison avec d'autres méthodes de classification
Régression logistique contre la régression linéaire
La régression linéaire prédit des résultats continus et suppose une distribution normale des erreurs. La régression logistique prédit des probabilités et utilise une distribution d'erreurs binomiales. L'utilisation de la régression linéaire pour les résultats binaires peut produire des probabilités en dehors de la plage [0,1] et violer les hypothèses d'homoscédasticité.
Régression logistique contre arbres de décision
Les arbres de décision peuvent capter automatiquement les interactions non linéaires et sont plus interprétables sous forme d'arbres. Cependant, ils sont enclins à sur-adapter et peuvent ne pas généraliser ainsi que la régression logistique régularisée. La régression logistique tend à être plus stable avec de petits ensembles de données et produit des estimations de probabilités lisses.
Régression logistique contre machines vectorielles de soutien (SVM)
Les MVS avec noyau linéaire sont similaires à la régression logistique, mais ils visent à maximiser la marge entre les classes. Les MVS peuvent mieux gérer les données à haute dimension, mais la régression logistique offre des estimations de probabilité directes et est plus facile à interpréter par le biais des rapports de cotes.
Régression logistique contre les réseaux neuraux
Les réseaux neuraux peuvent modéliser des relations très complexes, mais nécessitent davantage de données, de réglage et de ressources informatiques. Pour les problèmes où l'interprétation est critique (p. ex., la conformité réglementaire), la régression logistique est souvent préférée. La régression logistique peut être considérée comme un réseau neural à couche unique avec une activation sigmoïde.
Meilleures pratiques pour construire des modèles de régression logistique
Pour tirer le meilleur parti de la régression logistique, suivez ces étapes :
- Analyse exploratoire des données (EDA) : Vérifiez les valeurs manquantes, les valeurs aberrantes, le déséquilibre de classe et les corrélations entre les prédicteurs.
- Sélection de variables & #160;: Utilisez les connaissances du domaine, la sélection par étapes ou la régularisation (Lasso) pour ne retenir que des prédicteurs significatifs.
- Ajustement et diagnostic: Adapter le modèle et examiner les résidus, influencer les diagnostics (distance de la cuisson) et le test Hosmer‐Lemeshow.
- Valider & #160;: Diviser les données en ensembles de formation, de validation et d'essai (ou utiliser une validation croisée).
- Interprétation : Présenter les coefficients comme ratios de cotes avec intervalles de confiance.
Mise en œuvre du logiciel
Dans R, utilisez avec . Dans Python, offre la régularisation et le support multinômes L1/L2. Pour une modélisation plus avancée, des outils comme dans Python fournissent une sortie sommaire détaillée avec des valeurs p et des statistiques pseudo-R2. Dans SAS, la procédure est le choix standard. Wikipedia , article de régression logistique offre un traitement mathématique complet.
Conclusion
La régression logistique est une technique fondamentale qui demeure très pertinente à l'ère de l'apprentissage profond. Sa facilité d'interprétation, sa robustesse statistique et sa capacité à produire des probabilités bien calibrées la rendent indispensable pour de nombreuses tâches de classification binaire. Bien que des modèles plus complexes offrent parfois une précision prédictive plus élevée, la régression logistique fournit un niveau de référence transparent et explicable qui est souvent suffisant, surtout lorsque les données sont limitées ou que les contraintes réglementaires exigent une interprétabilité. Penn State STAT 462 notes de cours et Ressources de régression logistique de l'UCLA IDRE fournir d'excellents matériaux supplémentaires.