Die logistische Regression ist eine der am häufigsten verwendeten statistischen Techniken für binäre Klassifikationsprobleme. Ob Sie vorhersagen, ob ein Kunde abwandern wird, ein Patient eine Krankheit hat oder eine E-Mail Spam ist, die logistische Regression bietet einen einfachen, aber leistungsstarken Rahmen für die Schätzung der Wahrscheinlichkeit eines Ereignisses basierend auf einer oder mehreren Prädiktorvariablen. Im Gegensatz zur linearen Regression, die kontinuierliche Ergebnisse modelliert, ist die logistische Regression für kategorische Ergebnisse konzipiert, typischerweise mit zwei möglichen Werten: Erfolg / Misserfolg, ja / nein oder 0/1. Dieser Artikel bietet einen umfassenden Überblick über die logistische Regression, ihre mathematischen Grundlagen, praktische Anwendungen, Schlüsselannahmen und häufige Fallstricke.

Die logistische Funktion verstehen

Kern der logistischen Regression ist die Logistikfunktion, auch Sigmoid-Funktion genannt. Diese S-förmige Kurve bildet jede realwertige Zahl auf einen Wert zwischen 0 und 1 ab und ist damit ideal für die Darstellung von Wahrscheinlichkeiten. Die Logistikfunktion ist definiert als:

P(Y = 1 | X) = 1 / (1 + e)-(β)0 + β1X1 + ... + βnXn))

Hier, P(Y = 1 | X) Die Wahrscheinlichkeit, dass das Ergebnis der positiven Klasse entspricht (z. B. „Krankheit vorhanden), ist gegeben die Prädiktoren. Der Ausdruck innerhalb des Exponenten ist eine lineare Kombination der Prädiktoren, gewichtet mit den Koeffizienten β. Durch Anwendung der logistischen Funktion wird diese lineare Kombination in den [0, 1] Bereich gequetscht, wodurch eine Wahrscheinlichkeitsschätzung entsteht.

Eine gleichwertige Formulierung verwendet die Logit Der Logit (Log Odds) ist der natürliche Logarithmus der Odds des Ereignisses:

logit(p) = ln(p / (1 - p)) = β0 + β1X1 + ... + βnXn

Diese lineare Beziehung zwischen den Log-Odds und den Prädiktoren macht die logistische Regression zu einem Mitglied der Familie des generalisierten linearen Modells (GLM). Die Koeffizienten repräsentieren die Änderung der Log-Odds des Ergebnisses für eine Erhöhung des Prädiktors um eine Einheit, wobei andere Variablen konstant bleiben.

Wie Koeffizienten geschätzt werden

Die logistische Regression verwendet keine gewöhnlichen kleinsten Quadrate (OLS) wie die lineare Regression, sondern verwendet stattdessen Maximale Wahrscheinlichkeitsschätzung (MLE)Ziel von MLE ist es, den Satz von Koeffizientenwerten zu finden, die die beobachteten Daten am wahrscheinlichsten machen. N Beobachtungen multipliziert die Wahrscheinlichkeitsfunktion die vorhergesagten Wahrscheinlichkeiten für die tatsächlichen Ergebnisse. Der Algorithmus passt die Koeffizienten iterativ an, um diese Wahrscheinlichkeit zu maximieren (oder äquivalent die negative Log-Likelihood zu minimieren).

Da die Wahrscheinlichkeitsfunktion keine geschlossene Lösung hat, werden numerische Optimierungsmethoden wie Newton-Raphson oder Gradientenabstieg verwendet. Moderne statistische Software (R, Pythons , SPSS) handhaben dies automatisch, aber das Verständnis der iterativen Natur hilft zu erklären, warum die logistische Regression manchmal nicht konvergieren kann, insbesondere bei perfekter Trennung oder extrem unausgewogenen Daten.

Interpretation der Koeffizienten

Die Koeffizienten in der logistischen Regression sind nicht so einfach wie in der linearen Regression. Während ein positiver Koeffizient die Logarithmusquoten (und damit die Wahrscheinlichkeit) erhöht, führt die Größe nicht direkt zu einer Wahrscheinlichkeitsänderung, da der Effekt vom aktuellen Wahrscheinlichkeitsgrad abhängt.

Zur leichteren Interpretation, viele Analysten treiben die Koeffizienten zu erhalten Odds RatioEin Odds Ratio größer als 1 zeigt an, dass der Prädiktor die Odds des Ereignisses erhöht; weniger als 1 verringert die Odds. Wenn der Koeffizient für einen Prädiktor beispielsweise 0,5 ist, ist das Odds Ratio e.0,5 ≈ 1,65. Das bedeutet eine Erhöhung um eine Einheit, die die Wahrscheinlichkeit des Ereignisses mit 1,65 multipliziert und alles andere konstant hält.

Wahrscheinlichkeitsverhältnisse werden in der medizinischen und epidemiologischen Forschung häufig berichtet, weil sie intuitiv und leicht zu kommunizieren sind, aber sie nähern sich nur dem relativen Risiko, wenn das Ereignis selten ist.

Arten der logistischen Regression

Obwohl der binäre Fall am häufigsten ist, erstreckt sich die logistische Regression auf Ergebnisse mit mehr als zwei Kategorien:

  • Binäre logistische Regression: Zwei Ergebniskategorien (z. B. überlebt / gestorben).
  • Multinomiale logistische Regression: Drei oder mehr ungeordnete Kategorien (z. B. Art des Transports: Auto, Bus, Zug).
  • Ordinale logistische Regression: Ordinale Modelle (proportionale Quoten) gehen davon aus, dass der Effekt von Prädiktoren über die Schwellenwerte hinweg konsistent ist.

Jede Variante verwendet geeignete Linkfunktionen und Schätzverfahren, aber das logistische Kernregressions-Framework gilt.

Annahmen der logistischen Regression

Die logistische Regression ist flexibler als die lineare Regression, stützt sich jedoch immer noch auf mehrere wichtige Annahmen:

  • Binäres oder ordinales Ergebnis: Die abhängige Variable muss kategorisch sein.
  • Unabhängigkeit der Beobachtungen: Datenpunkte sollten nicht aus wiederholten Messungen oder Matched-Paare ohne Berücksichtigung für Clustering kommen.
  • Keine Multikollinearität: Prädiktoren sollten nicht stark miteinander korreliert sein; sonst werden Standardfehler aufgeblasen und Schätzungen instabil.
  • Linearität der Log-Odds: Die Logit-Transformation setzt eine lineare Beziehung zwischen kontinuierlichen Prädiktoren und den Log-Odds des Ergebnisses voraus, wobei nichtlineare Beziehungen mit Interaktionstermen oder Splines angesprochen werden können.
  • Ausreichender Probenumfang: Eine allgemeine Faustregel ist 10-20 Ereignisse pro Prädiktorvariable (EPV), zu wenige Ereignisse können zu voreingenommenen und instabilen Schätzungen führen.

Durch Verstöße gegen diese Annahmen kann die Validität des Modells verringert werden. Vor der Fertigstellung des Modells werden diagnostische Prüfungen — wie das Testen auf einflussreiche Punkte, die Überprüfung des Hosmer-Lemeshow-Gütetests und die Prüfung von Restplots — empfohlen.

Bewertung von Logistischen Regressionsmodellen

Nachdem Sie ein logistisches Regressionsmodell angepasst haben, müssen Sie dessen Leistung bewerten.

  • Genauigkeit: Der Anteil der korrekten Vorhersagen ist nicht ideal für unausgewogene Datensätze.
  • Präzision und Rückruf: Präzision = TP / (TP + FP); Rückruf = TP / (TP + FN), wird häufig beim Abrufen von Informationen und medizinischen Tests verwendet.
  • F1 Bewertung: Das harmonische Mittel von Präzision und Rückruf, nützlich, wenn beide wichtig sind.
  • ROC‐AUC: Der Bereich unter der Empfängerkennlinie misst die Fähigkeit des Modells, Klassen über alle Schwellenwerteinstellungen hinweg zu unterscheiden.
  • Log-Loss: Auch als Kreuzentropieverlust bezeichnet, bestraft dies zuversichtliche falsche Vorhersagen stark. Geringerer Logverlust zeigt besser kalibrierte Wahrscheinlichkeiten an.

Für die Modellauswahl werden Kriterien wie Akaike-Informationskriterium (AIC) und Bayesianisches Informationskriterium (BIC) Balance Fit und Komplexität, niedrigere Werte werden bevorzugt.

Häufige Fallstricke und wie man sie vermeidet

Logistische Regression kann trotz ihrer Einfachheit die Praktizierenden zum Stolpern bringen.

  • Perfekte Trennung: Wenn ein Prädiktor die beiden Endgruppen perfekt trennt, hat die Wahrscheinlichkeitsfunktion kein Maximum — Koeffizienten können unendlich werden.
  • Überbau: Die Einbeziehung zu vieler Prädiktoren im Verhältnis zur Stichprobengröße kann dazu führen, dass das Modell an das Rauschen angepasst wird.
  • Ignorieren von Interaktionen: Die Annahme von additiven Effekten kann falsch sein, das Testen von Wechselwirkungen, insbesondere für wichtige Prädiktoren, kann die Anpassung an das Modell verbessern.
  • Skalierung der Prädiktoren: Obwohl nicht unbedingt erforderlich (anders als bei SVM oder neuronalen Netzen), können große Größenunterschiede in einigen Optimierungsroutinen Konvergenzprobleme verursachen.

Anwendungen in allen Branchen

Logistische Regression ist aufgrund ihrer Interpretierbarkeit und Zuverlässigkeit nach wie vor ein Grundnahrungsmittel in der Datenwissenschaft und Statistik.

  • Gesundheitsversorgung: Vorhersage der Wahrscheinlichkeit einer Krankenhausrückübernahme, eines Krankheitsrisikos (z. B. Diabetes, Herzinfarkt) oder einer Reaktion auf eine Behandlung.
  • Finanzierung: Kredit-Scoring, Kreditausfall Vorhersage, Betrugserkennung (binär: betrügerische oder legitime Transaktion).
  • Vermarktung: Schätzen Sie die Reaktion des Kunden auf eine Promotion und prognostizieren Sie Klickraten.
  • Sozialwissenschaften: Modellierung von Wahlverhalten, Rückfall oder Bildungsabschluss.
  • E-Commerce: Produktempfehlungsannahme, Churn-Vorhersage.

In jedem Bereich liefert die logistische Regression ein Basismodell, das im Vergleich zu komplexeren Algorithmen oft überraschend gut funktioniert, insbesondere wenn die Daten gut strukturiert sind und die Beziehungen in den Log-Quoten ungefähr linear sind.

Vergleich mit anderen Klassifizierungsmethoden

Logistische Regression vs. Lineare Regression

Die lineare Regression prognostiziert kontinuierliche Ergebnisse und geht von einer normalen Verteilung von Fehlern aus. Die logistische Regression prognostiziert Wahrscheinlichkeiten und verwendet eine binomiale Fehlerverteilung. Die Verwendung linearer Regressionen für binäre Ergebnisse kann Wahrscheinlichkeiten außerhalb des [0,1]-Bereichs erzeugen und gegen die Annahmen der Homoscedastizität verstoßen.

Logistische Regression vs. Entscheidungsbäume

Entscheidungsbäume können nichtlineare Interaktionen automatisch erfassen und sind in Baumform besser interpretierbar. Sie sind jedoch anfällig für Überanpassungen und können nicht sowohl generalisieren als auch regularisierte logistische Regression nicht verallgemeinern. Die logistische Regression ist mit kleinen Datensätzen tendenziell stabiler und erzeugt glatte Wahrscheinlichkeitsschätzungen.

Logistische Regression vs. Support Vector Machines (SVM)

SVMs mit linearem Kernel ähneln der logistischen Regression, konzentrieren sich jedoch auf die Maximierung der Marge zwischen Klassen. SVMs können hochdimensionale Daten besser verarbeiten, aber die logistische Regression bietet direkte Wahrscheinlichkeitsschätzungen und ist durch Quotenverhältnisse leichter zu interpretieren. Bei nichtlinearen Grenzen übertreffen SVMs mit Kerneln oft die logistische Regression, es sei denn, Feature Engineering wird angewendet.

Logistische Regression vs. neuronale Netzwerke

Neuronale Netze können hochkomplexe Beziehungen modellieren, erfordern jedoch mehr Daten, Abstimmung und Rechenressourcen. Bei Problemen, bei denen die Interpretierbarkeit von entscheidender Bedeutung ist (z. B. die Einhaltung gesetzlicher Vorschriften), wird oft eine logistische Regression bevorzugt. Die logistische Regression kann als einschichtiges neuronales Netzwerk mit einer Sigmoid-Aktivierung angesehen werden.

Best Practices für den Aufbau von logistischen Regressionsmodellen

Um das Beste aus der logistischen Regression herauszuholen, folgen Sie diesen Schritten:

  1. Explorative Datenanalyse (EDA): Überprüfen Sie auf fehlende Werte, Ausreißer, Klassenungleichgewicht und Korrelationen zwischen Prädiktoren.
  2. Variable Auswahl: Verwenden Sie Domänenwissen, schrittweise Auswahl oder Regularisierung (Lasso), um nur aussagekräftige Prädiktoren beizubehalten.
  3. Fit und Diagnose: Passen Sie das Modell an und untersuchen Sie Residuen, beeinflussen Sie die Diagnose (Kochdistanz) und den Hosmer-Lemeshow-Test.
  4. Validieren: Aufteilen von Daten in Schulungs-, Validierungs- und Testsätze (oder Verwendung von Cross-Validierungs-Daten) und Meldung von Leistungskennzahlen für nicht sichtbare Daten.
  5. Interpretieren: Koeffizienten als Odds-Verhältnisse mit Konfidenzintervallen darstellen.

Software-Implementierung

Logistische Regression ist in nahezu jeder statistischen Umgebung verfügbar. In R verwenden Sie mit . In Python bietet L1/L2-Regularisierung und multinomielle Unterstützung. Für fortgeschrittenere Modellierung bieten Tools wie in Python detaillierte Zusammenfassungen mit p-Werten und Pseudo-R2-Statistiken. In SAS ist das -Verfahren die Standardwahl.

Für diejenigen, die eine tiefere theoretische Erklärung suchen, Wikipedias logistische Regression Artikel bietet eine gründliche mathematische Behandlung.

Schlussfolgerung

Die logistische Regression ist eine grundlegende Technik, die im Zeitalter des Deep Learnings nach wie vor von großer Bedeutung ist. Ihre einfache Interpretation, statistische Robustheit und Fähigkeit, gut kalibrierte Wahrscheinlichkeiten zu erzeugen, machen sie für viele binäre Klassifikationsaufgaben unverzichtbar. Während komplexere Modelle gelegentlich eine höhere prädiktive Genauigkeit bieten, bietet die logistische Regression eine transparente, erklärbare Basis, die oft ausreicht - insbesondere wenn Daten begrenzt sind oder regulatorische Einschränkungen Interpretationsfähigkeit erfordern. Durch das Verständnis ihrer Annahmen, Schätzungsverfahren und Bewertungsmetriken können Praktiker die logistische Regression effektiv in einem breiten Spektrum von Disziplinen nutzen. Penn State STAT 462 Kursnotizen und Ressourcen für logistische Regression der UCLA IDRE hervorragendes Ergänzungsmaterial liefern.