How to Use the Likelihood Ratio Test in Model Comparison
Table of Contents
Einführung in den Likelihood Ratio Test
Der Likelihood Ratio Test (LRT) ist ein grundlegendes statistisches Instrument zum Vergleich der Passform zweier konkurrierender Modelle. Er bewertet, ob ein komplexeres Modell eine wesentlich bessere Erklärung der beobachteten Daten liefert als ein einfacheres, verschachteltes Basismodell. Durch die Quantifizierung der Wahrscheinlichkeitsverbesserung hilft das LRT Forschern, prinzipielle Entscheidungen über die Modellkomplexität zu treffen, wodurch das Risiko einer Überanpassung verringert wird, während immer noch aussagekräftige Muster erfasst werden. Dieser Test wird in Bereichen wie Biostatistik, Ökonometrie, maschinelles Lernen und Sozialwissenschaften weit verbreitet, wo die Modellauswahl für Inferenz und Vorhersage entscheidend ist.
Die Kernidee des LRT geht auf die Arbeit des britischen Statistikers Sir Ronald Fisher zurück und wurde später 1938 von Samuel S. Wilks formalisiert. Wilks demonstrierte, dass die Teststatistik unter bestimmten Bedingungen asymptotisch einer Chi-Quadrat-Verteilung folgt, was sie für Hypothesentests praktisch macht. Heute bleibt das LRT ein Eckpfeiler der wahrscheinlichkeitsbasierten Inferenz, die oft neben Informationskriterien wie AIC und BIC verwendet wird.
Wann Sie den Likelihood Ratio Test verwenden sollten
Der Likelihood Ratio Test ist am besten geeignet, wenn Sie vergleichen verschachtelte Modelle Das heißt, wenn das einfachere Modell ein Sonderfall des komplexeren Modells ist, z. B. ein lineares Regressionsmodell ohne Interaktionsterme in einem Modell verschachtelt ist, das sie enthält, oder ein Modell mit nur Haupteffekten in einem Modell verschachtelt ist, das quadratische Terme enthält. In solchen Fällen wird direkt getestet, ob die zusätzlichen Parameter das Modell über das hinausführen, was zufällig erwartet wird.
Alternative Tests für den Modellvergleich umfassen den Wald-Test und den Score-Test (Lagrange-Multiplikator).
- Waldtest: Erfordert nur die Schätzung des vollständigen Modells und ist rechnerisch einfacher für das Testen einzelner Koeffizienten, kann jedoch für kleine Stichproben oder wenn Parameter nahe der Grenze des Parameterraums liegen, weniger zuverlässig sein.
- Score-Test: Es ist nur eine Schätzung des eingeschränkten Modells erforderlich und wird häufig beim Modellaufbau verwendet, insbesondere wenn das vollständige Modell schwer zu schätzen ist.
- Wahrscheinlichkeitsverhältnis Test: Allgemein gilt es als das zuverlässigste für mittlere bis große Stichproben, da es die vollen Wahrscheinlichkeiten beider Modelle direkt vergleicht.
Wählen Sie das LRT, wenn Sie die Rechenressourcen haben, um beide Modelle zu passen, und Sie eine robuste, gut erzogene Teststatistik benötigen. Es wird besonders bei generalisierten linearen Modellen (GLMs), Mixed-Effects-Modellen und struktureller Gleichungsmodellierung bevorzugt.
Annahmen des Wahrscheinlichkeitsverhältnisses Tests
Damit das LRT gültige Ergebnisse liefert, sollten die folgenden Annahmen erfüllt sein:
- Verschachtelte Modelle: Das Nullmodell muss ein Sonderfall des alternativen Modells sein, der durch Setzen einiger Parameter auf feste Werte (normalerweise Null) erhalten wird.
- Regelmäßigkeit: Die Modelle müssen den Standard-Regularitätsbedingungen für die maximale Wahrscheinlichkeitsschätzung (MLE) entsprechen: Der wahre Parameter befindet sich im Inneren des Parameterraums, die Wahrscheinlichkeitsfunktion ist glatt und die erwartete Fisher-Informationsmatrix ist positiv eindeutig.
- Probengröße: Der LRT ist ein asymptotischer Test — er beruht auf Eigenschaften großer Proben. Während er oft bei moderaten Stichprobengrößen (z. B. n > 30 oder n > 50 je nach Modellkomplexität) gut funktioniert, können kleine Proben zu aufgeblasenen Fehlerraten vom Typ I führen. Korrekturmethoden (z. B. Bartlett-Korrektur) existieren, sind aber über den Rahmen dieses Leitfadens hinaus.
- Unabhängige und identisch verteilte (i.i.d.) Beobachtungen: Die meisten Standardformen des LRT setzen unabhängige Beobachtungen voraus; für Cluster- oder Zeitreihendaten können robuste Versionen oder alternative Tests erforderlich sein.
Werden diese Annahmen nicht eingehalten, so kann die Teststatistik nicht der Chi-Quadrat-Verteilung folgen und der p-Wert kann unzuverlässig sein.
Schritt-für-Schritt-Verfahren zur Durchführung des Wahrscheinlichkeitsverhältnisses Test
Das LRT-Verfahren kann in klare, reproduzierbare Schritte unterteilt werden:
Schritt 1: Geben Sie die Null- und Alternativmodelle an
Definieren Sie das einfachere Modell (Null, H0) und das komplexere Modell (Alternative, H1). Stellen Sie sicher, dass sie verschachtelt sind. Bei einer logistischen Regression, die Diabetes vorhersagt (ja/nein), könnte das Nullmodell nur das Alter enthalten, während das alternative Modell den BMI und die Familiengeschichte hinzufügt.
Schritt 2: Fit Beide Modelle und erhalten Log-Likelihoods
Verwenden Sie die Schätzung der maximalen Wahrscheinlichkeit, um jedes Modell an die Daten anzupassen. Logarithmus Die meisten statistischen Software liefert die Log-Likelihood direkt (z. B. in R, in Stata, in Pythons scikit-learn oder Statsmodellen). Die Log-Likelihood ist immer negativ oder null, wobei höhere (näher an Null) Werte eine bessere Passform anzeigen.
Schritt 3: Berechnen der Teststatistik
Die LRT-Statistik lautet:
D = 2 × (log-Likelihood)Alternative LogarithmusNull)
Dieser Wert ist immer nicht negativ, weil das alternative Modell keine geringere Log-Likelihood als die Null haben kann (da es die Null als Sonderfall enthält), ein großes D zeigt an, dass das alternative Modell eine signifikant größere Variation der Daten erklärt.
Schritt 4: Bestimmen Sie die Freiheitsgrade
Freiheitsgrade (df) entsprechen der Differenz der Anzahl der frei geschätzten Parameter zwischen den beiden Modellen, z. B. wenn das Nullmodell 3 Parameter (Abschnitt + 2 Prädiktoren) und die Alternative 5 Parameter (Abschnitt + 4 Prädiktoren) hat, df = 2.
Hinweis: Wenn Parameter eingeschränkt sind (z. B. Varianzkomponenten, die auf Null festgelegt sind), ist die df-Berechnung möglicherweise nicht einfach die Zähldifferenz - Randprobleme können dazu führen, dass die asymptotische Verteilung eine Mischung aus Chi-Quadraten ist.
Schritt 5: Berechnen Sie den p-Wert
Bei der Nullhypothese folgt die Teststatistik D einer Chi-Quadrat-Verteilung, wobei df gleich der Differenz der Parameter ist. Der p-Wert ist die Wahrscheinlichkeit, eine Statistik zu beobachten, die so extrem ist wie D unter dieser Verteilung.
- In R:
- In Python:
- Viele Softwarepakete automatisieren diesen Schritt (z. B. im lmtest-Paket von R oder in R für verschachtelte Modelle).
Schritt 6: Treffen Sie eine Entscheidung
Vergleichen Sie den p-Wert mit dem von Ihnen gewählten Signifikanzniveau (üblicherweise α = 0,05). < α, reject the null hypothesis in favor of the alternative model, concluding that the additional parameters provide a statistically significant improvement in fit. If p ≥ α, fail to reject the null, meaning the simpler model is adequate.
Denken Sie daran: Statistische Signifikanz garantiert keine praktische Bedeutung.
Praktisches Beispiel: Vergleich linearer Regressionsmodelle
Nehmen wir an, wir haben Daten von 200 Individuen mit Variablen: Einkommen (abhängig, in tausenden von dollar), Alter (Jahre), Bildung (Schuljahre) und Erfahrung (Arbeitsjahre) Wir wollen testen, ob das Hinzufügen von Bildung und Erfahrung die Vorhersage von Einkommen über das Alter hinaus verbessert.
Modelle
- Nullmodell (M0): Einkommen = β0 + β1 · Alter + ε
- Alternatives Modell (M1): Einkommen = β0 + β1 · Alter + β2 · Bildung + β3 · Erfahrung + ε
Diese Modelle sind verschachtelt: M1 enthält alle Begriffe von M0 plus zwei zusätzliche Parameter (β2 und β3).
Fitting und Log-Likelihoods
Nachdem wir beide Modelle mit gewöhnlichen kleinsten Quadraten ausgestattet haben (was unter Normalität MLE ergibt), erhalten wir:
- Log-Likelihood für M0: -602.3
- Log-Likelihood für M1: -589,7
Hinweis M1 hat eine höhere (weniger negative) Log-Likelihood, was auf eine bessere Passform hinweist.
Prüfstatistik
D = 2 × (-589,7 – (-602.3)) = 2 × 12,6 = 25.2
p-Wert-Berechnung
Mit 2 Freiheitsgraden schauen wir die Chi-Quadrat-Verteilung nach: ergibt p ≈ 3,4 × 10−6. Dies ist weit unter 0,05.
Schlussfolgerung
Wir lehnen das Nullmodell ab. Bildung und Erfahrung verbessern die Einkommensprognose deutlich. In der Praxis würde man dann einzelne Koeffizienten untersuchen, Restdiagnostiken überprüfen und eventuell weitere Modelle (z.B. Interaktionen) berücksichtigen.
Umsetzung in R
Für R-Benutzer kann der LRT mit der Funktion aus dem -Paket durchgeführt werden:
Dies berechnet automatisch D, df und p-Wert. alternativ funktioniert für verschachtelte lineare Modelle und generalisierte lineare Modelle.
Interpretation von Ergebnissen und häufigen Fallstricken
Über den p-Wert hinaus sollten Sie bei der Verwendung des LRT Folgendes beachten:
Effektgröße und praktische Bedeutung
Eine hoch signifikante LRT kann mit trivialen Verbesserungen auftreten, wenn die Stichprobe groß ist. Immer das Ausmaß der Verbesserung untersuchen, z. B. die Zunahme des R-Quadrats oder die Abnahme der AIC. Ein signifikanter Test mit vernachlässigbarem Effekt kann keine Komplexität des Modells rechtfertigen.
Mehrere Vergleiche
Wenn Sie viele verschachtelte Modelle nacheinander testen (z. B. Vorwärtsselektion), bläst die wiederholte Verwendung von LRT den Fehler Typ I auf. Verwenden Sie Korrekturen wie Bonferroni oder verwenden Sie Informationskriterien (AIC, BIC) für die Modellauswahl. Der LRT eignet sich am besten zum Testen einer bestimmten, vorgeplanten Hypothese.
Grenzfragen
Bei der Prüfung, ob ein Varianzparameter Null ist (z. B. in Zufallsmodellen), liegt die Nullhypothese an der Grenze des Parameterraums. In solchen Fällen folgt die Teststatistik einer Mischung von Chi-Quadrat-Verteilungen (z. B. 50:50-Gemisch von χ20 und χ21 für eine einzelne Varianz).
Probengröße und Asymptotik
Bei kleinen Stichprobengrößen kann die Chi-Quadrat-Näherung schlecht sein. Ziehen Sie einen parametrischen Bootstrap in Betracht: Simulieren Sie Daten unter der Nullverteilung, berechnen Sie die LRT-Statistik für jeden simulierten Datensatz und leiten Sie einen empirischen p-Wert ab. Dieser Ansatz ist zuverlässiger, aber rechenintensiver.
Nicht-Nested-Modelle
Der LRT kann nicht zum Vergleich von nicht genesteten Modellen (z. B. lineares Modell gegen kubisches Modell ohne Verschachtelung) verwendet werden. Für solche Vergleiche verwenden Sie AIC, BIC oder den Vuong-Test. Der Cox-Test ist eine weitere Option für nicht genestete Hypothesen.
Schlussfolgerung
Der Likelihood Ratio Test ist eine leistungsstarke, asymptotische Methode zum Vergleich verschachtelter Modelle. Indem er einen statistisch strengen Rahmen bietet, um zu entscheiden, ob zusätzliche Komplexität gerechtfertigt ist, ermöglicht er es Forschern, sparsame, aber genaue Modelle zu erstellen. Wir haben seine theoretische Grundlage, Annahmen, schrittweise Anwendung und ein praktisches Beispiel mit Regression abgedeckt. Denken Sie daran, die Annahmen zu überprüfen - insbesondere Verschachtelung, Stichprobengröße und Regelmäßigkeitsbedingungen - und das LRT mit Effektgrößenmessungen und diagnostischen Überprüfungen zu ergänzen. Wenn es angemessen verwendet wird, ist das LRT ein unverzichtbares Werkzeug im Arsenal des Statistikers für datengesteuerte Entscheidungsfindung.
Für weitere Informationen, erkunden Sie diese externen Ressourcen: