How to Use the Akaike Information Criterion for Model Selection
Table of Contents
Akaike Information Kriterium verstehen
Das Akaike Information Criterion (AIC) ist ein grundlegendes Werkzeug bei der statistischen Modellauswahl, das 1973 von Hirotugu Akaike entwickelt wurde. Es liefert eine Schätzung der relativen Informationen, die verloren gehen, wenn ein bestimmtes Modell verwendet wird, um den Prozess darzustellen, der die Daten erzeugt hat. Durch das Abgleichen des Modells mit der Komplexität hilft AIC Analysten, zwei häufige Fallstricke zu vermeiden: Überanpassung (Modelle, die für die verfügbaren Daten zu komplex sind) und Unteranpassung (Modelle, die zu einfach sind, um das zugrunde liegende Muster zu erfassen).
Die Kernformel für AIC lautet:
AIC = 2k – 2ln(L)
wo k die Anzahl der geschätzten Parameter im Modell und L Der Begriff 2k bestraft die Komplexität des Modells, während –2ln(L) misst, wie gut das Modell zu den Daten passt. AIC existiert nicht isoliert; es ist ein relatives Maß, das zum Vergleich von Kandidatenmodellen auf demselben Datensatz verwendet wird. Das Modell mit dem niedrigsten AIC-Wert gilt als das beste unter den Kandidaten, wodurch ein praktisches Gleichgewicht zwischen der Güte und dem Sparsimony erreicht wird.
AIC basiert auf der Informationstheorie. Sie nähert sich der Kullback-Leibler-Divergenz zwischen dem wahren Datenerzeugungsprozess und dem Modell an. Da der wahre Prozess unbekannt ist, bietet AIC eine Möglichkeit, Modelle basierend auf der erwarteten prädiktiven Genauigkeit zu bewerten. Dies macht AIC besonders nützlich in Bereichen wie Ökologie, Ökonometrie, maschinelles Lernen und Epidemiologie, wo mehrere konkurrierende Theorien gegen beobachtete Daten getestet werden müssen.
Warum AIC für die Modellauswahl wichtig ist
Die Analyse von Daten, die von den einzelnen Modellen stammen, ist nicht immer so, dass die Daten, die von den einzelnen Modellen stammen, nicht mehr als die Daten, die von den einzelnen Modellen stammen, sondern als Daten, die von den einzelnen Modellen stammen, und die Daten, die von den einzelnen Modellen stammen, werden nicht mehr als die Daten, die von den einzelnen Modellen stammen, angesehen.
Die wichtigste Erkenntnis ist, dass jeder zusätzliche Parameter einige Dateninformationen verbraucht. AIC quantifiziert den Kompromiss: Ein Modell, das einen Parameter hinzufügt, muss die Wahrscheinlichkeit genug verbessern, um die Strafe von 2 auszugleichen. Wenn beispielsweise das Hinzufügen einer Variablen die Log-Likelihood um weniger als 1 erhöht, erhöht sich die AIC tatsächlich, was darauf hinweist, dass die zusätzliche Komplexität nicht sinnvoll ist. Diese Eigenschaft macht AIC zu einem praktischen Werkzeug für die Variablenauswahl, die Bestimmung der polynomiellen Ordnung und die Modellmittelung.
AIC ist besonders wertvoll in der Sondierungsforschung, wo kein einzelnes Modell allgemein akzeptiert wird. Durch den Vergleich der AIC-Werte über eine Reihe von Kandidatenmodellen hinweg können Forscher ermitteln, welche Modelle am besten mit den Daten übereinstimmen, während sie gleichzeitig der Versuchung ausweichen, eine bessere In-Sample-Fit endlos zu verfolgen. Es erleichtert auch die Modellmittelung, bei der Vorhersagen aus mehreren Modellen durch ihre AIC-basierten Wahrscheinlichkeiten gewichtet werden, was zu robusteren Schätzungen und engeren Konfidenzintervallen führt.
Schritt-für-Schritt-Anleitung zur Verwendung von AIC
Schritt 1: Definieren Sie eine Reihe von Kandidatenmodellen
Beginnen Sie mit der Formulierung der Forschungsfrage und der Identifizierung plausibler Modelle. Diese Modelle sollten auf Theorie, früherer Forschung oder explorativer Datenanalyse basieren. Alle Modelle müssen zum gleichen Datensatz passen. Für lineare Regression können Kandidaten verschiedene Kombinationen von Prädiktoren, Interaktionstermen oder Polynomtransformationen enthalten. Für Zeitreihen können Modelle je nach Anzahl von Verzögerungen oder strukturellen Komponenten variieren.
Schritt 2: Passen Sie jedes Modell an und erhalten Sie die Wahrscheinlichkeit
Die meisten statistischen Software (R, Python, SAS, SPSS) können die Log-Likelihood direkt ausgeben. Stellen Sie sicher, dass die Wahrscheinlichkeitsfunktion modellübergreifend vergleichbar ist. Dies erfordert normalerweise, dass die Modelle auf genau die gleiche Antwortvariable und Stichprobengröße passen. Modelle mit unterschiedlichen Transformationen (z. B. protokolliertes vs. nicht protokolliertes Ergebnis) sind mit AIC nicht direkt vergleichbar.
Schritt 3: Berechnen Sie den AIC-Wert
Wenden Sie die Formel AIC = 2k – 2ln(L) unter Verwendung der Anzahl der Parameter an k (einschließlich des Interception-, Varianzterms und eventueller geschätzter Koeffizienten) und der Log-Likelihood. Viele Softwarepakete berechnen AIC automatisch. Seien Sie konsistent: Wenn ein Modell einen Varianzparameter schätzt und ein anderes nicht, müssen beide diesen in k.
Schritt 4: Vergleichen Sie die AIC-Werte zwischen den Modellen
Modelle nach AIC vom niedrigsten zum höchsten sortieren. Das Modell mit minimaler AIC ist das beste unter den Kandidaten. Modelle jedoch nicht zu schnell verwerfen. Berechnung ΔAIC für jedes Modell: ΔAIC = AIC-Modell – AIC min. Modelle mit ΔAIC kleiner als 2 haben erhebliche Unterstützung; Modelle mit ΔAIC zwischen 4 und 7 haben deutlich weniger Unterstützung; und Modelle mit ΔAIC größer als 10 sind im Vergleich zum besten Modell im Wesentlichen nicht unterstützt (Burnham & Anderson 2004).
Schritt 5: Betrachten Sie Modellvereinfachung und praktischen Kontext
Wenn zwei Modelle nahezu identische AIC-Werte haben (ΔAIC) < 1), the simpler model is often preferred, especially if the more complex model introduces variables that are difficult to interpret or measure. AIC is a guide, not a rule. Domain knowledge, data quality, and the intended use of the model should always inform the final choice.
Schritt 6: (Optional) Modell-Mittelwert
Anstatt ein einzelnes Modell auszuwählen, können Sie Akaike-Gewichte (w i) für jedes Modell berechnen: w i = exp(-0.5ΔAIC i) / Σ exp(-0.5ΔAIC j). Diese Gewichte summieren sich auf 1 und repräsentieren die Wahrscheinlichkeit, dass Modell i für die Daten am besten ist (angesichts des Kandidatensatzes). Gewichtete Vorhersagen und Parameterschätzungen verringern das Risiko, sich auf ein einzelnes potenziell übereinstimmendes Modell zu verlassen.
Interpretation von AIC-Werten in der Praxis
AIC-Werte sind immer positiv und können groß sein, aber nur ihre relativen Unterschiede sind wichtig. Die absolute Größe von AIC ist ohne vergleichende Baseline bedeutungslos. Bei der Meldung von AIC-Ergebnissen sind die ΔAIC-Werte und Akaike-Gewichte einzubeziehen. Die folgenden Schwellenwerte werden in der Literatur häufig verwendet:
- ΔAIC ≤ 2: Das Modell hat eine erhebliche Unterstützung und sollte als das beste Modell gleichermaßen plausibel angesehen werden.
- 4 ≤ ΔAIC ≤ 7: Das Modell hat eine deutlich geringere Unterstützung, und es ist vielleicht immer noch eine Überlegung wert, wenn man das Modell im Durchschnitt betrachtet.
- ΔAIC > 10: Das Modell hat im Wesentlichen keine Unterstützung und kann getrost von weiteren Überlegungen ausgeschlossen werden.
Diese Schwellenwerte sind Faustregeln. In der Praxis können die Größe des Kandidatensatzes, die Stichprobengröße und der spezifische wissenschaftliche Kontext die Interpretation beeinflussen. Beispielsweise können in großen Datensätzen selbst kleine AIC-Unterschiede auf signifikante Unterschiede in der Vorhersagefähigkeit hinweisen. Umgekehrt sollte bei kleinen Stichprobengrößen der korrigierte AICc (siehe unten) verwendet werden.
Wann man das korrigierte AIC (AICc) verwendet
Die Standard-AIC-Formel funktioniert gut, wenn die Stichprobengröße n ist groß im Verhältnis zur Anzahl der Parameter k. Eine gängige Faustregel besagt, dass n/k mindestens 40 sein sollte. Bei einer kleinen Stichprobe neigt AIC dazu, die Komplexität zu unterschätzen und wählt möglicherweise Modelle mit zu vielen Parametern aus. Um dies zu beheben, leitete Sugiura (1978) eine korrigierte Version ab, AICc:
AICc = AIC + (2k(k+1)) / (n – k – 1)
AICc konvergiert zu AIC, wenn n wächst, so dass es sicher ist, AICc in allen Fällen zu verwenden, besonders wenn n / k < 40. It is recommended as the default choice for model selection in most applied statistics settings. Many software packages offer AICc as an option or allow manual calculation.
Bei kleinen Stichproben kann die zusätzliche Strafe die Modellrankings erheblich verändern. Mit n = 20 und k = 5 fügt der Korrekturterm etwa 3,4 zu AIC hinzu, was der Unterschied zwischen der Auswahl eines einfachen Modells und eines überparametrierten Modells sein kann.
AIC vs. andere Modellauswahlkriterien
AIC ist eines von mehreren Informationskriterien. Das Verständnis seiner Verwandten hilft, seine Stärken und Schwächen zu kontextualisieren.
Bayesianisches Informationskriterium (BIC)
BIC ist ein weiteres weit verbreitetes Kriterium mit der Formel BIC = ln(n)k – 2ln(L). Die Strafe für jeden Parameter ist ln(n) anstelle von 2. Für typische Stichprobengrößen ist ln(n) > 2, also bestraft BIC die Komplexität stärker als AIC. BIC wird aus einer Bayes-Perspektive abgeleitet und bevorzugt einfachere Modelle, insbesondere in großen Datensätzen. Welches Kriterium besser ist, hängt vom Ziel ab: AIC zielt darauf ab, den erwarteten Vorhersagefehler zu minimieren (Kullback-Leibler-Distanz), während BIC darauf abzielt, das wahre Modell unter einer Gruppe von Kandidaten zu identifizieren - vorausgesetzt, ein solches Modell existiert. In der Praxis berichten viele Forscher beides.
Kreuzvalidierung
k-fache Kreuzvalidierung (CV) schätzt direkt den Vorhersagefehler außerhalb der Stichprobe durch Partitionierung von Daten. AIC entspricht asymptotisch einer Kreuzvalidierung ohne Ausnahme für lineare Modelle. Für nichtlineare Modelle oder wenn n sehr klein ist, kann CV zuverlässiger sein. CV ist jedoch rechenintensiver und kann instabil sein. AIC bietet eine bequeme Näherung in geschlossener Form, die in vielen parametrischen Einstellungen gut funktioniert.
Bereinigtes R-Quadrat
Bereinigtes R-Quadrat bestraft R2 durch die Anzahl der Prädiktoren: R2 adj = 1– (1–R2)(n–1)/(n–k–1). Es ist leicht zu berechnen, gilt jedoch nur für lineare Regressionsmodelle und hat keine starke theoretische Grundlage für den allgemeinen Modellvergleich.
Häufige Fallstricke und Einschränkungen
Trotz seiner Popularität hat AIC mehrere Einschränkungen, die Analysten berücksichtigen müssen.
- Geht man davon aus, dass alle Modelle verschachtelt oder vergleichbar sind? Nicht unbedingt. AIC kann nicht geschachtelte Modelle vergleichen, solange sie zum selben Datensatz passen und die gleiche Antwortvariable verwenden. Modelle mit unterschiedlichen zugrunde liegenden Verteilungsfamilien (z. B. Gaußian vs. Poisson) sollten jedoch nicht verglichen werden, es sei denn, die Wahrscheinlichkeiten sind ordnungsgemäß normalisiert.
- Risiko der Auswahl zu komplexer Modelle mit kleinen Stichproben. AICc wurde immer dann bevorzugt, wenn die Stichprobengröße im Verhältnis zur Parameterzahl klein ist.
- Testet keine Modellannahmen. AIC prüft nicht, ob ein Modell angemessen zu den Daten passt – es ordnet nur Kandidaten ein. Restdiagnostik, Ausreißererkennung und Goodness-of-Fit-Tests sollten immer die AIC-Analyse begleiten.
- Abhängigkeit von der Stichprobengröße. Der absolute AIC-Wert und sogar die relativen Rankings können sich ändern, wenn sich der Datensatz ändert.
- Kann Modelle mit hoher Varianz bevorzugen. Bei Multikollinearität oder extremen Ausreißern kann AIC immer noch ein Modell auswählen, das gut zu den Trainingsdaten passt, aber nicht verallgemeinert werden kann.
- Nicht geeignet für den Vergleich von Modellen mit unterschiedlichen Fehlerverteilungen. Zum Beispiel ist der Vergleich einer linearen Regression (normale Fehler) mit einer logistischen Regression (binomiale Fehler) ungültig, weil die Wahrscheinlichkeitsfunktionen unterschiedlich skalieren.
Eine weitere subtile Einschränkung: AIC geht davon aus, dass die Kandidatengruppe mindestens ein gutes Modell enthält. Wenn alle Modelle schlechte Darstellungen der Realität sind, wird AIC immer noch das Beste unter ihnen auswählen, aber dieses Modell kann unzureichend sein.
Praktisches Beispiel: Modellauswahl mit AIC
Angenommen, ein Forscher untersucht, wie Baumwachstum ()Y, cm/Jahr) bezieht sich auf Bodenstickstoff (N, mg/kg, Bodenphosphor ()P, mg/kg und jährliche Niederschlagsmenge ()R, mm) Es werden 30 Kurven gemessen, wobei vier lineare Kandidatenmodelle berücksichtigt werden:
- Modell 1: Y = β0 + β1N + ε
- Modell 2: Y = β0 + β1N + β2P + ε
- Modell 3: Y = β0 + β1N + β2R + ε
- Modell 4: Y = β0 + β1N + β2P + β3R + ε
Die logarithmischen Werte (ln L) ergeben sich aus Modell 1: -105.3, Modell 2: -101.0, Modell 3: -104.1, Modell 4: -99.8 Anzahl der Parameter k (einschließlich der Abfang- und Fehlerabweichungen) für jedes Modell: Modell 1: 3, Modell 2: 4, Modell 3: 4, Modell 4: 5.
Compute AIC:
- Modell 1: AIC = 2*3 – 2*(-105.3) = 6 + 210.6 = 216.6
- Modell 2: AIC = 2*4 – 2*(-101.0) = 8 + 202.0 = 210.0
- Modell 3: AIC = 2*4 – 2*(-104.1) = 8 + 208.2 = 216.2
- Modell 4: AIC = 2*5 – 2*(-99.8) = 10 + 199.6 = 209.6
Modell 4 hat die niedrigste AIC (209.6), dicht gefolgt von Modell 2 (210.0). ΔAIC für Modell 2 = 0,4, was weniger als 2 bedeutet, was darauf hinweist, dass beide Modelle eine starke Unterstützung haben. Modell 3 und Modell 1 haben eine ΔAIC von 6,6 bzw. 7,0, was auf eine viel schwächere Unterstützung hinweist. Der Forscher könnte Modell 2 wählen, weil es einfacher ist (ein Parameter weniger), während es fast so gut ist wie Modell 4. Alternativ könnten sie Modellmittelung durchführen: Gewichte w2 = exp(-0,5*0,4)/(exp(-0,5*0,4) + exp(0) + exp(-0,5*6,6) + exp(-0,5*7,0) ≈ 0,55, w4 ≈ 0,45.
Vorhersagen würden beide Modelle proportional kombinieren.
Software-Implementierung von AIC
Die meisten statistischen Pakete berechnen AIC automatisch.
- R: Die Funktion für lineare Modelle verwenden; aufrufen oder verwenden. Für verallgemeinerte lineare Modelle funktionieren und ähnlich.
- Python (Statsmodels): Nachdem Sie ein Modell angepasst haben (z. B. ), verwenden Sie das -Attribut.
- SAS: Die -Anweisung in oder erzeugt AIC. In ist AIC Teil der Fit-Statistik-Ausgabe.
- SPSS: Wählen Sie in Regressionsdialogen unter "Statistik" "Informationskriterien", um AIC und BIC anzuzeigen.
- Excel: Nicht nativ unterstützt, aber Sie können AIC manuell mit der Log-Likelihood berechnen, die Sie von Solver oder Add-Ins erhalten haben.
Bei gemischten Modellen und Zeitreihen sollten Sie die richtigen Freiheitsgrade verwenden. Strafen für zufällige Effekte können diskutiert werden; konsultieren Sie Expertenrichtlinien oder verwenden Sie bedingte AIC (cAIC) für gemischte Modelle.
Weiteres Lesen und Referenzen
Für diejenigen, die ihr Verständnis von AIC und Modellauswahl vertiefen möchten, werden die folgenden Ressourcen dringend empfohlen:
- AIC-Modellauswahl und Multimodell-Inferenz in der Verhaltensökologie: einige Hintergrund, Beobachtungen und Vergleiche - bietet einen umfassenden Überblick über die AIC-Nutzung in Ökologie und Evolution.
- Wikipedia: Akaike-Informationskriterium – einen detaillierten Eintrag mit mathematischen Ableitungen und Geschichte.
- Burnham, K.P. & Anderson, D.R. (2002). Modellauswahl und Multimodel Inference – das wegweisende Lehrbuch über AIC-basierte Multimodell-Inferenz.
- R Paket „MuMIn: Multi-Model Inference – ein praktischer Leitfaden zur Implementierung der AIC-Modellauswahl und Mittelwertbildung in R.
AIC bleibt eines der einflussreichsten Werkzeuge in der angewandten Statistik. „Durch das Verständnis ihrer Ableitung, korrekten Anwendung und Grenzen können Analysten fundiertere Entscheidungen treffen, die zu Modellen führen, die sowohl interpretierbar als auch prädiktiv genau sind.