Comprendre le critère d'information d'Akaike

Le critère d'information Akaike (AIC) est un outil fondamental dans la sélection des modèles statistiques, développé par Hirotugu Akaike en 1973. Il fournit une estimation de l'information relative perdue lorsqu'un modèle donné est utilisé pour représenter le processus qui a généré les données. En conciliant le modèle avec la complexité, AIC aide les analystes à éviter deux pièges communs : l'embouteillage (modèles trop complexes pour les données disponibles) et l'emboutissage (modèles trop simples pour saisir le modèle sous-jacent).

La formule de base pour l'AIC est la suivante :

AIC = 2k – 2ln(L)

où k est le nombre de paramètres estimés dans le modèle, et L Le terme 2k pénalise la complexité du modèle, tandis que –2ln(L) mesure la mesure de la justesse du modèle. L'AIC n'existe pas isolément; il s'agit d'une mesure relative utilisée pour comparer les modèles candidats sur le même ensemble de données. Le modèle ayant la valeur AIC la plus basse est considéré comme le meilleur parmi les candidats, en réalisant un équilibre pratique entre la bonté d'adaptation et la parcimonie.

L'AIC est fondée sur la théorie de l'information. Elle est proche de la divergence entre le processus réel de production de données et le modèle. Parce que le vrai processus est inconnu, l'AIC fournit un moyen de classer les modèles en fonction de la précision prédictive attendue. Cela rend l'AIC particulièrement utile dans des domaines tels que l'écologie, l'économétrométrie, l'apprentissage automatique et l'épidémiologie, où plusieurs théories concurrentes doivent être testées à l'aide de données observées.

Pourquoi l'AIC compte pour la sélection de modèles

L'analyse statistique moderne implique souvent la comparaison de plusieurs modèles plausibles. Sans critère rigoureux, les analystes peuvent se fier à la probabilité brute ou aux valeurs R-carrés, qui tendent à favoriser des modèles trop complexes. L'AIC introduit une pénalité pour chaque paramètre supplémentaire, décourageant la complexité inutile. Cette pénalité est dérivée d'une base théorique : à mesure que le nombre de paramètres augmente, la variance des estimations du modèle augmente, ce qui peut dégrader les prédictions hors échantillon.

L'AIC quantifie l'échange : un modèle qui ajoute un paramètre doit améliorer la probabilité de compenser la pénalité de 2. Par exemple, si l'ajout d'une variable augmente la probabilité de log de moins de 1, l'AIC augmentera en fait, ce qui indique que la complexité supplémentaire n'est pas valable. Cette propriété fait de l'AIC un outil pratique pour la sélection de variables, la détermination de l'ordre polynôme et la moyenne des modèles.

En comparant les valeurs de l'AIC à l'ensemble des modèles candidats, les chercheurs peuvent identifier les modèles les plus cohérents avec les données tout en évitant la tentation de chasser de façon interminable une meilleure concordance en échantillon. Il facilite également la moyenne des modèles, où les prédictions de plusieurs modèles sont pondérées par leurs probabilités basées sur l'AIC, ce qui permet d'obtenir des estimations plus robustes et des intervalles de confiance plus étroits.

Guide étape par étape de l'utilisation de l'AIC

Étape 1: Définir un ensemble de modèles candidats

Pour la régression linéaire, les candidats peuvent inclure différentes combinaisons de prédicteurs, de termes d'interaction ou de transformations polynômes. Pour les séries chronologiques, les modèles peuvent varier selon le nombre de laps de temps ou de composantes structurelles.

Étape 2: Adapter chaque modèle et obtenir la probabilité

Pour chaque modèle candidat, estimer les paramètres et calculer la valeur maximale de log-frais. La plupart des logiciels statistiques (R, Python, SAS, SPSS) peuvent afficher directement la log-fraishood. Assurez-vous que la fonction de vraisemblance est comparable entre les modèles – cela exige généralement que les modèles soient adaptés exactement à la même variable de réponse et taille de l'échantillon.

Étape 3: Calculer la valeur AIC

Appliquer la formule AIC = 2k – 2ln(L) en utilisant le nombre de paramètres k (y compris l'interception, le terme de variance et les coefficients estimés) et la probabilité de log-lihood. De nombreux progiciels calculent automatiquement l'AIC. Soyez cohérents : si un modèle estime un paramètre de variance et qu'un autre ne le fait pas, les deux doivent le rendre compte en k- Oui.

Étape 4: Comparer les valeurs AIC à travers les modèles

Trier les modèles par AIC du plus bas au plus haut. Le modèle avec un minimum d'AIC est le meilleur parmi les candidats. Cependant, éviter de jeter les modèles trop rapidement. Calculer ΔAIC pour chaque modèle : ΔAIC = modèle AIC – AIC min. Les modèles avec ΔAIC moins de 2 ont un support substantiel; ceux avec ΔAIC entre 4 et 7 ont un support considérablement moins; et les modèles avec ΔAIC plus de 10 sont essentiellement non supportés par rapport au meilleur modèle (Burnham et Anderson 2004).

Étape 5 : Considérer la simplicité du modèle et son contexte pratique

Si deux modèles ont des valeurs AIC presque identiques (ΔAIC < 1), the simpler model is often preferred, especially if the more complex model introduces variables that are difficult to interpret or measure. AIC is a guide, not a rule. Domain knowledge, data quality, and the intended use of the model should always inform the final choice.

Étape 6 : (facultatif) Effectuer la moyenne des modèles

Au lieu de sélectionner un modèle unique, vous pouvez calculer les poids d'Akaike (w i) pour chaque modèle : w i = exp(-0.5ΔAIC i) / ш exp(-0.5ΔAIC j). Ces poids totalisent 1 et représentent la probabilité que le modèle i soit le meilleur pour les données (compte tenu de l'ensemble de candidats).

Interprétation des valeurs de l'AIC dans la pratique

Les valeurs AIC sont toujours positives et peuvent être importantes, mais seules leurs différences relatives comptent. L'ampleur absolue de l'AIC est sans signification sans référence comparative.

  • ΔAIC ≤ 2: Le modèle bénéficie d'un appui substantiel et devrait être considéré comme le meilleur modèle tout aussi plausible.
  • 4 ≤ ΔAIC ≤ 7: Le modèle a beaucoup moins de soutien, mais il pourrait être utile de l'examiner dans un contexte de moyenne.
  • ΔAIC > 10: Le modèle n'a essentiellement aucun appui et peut être exclu avec confiance de l'examen plus approfondi.

Dans la pratique, la taille de l'ensemble des candidats, la taille de l'échantillon et le contexte scientifique particulier peuvent influer sur l'interprétation. Par exemple, dans les ensembles de données de grande taille, même de petites différences dans l'AIC peuvent indiquer des différences significatives dans la capacité de prévision.

Quand utiliser l'AIC corrigé (AICc)

La formule standard de l'AIC fonctionne bien lorsque la taille de l'échantillon n est grande par rapport au nombre de paramètres k. Une règle courante est que n/k devrait être au moins 40. Lorsque la taille de l'échantillon est petite, l'AIC tend à sous-pénaliser la complexité et peut sélectionner des modèles avec trop de paramètres. Pour répondre à cette question, Sugiura (1978) a dérivé une version corrigée, AICc:

AICc = AIC + (2k(k+1)) / (n – k – 1)

AICc converge vers AIC à mesure que n grandit, il est donc sûr d'utiliser AICc dans tous les cas, surtout lorsque n/k < 40. It is recommended as the default choice for model selection in most applied statistics settings. Many software packages offer AICc as an option or allow manual calculation.

Pour les petits échantillons, la pénalité supplémentaire peut modifier considérablement les classements des modèles. Par exemple, avec n = 20 et k = 5, le terme de correction ajoute environ 3,4 à l'AIC, ce qui peut être la différence entre le choix d'un modèle simple et celui d'un modèle surparamétrisé.

Critères de sélection de l'AIC par rapport à d'autres modèles

L'AIC est l'un des nombreux critères d'information. La compréhension de ses proches aide à contextualiser ses forces et ses faiblesses.

Critère d'information bayésienne (CBI)

La BIC est un autre critère largement utilisé avec la formule BIC = ln(n)k – 2ln(L). La pénalité pour chaque paramètre est ln(n) au lieu de 2. Pour les tailles d'échantillon typiques, ln(n) > 2, donc la BIC pénalise la complexité plus fortement que l'AIC. BIC est dérivé d'une perspective bayésienne et favorise des modèles plus simples, surtout dans les grands ensembles de données.

Validation croisée

La validation croisée du facteur k (CV) évalue directement l'erreur de prédiction hors échantillon en partitionnant les données. L'AIC est asymptotiquement équivalent à la validation croisée du facteur non linéaire pour les modèles linéaires. Pour les modèles non linéaires ou lorsque n est très petit, le CV peut être plus fiable. Cependant, le CV est plus intensif et peut être instable. L'AIC fournit une approximation en forme fermée pratique qui fonctionne bien dans de nombreux paramètres paramétriques.

R-carré ajusté

Le carré R ajusté pénalise R2 par le nombre de prédicteurs : R2 adj = 1 – (1–R2)(n–1)/(n–k–1). Il est facile à calculer mais ne s'applique qu'aux modèles de régression linéaire et ne possède pas de base théorique solide pour la comparaison générale des modèles.

Pièges et limites communs

Malgré sa popularité, l'AIC a plusieurs limites que les analystes doivent considérer.

  • Si tous les modèles sont imbriqués ou comparables? Pas nécessairement. L'AIC peut comparer les modèles non-négatifs tant qu'ils sont adaptés au même ensemble de données et utilisent la même variable de réponse. Cependant, les modèles avec différentes familles de distribution sous-jacente (p. ex. Gaussian vs Poisson) ne devraient pas être comparés à moins que les probabilités ne soient correctement normalisées.
  • Risque de choisir des modèles trop complexes avec de petits échantillons. C'est exactement la raison pour laquelle AICc a été développé. Toujours préférer AICc quand la taille de l'échantillon est petite par rapport au nombre de paramètres.
  • Ne teste pas les hypothèses du modèle. L'AIC ne vérifie pas si un modèle est un ajustement raisonnable aux données, mais seulement le classement des candidats. Les tests résiduels, la détection aberrante et la bonté d'adaptation devraient toujours accompagner l'analyse de l'AIC.
  • Dépendance de la taille de l'échantillon. La valeur absolue de l'AIC et même les classements relatifs peuvent changer si l'ensemble de données change. Utilisez l'AIC uniquement sur le même échantillon dans tous les modèles.
  • Peut favoriser les modèles avec une grande variance. En présence de multicolinéarité ou de valeurs extrêmes, l'AIC peut encore choisir un modèle qui correspond bien aux données d'entraînement mais qui ne se généralise pas. La modélisation robuste et le dépistage préalable variable sont essentiels.
  • Ne convient pas pour comparer des modèles avec différentes distributions d'erreurs. Par exemple, la comparaison d'une régression linéaire (erreurs normales) avec une régression logistique (erreurs binomiales) est invalide parce que les fonctions de probabilité s'échellent différemment.

Autre limite subtile : l'AIC suppose que l'ensemble des candidats comprend au moins un bon modèle. Si tous les modèles sont de mauvaises représentations de la réalité, l'AIC choisira toujours les meilleurs parmi eux, mais ce modèle peut être inadéquat. La sélection des modèles devrait toujours être combinée à la validation externe, à la validation croisée et aux connaissances de fond.

Exemple pratique : Sélection de modèles avec AIC

Supposons qu'un chercheur étudie comment la croissance des arbres ( Oui, cm/an) se rapporte à l'azote du sol (N, mg/kg), phosphore du sol (P, mg/kg), et précipitations annuelles ( Autres, mm). Trente placettes sont mesurées. Quatre modèles linéaires candidats sont considérés:

  • Modèle 1: Y = β0 + β1N + ε
  • Modèle 2: Y = β0 + β1N + β2P + ε
  • Modèle 3: Y = β0 + β1N + β2R + ε
  • Modèle 4: Y = β0 + β1N + β2P + β3R + ε

Chaque modèle est monté en utilisant des moindres carrés ordinaires. Les valeurs log-probabilité (ln L) sont obtenues: Modèle 1: -105.3, Modèle 2: -101.0, Modèle 3: -104.1, Modèle 4: -99.8. Nombre de paramètres k (y compris la variance d'interception et d'erreur) pour chacun: Modèle 1: 3, Modèle 2: 4, Modèle 3: 4, Modèle 4: 5.

Calculer l'AIC :

  • Modèle 1: AIC = 2*3 – 2*(-105.3) = 6 + 210.6 = 216.6
  • Modèle 2: AIC = 2*4 – 2*(-101,0) = 8 + 202,0 = 210,0
  • Modèle 3: AIC = 2*4 – 2*(-104.1) = 8 + 208.2 = 216.2
  • Modèle 4: AIC = 2*5 – 2*(99.8) = 10 + 199,6 = 209,6

Le modèle 4 a le plus bas CAI (209,6), suivi de près par le modèle 2 (210,0). ΔAIC pour le modèle 2 = 0,4, ce qui est inférieur à 2, ce qui indique que les deux modèles ont un fort soutien. Le modèle 3 et le modèle 1 ont un ΔAIC de 6,6 et 7,0 respectivement, ce qui indique un soutien beaucoup plus faible. Le chercheur pourrait choisir le modèle 2 parce qu'il est plus simple (un paramètre de moins) et presque aussi bon que le modèle 4.

Mise en œuvre de logiciels de l'AIC

La plupart des paquets statistiques calculent automatiquement l'AIC. Voici des exemples communs :

  • C'est un peu comme ça. Pour les modèles linéaires généralisés, et fonctionnent de la même façon. Le paquet offre des calculs de moyenne et d'AICc du modèle.
  • Python (modèles de statistiques): Après avoir ajusté un modèle (p. ex. ), utilisez l'attribut . Pour AICc, vous pouvez le calculer manuellement ou utiliser la propriété disponible dans certains modèles.
  • C'est pas vrai. L'énoncé dans ou produit de l'AIC. Dans , l'AIC fait partie de la production de statistiques adaptées.
  • - Oui. Dans les dialogues de régression, sélectionnez « Critères d'information » sous « Statistiques » pour afficher AIC et BIC.
  • C'est un peu comme ça. Non supporté nativement, mais vous pouvez calculer manuellement AIC en utilisant la log-probabilité obtenue à partir de solveur ou d'add-ins.

Pour les modèles mixtes et les séries chronologiques, assurez-vous d'utiliser les degrés de liberté corrects. Les pénalités pour les effets aléatoires peuvent être débattues; consultez les directives d'experts ou utilisez l'AIC conditionnelle (CAC) pour les modèles mixtes.

Lecture et références supplémentaires

Pour ceux qui souhaitent approfondir leur compréhension de l'AIC et de la sélection des modèles, les ressources suivantes sont fortement recommandées :

L'AIC demeure l'un des outils les plus influents dans les statistiques appliquées. En comprenant son dérivé, son application correcte et ses limites, les analystes peuvent prendre des décisions plus éclairées qui conduisent à des modèles à la fois interprétables et précis.