Introduction au test du rapport de probabilité

Le test de probabilité de rapport (LRT) est un outil statistique fondamental pour comparer l'ajustement de deux modèles concurrents. Il évalue si un modèle plus complexe fournit une explication significativement meilleure des données observées qu'un modèle de référence plus simple et imbriqué. En quantifiant l'amélioration de la probabilité, le LRT aide les chercheurs à prendre des décisions fondées sur des principes concernant la complexité du modèle, réduisant le risque de suradaptation tout en saisissant des modèles significatifs.

L'idée fondamentale de la TLR remonte au travail du statisticien britannique Sir Ronald Fisher et a été officialisée par Samuel S. Wilks en 1938. Wilks a démontré que, dans certaines conditions, la statistique testiste suit asymptotiquement une distribution chi-carré, ce qui la rend pratique pour les tests d'hypothèse. Aujourd'hui, la TLR reste une pierre angulaire de l'inférence basée sur la probabilité, souvent utilisée en parallèle avec des critères d'information comme l'AIC et la BIC.

Quand utiliser le test de rapport de probabilité

Le test de rapport de probabilité est le plus approprié pour comparer Modèles imbriqués — c'est-à-dire lorsque le modèle plus simple est un cas particulier du modèle plus complexe, par exemple, un modèle de régression linéaire sans termes d'interaction est imbriqué dans un modèle qui les inclut, ou un modèle avec seulement des effets principaux est imbriqué dans un modèle qui comprend des termes quadratiques.

Les autres tests de comparaison de modèles comprennent le test Wald et le test de score (multiplieur de lagrange).

  • Essai de Wald: Nécessite seulement une estimation du modèle complet et est plus simple sur le plan calculatif pour tester les coefficients individuels. Cependant, il peut être moins fiable pour les petits échantillons ou lorsque les paramètres sont proches de la limite de l'espace de paramètre.
  • Essai de pointage: Il suffit d'estimer le modèle restreint et est souvent utilisé dans la construction de modèles. Il est particulièrement utile lorsque le modèle complet est difficile à estimer.
  • Essai de rapport de probabilité : Généralement considéré comme le plus fiable pour les échantillons modérés à grands, car il compare directement toutes les probabilités des deux modèles. Il faut adapter les deux modèles, mais est invariant à la paramétrisation et souvent plus puissant.

Choisissez le LRT lorsque vous avez les ressources informatiques pour s'adapter aux deux modèles et vous avez besoin d'une statistique de test robuste et bien gérée. Il est particulièrement favorisé dans les modèles linéaires généralisés (GLM), les modèles à effets mixtes et la modélisation d'équations structurelles.

Hypothèses du test du rapport de probabilité

Pour que le TLR produise des résultats valides, il faut satisfaire aux hypothèses suivantes :

  • Modèles imbriqués: Le modèle nul doit être un cas particulier du modèle alternatif, obtenu en fixant certains paramètres à des valeurs fixes (habituellement zéro).
  • Conditions de régularité: Les modèles doivent satisfaire aux conditions de régularité normalisées pour l'estimation de la probabilité maximale (EMI): le vrai paramètre se trouve à l'intérieur de l'espace du paramètre, la fonction de probabilité est lisse et la matrice d'information Fisher attendue est positive, ce qui exclut les paramètres de limite (p. ex., les composantes de variance à zéro) où la distribution asymptotique peut se décomposer.
  • Taille de l'échantillon: Bien qu'il fonctionne souvent bien avec des échantillons de taille modérée (p. ex., n > 30 ou n > 50 selon la complexité du modèle), de petits échantillons peuvent entraîner des taux d'erreur de type I gonflés. Des méthodes de correction (p. ex., la correction de Bartlett) existent mais dépassent le cadre du présent guide.
  • Observations indépendantes et identiques (c.-à-d.) : La plupart des formes standard de la TLR supposent des observations indépendantes. Pour les données groupées ou séries chronologiques, des versions robustes ou d'autres tests peuvent être nécessaires.

Si ces hypothèses sont violées, la statistique d'essai peut ne pas suivre la distribution chi-carré, et la valeur p peut être peu fiable. Dans de tels cas, des tests de localisation ou de rapport de probabilité avec des estimations de covariance robustes peuvent être utilisés.

Procédure étape par étape pour effectuer le test de rapport de probabilité

La procédure de la TLR peut être divisée en étapes claires et reproductibles:

Étape 1: Spécifiez les modèles Null et Alternative

Définir le modèle plus simple (null, H0) et le modèle plus complexe (alternative, H1). S'assurer qu'ils sont imbriqués. Par exemple, dans une régression logistique prédictive du diabète (oui/non), le modèle nul pourrait inclure seulement l'âge, tandis que le modèle alternatif ajoute l'IMC et les antécédents familiaux.

Étape 2: Adapter les deux modèles et obtenir des probabilités de log

Utilisez l'estimation de la probabilité maximale pour adapter chaque modèle aux données. probabilité de loglihood La plupart des logiciels statistiques fournissent la probabilité de log-lihood directement (p. ex. dans R, dans Stata, dans les modèles de scikit-learn ou de statistiques de Python). La probabilité de log-lihood est toujours négative ou nulle, avec des valeurs plus élevées (plus proches de zéro) indiquant une meilleure adaptation.

Étape 3: Calculer le calcul statistique des essais

La statistique de la TLR est la suivante :

D = 2 × (probabilité de logarithme) Autres – probabilité de loglihoodnull)

Cette valeur est toujours non négative parce que le modèle alternatif ne peut avoir une probabilité log-log inférieure à la valeur nulle (puisqu'il contient la valeur nulle en tant que cas spécial).

Étape 4: Déterminer les degrés de liberté

Les degrés de liberté (df) sont égaux à la différence entre les deux modèles dans le nombre de paramètres librement estimés. Par exemple, si le modèle null a 3 paramètres (intervalle + 2 prédicteurs) et l'alternative a 5 paramètres (intervalle + 4 prédicteurs), df = 2.

Note : Lorsque les paramètres sont limités (p. ex., les composantes de variance fixées à zéro), le calcul de df peut ne pas être simplement la différence de comptage - les problèmes de limites peuvent faire de la distribution asymptotique un mélange de chi-carrés.

Étape 5: Calculer la valeur p

Selon l'hypothèse nulle, la statistique de test D suit une distribution chi-carré avec df égale à la différence de paramètres. La valeur p est la probabilité d'observer une statistique aussi extrême que D sous cette distribution. Utilisez une table chi-carré ou des outils de calcul:

  • Dans R:
  • Dans Python:
  • De nombreux logiciels automatisent cette étape (p. ex. ] dans le paquet lmtest de R ou dans R pour les modèles imbriqués).

Étape 6 : Prendre une décision

Comparer la valeur p à votre niveau de signification choisi (habituellement α = 0,05). < α, reject the null hypothesis in favor of the alternative model, concluding that the additional parameters provide a statistically significant improvement in fit. If p ≥ α, fail to reject the null, meaning the simpler model is adequate.

Rappelez-vous : La signification statistique ne garantit pas l'importance pratique.

Exemple pratique : Comparaison des modèles de régression linéaire

Prenons un exemple concret de la TLR. Supposons que nous ayons des données sur 200 personnes avec des variables : Recettes (dépendant, en milliers de dollars), âge (années), éducation (années de scolarité), et expérience Nous voulons vérifier si l'ajout d'éducation et d'expérience améliore la prédiction du revenu au-delà de l'âge.

Modèles

  • Modèle Null (M0): Revenu = β0 + β1·age + ε
  • Modèle alternatif (M1): Revenu = β0 + β1·age + β2·éducation + β3·expérience + ε

Ces modèles sont imbriqués : M1 comprend tous les termes de M0 plus deux paramètres supplémentaires (β2 et β3). Les degrés de liberté pour le test = 2.

Aménagement et possibilités de connexion

Après avoir monté les deux modèles en utilisant des moindres carrés ordinaires (qui, en vertu de la normalité, donne MLE), nous obtenons:

  • Prévoir une trace pour M0: -602.3
  • Risque de log pour M1: -589,7

Remarque M1 a une probabilité de log-lihood plus élevée (moins négative), ce qui indique une meilleure adaptation.

Statistique des essais

D = 2 × (-589.7 – (-602,3)) = 2 × 12,6 = 25,2

Calcul de la valeur p

Avec 2 degrés de liberté, nous regardons la distribution chi-carré : donne p ↓ 3,4 × 10−6. C'est bien en dessous de 0,05.

Conclusion

Nous rejetons le modèle nul. L'ajout de l'éducation et de l'expérience améliore considérablement la prédiction du revenu. Dans la pratique, on examine ensuite les coefficients individuels, on vérifie les diagnostics résiduels et on peut envisager d'autres modèles (p. ex., les interactions).

Mise en œuvre en R

Pour les utilisateurs R, le LRT peut être effectué en utilisant la fonction du paquet :

Cela calcule automatiquement la valeur D, df et p. Alternativement, travaille pour des modèles linéaires imbriqués et des modèles linéaires généralisés.

Interprétation des résultats et des pièges communs

Au-delà de la valeur p, considérez ce qui suit lors de l'utilisation du TLR :

Taille de l'effet et importance pratique

Une TLR très importante peut se produire avec des améliorations minimes si la taille de l'échantillon est grande. Toujours examiner l'ampleur de l'amélioration — par exemple, l'augmentation du carré R ou la diminution de l'AIC. Un test significatif avec un effet négligeable peut ne pas justifier la complexité du modèle.

Comparaisons multiples

Si vous testez plusieurs modèles imbriqués de façon séquentielle (p. ex. sélection avant), l'utilisation répétée de l'erreur de type I de la TLR. Utilisez des corrections telles que Bonferroni ou des critères d'information (CAI, CBI) pour la sélection du modèle. La TLR est la meilleure pour tester une hypothèse précise et pré-pré-prévue.

Questions relatives aux frontières

Lors de l'analyse de la valeur de zéro (par exemple, dans les modèles à effets aléatoires), l'hypothèse nulle se situe sur la limite de l'espace de paramètre. Dans ces cas, la statistique de test suit un mélange de distributions chi-carré (par exemple, 50:50 mélange de χ20 et χ21 pour une variance unique).

Taille de l'échantillon et asymptomes

Pour les petits échantillons, l'approximation du chi carré peut être faible. Envisagez d'utiliser un bootstrap paramétrique : simulez les données sous la distribution nulle, calculez la statistique de la TLR pour chaque ensemble de données simulé et dérivez une valeur empirique de p. Cette approche est plus fiable mais plus intensive en calcul.

Modèles non-nécessaires

Le TLR ne peut pas être utilisé pour comparer des modèles non nichés (p. ex., modèle linéaire ou modèle cubique sans nid). Pour de telles comparaisons, utilisez l'AIC, le BIC ou le test Vuong.

Conclusion

Le test de rapport de probabilité est une méthode asymptotique puissante pour comparer les modèles imbriqués. En fournissant un cadre statistiquement rigoureux pour décider si la complexité supplémentaire est justifiée, il permet aux chercheurs de construire des modèles parcimonieux mais précis. Nous avons couvert ses fondements théoriques, hypothèses, application étape par étape, et un exemple pratique utilisant la régression. N'oubliez pas de vérifier les hypothèses - en particulier la nidification, la taille de l'échantillon et les conditions de régularité - et de compléter le TLR par des mesures de taille d'effet et des vérifications diagnostiques.

Pour plus de détails, explorez ces ressources externes :