Understanding the Role of Prior Distributions in Bayesian Statistics
Table of Contents
Les statistiques bayésiennes offrent un cadre cohérent pour actualiser les croyances sur les paramètres incertains à mesure que de nouvelles données deviennent disponibles. distribution préalable, une représentation mathématique de ce que nous savons ou supposons à propos d'un paramètre avant d'observer des données. Le précédent est combiné avec la probabilité des données observées à travers le théorème de Bayes pour produire un Distribution postérieure, qui résume nos connaissances révisées après avoir examiné les preuves. Le choix du préalable peut fortement influencer l'arrière, surtout lorsque les données sont rares, ce qui rend essentiel pour les praticiens de comprendre le rôle, la construction et les implications des distributions antérieures dans les analyses du monde réel.
Qu'est-ce qu'une distribution antérieure?
Une distribution antérieure est une fonction de densité de probabilité (pour les paramètres continus) ou une fonction de masse de probabilité (pour les paramètres discrets) qui quantifie notre incertitude initiale sur une quantité inconnue. Dans l'inférence bayésienne, la précédure n'est pas seulement un point de départ mais une partie intégrante du modèle. Elle représente notre connaissance subjective ou objective avant que les données soient vues, qui peut provenir d'expériences antérieures, d'opinions d'experts, de contraintes physiques, ou même d'un désir d'exprimer l'ignorance. La précédure est alors mise à jour via le théorème de Bayes:
A posteriori - - Précédant × Probabilité
La distribution postérieure est proportionnelle au produit du précédent et à la probabilité des données observées. Ce mécanisme de mise à jour est mathématiquement élégant et philosophiquement attrayant parce qu'il fournit une façon naturelle d'apprendre de l'expérience. Cependant, l'influence du préalable peut être à la fois une force et une faiblesse: il permet l'intégration des connaissances existantes mais introduit également la subjectivité dans l'analyse.
Types de prieurs
Antérieurs informatifs
Par exemple, dans un essai clinique pour un médicament qui est une légère modification d'un médicament existant, les données historiques peuvent suggérer que le taux de réussite est d'environ 70% avec un petit écart type. L'utilisation d'un précédent informatif centré à 0,7 avec une faible variance influencera fortement l'arrière-cour, mais cette influence est justifiée par les preuves solides antérieures. Les précédents informatifs sont puissants lorsque les données sont rares, car ils peuvent améliorer considérablement la précision et réduire la taille de l'échantillon nécessaire pour tirer des conclusions.
Précédants peu informés
Les antécédents peu informatifs sont conçus pour fournir une certaine régularisation sans imposer de fortes croyances. Ils sont souvent utilisés lorsque nous avons une idée de l'échelle ou de la plage plausible d'un paramètre mais que nous voulons que les données dominent l'inférence. Par exemple, un précédent qui place une distribution normale standard sur un coefficient de régression (moyenne 0, variance 1) est faiblement informatif si nous nous attendons à ce que le coefficient soit petit. Ces antécédents aident à prévenir les estimations extrêmes tout en permettant aux données de conduire les résultats.
Prévôts non informatifs (à la mode)
Les précédents non informatifs, également appelés précédents non informatifs ou de référence, visent à exprimer l'ignorance du paramètre. L'exemple le plus courant est un précédent uniforme sur un intervalle fini, ou un précédent plat sur la ligne réelle. Cependant, il faut prendre soin : un précédent plat sur un paramètre non consolidé peut être inapproprié (ne s'intègre pas à 1), qui peut encore donner un postérieur approprié dans certaines conditions. Un autre exemple classique est Jeffreys, qui est invariant sous reparamétérisation. Les précédents non informatifs sont utiles quand nous voulons que les données parlent d'elles-mêmes, mais ils peuvent conduire à l'instabilité dans de petits échantillons ou dans des modèles haute dimension.
Précédants conjugaux
Par exemple, un béta a priorité est conjugué pour une probabilité binôme (l'après est Beta), et un gamma a priorité est conjugué pour une probabilité Poisson. Les précédents conjugués simplifient énormément les calculs mathématiques, permettant de dériver des expressions postérieures en forme fermée sans intégration numérique. Ils étaient particulièrement populaires avant l'avènement des méthodes informatiques modernes et sont encore largement utilisés pour enseigner et pour construire une compréhension intuitive. Cependant, les précédents conjugués ne peuvent pas toujours saisir avec précision les croyances antérieures vraies, et les méthodes modernes de la chaîne Markov Monte Carlo (MCMC) ont réduit le besoin de la stricte conjugaison.
Choisir le droit préalable
Choisir un précédent approprié est une étape critique dans la modélisation bayésienne. Un précédent mal choisi peut dominer les données et conduire à des conclusions biaisées ou trompeuses.
- Connaissances du sujet : Utiliser les renseignements disponibles provenant d'études antérieures, d'une expertise ou d'une théorie scientifique pour construire un précédent qui reflète la compréhension actuelle.
- Robusteté : Effectuer des analyses de sensibilité en modifiant le précédent pour voir à quel point le post-côté change. Si les conclusions sont stables sur les précédents raisonnables, l'inférence est robuste.
- Bayes empiriques: Dans certains paramètres, le précédent peut être estimé à partir des données à portée de main (p. ex., à l'aide d'un modèle hiérarchique), bien que cela viole la stricte séparation bayésienne des données antérieures et des données.
- Régularisation : Utiliser des antécédents peu informatifs pour réduire les estimations extrêmes et améliorer la performance prédictive, en particulier dans les modèles à haute dimension.
Il est de bonne pratique de justifier le choix d'une méthode de transparence préalable et de signaler la sensibilité des résultats aux précédents alternatifs. Cette transparence est l'une des forces des statistiques bayésiennes : les hypothèses de l'analyste sont explicites et ouvertes à l'examen.
Exemples pratiques
Exemple 1: Estimation d'une probabilité avec un Flip de pièce
Supposons que nous voulions estimer la probabilité qu'une pièce débarque. Nous observons 10 retournes et obtenons 9 têtes. Avec un précédent uniforme (Beta(1,1)), l'a posteriori est Beta(1+9, 1+1) = Beta(10,2). La moyenne postérieure est 10/12 ↓ 0.833. Mais si nous avons une croyance antérieure forte que la pièce est juste, nous pourrions utiliser un précédent comme Beta(100,100) (moyenne 0,5, forte concentration).
Ensuite, l'a posteriori devient Beta(109,101) avec une moyenne 109/210 ↓ 0.519. Cette estimation radicalement différente montre comment un précédent fort peut dominer même des données modérées. Le choix du préalable doit être justifié par contexte: si la pièce est de bonne réputation, un précédent fort pour l'équité peut être raisonnable; si nous n'avons pas de telles connaissances, l'aprécédent uniforme est plus approprié.
Exemple 2 : Essais A/B dans le cadre de la commercialisation
Dans un test A/B comparant les taux de clics (CTR) pour deux conceptions de site Web, nous pourrions utiliser des antécédents bêta peu informatifs pour les deux taux. Par exemple, nous pourrions définir Beta(1,1) pour les deux groupes pour exprimer l'ignorance complète. Sinon, si les données historiques de tests similaires montrent que les CTR typiques sont d'environ 2 à 3 %, nous pourrions utiliser un Beta(30, 970) précédent (moyenne 0,03, taille effective de l'échantillon 1000).
Exemple 3 : Estimation d'une moyenne avec des données limitées
Nous avons seulement 5 mesures. L'utilisation d'un précédent plat pour la moyenne μ (uniforme imparfait) et d'un précédent vague pour la variance pourrait donner des estimations instables. Une meilleure approche consiste à utiliser un précédent faiblement informatif pour μ centré sur la hauteur typique des espèces apparentées (p. ex., normale(50 cm, 10 cm)) et un précédent demi-cauché pour l'écart type.
Méthodes de calcul pour la sélection préalable
Dans la pratique bayésienne moderne, le précédant est rarement choisi uniquement pour la commodité mathématique. Les méthodes de la chaîne Markov Monte Carlo (MCC), comme l'échantillonnage de Gibbs et de la chaîne Hamiltonienne Monte Carlo (mise en œuvre dans des outils comme Stan, JAGS et PyMC), permettent aux analystes de spécifier toute distribution antérieure, même non conjuguée ou complexe. Cette flexibilité signifie que le précédant peut être adapté au problème sans se soucier des postérieurs à forme fermée. Cependant, les méthodes de calcul nécessitent toujours des spécifications préalables précises pour assurer un échantillonnage et une convergence appropriés.
Les vérifications prédictives préalables sont un outil précieux pour évaluer les choix préalables. On simule les données de la distribution antérieure et on examine si les données générées sont plausibles compte tenu du domaine. Si le précédent produit des ensembles de données irréalistes, il devrait être ajusté. De même, les vérifications prédictives postérieures comparent les données observées aux données simulées à partir du post-cible pour évaluer l'ajustement du modèle.
Conclusion
La distribution préalable est une pierre angulaire des statistiques bayésiennes, permettant aux analystes d'intégrer officiellement les connaissances externes et l'incertitude dans leurs modèles. Comprendre les différents types de antécédents – information, information, non-information et conjugaison – et leurs implications pratiques sont essentielles pour effectuer des analyses bayésiennes robustes et crédibles. Un précédent bien choisi peut améliorer l'inférence, en particulier dans des contextes limités par les données, tandis qu'un précédent mal choisi peut induire en erreur.
Pour plus de détails, voir les articles de Wikipédia sur probabilité préalable, les antécédents conjuguéset Théorème de Bayes. Les Études de cas sur la modélisation préalable par Michael Betancourt fournir des informations plus approfondies sur la construction pratique antérieure. Repense statistique par Richard McElreath offre une excellente introduction à la modélisation bayésienne en mettant l'accent sur le choix préalable.