How to Use Probability to Assess the Impact of Policy Changes
Table of Contents
La théorie de la probabilité pose un défi fondamental aux décideurs, aux éducateurs, aux chefs d'entreprise et aux étudiants. Bien que l'intuition et l'expérience jouent un rôle, un cadre quantitatif rigoureux est essentiel pour prendre des décisions éclairées sous l'incertitude. La théorie de la probabilité fournit ce cadre. En évaluant systématiquement la probabilité de divers résultats et leurs impacts, la probabilité transforme une spéculation vague en une idée pratique.
Quelle est la probabilité et pourquoi est-ce important pour la politique?
La probabilité est la mesure mathématique de la probabilité qu'un événement se produise. Elle est exprimée par un nombre compris entre 0 et 1, où 0 indique l'impossibilité et 1 indique la certitude. Dans le contexte de l'analyse des politiques, la probabilité quantifie l'incertitude inhérente à toute décision réelle.
Deux interprétations principales de la probabilité sont pertinentes pour l'analyse des politiques. Probabilité fréquente Par exemple, si les données historiques montrent que des réformes similaires de l'éducation ont amélioré les scores de test de 30% du temps, nous pourrions attribuer une probabilité de 0,3 à ce résultat. Probabilité bayésienneUn analyste bayésien commence par une probabilité antérieure basée sur les connaissances existantes, puis la révise après avoir recueilli de nouvelles données. Les deux approches ont de la valeur; les méthodes bayésiennes sont particulièrement utiles lorsque les données historiques sont rares ou lorsque les experts doivent intégrer un jugement subjectif. Par exemple, lorsqu'ils évaluent une politique nouvelle, les experts peuvent commencer par une probabilité antérieure basée sur la théorie, puis ajuster cette probabilité à mesure que les résultats du projet pilote arrivent.
Un concept connexe est probabilité conditionnelleLes décideurs politiques doivent souvent demander, par exemple, « étant donné qu'un district scolaire met en œuvre la formation des enseignants (condition A), quelle est la probabilité que la performance des élèves s'améliore (événement B) » ? La probabilité conditionnelle est le fondement des arbres de décision et de la modélisation causale plus avancée. Elle sous-tend également les évaluations de risque où un événement influence un autre.
Étapes clés de l'utilisation de la probabilité pour l'évaluation des répercussions sur les politiques
Pour évaluer l'impact d'une politique en fonction de la probabilité, les analystes suivent un workflow structuré. Chaque étape nécessite des compétences quantitatives et une expertise du domaine.
1. Identifier les résultats possibles
La première tâche consiste à énumérer tous les résultats plausibles et distincts qui pourraient résulter du changement de politique.Ces résultats doivent être mutuellement exclusifs et exhaustifs.Pour une réforme fiscale, les résultats peuvent inclure différents niveaux de croissance des revenus, des changements dans les investissements des entreprises ou des changements dans l'inégalité des revenus.Il faut prendre soin d'éviter une simplification excessive : une politique mène rarement à un résultat unique; elle produit une répartition des résultats possibles.
2. Probabilités estimées pour chaque résultat
L'attribution des probabilités est l'étape la plus difficile. Les analystes s'appuient sur plusieurs sources : les données historiques tirées de politiques similaires, les études expérimentales ou quasi expérimentales, l'acquisition d'experts et les modèles de simulation. Lorsque les données sont solides, on peut utiliser des méthodes fréquistes. Lorsque les données sont limitées, des techniques structurées de jugement d'experts (comme la méthode Delphi) aident à calibrer les probabilités subjectives en recueillant des estimations indépendantes auprès de plusieurs experts et en discutant des divergences jusqu'à ce qu'un consensus émerge. Il est courant de représenter les probabilités comme des intervalles ou des intervalles plutôt que des estimations ponctuelles, ce qui reflète l'incertitude inhérente.
3. Évaluer les répercussions ou les conséquences
Chaque résultat a un impact mesurable, qui pourrait être positif (p. ex., augmentation de l'emploi) ou négatif (p. ex., augmentation des coûts administratifs).Les impacts devraient être quantifiés au moyen d'une mesure cohérente, comme l'avantage monétaire net, le nombre de vies sauvées ou les années de vie ajustées en fonction de la qualité (AQLY).Dans de nombreux contextes stratégiques, les impacts sont multidimensionnels, exigeant des analystes qu'ils évaluent les compromis entre les secteurs.
4. Calcul de la valeur prévue et autres mesures sommaires
La valeur attendue d'une politique est la somme (probabilité × impact) de tous les résultats possibles. Ce numéro unique fournit une comparaison de base avec d'autres politiques ou le statu quo. Cependant, se concentrer uniquement sur la valeur attendue peut être trompeur si la distribution des résultats est fortement biaisée ou si la tolérance au risque est importante. Par conséquent, les analystes calculent également des mesures telles que la variance, la valeur à risque ou la probabilité que la politique produise une perte nette.
Exemple de calcul: Supposons qu'une politique ait trois résultats possibles :
- Résultat A (forte réussite): probabilité 0,2, impact +100 millions de dollars
- Résultat B (succès modéré): probabilité 0,5, impact +30 millions de dollars
- Résultat C (échec): probabilité 0,3, impact −50 millions de dollars
La valeur attendue est (0,2 × 100) + (0,5 × 30) + (0,3 × (−50)) = 20 + 15 - 15 = 20 millions de dollars. Cela suggère que la politique est valable en moyenne, mais que le 30 % de probabilité d'une perte de 50 millions de dollars peut être politiquement inacceptable – ce qui montre pourquoi la valeur attendue est insuffisante à elle seule.
Exemple détaillé : Réforme de la politique de l'éducation
La politique de l'école est un moyen de faire en sorte que les élèves puissent bénéficier d'un financement de 15 % par élève. La réussite dépend de la façon dont l'argent est utilisé et d'autres facteurs comme le moral des enseignants, la capacité administrative et l'engagement familial.
| Résultat | Probabilité | Montant estimatif de la prestation nette (en millions de dollars) |
|---|---|---|
| Amélioration élevée : Les scores de test augmentent >10% sur trois ans | 0,25 | +200 |
| Amélioration modérée: Augmentation des scores de test de 3 à 10 % | 0.40 | +80 |
| Aucun changement mesurable: Les scores sont inférieurs à 2% par rapport à la valeur de référence | 0,25 | 0 |
| Résultat négatif: Baisse des taux de change en raison de l'inefficacité des dépenses | 0.10 | −50 |
L'avantage net attendu est (0.25 × 200) + (0.40 × 80) + (0.25 × 0) + (0.10 × (−50)) = 50 + 32 + 0 - 5 = 77 millions de dollars. En surface, la réforme semble prometteuse. Cependant, une analyse responsable calculerait également la probabilité d'un résultat négatif (10%), le gain du 90e centile et la sensibilité des résultats aux changements dans les estimations de probabilité. Par exemple, si la probabilité d'amélioration élevée diminue de 0,25 à 0,15, la valeur prévue tombe à 47 millions de dollars – toujours positive, mais plus étroite. Un arbre de décision peut formaliser ce raisonnement.
À chaque point de branchement, attribuer une probabilité et continuer jusqu'à ce que l'arbre saisit toutes les incertitudes pertinentes. La valeur attendue est ensuite calculée en travaillant à l'envers des feuilles.
Techniques avancées pour l'évaluation des incidences politiques
L'analyse de base de la valeur prévue est un point de départ. Des méthodes probabilistes plus sophistiquées sont de plus en plus utilisées dans les décisions stratégiques à haut niveau.
Simulation Monte Carlo
Au lieu d'utiliser des estimations ponctuelles pour les probabilités et les impacts, la simulation Monte Carlo remplace ces valeurs par des distributions de probabilité. L'ordinateur exécute des milliers d'itérations, chaque fois que l'on échantillonne les distributions, pour produire une gamme de résultats possibles. Le résultat est un histogramme d'impacts nets, à partir duquel on peut lire la probabilité de divers seuils. Par exemple, une simulation pourrait montrer que la réforme du financement de l'éducation a une chance de perdre 15 % de l'argent et une chance de 40 % d'offrir des avantages de plus de 100 millions de dollars.
Analyse de sensibilité
L'analyse de sensibilité varie systématiquement les hypothèses d'entrée pour voir comment change la production. L'analyse de sensibilité unidirectionnelle change un paramètre à la fois; l'analyse multidirectionnelle change plusieurs fois ensemble.Cela révèle quelles incertitudes comptent le plus et où la collecte de données supplémentaires serait la plus utile. Dans l'exemple éducatif, la valeur attendue pourrait être très sensible à la probabilité d'amélioration élevée de -- suggérant que les décideurs devraient se concentrer sur la compréhension des conditions qui mènent à ce résultat.
Mise à jour bayésienne
Les politiques se déroulent souvent au fil du temps et de nouvelles données arrivent. La mise à jour bayésienne permet aux analystes de réviser leurs estimations de probabilités en fonction de l'accumulation de preuves. Si un essai pilote de la réforme du financement révèle un effet positif minime, la probabilité préalable d'amélioration élevée peut être ajustée vers le haut. Les méthodes bayésiennes sont particulièrement utiles pour les politiques d'adaptation, où les décisions sont revues régulièrement en fonction des résultats à venir.
Valeur de l'analyse de l'information
Avant de mettre en oeuvre une politique, les décideurs peuvent vouloir savoir combien ils devraient investir dans la réduction de l'incertitude. La valeur de l'analyse de l'information calcule le gain attendu en obtenant des informations parfaites sur un paramètre clé. Si la valeur attendue de l'information parfaite (IEVP) est importante, elle appuie la réalisation d'une étude pilote ou la mise en service de recherches plus poussées. Si l'IEVP est faible, les données actuelles sont suffisantes pour décider.
Communiquer les conclusions probabilistes aux intervenants
Même l'analyse probabiliste la plus rigoureuse n'est guère utile si ses résultats ne sont pas clairement communiqués aux décideurs, aux citoyens et aux autres intervenants.
- Visualisations : Utilisez des courbes de densité de probabilité, des fonctions de distribution cumulative et des matrices de risque pour montrer l'éventail des résultats possibles et leurs probabilités.
- Histoires de scénarios : Compléter les extrants quantitatifs avec des descriptions narratives des futurs plausibles, en particulier le plus probable, le meilleur cas et le pire, ce qui aide les intervenants à comprendre ce que signifient les chiffres en termes humains.
- Outils interactifs : Le cas échéant, permettre aux intervenants d'ajuster les hypothèses (par exemple, par l'intermédiaire d'un curseur) pour voir comment les résultats changent, ce qui renforce la prise en charge et la compréhension de l'analyse en fonction de la sensibilité aux principaux intrants.
- Transparence en matière d'incertitude: Évitez de donner une fausse précision. Utilisez des phrases comme -il y a une chance de 60 à 70 % , plutôt que -65% , -.
Pièges communs et comment les éviter
Bien que la probabilité offre un objectif puissant, son application dans l'analyse des politiques fait face à plusieurs limites qui doivent être reconnues. La sensibilisation à ces pièges aide à maintenir l'analyse honnête et utile.
Qualité et disponibilité des données
Dans de nombreux domaines politiques – en particulier les interventions nouvelles – les données historiques sont rares, ce qui oblige à se fier au jugement d'un expert. Les probabilités invoquées peuvent être biaisées par la surconfiance, la pensée de groupe ou l'ancrage. L'utilisation de protocoles d'incitation structurés et l'enregistrement du raisonnement derrière chaque estimation peuvent atténuer ces biais, mais pas les éliminer.
Défaut de spécificité du modèle
L'ensemble des résultats identifiés peut ne pas saisir toutes les possibilités pertinentes.Les effets secondaires inattendus, les boucles de rétroaction à long terme ou l'interaction avec d'autres politiques peuvent créer des résultats qui ne sont pas inclus dans l'analyse. L'analyse de sensibilité et la planification des scénarios aident, mais il subsiste une incertitude irréductible.
Dimensions éthiques et politiques
L'analyse fondée sur la probabilité attribue souvent implicitement une valeur unique à la vie humaine, à la santé ou à la qualité de l'environnement. Le choix de la mesure de l'évaluation (p. ex., la volonté de payer par rapport au coût par vie sauvée) a des implications éthiques. Différents intervenants peuvent avoir des tolérances différentes en matière de risque. Une politique à forte valeur attendue, mais une faible probabilité d'échec catastrophique peut être inacceptable pour le public.
Conflation avec la causalité
Une corrélation observée – par exemple, qu'un changement de politique soit suivi d'améliorations – peut être due à des facteurs confusionnels. Des méthodes avancées telles que les variables instrumentales, la discontinuité de régression et les réseaux causaux bayésiens sont nécessaires pour passer d'une association probabiliste à des allégations causales. L'analyse d'impact de la politique doit toujours être méfiante de la corrélation erronée pour la causalité.
Ressources externes pour la formation continue
Les lecteurs qui souhaitent approfondir leurs connaissances sur la probabilité dans l'analyse des politiques peuvent consulter les documents suivants :
- Guide RAND Corporation pour l'utilisation de la probabilité dans l'analyse des politiques offre des exemples pratiques de santé publique et de défense.
- Khan Academy , Bibliothèque de probabilité fournit une base solide dans les concepts de probabilité de base et intermédiaire.
- Rapport des Académies nationales sur l'élaboration de politiques fondées sur des données probantes discute de la façon d'intégrer le raisonnement probabiliste dans les décisions du gouvernement.
- Institut pour le gouvernement : Probabilité de l'élaboration des politiques fournit un aperçu concis des meilleures pratiques dans le contexte britannique.
Conclusion
En évaluant systématiquement les résultats, en évaluant les probabilités et en pesant les conséquences, les analystes peuvent comparer les solutions de rechange à une échelle commune, identifier les incertitudes les plus influentes et communiquer les risques aux intervenants. L'exemple du financement de l'éducation montre comment même un simple calcul de la valeur prévue peut clarifier les compromis, tandis que des techniques avancées comme la simulation de Monte Carlo et la mise à jour bayésienne ajoutent de la nuance aux décisions à haute prise. Néanmoins, la probabilité est un outil – et non une boule de cristal. La qualité de son rendement dépend de la qualité des données d'entrée et de l'honnêteté des hypothèses. Utilisée avec sagesse, elle permet de mieux définir les politiques.
Utilisée avec prudence, elle peut créer une illusion de précision. L'objectif n'est pas d'éliminer l'incertitude, mais de la gérer avec honnêteté intellectuelle et rigueur quantitative. En combinant une méthodologie saine avec une communication claire et une conscience éthique, les analystes peuvent aider les décideurs à naviguer plus efficacement dans l'incertitude.