The Role of Confidence Intervals in Data Science
Table of Contents
Comprendre le rôle des intervalles de confiance dans la science des données
En science des données, prendre des décisions fondées sur des échantillons est la norme. Une seule estimation – comme le taux moyen de clic ou le revenu moyen par utilisateur – raconte rarement l'histoire. Sans mesure d'incertitude, vous risquez d'agir sur un fluke. C'est là que se présentent les intervalles de confiance (IC). Ils fournissent une gamme de valeurs plausibles pour un paramètre de population, donnant aux scientifiques des données un moyen puissant de communiquer la fiabilité d'une estimation.
Les intervalles de confiance ne sont pas seulement une gentillesse théorique; ils sont un outil pratique utilisé quotidiennement dans les tests A/B, l'évaluation des modèles d'apprentissage automatique, l'analyse des enquêtes et la prévision financière.
Qu'est-ce qu'un intervalle de confiance exactement?
Un intervalle de confiance est une gamme de valeurs, dérivées de données d'échantillonnage, qui contient probablement le vrai paramètre de population (p. ex., moyenne, proportion, coefficient de régression). L'intervalle est accompagné d'un niveau de confiance – généralement de 90 %, 95 % ou 99 % – qui quantifie le taux de réussite à long terme de la procédure utilisée pour générer l'intervalle.
Par exemple, un intervalle de confiance de 95 % pour le taux de conversion moyen d'un nouveau bouton de commande pourrait être [3,2 %, 4,8 %]. pas signifie qu'il y a une probabilité de 95 % que le taux réel se situe entre 3,2 % et 4,8 %. Au lieu de cela, cela signifie que si vous répétiez l'expérience plusieurs fois dans des conditions identiques et construisiez chaque fois un IC à 95 %, environ 95 % de ces intervalles contiendraient le taux de conversion réel.
Intervalles de confiance par rapport aux estimations ponctuelles
Une estimation ponctuelle, comme une moyenne d'échantillon de 4,0%, est un nombre unique. Elle ne donne aucune indication de précision. En revanche, un intervalle de confiance fournit à la fois l'estimation et la marge d'erreur. La largeur de l'intervalle reflète l'incertitude : des intervalles étroits indiquent une précision élevée; de larges intervalles suggèrent qu'il faut davantage de données ou une conception plus contrôlée.
Pourquoi la confiance intervale dans la science des données
La science des données est fondamentalement liée à l'inférence : tirer des conclusions d'informations incomplètes.
- Quantifier l'incertitude: Ils obligent les scientifiques en données à reconnaître que les estimations ne sont pas exactes.
- Appuyer la prise de décisions : Les décisions d'affaires dépendent souvent de la pertinence d'un effet. Un IC qui comprend zéro (pour une différence) pourrait indiquer qu'il n'y a pas d'effet actionnable, alors qu'un IC qui exclut zéro fournit des preuves plus solides.
- Communiquer les résultats : Les intervenants non techniques trouvent des intervalles plus faciles à comprendre que les valeurs p ou les erreurs standard. Dire que « nous sommes à 95 % confiants que le véritable ascenseur est entre 1,5 % et 3,2 % » est plus informatif que « p < 0,05 ».
- Comparer les groupes ou les modèles : Les intervalles de chevauchement entre deux groupes suggèrent qu'ils pourraient être semblables; les intervalles de chevauchement indiquent une réelle différence.
Par exemple, dans analyse des soins de santé, un IC à 95 % pour l'effet d'un médicament sur la pression artérielle pourrait être [-2 mmHg, +1 mmHg]. Cette plage comprend zéro, indiquant que le médicament peut n'avoir aucun effet – et peut-être même un impact négatif nocif. Sans l'intervalle, l'estimation de point de -0,5 mmHg pourrait être acceptée de manière trompeuse.
Comment calculer les intervalles de confiance
Le calcul dépend du paramètre d'intérêt et de la distribution sous-jacente. Voici les scénarios les plus courants rencontrés en science des données.
Intervalle de confiance pour une moyenne (Population ε Inconnue)
Le cas le plus fréquent est l'estimation d'une moyenne de population lorsque l'écart type de population est inconnu.
où:
- - Oui. = moyenne de l ' échantillon
- s = écart type de l ' échantillon
- n = taille de l ' échantillon
- tα/2, n-1 = valeur critique de la distribution t avec n-1 degrés de liberté et de signification α
Pour un IC à 95 %, α = 0,05. La valeur critique peut être trouvée à partir de tableaux statistiques ou calculée en Python à l'aide de .
Intervalle de confiance pour une proportion
Lorsqu'on traite des résultats binaires (p. ex. conversion, churn), l'intervalle standard de Wald est :
Ici. P. est la proportion d'échantillons, et Zα/2 La valeur critique de la distribution normale standard (1,96 pour 95 %). Cependant, l'intervalle Wald se produit mal pour les petits échantillons ou les proportions extrêmes. Les meilleures solutions sont l'intervalle Wilson, l'intervalle Agresti-Coull ou l'intervalle exact Clopper-Pearson.
Intervalles de confiance du piège
Pour des statistiques complexes — médianes, corrélations, coefficients de modèle — la méthode bootstrap est une approche non paramétrique puissante. Elle fonctionne en rééchantillonnant les données originales plusieurs fois (p. ex. 10 000) et en calculant chaque fois la statistique. Les 2,5e et 97,5e percentiles de la distribution bootstrap forment alors un IC à 95 % (méthode percentile). papier d'origine pour bottillons par Efron (1979)- Oui.
Mauvaises interprétations et pièges communs
Même les scientifiques expérimentés en matière de données interprètent parfois mal les intervalles de confiance.
- En supposant qu'un IC à 95 % signifie qu'il y a une probabilité de 95 % que la valeur réelle se situe dans l'intervalle. Comme nous l'avons mentionné plus haut, la probabilité se réfère à la procédure, et non à l'intervalle spécifique. Une fois l'intervalle calculé, le vrai paramètre est ou non à l'intérieur – la probabilité ne s'applique plus.
- Penser des intervalles plus larges est "pauvais". Un intervalle large peut simplement refléter une variabilité élevée ou une petite taille d'échantillon. C'est une admission honnête de l'incertitude.
- Confier les intervalles de confiance aux intervalles de prédiction. Un intervalle de confiance permet de saisir l'incertitude relative à un paramètre (p. ex., la moyenne). Un intervalle de prédiction est plus large et permet de saisir l'incertitude relative à une seule nouvelle observation.
- Ignorer les hypothèses. La plupart des intervalles de confiance supposent un échantillonnage aléatoire, une indépendance et une distribution appropriée (p. ex., la normalité des intervalles basés sur les t). Les violations peuvent produire des intervalles trompeurs.
Applications des intervalles de confiance dans la science des données
Essais et expérimentations A/B
Après avoir effectué une expérience, vous calculez la différence de taux de conversion entre les groupes témoins et les groupes de traitement, puis construisez un intervalle de confiance autour de cette différence. Si l'intervalle ne contient pas zéro, vous pouvez conclure qu'il y a un effet statistiquement significatif (au niveau choisi). magnitude Un intervalle étroit autour de +2 % suggère une amélioration fiable; un intervalle large de -1 % à +5 % suggère que le résultat est trop bruyant pour agir.
Les grandes entreprises technologiques comme Google et Netflix utilisent les tests A/B fréquents avec intervalles de confiance comme pratique standard. le présent document sur l'amélioration de la sensibilité dans les expériences en ligne (CUPED)- Oui.
Évaluation du modèle d'apprentissage automatique
Pour évaluer la performance d'un modèle, par exemple, la précision ou l'ASC sur un ensemble de tests, la mesure n'est qu'une estimation ponctuelle. Un intervalle de confiance autour de cette mesure révèle combien elle peut fluctuer si vous recueillez de nouvelles données de tests. Pour les tâches de classification, vous pouvez utiliser l'IC binomial sur la proportion de précision.
De même, en comparant deux modèles, les intervalles de confiance qui se chevauchent autour de leurs mesures de performance indiquent qu'un modèle n'est pas nettement meilleur que l'autre, ce qui est beaucoup plus informatif qu'un simple modèle A de 0,5 %.
Estimation des paramètres de population et de l'enquête
Dans l'analyse des enquêtes, on utilise des intervalles de confiance pour estimer les moyennes, les proportions et les totaux des populations à partir des données d'échantillonnage. Les organismes de sondage signalent une « marge d'erreur » qui est de la moitié de la largeur d'un IC à 95 %.
Perspectives bayésiennes et fréquentes
Dans les statistiques bayésiennes, le concept analogue est un «intervalle crédible». Un intervalle crédible à 95 % indique directement qu'il y a une probabilité de 95 % que le paramètre réside dans l'intervalle, compte tenu des données et des données antérieures. Bien que cette interprétation soit plus intuitive, les intervalles crédibles dépendent des hypothèses antérieures. Lindley (1993) ou un aperçu moderne de Gelman et al.
Intervalles de confiance en calcul en Python
Python rend le calcul des intervalles de confiance simple. Voici un petit extrait de code pour un CI moyen utilisant scipy:
Pour les proportions, utilisez les modèles statistiques:
Intervalles de confiance et taille de l'échantillon
La largeur d'un intervalle de confiance est inversement liée à la racine carrée de la taille de l'échantillon : . Pour réduire de moitié la largeur, vous devez quadrupler la taille de l'échantillon. Cette relation est essentielle lors de la planification des études – elle aide à déterminer la taille de l'échantillon nécessaire pour obtenir une précision souhaitée.
Limites et quand utiliser des solutions de rechange
Pour les échantillons non aléatoires, les données peu recueillies ou les problèmes de haute dimension, des approches alternatives comme la modélisation bayésienne, le piégeage avec corrections (intervalles BCa), ou la prédiction conformale peuvent être plus appropriées.
Un résultat statistiquement significatif avec une petite taille d'effet peut toujours être hors de propos pour l'entreprise. Considérez toujours les limites de l'intervalle dans le contexte du domaine.
Conclusion
Les intervalles de confiance sont une pierre angulaire de l'inférence statistique et un outil essentiel dans la boîte à outils des data savants. Ils vont au-delà des estimations ponctuelles pour fournir une mesure de fiabilité, permettant une meilleure prise de décision et une communication plus claire. Que vous analysiez les résultats des tests A/B, que vous évaluiez un modèle d'apprentissage automatique ou que vous évaluiez un paramètre de population, que vous construisiez et interprétiez correctement les intervalles de confiance, vous renforcerez votre analyse et créerez la confiance avec les intervenants.
Pour une plongée plus profonde dans les fondations mathématiques et les applications avancées, se référer à Repenser les statistiques (McElreath) ou Les travaux de Breiman sur les forêts aléatoires pour les approches d'inférence non paramétriques.