Définition de la loi des petits nombres

La loi des petits nombres décrit un biais cognitif persistant dans lequel les gens supposent que les petits échantillons sont aussi représentatifs d'une population que de grands échantillons. Coïncidé par les psychologues Daniel Kahneman et Amos Tversky, le terme renvoie à la croyance erronée qu'un petit ensemble de données reflétera les paramètres de la population, ignorant le rôle de la variation aléatoire. En réalité, les petits échantillons sont sujets à une variabilité d'échantillonnage élevée: les résultats extrêmes se produisent beaucoup plus souvent uniquement par hasard. Par exemple, si vous roulez une mort juste à six côtés seulement six fois, voir cinq six est pas statistiquement impossible, mais une personne sous ce biais pourrait déclarer la mort chargée.

Ce biais est distinct de celui de la loi de grand nombreLa loi des petits nombres est essentiellement l'utilisation abusive de ce principe, qui prévoit que les petits échantillons se comportent comme de grands. Elle envahit des domaines aussi divers que la médecine, la finance, l'analyse sportive et l'étude de marché, où les décisions sont souvent prises sur des études pilotes, des essais préliminaires ou des expériences à petite échelle.

Pourquoi les petits échantillons se trompent

Une seule observation extrême peut considérablement fausser une moyenne, une proportion ou un coefficient de corrélation. Considérez une enquête auprès de dix clients : si on donne une note de 1 sur 10 et 9 donnent 10s, la moyenne est de 9,1, ce qui est trompeur parce que le score faible est facilement caché. régression à la moyenneLes analystes confondent souvent ce phénomène statistique naturel avec un effet réel d'une intervention. Sans taille adéquate d'échantillon, les résultats sont intrinsèquement instables et peu susceptibles de se reproduire.

Mathématiquement, l'erreur type d'une échelle d'estimation inversement avec la racine carrée de la taille de l'échantillon. Pour un échantillon de taille 10, l'erreur type est d'environ 32 % de l'écart type; pour un échantillon de taille 100, elle tombe à 10 %. Cela signifie que les petits échantillons produisent des estimations imprécises avec de larges intervalles de confiance, mais la loi du biais de petits nombres rend ces estimations précises.

Conséquences réelles de la loi des petits nombres

Le biais a des coûts tangibles dans toutes les industries. Quelques exemples illustrent son influence omniprésente.

Essais cliniques et recherche médicale

Les études en phase initiale ne font souvent appel qu'à 20 à 30 patients. Lorsqu'un groupe aussi restreint montre une amélioration spectaculaire, il peut susciter de l'excitation et attirer des investissements. Pourtant, nombre de ces résultats prometteurs ne se reproduisent pas dans les essais de grande envergure de phase III. C'est une manifestation classique de la loi de petits nombres : les premiers résultats positifs sont souvent dus à des variations aléatoires ou à des biais de sélection plutôt qu'à une véritable efficacité.

Commercialisation et essais A/B

Un marketer effectue un test d'une journée avec seulement 200 visiteurs. La variante B montre un ascenseur de conversion de 12 %, et l'équipe décide de le déployer. Après une semaine et des dizaines de milliers de visiteurs, le ascenseur disparaît ou devient négatif. Le petit échantillon a donné un signal trompeur. Les optimisers de taux de conversion expérimentés savent que les tailles d'échantillon doivent être calculées à l'aide d'analyses de puissance; ils évitent de prendre des décisions avant que le test n'atteigne une signification statistique.

Analyse des sports et des performances

Un joueur de basketball fait 9 sur 10 tentatives de trois points dans un seul match. Les analystes saluent comme une percée, mais au cours de la saison le pourcentage de joueur régresse à leur moyenne de carrière de 35 %. La performance de petit échantillon est le bruit, pas un changement de compétence. De même, un lanceur de baseball ERA tôt la saison basée sur deux départs peut être sauvagement trompeur.

Décisions d'affaires et politiques

Un projet pilote de 50 clients pourrait être très satisfait, ce qui pourrait conduire à un déploiement à grande échelle qui échoue. Une petite enquête menée auprès de 30 citoyens pourrait indiquer un appui écrasant à une politique, mais un sondage plus vaste révèle des divisions profondes.

Brise cognitive Amplifiant la loi des petits nombres

La loi des petits nombres fonctionne rarement isolément. Plusieurs biais connexes l'aggravent.

  • Précaution de confirmation : Les analystes sont plus susceptibles de remarquer de petits échantillons qui confirment leurs croyances antérieures et d'ignorer celles qui les contredisent.
  • Effet de surconfiance : Les gens surestiment la précision de leurs estimations, surtout lorsqu'elles sont dérivées de petits ensembles de données. Un intervalle de confiance de 70%, tiré de 15 observations, est aussi fiable que celui de 500 observations, mais il est beaucoup moins certain.
  • Manque de fonds : La rareté d'un événement est souvent ignorée en faveur d'un résultat frappant de petit échantillon. Par exemple, quelques rapports positifs d'un effet secondaire rare peuvent conduire à une peur disproportionnée.
  • Disponibilité heuristique: Des anecdotes vicieuses et de petite taille (par exemple, mon cousin a essayé ce régime et a perdu 20 livres) sont plus mémorables que des moyennes statistiques sèches, renforçant ainsi le biais.

Comprendre ces interconnexions aide les praticiens à concevoir des études et des stratégies de communication qui contredisent la tendance naturelle à surinterpréter les petites données.

Stratégies visant à modifier la loi sur les petits nombres

Éviter ce biais exige une combinaison de rigueur statistique, de conception réfléchie d'étude et de communication honnête.

Planifier les tailles d'échantillons en utilisant l'analyse de puissance

Avant de recueillir des données, effectuer une analyse de puissance pour déterminer la taille minimale de l'échantillon nécessaire pour détecter un effet d'importance pratique. L'analyse de puissance nécessite une estimation de la taille de l'effet, de l'alpha désiré (habituellement 0,05) et de la puissance désirée (habituellement 0,80). Beaucoup de calculatrices et d'outils en ligne gratuits en R, Python ou SPSS peuvent effectuer ces calculs.

Utiliser des méthodes statistiques appropriées pour les petites données

  • Intervalles de confiance et marges d'erreur: Toujours signaler une gamme de valeurs plausibles plutôt qu'une estimation ponctuelle. Pour les petits échantillons, les intervalles seront larges; que l'honnêteté est bien meilleure que la fausse précision.
  • Statistiques bayésiennes: Incorporer des données antérieures (d'après des données historiques ou des opinions d'experts) pour réduire les estimations extrêmes vers des valeurs plus plausibles.
  • Démarrage : Résample avec le remplacement de votre petit ensemble de données pour estimer la distribution d'échantillonnage et calculer les intervalles de confiance empiriques. Cette approche non paramétrique évite de fortes hypothèses de distribution.
  • Correction pour plusieurs essais: Lors de l'analyse de nombreuses hypothèses sur un petit ensemble de données, appliquer des corrections telles que Bonferroni ou le contrôle du taux de découverte fausse pour réduire le risque de faux positifs.

Complémenter les données quantitatives avec le contexte qualitatif

Les petits échantillons quantitatifs peuvent être complétés par des entrevues approfondies, des études de cas ou des données d'observation.Les observations qualitatives peuvent aider à valider les modèles et à expliquer les résultats inattendus. Toutefois, ces constatations qualitatives doivent être présentées comme contexte, et non comme preuve statistique.

Valeur croisée avec données externes

Si vous avez un petit échantillon d'une seule source, comparez vos résultats avec des ensembles de données plus importants, soit des registres nationaux, des publications ou des références de l'industrie. La cohérence entre les sources renforce la confiance; les écarts soulignent le besoin de prudence. Par exemple, une petite enquête montrant que 90 % des clients sont satisfaits devrait être comparée aux moyennes de l'industrie; si la norme est de 80 %, le petit échantillon pourrait être plausible, mais si la norme est de 60 %, le scepticisme est justifié.

Signaler l'incertitude Transparentement

Dans les rapports et les présentations, évitez le langage définitif lorsque l'échantillon est petit. Utilisez des phrases comme -basées sur les données disponibles - ou - l'estimation a une large marge d'erreur. - Les visualisations doivent inclure des barres d'erreur ou des bandes de confiance ombragées. Pré-enregistrement des plans d'analyse avant de regarder les données réduit la tentation de résultats de cerise-pioche à partir de petits échantillons.

Conclusion

La loi sur les petits nombres est bien plus qu'une curiosité statistique, c'est un piège cognitif profondément enraciné qui affecte les décideurs dans tous les domaines. En comprenant ses origines psychologiques et ses conséquences pratiques, les analystes et les dirigeants peuvent prendre des mesures concrètes pour éviter de surinterpréter des données limitées. Wikipedia , entrée sur la loi des petits nombres et Statistiques par Jim , explication. Les praticiens peuvent également bénéficier de ce guide NIH sur le calcul de la taille de l'échantillon et une perspective psychologique de l'APS- Oui.