Le rôle de l'incertitude dans l'apprentissage

L'apprentissage automatique est essentiellement le processus d'inférer des modèles d'observations. Cependant, aucun ensemble de données n'est une représentation parfaite de la réalité sous-jacente. Les mesures contiennent du bruit, les échantillons sont finis, et les relations entre les variables sont rarement déterministes. incertitude Par exemple, un système de diagnostic médical ne devrait pas seulement produire -cancer ou -no cancer; il devrait communiquer des niveaux de confiance afin que les médecins puissent peser les risques. Une voiture auto-conduite doit également attribuer des probabilités à divers obstacles, afin qu'elle puisse freiner ou diriger avec la prudence appropriée.

En pratique, l'incertitude est généralement divisée en deux types: incertitude aléatoire, qui provient du bruit inhérent aux données (par exemple, bruit du capteur), et incertitude épistémique, qui découle d'un manque de connaissances sur le meilleur modèle (p. ex., données limitées de formation). Les cadres probabilistes permettent aux praticiens de gérer les deux, ce qui entraîne des prédictions plus solides. Par exemple, dans la régression logistique bayésienne, la variance de la distribution postérieure reflète directement l'incertitude épistémique, tandis que la probabilité saisit le bruit aléatoire.

Perspectives fréquentes et bayésiennes

Il existe deux interprétations principales de la probabilité utilisée dans l'apprentissage automatique. fréquentiste La probabilité maximale est déterminée par la probabilité maximale (EMI), qui permet de maximiser la probabilité d'observation des données de formation. Les techniques fréquentes courantes comprennent la probabilité maximale de régression linéaire et la minimisation empirique du risque dans les réseaux neuraux. Bayésienne Il intègre les connaissances antérieures et met à jour cette croyance à mesure que de nouvelles données arrivent, en utilisant le théorème Bayes. Les méthodes bayésiennes sont particulièrement puissantes lorsque les données sont rares ou bruyantes, parce qu'elles régularisent naturellement les modèles et fournissent des estimations d'incertitude sous forme de distributions postérieures. Par exemple, la régression linéaire Bayesienne utilise un coefficient de sur-coefficient antérieur, ce qui empêche de suradapter la taille de l'échantillon. cet article StatLect- Oui.

Concepts de probabilité de base dans l'apprentissage automatique

Chaque praticien de l'apprentissage automatique doit être à l'aise avec un ensemble d'idées probabilistes, qui forment les éléments constitutifs d'algorithmes allant de la régression linéaire aux réseaux neuronaux profonds.

Probabilité conditionnelle et indépendance

La probabilité conditionnelle quantifie la probabilité d'un événement étant donné qu'un autre événement s'est produit. C'est la base de nombreux modèles prédictifs. Par exemple, dans la classification, nous voulons souvent \( P(\text{class} \mid \text{features}) \. Les hypothèses d'indépendance simplifient ces calculs : le classificateur Naïve Bayes suppose que les caractéristiques sont conditionnellement indépendantes étant donné la classe, ce qui rend le modèle rapide et étonnamment efficace sur des données à haute dimension comme le texte.

Théorème de Bayes

Bayes , théorème est un lien entre les probabilités conditionnelles et est l'épine dorsale de l'inférence bayésienne.

\[ P(\theta \mid D) = \frac{P(D \mid \theta) \, P(\theta)}{P(D)} \]

où \(\theta\) représente les paramètres du modèle et \(D\) est des données. Cette équation simple permet d'apprendre à partir de données: nous commençons par une croyance antérieure sur les paramètres, la mettons à jour avec la probabilité de données observées, et obtenir une croyance postérieure. Dans la pratique, le dénominateur \(P(D)\) est souvent intractable, de sorte que des méthodes d'inférence approximatives telles que Markov Chain Monte Carlo (MCC) ou inférence variable sont utilisées. Wikipedia's entrée sur le théorème de Bayes- Oui.

Distributions de probabilité

Dans l'apprentissage automatique, nous utilisons les distributions pour modéliser les processus de production de données et pour définir les fonctions de perte. Les distributions communes comprennent:

  • Bernoulli – pour les résultats binaires (p. ex., clic ou non). Souvent utilisé dans la régression logistique où la sortie est une probabilité d'une classe positive.
  • Gaussian (normal) – pour les données continues avec moyenne et variance ; régression centrale à linéaire et initialisation du réseau neuronal. Le théorème de limite centrale le rend également omniprésent dans les statistiques.
  • Multinôme – pour les résultats catégoriques (p. ex. classification d'image avec de nombreuses classes). La fonction softmax est utilisée pour produire une distribution multinomiale sur les probabilités de classe.
  • Famille expanentielle – une large classe qui comprend Gaussian, Bernoulli, Poisson et Gamma distributions. Les modèles linéaires généralisés (GLM) sont construits sur cette famille, permettant une modélisation flexible des données non gaussiennes.

Le choix de la distribution adéquate pour un problème est essentiel. Par exemple, les données de comptage sont mieux modélisées avec une distribution de Poisson ou de Binomial Négatif qu'avec un Gaussian. NIST , Manuel de statistiques techniques sur les distributions de probabilités- Oui.

Entropie et gain d'information

L'entropie mesure l'incertitude dans une distribution de probabilité. Dans les arbres de décision et les forêts aléatoires, l'entropie est utilisée pour décider sur quelle caractéristique se diviser : l'algorithme choisit la fraction qui réduit le plus l'entropie (c.-à-d. maximise le gain d'information). L'entropie sous-tend également la perte cross-entropy, la fonction standard de perte pour la classification dans l'apprentissage profond. divergence entre Kullback et Leibler (KL), qui quantifie la façon dont une distribution de probabilités diverge d'une autre. La divergence KL est utilisée dans l'inférence variationnelle comme objectif de minimiser.

Modèles et algorithmes probabilistes

De nombreux modèles classiques d'apprentissage automatique sont explicitement probabilistes. Ces modèles produisent non seulement une estimation ponctuelle mais une distribution complète sur les résultats possibles.

Classification des Bayes naïves

Le classificateur Naïve Bayes applique le théorème Bayes avec une forte hypothèse d'indépendance. Malgré sa simplicité, il fonctionne bien pour la classification de texte et le filtrage des pourriels. Il calcule la probabilité postérieure de chaque classe avec un vecteur de caractéristiques et sélectionne la classe avec la plus grande probabilité. Le modèle est particulièrement efficace lorsque le nombre de fonctionnalités est grand. En pratique, le lissage Laplace est souvent appliqué pour éviter aucune probabilité pour des combinaisons de caractéristiques invisibles.

Modèles graphiques probabilistes

Les modèles graphiques représentent les dépendances entre les variables aléatoires à l'aide de graphiques.

  • Réseaux bayésiens – des graphiques acycliques dirigés captant les relations causales. Utilisés dans les systèmes de diagnostic et l'analyse de réseau de régulation des gènes. L'inférence dans les réseaux bayésiens peut être effectuée en utilisant des algorithmes de transmission de messages comme l'algorithme de la somme des produits.
  • Champs aléatoires de Markov – graphiques non dirigés qui modélisent les dépendances spatiales ou relationnelles ; utilisés dans la segmentation d'image et le traitement du langage naturel. Par exemple, le champ aléatoire conditionnel (CRF) est un type de champ aléatoire Markov couramment appliqué à des tâches d'étiquetage de séquences comme la reconnaissance d'entités nommées.

Ces modèles permettent une inférence et un apprentissage efficaces de distributions de probabilités complexes sur de nombreuses variables. L'apprentissage profond moderne a également incorporé des idées de modèles graphiques, comme dans les autoencodeurs variationnels (VAEs) qui apprennent un modèle de variables latentes.

Modèles Markov cachés (HMM)

Les MHM sont utilisés pour les données séquentielles, comme les signaux de parole, les séquences biologiques ou les prix des actions. Ils modélisent une séquence d'observations comme étant générées par une séquence d'états cachés. La probabilité de transitions entre états et la probabilité d'observations données sont à la fois estimées à partir de données. L'algorithme de Viterbi et l'algorithme de rétro-direction sont des méthodes d'inférence clés.

Modèles de mélange gaussien (MMG)

Les MGM supposent que les points de données sont générés à partir d'un mélange de plusieurs distributions gaussiennes avec des paramètres inconnus. Ils sont utilisés pour le regroupement, l'estimation de la densité et la détection d'anomalies. L'attente-optimisation (EM) est l'algorithme standard pour adapter un MGM, estimer par itératif la probabilité que chaque point appartient à chaque composant du mélange.

Programmation probabiliste

Les langages de programmation probabilistes comme Pyro, Stan et TensorFlow Probabilité permettent aux développeurs de définir des modèles probabilistes complexes et d'effectuer automatiquement une inférence bayésienne. Ce paradigme gagne en traction parce qu'il sépare les spécifications du modèle de l'inférence, ce qui facilite la construction de systèmes personnalisés de connaissance de l'incertitude. Documentation sur les pyrotechniques. Ces outils ont été utilisés pour des applications allant de l'astrophysique à la découverte de médicaments.

Probabilité d'apprentissage profond

Les réseaux neuronaux profonds sont souvent considérés comme des approximations de fonction déterministe, mais la probabilité est intégrée dans leur conception et leur formation.

Perte de Softmax et d'entropie croisée

La fonction softmax convertit les sorties du réseau neuronal brut (logits) en une distribution de probabilités sur les classes. La perte d'entropie croisée mesure alors la différence entre la distribution prévue et la distribution réelle de l'étiquette (généralement un vecteur à une chaleur). La réduction de l'entropie croisée équivaut à maximiser la probabilité d'une distribution de la bonne étiquette.

L'abandon comme approximation bayésienne

En appliquant l'abandon au moment du test, nous obtenons une distribution par rapport aux prédictions, ce qui donne une mesure de l'incertitude du modèle. Cette technique, connue sous le nom de l'abandon de Monte Carlo, est une façon simple de quantifier l'incertitude dans l'apprentissage profond sans modifier l'architecture. Elle fonctionne particulièrement bien pour estimer l'incertitude épistémique; l'incertitude aléatoire peut être captée en ajoutant une sortie de variance au réseau.

Réseaux neuraux bayésiens

Les réseaux neuraux bayésiens placent les distributions de probabilités sur les poids du réseau plutôt que sur des valeurs fixes. Ils permettent de saisir l'incertitude épistémique (incertitude due à des données limitées) et l'incertitude aléatoire (bruit inhérent aux données). La formation d'un réseau neural bayésien complet est coûteuse sur le plan informatique, de sorte que des approximations telles que l'inférence variationnelle sont utilisées.

Codeurs automatiques variables (VAE)

Les EAE sont un exemple de premier plan d'apprentissage profond probabiliste : elles apprennent un modèle de variable latente où l'encodeur map les entrées aux paramètres d'une distribution antérieure (généralement Gaussian), et le décodeur reconstitue les entrées à partir d'échantillons de la variable latente. L'objectif de l'EAE est un lien plus bas variable sur la probabilité log-lihood.

Évaluation des prédictions probabilistes

Lorsqu'un modèle produit des probabilités, les mesures d'évaluation normalisées comme la précision sont insuffisantes. Il faut plutôt des règles de notation appropriées qui évaluent la qualité des probabilités prévues.

  • Perte de registre (perte logarithmique) – la probabilité log-de vrais étiquettes négative. Log-de perte inférieure indique des probabilités mieux calibrées. Cependant, log-de perte peut être dominé par des prédictions extrêmement confiantes fausses, il doit donc être utilisé avec soin.
  • Score du Brier – différence carrée moyenne entre les probabilités prévues et les résultats réels. C'est une règle de notation appropriée qui est moins sensible aux valeurs extrêmes que log-loss. La note Brier peut être décomposée en composantes d'étalonnage, de raffinement et d'incertitude.
  • Courbes d'étalonnage – la probabilité prédite par graphique par rapport à la fréquence observée; un modèle bien étalonné aura des points près de la diagonale. Pour la classification binaire, le test Hosmer‐Lemeshow peut quantifier l'erreur d'étalonnage.
  • Zone sous la courbe du COR (AUC) – mesure la capacité du modèle à classer les cas positifs par rapport aux cas négatifs, étroitement liés au classement probabiliste. Bien que l'ASC n'évalue pas les valeurs de probabilité absolue, il est utile de comparer les modèles indépendamment de l'étalonnage.

Une évaluation adéquate des modèles probabilistes est essentielle dans des domaines à fort rendement comme la finance et les soins de santé, où les prédictions surconfiance peuvent être dangereuses. Par exemple, un modèle de notation de crédit qui produit 95 % de probabilité de défaut sur un prêt qui en fait défaut 50% du temps est sévèrement mal calibré, même s'il classe correctement les emprunteurs.

Considérations pratiques pour les modèles probabilistes de construction

La mise en œuvre de l'apprentissage automatique de la probabilité nécessite des choix de conception soignés. Voici plusieurs bonnes pratiques:

Gérer la surconfiance

Les réseaux neuraux standards produisent souvent des prédictions surconfiance, même sur des données hors distribution. Des techniques comme l'échelle de température (une simple méthode d'étalonnage post-hoc), le lissage d'étiquettes et le mélange d'experts peuvent aider à produire des probabilités plus réalistes. Le paramètre de température ajuste la softmax -sharpness - et est généralement accordé sur un ensemble de validation utilisant log-loss. Une autre méthode efficace est l'échelle de platt, qui s'adapte à une régression logistique sur les logits.

Manipulation des données manquantes

Lorsque les données manquent, la théorie des probabilités fournit des moyens de principe pour les gérer : l'estimation de la probabilité maximale peut marginaliser les variables manquantes, ou nous pouvons utiliser l'imputation avec des modèles probabilistes comme les mélanges gaussiens. Les méthodes bayésiennes traitent naturellement les données manquantes comme des paramètres inconnus à intégrer.

Défis informatiques

Les méthodes approximatives comme la chaîne Markov Monte Carlo (MCMC) sont lourdes de calcul mais fournissent des estimations précises de l'incertitude. L'inférence variationnelle est plus rapide et l'échelle est meilleure, ce qui en fait la valeur par défaut pour l'apprentissage bayésien à grande échelle. Les approches hybrides, comme le MCMC stochastique à gradient (p. ex., la dynamique stochastique progressive Langevin), combinent l'évolutivité des méthodes variationnelles avec les garanties théoriques du MCMC.

L'avenir de la probabilité dans l'IA

Comme les systèmes d'apprentissage automatique sont déployés dans des applications critiques pour la sécurité — conduite autonome, diagnostic médical, justice pénale — la capacité de quantifier l'incertitude devient non négociable.

Probabiliste Deep Learning

La recherche fusionne activement l'apprentissage profond avec la modélisation probabiliste.Des méthodes comme les auto-encodeurs variationnels (VAE) et les réseaux antagonistes générateurs (GAN) utilisent déjà des formulations probabilistes. La prochaine frontière est la conception d'architectures profondes qui modélisent intrinsèquement les distributions sur les fonctions (processus neuronaux) et qui peuvent intégrer des connaissances antérieures de la physique ou d'autres domaines.

Incertitude dans l'apprentissage du renforcement

Les modèles probabilistes tels que les processus gaussiens et les réseaux neuronaux bayésiens sont utilisés pour modéliser la fonction et la politique de valeur. Les techniques comme l'échantillonnage de Thompson utilisent des distributions postérieures sur des valeurs d'action pour équilibrer l'exploration et l'exploitation. Cette enquête sur l'incertitude dans la RL. La combinaison de la RL profonde avec les méthodes bayésiennes, connue sous le nom de RL profonde bayésienne, est un domaine de recherche actif avec des applications en robotique et la navigation autonome.

Écosystèmes de programmation probabiliste

Les bibliothèques comme Pyro, Stan et TensorFlow Probability permettent aux data savants de construire des modèles bayésiens personnalisés avec inférence automatique. Combinés au matériel moderne (GPU, TPU), ces outils peuvent faire une inférence probabiliste à des millions de points de données. De plus, la programmation probabiliste est intégrée dans des pipelines d'apprentissage automatique plus importants, permettant de quantifier l'incertitude de bout en bout dans les systèmes de production.

Conclusion

En adoptant des principes probabilistes, du théorème de Bayes à l'entropie, nous construisons des systèmes plus robustes, plus interprétables et plus fiables. Que vous perfectionniez un réseau neuronal profond ou que vous concevez un agent d'apprentissage bayésien de renforcement, une bonne compréhension de la probabilité vous permettra de faire face à la complexité du monde réel. L'IA continue de mûrir, l'intégration de la probabilité va s'approfondir, permettant à la prochaine génération de systèmes intelligents qui agissent avec confiance même face à l'inconnu.