Exploring the Use of Memristors for Neuromorphic Computing Applications
Table of Contents
Introduction à l'informatique neuromorphe et aux mémristeurs
Au lieu de s'appuyer sur l'architecture traditionnelle de von Neumann, où le traitement et la mémoire sont physiquement séparés, l'informatique neuromorphe s'inspire des réseaux neuronaux du cerveau biologique. L'objectif est de construire du matériel qui peut apprendre, adapter et traiter l'information avec la même efficacité énergétique et la même puissance de traitement parallèle que le cerveau humain. Au centre de cette vision, le memristor, un composant électronique à deux terminales qui est apparu comme un bloc de construction pour les synapses artificielles. En mimant la plasticité et la rétention de mémoire des synapses biologiques, les memristors permettent aux puces neuromorphes d'effectuer des calculs complexes tout en consommant une fraction de la puissance de l'électronique conventionnelle.
Carver Mead a articulé le concept de calcul neuromorphe à la fin des années 1980, mais ce n'est que ces dernières années que les progrès en science des matériaux et en nanotechnologie ont permis d'atteindre des réalisations pratiques. Au fur et à mesure que Moores Law ralentit, les chercheurs se tournent de plus en plus vers des architectures inspirées du cerveau pour soutenir les gains de performance. Le mémiristor, court pour -résistance mémoire, est particulièrement adapté à cette tâche car il peut stocker et traiter l'information dans le même endroit physique, éliminant le goulot entre mémoire et processeur.
Qu'est-ce que les mémristeurs?
Historique et Fondation théorique
Le mémisteur a été postulé pour la première fois en 1971 par Leon Chua, professeur à l'Université de Californie, Berkeley. Chua a identifié un élément de circuit manquant qui pourrait relier charge et flux, complétant le quatuor théorique aux côtés des résistances, des condensateurs et des inducteurs. Cependant, ce n'est qu'en 2008 qu'une équipe de Hewlett-Packard Labs dirigée par R. Stanley Williams a fabriqué le premier mémisteur en service à l'aide d'un mince film de dioxyde de titane.
Une caractéristique caractéristique de la mémoire est sa boucle d'hystérie pincée dans la courbe courant-tension (I‐V). Lorsqu'une tension est appliquée, la résistance de l'appareil change progressivement, et lorsque la tension est supprimée, la résistance reste à sa dernière valeur – comme une synapse biologique ajuste son poids en fonction du moment et de la force des signaux neuronaux. Cette mémoire analogique non volatile est ce qui rend les mémristeurs si convaincants pour l'informatique neuromorphe.
Principe de travail et physique des appareils
Au niveau physique, un mémoristor typique est constitué d'un sandwich métallique-isolant-métal, où l'isolant (souvent un oxyde métallique de transition tel que HfO2, TaOx ou TiO2) peut être commuté de façon réversible entre un état de haute résistance (HRS) et un état de faible résistance (LRS). Le mécanisme de commutation est généralement attribué à la migration de l'oxygène ou des ions métalliques sous un champ électrique appliqué, formant un filament conducteur à travers la couche isolante. En contrôlant précisément l'amplitude de tension et la durée de l'impulsion, la résistance peut être réglée à n'importe quel état intermédiaire entre HRS et LRS, ce qui permet un stockage à plusieurs niveaux et un comportement synaptique analogique.
Cette commutation analogique est cruciale pour imiter les changements de poids continu dans les synapses biologiques. De plus, les mémristeurs présentent un phénomène appelé plasticité dépendante des pics (STDP), où le moment relatif des pics pré et post-synaptiques détermine si le poids synaptique est renforcé ou affaibli. Les chercheurs ont reproduit avec succès le STDP dans des dispositifs mémristiques, ouvrant la voie à des règles d'apprentissage basées sur le matériel qui reflètent celles du cerveau.
Applications des mémristeurs dans l'informatique neuromorphe
Réseaux neuronaux artificiels et accélérateurs d'apprentissage profond
L'application la plus immédiate des mémristeurs est la construction d'accélérateurs matériels pour les réseaux neuronaux artificiels (ANN). Les systèmes traditionnels de traitement de profondeur reposent sur des unités de traitement graphiques (GPU) ou des unités de traitement tensor spécialisées (TPU), qui souffrent encore du mur de mémoire causé par les goulets d'étranglement de von Neumann. Les matrices de mémristor peuvent effectuer des multiplications de matrices-vecteurs – le fonctionnement central de couches entièrement connectées – en une seule étape analogique. En tirant parti de la loi Ohm=IR) et de la loi actuelle Kirchhoff, les courants à travers chaque mémristor en une somme de colonnes automatiquement, produisant le produit point sans arithmétique numérique explicite.
Plusieurs groupes de recherche et startups ont démontré des réseaux neuraux à base de mémristor qui peuvent classer les images, reconnaître la parole et même effectuer des tâches de traitement de langage naturel. Nature Électronique Un tableau de mémoire a permis d'obtenir une précision de 94% sur l'ensemble de données manuscrites MNIST tout en consommant moins de 1% de l'énergie d'un circuit numérique comparable.
Reconnaissance des motifs et traitement des signaux
Au-delà des réseaux neuraux standard, les mémristeurs excellent dans les tâches de reconnaissance de patrons qui nécessitent une opération en temps réel et de faible puissance. Par exemple, ils peuvent être utilisés dans les systèmes de traitement sensoriel — comme les caméras à base d'événements et les implants cochléaires — où les entrées analogiques sont directement traitées par des synapses mémristiques.
Une ligne de recherche prometteuse consiste à mettre en place un système de calcul des réservoirs, une architecture de réseau neuronal récurrente bien adaptée aux modèles temporels, en utilisant des réseaux de mémoire. Dans un système de calcul des réservoirs, un réseau fixe et connecté au hasard (le réservoir) projette des entrées dans un espace haute dimension, et seule la couche de lecture est entraînée.
Algorithmes d'apprentissage adaptatifs et formation en ligne
Contrairement aux modèles d'IA conventionnels qui nécessitent une formation par lots sur les ensembles de données étiquetés de grande taille, les puces neuromorphes avec synapses méristiques peuvent mettre à jour leur poids en temps réel à mesure que de nouvelles données arrivent. Ceci est rendu possible par les règles d'apprentissage locales – comme le STDP et ses variantes – qui sont naturellement mises en œuvre par la dynamique physique du mémristor. Un système d'adaptation peut, par exemple, apprendre à reconnaître une voix d'un nouvel utilisateur ou s'adapter à un environnement changeant sans avoir besoin d'arrêter et de recycler.
Ce paradigme est particulièrement précieux pour les systèmes autonomes, où le recyclage à partir de zéro est peu pratique. Un contrôleur basé sur un mémiristor dans un drone pourrait ajuster son comportement de vol en baisse de tension de batterie, ou un membre prothèse pourrait apprendre les modèles de mouvement de l'utilisateur avec le temps.
Robotique et systèmes autonomes
La robotique est un outil naturel pour le calcul neuromorphe, car les robots autonomes doivent traiter les données des capteurs, prendre des décisions et contrôler les actionneurs en temps réel tout en ayant une puissance limitée de la batterie. Les systèmes sensoriels à base de mémistor peuvent fonctionner avec des latences mesurées en microsecondes et des budgets énergétiques de quelques milliwatts. Par exemple, un robot neuromorphe équipé d'un réseau de mémistor peut éviter les obstacles grâce à un réseau neuronal qui traite les entrées d'une caméra à base d'événements.
Plusieurs laboratoires universitaires et départements de R-D d'entreprise ont déjà construit des prototypes de robots neuromorphes à l'aide de mémristeurs. Dans une démonstration remarquable, un bras robotique a appris à saisir des objets de différentes formes et de différents poids à l'aide d'un réseau neuronal à base de mémristor qui a adapté son comportement en fonction de la rétroaction tactile.
Avantages des systèmes à base de mémistor
Consommation d'énergie extrêmement faible
L'efficacité énergétique est peut-être l'avantage le plus important des systèmes neuromorphes à base de mémristor. Parce que le calcul se fait directement dans le réseau de mémoire, où les données sont déjà stockées, il n'est pas nécessaire de faire des navettes entre les processeurs et les puces de mémoire. Cela élimine le coût énergétique associé au mouvement des données, qui dans les ordinateurs conventionnels peut représenter 60 à 80 % de la consommation totale d'énergie. De plus, les mémristeurs ne sont pas volatils; une fois qu'un poids est réglé, ils restent sans puissance de veille.
Haute densité de connexions synaptiques
Les mémristeurs peuvent être fabriqués en réseaux intercalaires denses avec une empreinte de seulement 4F2 par cellule, où F est la taille de la caractéristique. Les nœuds de fabrication modernes atteignent déjà un pas de 10 nm, ce qui signifie que des milliards de synapses peuvent être emballés sur une seule puce. Cette densité est essentielle pour imiter le cerveau humain, qui contient environ 100 trillions de synapses. Bien que nous soyons encore loin de cette échelle, les mémristors offrent un chemin clair vers des systèmes neuromorphes avec des milliards de synapses artificielles, dépassant de loin ce qui est possible avec des implémentations numériques-logiques conventionnelles. De plus, parce que les mémristeurs peuvent stocker plusieurs bits par cellule (opération multiniveaux), la densité efficace peut être encore plus élevée, permettant à un seul appareil de représenter des niveaux de précision de poids multiples.
Avantages de vitesse et de débit
En plus d'économiser de l'énergie, le calcul analogique en mémoire avec des mémristeurs permet un débit extraordinaire. Un seul tableau croisé peut effectuer une multiplication matricielle en un cycle d'horloge, quelle que soit la taille de la matrice, limitée uniquement par le temps de réglage des signaux analogiques, qui peut être aussi bas que quelques nanosecondes. Pour les grands réseaux neuronaux, cela fournit une accélération de plusieurs ordres de grandeur sur les accélérateurs numériques. Combiné à la capacité de mettre à jour instantanément les poids (pas besoin de les récupérer de la mémoire hors puce), les systèmes à base de mémristor peuvent soutenir l'apprentissage adaptatif en temps réel à des vitesses qui ne sont pas accessibles avec le matériel conventionnel.
Amélioration des capacités d'apprentissage
La nature analogique et continue du changement de mémristor permet un niveau de plasticité difficile à atteindre dans le matériel numérique. Les implémentations numériques des synapses utilisent généralement l'arithmétique à point fixe avec une précision grossière, limitant la résolution des mises à jour de poids. En revanche, les poids de mémristor peuvent être ajustés avec une grande précision, et la stochasticité inhérente au changement peut même être utilisée pour mettre en œuvre des algorithmes d'apprentissage probabilistes. Cela permet aux systèmes neuromorphes de saisir les dépendances statistiques subtiles dans les données et de présenter une généralisation robuste, tout comme les réseaux neurologiques biologiques.
Défis et orientations futures
Variabilité et fiabilité des appareils
Malgré leur promesse, les mémristeurs doivent faire face à des obstacles importants avant de pouvoir être déployés dans des produits commerciaux. L'un des problèmes les plus pressants est la variabilité des appareils : les tensions de commutation et les états de résistance peuvent varier d'un appareil à l'autre, et même d'un cycle à l'autre au sein d'un même appareil. Cette stochasticité peut dégrader la précision des réseaux neuraux, surtout lorsqu'on utilise des poids de faible précision.
Échelle et fabrication
Bien que les barres transversales de mémiristor puissent théoriquement s'étendre aux mêmes dimensions que la mémoire conventionnelle (p. ex., 7 nm, 5 nm), l'intégration pratique avec la logique de contrôle CMOS (BEOL) doit être compatible avec les budgets thermiques CMOS et éviter les transistors sous-jacents. Les résistances et les capacités parasitaires dans les grands réseaux limitent également la taille et la vitesse réalisables. Les leaders de l'industrie comme TSMC et Samsung développent activement des mémoires résistives à l'accès aléatoire (RRAM) pour les applications intégrées, et l'expérience de fabrication acquise dans ce domaine profitera directement aux puces neuromorphes.
Intégration aux technologies existantes
La plupart des systèmes pratiques auront besoin d'une architecture hybride, où les barres de croisement de méristor gèrent les calculs réseau neuronaux tandis qu'un processeur traditionnel gère les flux de commande, les E/S et les routines logicielles. La conception d'interfaces efficaces – convertisseurs analogiques à signaux numériques, amplificateurs de sens et circuits périphériques mixtes – qui peuvent suivre la vitesse des matrices de méristor est un domaine de recherche actif. De plus, la pile logicielle pour la cartographie des algorithmes sur le matériel neuromorphe est encore immature; les développeurs ont besoin de compilateurs et de bibliothèques qui peuvent automatiquement convertir les descriptions réseau neuronal de haut niveau en instructions de bas niveau pour les barres de croisement de méristor.
Endurance et conservation
Pour les systèmes d'apprentissage tout au long de la vie, les mémristeurs doivent résister à des millions de cycles de commutation sans perdre leurs propriétés non volatiles. Bien que de nombreux mémristeurs à base d'oxyde présentent une endurance au-delà de 106 cycles, certaines applications (comme l'apprentissage en ligne et continu) nécessitent 109 cycles ou plus. En même temps, la rétention – la capacité de maintenir un état sans puissance pendant des années – doit être maintenue.
Orientations futures et recherche émergente
Matériaux nouveaux et mécanismes de commutation
Des matériaux bidimensionnels comme le graphène et le disulfure de molybdène (MoS2) ont été explorés pour des mémristeurs à faible intensité atomique avec une énergie de commutation ultra faible. Les jonctions de tunnel ferroélectrique et les mémristeurs spintroniques offrent également des solutions de rechange prometteuses, en tirant parti de différents mécanismes physiques pour réaliser le changement analogique.
Intégration 3D et hiérarchies du cerveau
Pour aborder la densité et la connectivité du cerveau humain, les chercheurs développent des piles de mémristor tridimensionnelles (3D). En superposant verticalement des réseaux de barres transversales, il est possible d'atteindre des densités synapsées rivalisant avec celles du cortex biologique. Des projets comme le Projet Européen du Cerveau Humain et l'initiative BRAIN américaine explorent des puces neuromorphes 3D qui combinent des réseaux de mémristor et des neurones du silicium. Ces puces peuvent mettre en place des topologies hiérarchiques du réseau neuronal – sensorielles, associatives et motrices – qui traitent l'information dans des flux parallèles, comme les vrais cerveaux.
Réseaux neuronaux et codage temporel
La plupart des travaux actuels sur le calcul neuromorphique à base de mémiristor utilisent des réseaux neuronaux à base de taux (comme les ANN conventionnelles). Cependant, la véritable promesse du calcul neuromorphique réside dans le fait que les réseaux neuronaux (SNN) sont encodés dans le moment précis des pics. Les synapses à base de mémiristor peuvent naturellement implémenter la plasticité dépendante des pics, permettant aux ANN d'apprendre des modèles temporels avec une grande efficacité.
Inférence bayésienne et calcul probabiliste
Une autre orientation émergente consiste à utiliser des mémristeurs pour l'informatique probabiliste ou bayésienne. Le hasard intrinsèque de la commutation de mémristor peut être exploité pour générer des nombres aléatoires ou pour échantillonner des distributions de probabilité.En construisant des réseaux de mémristeurs qui mettent en œuvre la propagation de la croyance bayésienne, les chercheurs visent à construire du matériel qui peut être motivé par l'incertitude, une capacité essentielle pour la prise de décisions autonomes, le diagnostic médical et la prévision financière.
Conclusion
Les mémristeurs sont plus qu'un nouveau type de composant électronique, ils représentent un changement fondamental dans notre façon de penser le calcul et la mémoire. En permettant le calcul analogique, en mémoire et avec une plasticité synaptique, ils constituent une voie pratique vers la construction de systèmes neuromorphes qui rivalisent avec l'efficacité et l'adaptabilité du cerveau humain. Les avantages – consommation de puissance excessive, densité élevée, vitesse et capacités d'apprentissage améliorées – sont déjà démontrés dans les puces prototypes qui effectuent la reconnaissance des modèles, le contrôle adaptatif et l'apprentissage en temps réel. Néanmoins, des défis importants subsistent, notamment dans la variabilité des appareils, la fabrication et l'intégration des systèmes.
Liens externes
- - Accélérateurs réseau neuronaux avec des mémristeurs – Nature Electronics
- -Défis et opportunités pour l'informatique neuromorphe méristive – IEEE Xplore
- - Réseaux neuronaux à araignées à mémoire pour la reconnaissance des motifs – préimpression arXiv
- -Mémristomètres pour l'informatique neuromorphe : une critique – Semantic Scholar