L'analyse de larges quantités de données ou d'images, le développement des véhicules autonomes, les progrès de la robotique ou des biocapteurs, changent nos attentes vis-à-vis des puces électroniques. Si le calcul haute-précision, idéalement réalisé par les microprocesseurs conventionnels, reste incontournable, d'autres fonctionnalités sont de plus en plus recherchées, telles que les fonctions de classification. Pour celles-ci les algorithmes de type « réseaux de neurones artificiels » (ANNs) sont mieux adaptés. Ils sont aujourd'hui implémentés de façon logicielle sur des processeurs conventionnels, mais de nouvelles puces électroniques spécifiquement conçues pour ce mode de traitement de l'information permettraient d'accélérer considérablement l'analyse des données, tout en réduisant la consommation énergétique. Ces nouveaux processeurs peuvent être fabriqués à partir de la technologie silicium classique. Cependant l'une de leurs fonctions clés (coder l'intensité des connexions entre neurones) requiert une très grande quantité de mémoire non-volatile qui pourrait être plus efficacement réalisées par des mémoires résistives analogiques : des « memristors ». Si de nombreux types de memristors sont à l'étude (mémoires à changement de phase, Ox-RAM, CB-RAM, etc.) aucun n'est idéalement adapté à l'application analogique visée.
Une collaboration CEA-IEF a réalisé un nouveau type de mémoires résistives analogiques organiques basées sur l'électro-greffage de molécules redox au sein de jonctions métal/organique/métal. Ces dispositifs sont intégrés en tant que synapses dans un prototype élémentaire de circuit capable d'apprendre sa fonction, selon deux règles d'apprentissage. La caractérisation des imperfections des synapses a servi de base à d'importants efforts de simulation, montrant l'effet de leur variabilité sur l'efficacité d'apprentissage du circuit. Le potentiel de cette approche est également évalué par simulation pour la réalisation de fonctions complexes comme la reconnaissance d'écriture manuscrite.
Le domaine du traitement de l'information par des réseaux de neurones artificiels a connu un succès variable depuis les années soixante, tandis que les progrès de l'électronique conventionnelle (CMOS silicium) associée aux architectures de circuits de type von Neumann accumulaient les succès au rythme effréné de la loi de Moore. Très récemment, les besoins de l'informatique moderne ont remis sur le devant de la scène des problématiques particulièrement adaptées à l'approche neuro-inspirée. Par exemple, l'une des problématiques actuelles les plus gourmandes en ressources (énergie et temps de calcul) concerne l'analyse des quantités phénoménales d'images issues d'internet. Les enjeux de vision/perception sont aussi au cœur du développement des véhicules autonomes et de la robotique. Au lieu d'implémenter les réseaux de neurones sous forme logicielle en utilisant des processeurs conventionnels, il serait beaucoup plus efficace (i.e. plus rapide et moins énergivore) de disposer de machines dont l'architecture matérielle serait spécifiquement dédiée à ce mode de traitement des données. Une des caractéristiques de ces architectures est l'utilisation de très grandes quantités de mémoire, plutôt que la réalisation de calculs intensifs de haute-précision.
Dans un réseau de neurones, les éléments de traite ments individuels, les « neurones », sont reliés entre eux par un grand nombre de connexions : les « synapses » (par analogie historique avec les cellules neurologiques). Le réseau ainsi construit « apprend » en renforçant ou en diminuant l'intensité des connexions sur la base d'un ensemble d'exemples qui lui sont présentés et d'une règle d'apprentissage.
La fonction des neurones est complexe, et les futurs processeurs neuronaux pourraient les implémenter à l'aide de la technologie CMOS silicium classique. A l'opposé, la fonction des synapses est bien plus simple puisqu'il s'agit de stocker un simple coefficient. Toutefois,
- le coefficient doit pouvoir être ajusté de façon continue et non prendre simplement des valeurs « 0 » ou « 1 »,
- une fois ajusté, ce coefficient doit être stocké de façon permanente,
- le réseau peut nécessiter typiquement 10 000 fois plus de synapses que de neurones.
De simples résistances non-volatiles et continûment ajustables seraient idéales, en termes de densité d'intégration. Ainsi, de très nombreux travaux s'intéressent aux mémoires résistives basées sur différentes technologies (mémoires à changement de phase, mémoires à base d'oxydes ou de type conductive-bridge par exemple) mais à ce stade, aucune ne valide totalement l'ensemble des critères pour leur utilisation en réseaux de neurones [1]. De plus, très peu d'études dépassent le stade des dispositifs memristifs individuels et seuls quelques circuits à base de memristors capables d'apprendre des fonctions simples ont été réalisés à ce jour [2].
À gauche, représentation schématique d'un film de tris-bipyridines de fer électro-greffé de façon covalente au sein d'une jonction horizontale métal/organique/métal. Au centre : image en microscopie électronique de séries de jonctions de ce type. Sur le zoom, le halo sombre montre l'extension du film organique greffé. À droite : série de caractéristiques I-V d'une jonction et statistique des tensions d'écriture et d'effacement.
Réalisation des memristors et implémentation
Dans l'étude réalisée par la collaboration entre le CEA et l'IEF [3], un nouveau type de memristors organiques basé sur l'électrogreffage de complexes moléculaires redox au sein de jonctions métal/organique/métal a été tout d'abord proposé. Ces jonctions permettent de stabiliser de nombreux états de conductivité et présentent un potentiel remarquable en termes d'intégration au sein de réseaux denses. Il est ensuite montré que huit de ces dispositifs implémentant des synapses, combinés à un circuit électronique classique émulant un neurone, permettent l'apprentissage de fonctions logiques élémentaires. Les fonctions peuvent être modifiées (réapprises) en changeant la base d'exemples (i.e. la table de vérité) présentée au circuit lors de la phase d'apprentissage. La méthode d'apprentissage ne nécessite pas d'adresser individuellement les memristors mais les interroge et les modifie collectivement.
Tolérance aux défauts et projection des performances
Une des grandes forces des réseaux de neurones est de pouvoir s'accommoder d'imperfections au niveau des synapses. L'un des enjeux du domaine est donc de bien comprendre quels types et quels niveaux d'imperfections peuvent être compensés par les méthodes d'apprentissage utilisées. Sur la base d'intenses efforts de simulation, intégrant la caractérisation expérimentale de la variabilité des memristors réalisés, l'immunité de l'apprentissage vis-à-vis de différents types d'imperfections a pu être évaluée. Des écarts dans les caractéristiques des dispositifs (seuils de programmation, précision de programmation des états de conductivité intermédiaire, etc…) se retrouvent dans toutes les technologies « memristives », ce qui donne à cette étude une utilité générique.
Si les fonctions expérimentalement étudiées sont très simples, ces simulations permettent d'extrapoler le potentiel de l'approche étudiée, en incluant le niveau d'imperfection mesuré sur les dispositifs réels. Ces simulations peuvent être ainsi étendues pour inclure de nombreux neurones, beaucoup de synapses par neurones et même des réseaux multicouches pour accéder à des fonctions complexes. À titre d'exemple, nous avons évalué par simulation la combinaison des dispositifs organiques et des règles d'apprentissage proposées au problème classique de reconnaissance de caractères manuscrits. Pour un réseau simulé à 15 680 memristors, les taux de reconnaissance obtenus sont très proches de la version logicielle.
De nouveaux types de memristors ont ainsi été conçus par électro-greffage, un procédé de chimie de surface versatile pouvant être implémenté à grande échelle. Un premier démonstrateur de circuit simple a été réalisé. Les imperfections des dispositifs ont été étudiées et caractérisées, afin de permette d'étudier par simulation la réponse d'un réseau de neurones, équipé de telles synapses. Ces résultats invitent à poursuivre l'étude vers l'élaboration de circuits denses réalisant des fonctions complexes.
Références :
[1] « Memristive devices for computing »,
J. J. Yang, D. B. Strukov, D. R. Stewart, Nature Nanotechnology 8, 13–24 (2013).
[2] « Pattern classification by memristive crossbar circuits using ex situ and in situ training »,
F. Alibart, E. Zamanidoost, D. B. Strukov, Nature Communications 4, 2072 (2013).
[3] « Physical realization of a supervised learning system built with organic memristive synapses »,
Y.-P. Lin, C.H. Bennett, T. Cabaret, D. Vodenicarevic, D. Chabi, D. Querlioz, B. Jousselme, V. Derycke, J.-O. Klein, Scientific Reports 6, 31932 (2016).
Collaboration :
- Jacques-Olivier Klein, Circuits and Architectures for Emerging Nanodevices (NanoArchi) – Institut d'Electronique Fondamentale (IEF), UMR CNRS – Université de Paris-sud Orsay
- Laboratoire d'Innovation en Chimie des Surfaces et Nanosciences (NIMBE/LICSEN)
Contact CEA : Vincent Derycke (NIMBE/LICSEN).