L'analyse de larges quantités de données ou d'images, le développement des véhicules autonomes, les progrès de la robotique ou des biocapteurs, changent nos attentes vis-à-vis des puces électroniques. Si le calcul haute-précision, idéalement réalisé par les microprocesseurs conventionnels, reste incontournable, d'autres fonctionnalités sont de plus en plus recherchées, telles que les fonctions de classification. Pour celles-ci les algorithmes de type "réseaux de neurones artificiels" (ANNs) sont mieux adaptés. Ils sont aujourd'hui implémentés de façon logicielle sur des processeurs conventionnels, mais de nouvelles puces électroniques spécifiquement conçues pour ce mode de traitement de l'information permettraient d'accélérer considérablement l'analyse des données, tout en réduisant la consommation énergétique. Ces nouveaux processeurs peuvent être fabriqués à partir de la technologie silicium classique. Cependant l'une de leurs fonctions clés (coder l'intensité des connexions entre neurones) requiert une très grande quantité de mémoire non-volatile qui pourrait être plus efficacement réalisées par des mémoires résistives analogiques : des "memristors". Si de nombreux types de memristors sont à l'étude (mémoires à changement de phase, Ox-RAM, CB-RAM, etc.) aucun n'est idéalement adapté à l'application analogique visée. Une collaboration CEA-IEF a réalisé un nouveau type de mémoires résistives analogiques organiques basées sur l'électro-greffage de molécules redox au sein de jonctions métal/organique/métal. Ces dispositifs sont intégrés en tant que synapses dans un prototype élémentaire de circuit capable d'apprendre sa fonction, selon deux règles d'apprentissage. La caractérisation des imperfections des synapses a servi de base à d'importants efforts de simulation, montrant l'effet de leur variabilité sur l'efficacité d'apprentissage du circuit. Le potentiel de cette approche est également évalué par simulation pour la réalisation de fonctions complexes comme la reconnaissance d'écriture manuscrite. |
Le domaine du traitement de l'information par des réseaux de neurones artificiels a connu un succès variable depuis les années soixante, tandis que les progrès de l'électronique conventionnelle (CMOS silicium) associée aux architectures de circuits de type von Neumann accumulaient les succès au rythme effréné de la loi de Moore. Très récemment, les besoins de l'informatique moderne ont remis sur le devant de la scène des problématiques particulièrement adaptées à l'approche neuro-inspirée. Par exemple, l'une des problématiques actuelles les plus gourmandes en ressources (énergie et temps de calcul) concerne l'analyse des quantités phénoménales d'images issues d'internet. Les enjeux de vision/perception sont aussi au cœur du développement des véhicules autonomes et de la robotique. Au lieu d'implémenter les réseaux de neurones sous forme logicielle en utilisant des processeurs conventionnels, il serait beaucoup plus efficace (i.e. plus rapide et moins énergivore) de disposer de machines dont l'architecture matérielle serait spécifiquement dédiée à ce mode de traitement des données. Une des caractéristiques de ces architectures est l'utilisation de très grandes quantités de mémoire, plutôt que la réalisation de calculs intensifs de haute-précision.
Dans un réseau de neurones, les éléments de traite ments individuels, les "neurones", sont reliés entre eux par un grand nombre de connexions : les "synapses" (par analogie historique avec les cellules neurologiques). Le réseau ainsi construit "apprend" en renforçant ou en diminuant l'intensité des connexions sur la base d'un ensemble d'exemples qui lui sont présentés et d'une règle d'apprentissage.
La fonction des neurones est complexe, et les futurs processeurs neuronaux pourraient les implémenter à l'aide de la technologie CMOS silicium classique. A l'opposé, la fonction des synapses est bien plus simple puisqu'il s'agit de stocker un simple coefficient. Toutefois,
De simples résistances non-volatiles et continûment ajustables seraient idéales, en termes de densité d'intégration. Ainsi, de très nombreux travaux s'intéressent aux mémoires résistives basées sur différentes technologies (mémoires à changement de phase, mémoires à base d'oxydes ou de type conductive-bridge par exemple) mais à ce stade, aucune ne valide totalement l'ensemble des critères pour leur utilisation en réseaux de neurones [1]. De plus, très peu d'études dépassent le stade des dispositifs memristifs individuels et seuls quelques circuits à base de memristors capables d'apprendre des fonctions simples ont été réalisés à ce jour [2].
Dans l'étude réalisée par la collaboration entre le CEA et l'IEF [3], un nouveau type de memristors organiques basé sur l'électrogreffage de complexes moléculaires redox au sein de jonctions métal/organique/métal a été tout d'abord proposé. Ces jonctions permettent de stabiliser de nombreux états de conductivité et présentent un potentiel remarquable en termes d'intégration au sein de réseaux denses. Il est ensuite montré que huit de ces dispositifs implémentant des synapses, combinés à un circuit électronique classique émulant un neurone, permettent l'apprentissage de fonctions logiques élémentaires. Les fonctions peuvent être modifiées (réapprises) en changeant la base d'exemples (i.e. la table de vérité) présentée au circuit lors de la phase d'apprentissage. La méthode d'apprentissage ne nécessite pas d'adresser individuellement les memristors mais les interroge et les modifie collectivement.
Une des grandes forces des réseaux de neurones est de pouvoir s'accommoder d'imperfections au niveau des synapses. L'un des enjeux du domaine est donc de bien comprendre quels types et quels niveaux d'imperfections peuvent être compensés par les méthodes d'apprentissage utilisées. Sur la base d'intenses efforts de simulation, intégrant la caractérisation expérimentale de la variabilité des memristors réalisés, l'immunité de l'apprentissage vis-à-vis de différents types d'imperfections a pu être évaluée. Des écarts dans les caractéristiques des dispositifs (seuils de programmation, précision de programmation des états de conductivité intermédiaire, etc...) se retrouvent dans toutes les technologies "memristives", ce qui donne à cette étude une utilité générique.
Si les fonctions expérimentalement étudiées sont très simples, ces simulations permettent d'extrapoler le potentiel de l'approche étudiée, en incluant le niveau d'imperfection mesuré sur les dispositifs réels. Ces simulations peuvent être ainsi étendues pour inclure de nombreux neurones, beaucoup de synapses par neurones et même des réseaux multicouches pour accéder à des fonctions complexes. À titre d'exemple, nous avons évalué par simulation la combinaison des dispositifs organiques et des règles d'apprentissage proposées au problème classique de reconnaissance de caractères manuscrits. Pour un réseau simulé à 15 680 memristors, les taux de reconnaissance obtenus sont très proches de la version logicielle.
De nouveaux types de memristors ont ainsi été conçus par électro-greffage, un procédé de chimie de surface versatile pouvant être implémenté à grande échelle. Un premier démonstrateur de circuit simple a été réalisé. Les imperfections des dispositifs ont été étudiées et caractérisées, afin de permette d'étudier par simulation la réponse d'un réseau de neurones, équipé de telles synapses. Ces résultats invitent à poursuivre l'étude vers l'élaboration de circuits denses réalisant des fonctions complexes.
Résultats de simulations : taux de reconnaissance de chiffres manuscrits en fonction du nombre d'exemples (issus de la base publique MNIST) présentés lors de l'apprentissage. Le résultat peut dépasser 85% même en présence de dispersion des caractéristiques des memristors.
Le réseau simulé comporte 15680 memristors (et 10 neurones). Les différentes courbes dépendent du type d'apprentissage (le mode SO n'utilise que le seuil d'écriture, le mode SR utilise les seuils d'écriture et d'effacement), de la présence ou non de dispersion dans les caractéristiques des dispositifs, et du caractère asymétrique ou non des efficacités d'écriture et d'effacement.
Références :
[1] "Memristive devices for computing",
J. J. Yang, D. B. Strukov, D. R. Stewart, Nature Nanotechnology 8, 13–24 (2013).
[2] "Pattern classification by memristive crossbar circuits using ex situ and in situ training",
F. Alibart, E. Zamanidoost, D. B. Strukov, Nature Communications 4, 2072 (2013).
[3] "Physical realization of a supervised learning system built with organic memristive synapses",
Y.-P. Lin, C.H. Bennett, T. Cabaret, D. Vodenicarevic, D. Chabi, D. Querlioz, B. Jousselme, V. Derycke, J.-O. Klein, Scientific Reports 6, 31932 (2016).
Collaboration :
Contact CEA : Vincent Derycke (NIMBE/LICSEN).
• Électronique et optique du futur › Matériaux pour l'électronique et l'optique - Electronique organique et moléculaire
• Institut Rayonnement Matière de Saclay • UMR 3685 NIMBE : Nanosciences et Innovation pour les Matériaux, la Biomédecine et l'Énergie
• Laboratoire d'Innovation en Chimie des Surfaces et Nanosciences (LICSEN)