Reservoir Computing

(IN FRENCH, English version coming soon)

Présentation du concept et intérêt pour la modélisation en neurosciences

Le Reservoir Computing (RC) est un paradigme relativement nouveau pour entraîner des Réseaux de Neurones Récurrents (RNN en anglais) qui tient ses origines aussi bien du domaine de l’Apprentissage Artificiel [Jae01, JH04, Ste04] que des Neurosciences Computationelles [BM95, Dom95, MNM02]. Ce concept est lié à celui des Support Vector Machines [Vap95] : les entrées sont projetées dans un espace de haute dimension afin d’obtenir une représentation non-linéaire "riche" des entrées (recombinées), puis un appariement (e.g. régression) linaire* entre l’espace de haute dimension et les unités de sortie (read-out units) est créé (i.e. appris). Les dynamiques spontanées de la couche cachée récurrente (appelée reservoir) permettent l’encodage temporel et contextuel de l’information. C’est pour ces raisons que le RC est souvent assimilé à un "SVM temporel". Pour une revue théorique et pratique sur les Echo State Networks** se référer à [Jae01, Jae02], et en particulier à [JLPS07] pour plus de détails sur la version que j’emploie avec des neurones leaky-integrator*** (voir les équations ci-dessous).

Récemment Rigotti et al. [RBWW+13] ont utilisé des méthodes du RC pour analyser des enregistrements électrophysiologiques du PFC chez le singe ; ils parlent de "sélectivité distribuée" pour décrire cette activité. Ils ont montré que plus l’activité neuronale était de grande dimension, plus le singe produisait des réponses correctes : une activité avec une dimension faible prédisait une erreur de la part du singe. On peut supposer qu’un tel mécanisme composé d’une multitude de décodeurs linéaires (e.g. les ganglions de la base) s’appuyant sur une activité de haute dimension (e.g. PFC) soit implémenté dans le cerveau, car un décodage linéaire peut se faire avec un simple apprentissage de type hebbien.

C’est justement cet aspect multidimensionnel non-linéaire et cette "sélectivité distribuée" que je cherche à modéliser : je veux insister sur l’importance de telles dynamiques et la richesse des informations qu’elles portent.

* L’utilisation de méthodes linéaires est peu coûteuse computationnellement et suffisante puisque les représentations non-linéaires de haute dimension sont déjà présentes dans le réservoir.

** Les Echo State Networks (ESN) sont le type d’implémentation du concept de Reservoir Computing que j’utilise dans mes recherches.

*** Le leaking rate correspond à l’inverse de la constance de temps (τ) des neurones du réservoir : α = 1 / τ.

Equations du réservoir (ici un ESN):

Les équations décrivant les états du réservoir (ici un ESN avec neurones leaky) et de la couche de sortie (read-out) sont les suivantes :

x(t + 1) = (1 − α)x(t) + α f(Wⁱⁿ.u(t) + W.x(t))

y(t) = W^out.[1 ; x(t)]

avec

• • x le vecteur d’état du réservoir,

  • y le vecteur de sortie,

  • u le vecteur des entrées,

  • Wⁱⁿ la matrice de connexion des entrées vers le réservoir,

  • W la matrice des connexions récurrentes du réservoir,

  • W^out la matrice des connexions du réservoir à la couche de sortie,

  • α le "taux de fuite ou leaking rate,

  • f est la fonction de transfert des neurones du réservoir (on utilise la fonction tangente hyperbolique en général)

  • et [ ; ] la concaténation verticale de vecteurs.

Contrairement à d’autres approches, il n’est pas nécessaire d’entraîner tout le réseau de neurones : les matrices W in et W sont éparses et générées aléatoirement, seule la matrice W out est calculée à partir des activations du réservoir enregistrées pour tous les stimulus de la base d’apprentissage en utilisant une régression ridge (i.e. régression linéaire avec régularisation de Tikhonov).

Pour en savoir plus, en Anglais (par ordre croissant de "subtilité")

• • Article d'introduction Scholarpedia, Herbert Jaeger (le fondateur des ESN).

  • Guide pratique complet et acessible de Mantas Lukocevicius (un ex-thésard de H. Jaeger), 2012.

  • La thèse de David Verstraeten : un approfondissement didactique de la pratique à la théorie, 2009.

  • Une revue (review) des différentes approches du Reservoir Computing, Lukocevicius & Jaeger, 2009.

  • Explication "théorique" sur le fonctionnement du RC, équipe de Wolfgang Maass (inventeur des Liquid State Machines, cousins des ESN mais avec des neurones à "spikes"), 2007.

Pour en savoir plus, en Français

• • Voir le chapitre 3 de ma thèse intitulé "Reservoir Computing".

Références

• • [BM95] Buonomano D V, Merzenich M (1995) Temporal information transformed into a spatial code by a neural network with realistic properties. Science 267: 1028–1030.

  • [Dom95] Dominey PF (1995) Complex sensory-motor sequence learning based on recurrent state representation and reinforcement learning. Biological Cybernetics 73: 265–274.

  • [Jae01] Jaeger, H. (2001) The echo state approach to analysing and training recurrent neural networks. Bonn, Germany: German National Research Center for Information Technology GMD Technical Report, 148, 34.

  • [Jae02] Jaeger H. (2002) A tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the "echo state network" approach. GDM Technical Report 159.

  • [JH04] Jaeger H, Haas H (2004) Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communication. Science, 304, 78–80.

  • [JLPS07] Jaeger, H., Lukosevicius, M., Popovici, D., Siewert, U. (2007) Optimization and applications of echo state networks with leaky-integrator neurons. Neural Networks, 20(3), 335-352.

  • [MNM02] Maass W, Natschläger T, Markram H (2002) Real-time computing without stable states: a new framework for neural computation based on perturbations. Neural computation 14: 2531–2560.

  • [RBWW+13] Rigotti M, Barak O, Warden MR, Wang X-J, Daw ND, et al. (2013) The importance of mixed selectivity in complex cognitive tasks. Nature. doi: 10.1038/nature12160

  • [Ste04] Steil JJ (2004) Backpropagation-decorrelation: online recurrent learning with O(N) complexity. IEEE International Joint Conference on Neural Networks, Vol. 2. pp. 843–848.

  • [Vap95] Vapnik, V. (1995) The Nature of Statistical Learning Theory. New York: Springer.

FAQ (Frequently Asked Questions)

• • Leaky or non-leaky neurons

Je n'arrive pas à comprendre l'utilité de la partie "leaky-integration" (1 − α)x(t) dans l'équation x(t + 1) = (1 − α)x(t) + α f(Wⁱⁿ.u(t) + W.x(t)). Pour moi, son seul but est que l'état t influe sur l'état t+1 mais on tient déjà compte de l'état t lorsqu'on ajoute W.x(t).

• • • Réponse

Pour info, "leaky neuron" en français se traduit par "neurone à fuite". Ces neurones fonctionnent en quelques sorte comme des condensateurs, c'est à dire que si l'on applique une entrée totale importante (supérieure ou égale à 1 par exemple) à un neurone leaky qui a un état égal à zéro, son activité à l'état suivant ne sera pas égale à 1, car il va mettre du temps à se "charger". Et à l'inverse, un neurone qui a un état proche de 1 qui ne reçoit plus aucune entrée, verra son activité diminuer peu à peu, mais pas d'un seul coup.