Avant-propos

Le cours « Réseaux de neurones : fondations et mathématiques » t’a montré une brique puissante : le neurone qui calcule une somme pondérée de ses entrées, la passe dans une fonction non-linéaire, et rend une sortie. Cette brique a un défaut discret mais profond. Elle est sans mémoire. Elle reçoit, elle répond, elle oublie. Le temps n’existe pas pour elle.

Ce cours répare ce défaut. On va rendre aux neurones la dimension qui leur manquait : le temps. Tu découvriras une autre famille de réseaux, les réseaux de neurones impulsionnels Réseau de neurones impulsionnel Famille de réseaux de neurones qui communiquent par impulsions discrètes dans le temps (spikes), plus proches du fonctionnement biologique que les réseaux classiques continus. Domaine de recherche actif, peu utilisé en pratique industrielle pour l'instant. , où chaque neurone possède un état interne qui évolue, accumule, et déclenche des impulsions discrètes. Plus proches de la biologie, plus économes en énergie, et porteurs d’une manière de calculer que les réseaux classiques ne savent pas imiter simplement.

Trois générations de réseaux

Pour situer ce qu’on étudie, une grille classique due à Wolfgang Maass (Maass, 1997) range les réseaux de neurones en trois générations :

1. Première génération : le neurone à seuil binaire de McCulloch et Pitts (McCulloch & Pitts, 1943). Sortie tout ou rien, comme l’interrupteur que tu as vu au chapitre 1 des fondations.
2. Deuxième génération : le neurone à activation continue (sigmoïde, ReLU). C’est celui sur lequel repose tout le deep learning moderne, et tout le cours fondations.
3. Troisième génération : le neurone impulsionnel. Sa sortie n’est plus un nombre, c’est une suite d’impulsions placées dans le temps. C’est l’objet de ce cours.

Maass a démontré qu’un réseau de la troisième génération peut, avec moins de neurones, calculer des fonctions que les générations précédentes exigent plus de ressources pour approcher. La promesse est là dès 1997. La difficulté d’entraînement, elle, a mis des décennies à se laisser apprivoiser.

Le parcours

Le cours suit un fil simple : rendre le temps au neurone, le faire calculer, puis le faire apprendre, et enfin le faire tourner sur du matériel dédié.

Bloc 1 : le neurone retrouve le temps

Pourquoi le neurone classique échoue à entendre le temps, ce qu’est un potentiel de membrane, le modèle integrate-and-fire et son zoo de variantes.

Bloc 2 : coder et connecter dans le temps

Comment une information se code dans des impulsions, et comment une synapse transmet un signal qui a une durée.

Bloc 3 : apprendre sans dériver un spike

La plasticité dépendante du temps, le mur de la non-dérivabilité, le gradient de substitution, et la conversion d’un réseau classique en réseau impulsionnel.

Bloc 4 : le silicium qui imite le cerveau

Le calcul neuromorphique Calcul neuromorphique Branche de l'informatique qui conçoit des circuits matériels imitant le fonctionnement du cerveau biologique (neurones impulsionnels, mémoire locale, calcul asynchrone). Domaine de recherche actif chez Intel (Loihi), IBM (TrueNorth) et plusieurs laboratoires académiques. , ses puces, ses promesses d’efficacité énergétique, puis un bilan honnête des limites et des usages réels.

Pour qui ce cours

• Tu as fini le cours fondations et tu veux voir ce qui existe au-delà du neurone continu. C’est le public idéal : tu as exactement les bases nécessaires.
• Tu t’intéresses aux neurosciences computationnelles et tu veux le pont avec le machine learning. Ce cours fait ce pont sans noyer la biologie sous le formalisme.
• Tu travailles sur l’efficacité énergétique de l’IA et tu as entendu parler du neuromorphique. Tu trouveras ici de quoi comprendre d’où vient la promesse, et ce qu’elle vaut.

Ce cours n’est pas un tutoriel d’une bibliothèque de simulation particulière, ni un état de l’art de la recherche la plus récente, qui bouge trop vite pour un cours.

En une phrase

Les réseaux de neurones impulsionnels rendent au neurone la dimension du temps : leur sortie n’est plus un nombre figé mais une suite d’impulsions, et c’est cette différence que ce cours va déplier, du modèle de base jusqu’au silicium.

Place au chapitre 1

Tout part d’une frustration concrète. Une chouette localise une souris dans le noir absolu grâce à un décalage de quelques microsecondes entre ses deux oreilles. Le neurone des fondations en est incapable, et pour une raison précise. C’est là que commence le chapitre 1.

Sources

• McCulloch, W. S. & Pitts, W. (1943). « A Logical Calculus of Ideas Immanent in Nervous Activity. » Bulletin of Mathematical Biophysics 5(4), 115-133. DOI 10.1007/BF02478259
• Maass, W. (1997). « Networks of spiking neurons: the third generation of neural network models. » Neural Networks 10(9), 1659-1671. DOI 10.1016/S0893-6080(97)00011-7

Pour aller plus loin avant d’attaquer le chap 1

• Gerstner, W., Kistler, W. M., Naud, R. & Paninski, L. (2014). Neuronal Dynamics: From Single Neurons to Networks and Models of Cognition. Cambridge University Press. Référence du domaine, gratuite en ligne. neuronaldynamics.epfl.ch
• Eshraghian, J. K. et al. (2023). « Training Spiking Neural Networks Using Lessons From Deep Learning. » Proceedings of the IEEE 111(9). arXiv:2109.12894