Plasticité structurelle : quand le réseau réécrit sa propre architecture

Un cerveau humain ne se contente pas d’ajuster la force de ses connexions : il en crée de nouvelles, en détruit d’autres, fait naître et mourir des neurones tout au long de la vie. Sa forme est mouvante. Un réseau de neurones artificiel classique, lui, reçoit son architecture une fois pour toutes avant l’entraînement et n’y touche plus jamais. Ce dossier explore ce que l’on gagne, et ce que l’on ne comprend pas encore, quand on rend la forme du réseau elle-même apprenante.

Deux plasticités à ne pas confondre

Le mot plasticité recouvre deux mécanismes très différents, qu’il faut séparer nettement pour ne pas tourner en rond.

• Plasticité synaptique : la force (le poids) d’une connexion qui existe déjà change. C’est exactement ce que fait la rétropropagation : ajuster des nombres sur un graphe figé.
• Plasticité structurelle : le graphe lui-même change. On crée et on supprime des neurones et des connexions. La topologie cesse d’être un décor pour devenir une variable.

La première répond à la question « combien ». La seconde répond à la question « qui parle à qui ». Tout ce dossier porte sur la seconde.

Ce que fait le cerveau

La plasticité structurelle n’est pas une bizarrerie d’ingénieur : c’est le régime normal du vivant.

• Synaptogenèse : la formation de nouvelles synapses, intense pendant le développement et jamais totalement arrêtée.
• Élagage synaptique : l’adolescence humaine élimine une part massive des synapses formées dans l’enfance. Le cerveau se sculpte autant en retirant qu’en ajoutant.
• Neurogenèse adulte : de nouveaux neurones apparaissent encore à l’âge adulte, notamment dans l’hippocampe.
• Périodes critiques : des fenêtres temporelles où la topologie est particulièrement malléable, puis se stabilise.

La leçon est nette : une bonne architecture n’est pas posée d’avance, elle est trouvée par croissance et destruction guidées par l’activité (Kandel et al., 2013).

Manipuler la topologie soi-même

Avant la théorie, la sensation. Voici un petit réseau dont tu peux changer la structure en direct. Ajoute et retire des neurones et des connexions, et regarde la forme se réorganiser.

Tu remarques vite une chose : ajouter et retirer au hasard ne construit rien d’utile. Garde cette impression, elle est le cœur du dossier.

Pourquoi rendre la forme apprenante

Trois gains motivent l’idée de faire de la topologie une variable :

• Apprentissage continu : un réseau dont la forme peut évoluer n’a pas besoin d’être gelé après l’entraînement. Il s’adapte à mesure que son monde change.
• Efficacité : si la structure ne se construit que là où l’activité le justifie, le réseau n’alloue des ressources qu’aux endroits utiles, au lieu de tout calculer partout en permanence.
• Auto-organisation : la forme devient un résultat plutôt qu’un choix imposé d’avance. On ne dessine plus l’architecture, on définit les règles qui la font émerger.

Le piège central : muter n’est pas apprendre

Voici l’expérience la plus importante du dossier. Deux réseaux partent du même point et subissent des mutations de structure. La seule différence : à gauche, on garde chaque mutation au hasard ; à droite, on ne garde que celles qui améliorent une mesure de performance.

Le hasard seul erre indéfiniment. Dès qu’un critère trie les mutations, la performance grimpe. C’est toute la différence entre agiter une structure et la faire apprendre. Ce critère peut prendre deux formes :

• une pression de sélection globale, comme dans un algorithme évolutionnaire ;
• une règle locale, comme la STDP biologique, où une connexion se renforce quand elle participe à la causalité d’une décharge voisine.

Retiens cette phrase, c’est le fil rouge : la plasticité structurelle ne vaut que par le critère qui l’oriente.

L’autre face : élaguer

Grandir n’est que la moitié de l’histoire. L’autre moitié, c’est retirer. Un réseau dense contient beaucoup de connexions presque inutiles ; supprimer les plus faibles allège le calcul sans casser la fonction.

Ce principe porte un nom dans la recherche récente : l’entraînement creux dynamique (dynamic sparse training). On y découvre qu’un sous-réseau bien choisi, parfois appelé billet gagnant (lottery ticket), atteint la performance du réseau complet avec une fraction de ses connexions.

Ce que dit la recherche

La plasticité structurelle pilotée par des règles locales n’est pas spéculative. Plusieurs familles de travaux la rendent concrète :

Le fil commun : la topologie peut devenir une variable gouvernée localement, et non un gabarit imposé de l’extérieur. Fait notable, Barland et Gil obtiennent la généralisation, et même le phénomène de grokking, à partir de règles purement locales, sans aucune fonction d’erreur globale.

Une formalisation minimale

Posons les choses proprement. Un réseau est un graphe $G_t = (V_t, E_t)$ qui évolue dans le temps : $V_t$ est l’ensemble des neurones, $E_t$ celui des connexions. La plasticité structurelle, ce sont quatre opérations sur ce graphe : ajouter ou retirer un neurone, ajouter ou retirer une connexion.

Une règle de croissance locale peut s’appuyer sur la corrélation d’activité entre deux neurones :

On crée la connexion $(i, j)$ quand $\Delta_{ij}$ dépasse un seuil : deux unités qui s’activent ensemble gagnent à se parler. Une règle d’élagage retire au contraire une connexion dont le poids reste négligeable :

Le tout peut se lire comme une optimisation jointe de la fonction et de la forme, sous une pression de parcimonie :

Le terme $\lambda \, |E|$ pénalise chaque connexion : c’est lui qui pousse le réseau à rester creux, donc efficace. Croissance, élagage et parcimonie ne sont que trois facettes de la même question : quelle forme mérite d’exister ?

Place dans mes programmes de recherche

Ce concept est la charnière exacte entre deux de mes programmes.

• AEIF fournit le substrat : un réseau dont chaque mutation de structure est un événement immuable, tracé et rejouable. Mais ses mutations restent aléatoires : il sait muter, pas encore choisir.
• SOAG cherche le moteur manquant : les règles locales qui décident quoi faire grandir et quoi laisser mourir, sans contrôle central.

Le lab « muter n’est pas apprendre » plus haut résume leur relation : AEIF est le panneau de gauche, SOAG vise le panneau de droite.

Limites et questions ouvertes

Il serait malhonnête de présenter tout cela comme résolu.

• Stabilité contre plasticité : une topologie qui change en permanence peut diverger ou tout oublier. Trouver le bon équilibre est un problème ouvert.
• Passage à l’échelle : les démonstrations actuelles restent sur de petits problèmes, loin des grands modèles.
• Théorie incomplète : on manque d’un cadre général qui dise quelle règle locale produit quelle capacité.
• Mesure : comparer des réseaux de topologies différentes est délicat, car on ne compare plus seulement des nombres mais des formes.

Teste ta compréhension