Un modèle de langage apprend à réécrire ses propres poids
Des chercheurs montrent qu’un modèle de 27B paramètres peut modifier ses poids sans entraînement classique. L’effet persiste après l’édition et améliore aussi une copie endommagée.
Un papier signé par des chercheurs affiliés à l’UIUC, Carnegie Mellon, Rutgers, Princeton et Stanford montre qu’un modèle de langage peut modifier ses propres poids pour gagner en performance, sans gradient ni nouvelle phase d’entraînement. L’expérience, menée sur Qwen3.5 27B et datée du 16 novembre 2026 dans la source fournie, compte surtout pour une raison simple : elle brouille la frontière entre inférence et apprentissage. Le gain obtenu reste inscrit dans les poids, donc il ne disparaît pas une fois la session terminée.
Quand le modèle se corrige lui-même, ce n’est plus juste un assistant bavard
Les auteurs appellent ce procédé self-rewriting : le modèle s’observe, diagnostique ses erreurs, puis écrit lui-même des modifications de poids. Pas de gradient, pas d’optimiseur, pas de pipeline d’entraînement classique. Le système dispose seulement de ses poids, d’exemples corrigés, de ses propres passes de calcul et d’un outillage Python très limité. En pratique, il s’agit d’une forme de maintenance interne, un peu comme si le logiciel se resserrait les boulons tout seul, ce qui évite de renvoyer la machine en atelier.
Le résultat le plus net concerne le modèle 27B : sur 490 problèmes jamais vus, une édition de ses poids améliore l’exactitude de 6,6 points. Les auteurs indiquent aussi que la méthode tient sur plusieurs sessions successives, avec une progression qui continue sur les huit premières. Surtout, la modification ne coûte rien à chaque réponse, contrairement à certaines méthodes de calcul au moment de l’inférence.
Une réparation ciblée, puis une amélioration durable
Les chercheurs ont aussi testé la méthode sur une copie volontairement endommagée du modèle. Ils ont corrompu huit lignes d’une matrice de sortie MLP, puis demandé au modèle de retrouver la panne sans voir les poids sains. Le 27B identifie la matrice fautive, applique une correction et fait passer sa copie de 7 % à 70 % d’exactitude sur six benchmarks image qu’elle n’avait jamais vus. Le chiffre équivaut à 83 % de la performance du modèle intact sur ces tests.
Dans le cas de l’auto-édition, le modèle ne se contente pas d’une intuition. Il compare des états cachés, repère une direction qui sépare les réponses qui se terminent de celles qui s’interrompent faute de tokens, puis retire 5 % de cette direction sur deux matrices de la couche 8. Les auteurs notent que chaque test intermédiaire favorise cette version éditée, et que l’amélioration se retrouve sur l’évaluation retenue à l’avance. La méthode est donc moins magique qu’elle n’en a l’air : elle ressemble davantage à un diagnostic guidé par des mesures qu’à un coup de dés.
Les petits modèles bricolent, le 27B mesure
Le contraste entre tailles de modèles est central. Sur la famille Qwen3.5, les versions 2B, 4B et 9B ne parviennent pas à s’auto-corriger proprement. Elles testent, tâtonnent, ajoutent du bruit ou essaient des changements hasardeux. Le 27B, lui, finit par mesurer une direction précise dans ses représentations internes et à l’utiliser avec méthode. Les auteurs y voient un seuil de capacité : au-delà d’une certaine taille, le modèle ne se contente plus d’imiter une réparation, il la raisonne.
Le protocole reste strict. Chaque session dispose d’un budget limité de passes avant de s’achever, et l’édition finale n’est acceptée que si les tests internes la soutiennent. Sur la copie endommagée, la correction finale cible surtout la matrice corrompue de la couche 30, puis s’étend à d’autres matrices de sortie des couches 0 à 10. Le détail compte, car il montre que l’algorithme ne “reconstruit” pas tout : il identifie un point de rupture et le traite localement.
Ce que cela change pour les modèles de demain
L’intérêt dépasse le seul cas de laboratoire. Si un modèle peut corriger un défaut local, puis conserver la correction dans ses poids, cela ouvre la porte à des systèmes plus autonomes en exploitation, capables de s’ajuster après un incident ou une dégradation partielle. Reste une limite évidente : l’expérience est conduite sous fortes contraintes, avec un outillage fermé et des garde-fous serrés. Rien ne dit qu’un déploiement réel tolérerait une telle liberté d’écriture sur ses propres paramètres.
Pour la recherche, le signal est toutefois clair. Un modèle de langage n’est plus forcément condamné à choisir entre deux mondes, celui de l’entraînement et celui de l’usage. Dans cette étude, il apprend à faire un peu des deux. Et sans lever la main pour demander de l’aide.
Points clés
- Qwen3.5 27B s’auto-modifie sans entraînement classique.
- 6,6 points de gain sur 490 problèmes inédits.
- Huit sessions d’auto-édition montrent une progression continue.
- Une copie corrompue passe de 7 % à 70 %.
- Les versions 2B, 4B et 9B n’y arrivent pas.
- Le 27B travaille avec 20 passes et 200 exécutions Python.
En chiffres
- 490 problèmes — test inédit de l’auto-édition, selon l’article fourni.
- 8 sessions — premières sessions où l’accuracy progresse à chaque fois.
- 27B paramètres — taille du modèle qui réussit l’auto-réécriture.
- 7 % à 70 % — performance d’une copie endommagée avant/après réparation.
- 8 lignes — portion corrompue de la matrice de sortie MLP.