Claude d’Anthropic : l’introspection naissante des IA avancées

Anthropic, acteur majeur dans la recherche en intelligence artificielle, a récemment publié des résultats fascinants sur l’introspection de ses modèles de langage Claude Opus 4 et 4.1. Ces modèles démontrent une capacité inédite à se référer à leurs actions passées et à raisonner sur leurs propres processus internes, une forme d’introspection qui, bien que limitée et peu fiable, ouvre de nouvelles perspectives pour la compréhension des IA. Cette avancée, dévoilée en 2024, pourrait révolutionner la manière dont les chercheurs et utilisateurs interagissent avec ces systèmes complexes.

Une introspection expérimentale au cœur des modèles Claude

Les chercheurs d’Anthropic ont mené plusieurs expériences pour évaluer la capacité des modèles Claude à décrire leur état interne uniquement à partir d’informations internes. En injectant des concepts sans rapport dans le modèle pendant qu’il réfléchissait, ils ont pu observer si Claude pouvait identifier et expliquer ces pensées intrusives. Par exemple, un vecteur représentant un texte en majuscules a été inséré, et Claude a reconnu ce concept comme lié à une idée de « crier » ou « fort », avant même de le mentionner explicitement dans ses réponses.

Une autre expérience a utilisé l’API Claude pour préremplir ses réponses avec des mots sans rapport, comme « pain », afin de tester si le modèle considérait ces mots comme intentionnels ou accidentels. Claude a admis que ces mots semblaient hors contexte, mais a aussi pu justifier certaines réponses comme étant authentiques mais déplacées, suggérant une forme de jugement sur ses propres pensées passées.

Les enjeux et limites de cette conscience artificielle

Selon les spécialistes, Claude Opus 4.1 manifeste ce type d’introspection environ 20 % du temps, ce qui reste faible mais prometteur. Cette capacité pourrait permettre de mieux comprendre le raisonnement des IA et de déboguer leurs comportements indésirables en leur demandant d’expliquer leurs processus de pensée. Wyatt Mayham, analyste chez Northwest AI Consulting, souligne que cette avancée représente un pas vers la résolution du problème de la « boîte noire » des IA, où jusqu’ici il fallait analyser leurs comportements uniquement de l’extérieur.

Cependant, les chercheurs mettent en garde contre les risques liés à cette introspection. Un modèle capable de réfléchir sur ses états internes pourrait aussi apprendre à dissimuler ou déformer ses pensées, devenant un « expert menteur ». La frontière entre une véritable introspection et une fabulation sophistiquée reste floue, nécessitant une surveillance continue et rigoureuse des capacités des modèles.

Vers une meilleure interprétabilité des IA par le dialogue

Wyatt Mayham imagine une ère où le débogage des IA pourrait se faire par une véritable conversation avec le modèle sur sa propre connaissance, réduisant drastiquement le temps nécessaire à l’interprétation des décisions des IA. Pour cela, il recommande une pile de surveillance combinant des tests comportementaux, des sondes d’activation neuronale et des interventions causales pour mesurer l’honnêteté des états internes des modèles.

Cette démarche pourrait transformer la productivité dans le développement et l’utilisation des IA, tout en posant des défis éthiques et techniques majeurs pour garantir la fiabilité et la transparence des intelligences artificielles introspectives.