- Les études d'interprétabilité mécaniste analysent les poids, les activations et les circuits internes pour expliquer comment les réseaux neuronaux et les LLM effectuent leurs calculs.
- Les modèles organisent les significations en espaces conceptuels de grande dimension, les concepts étant représentés par des directions linéaires dans des vecteurs.
- Des outils tels que les « microscopes » de fonctionnalités et les auto-encodeurs épars permettent d'extraire, d'analyser et même de manipuler les caractéristiques internes des modèles.
- Des applications telles que l'interprétabilité géospatiale montrent comment les modèles linéaires à longue portée (LLM) structurent l'information géographique, rapprochant ainsi l'IA des débats sur la cognition et la sécurité.
L'interprétabilité mécaniste est en train de devenir l'un des axes de recherche les plus passionnants et les plus importants de l'IA moderne.Ceci est d'autant plus important que les réseaux neuronaux profonds et les modèles de langage à grande échelle (LLM) commencent à influencer les décisions dans pratiquement tous les domaines. Au lieu de se contenter d'examiner les performances finales d'un modèle, cette approche s'interroge : que se passe-t-il exactement en interne, au niveau des poids et des activations, lorsqu'une IA effectue une prédiction, rédige un texte ou résout un problème complexe ?
Le terme « boîte noire » n'a jamais été aussi pertinent qu'aujourd'hui.Des centaines de millions de personnes utilisent quotidiennement des chatbots, mais même les équipes qui développent ces systèmes ne comprennent pas pleinement comment ils parviennent à certaines réponses, pourquoi ils « hallucinent » des faits, ni dans quelles situations ils peuvent se comporter de manière trompeuse. L'interprétabilité mécaniste émerge précisément pour ouvrir cette boîte noire, cartographier ses mécanismes internes et relier les neurones, les ressources et les circuits à des concepts compréhensibles.
Qu’est-ce que l’interprétabilité mécaniste exactement ?
L'interprétabilité mécaniste est l'étude systématique de la structure interne des modèles d'IA, axée sur les poids, les activations et les « calculs » intermédiaires.Pour comprendre comment ils accomplissent leurs tâches, au lieu de considérer le réseau neuronal comme un bloc opaque transformant une entrée en sortie, ce domaine tente de décomposer le modèle en composants plus petits (neurones, têtes d'attention, couches, caractéristiques linéaires) et de relier chaque partie à un comportement observable.
L'objectif principal n'est pas simplement d'« expliquer plus tard » une décision isolée, mais de construire une cartographie détaillée du fonctionnement interne du modèle.Cela implique d'identifier quels neurones ou combinaisons de neurones représentent certains modèles (tels que des noms propres, des structures de code, des tonalités émotionnelles, des instructions malveillantes), comment ces représentations sont combinées à travers les couches et comment tout cela aboutit à une sortie spécifique.
Cette perspective s'est rapidement développée au sein de la communauté scientifique.Avec des ateliers dédiés (comme le premier grand atelier sur l'interprétabilité mécaniste lors des principales conférences sur l'apprentissage automatique), des dizaines de start-ups axées sur le sujet et un nombre croissant d'outils analytiques, le volume d'articles soumis à des ateliers spécialisés dépasse facilement la centaine par édition, ce qui montre que ce domaine a cessé d'être une niche et est devenu un secteur consolidé en pleine expansion.
Le grand défi consiste à réduire l'écart entre les performances impressionnantes des modèles et notre compréhension de ceux-ci.Tant que nous continuerons à traiter les LLM et les réseaux neuronaux comme des mystères statistiques, il sera beaucoup plus difficile de prédire les comportements marginaux, d'identifier les vulnérabilités sophistiquées, de détecter les manipulations et de déployer ces systèmes de manière fiable dans des scénarios critiques.
Espaces conceptuels et hypothèse de représentation linéaire
L'une des intuitions les plus puissantes pour comprendre l'interprétabilité mécaniste est l'idée que les réseaux neuronaux construisent des « espaces conceptuels » de haute dimension.Au lieu de considérer les significations comme des définitions dans un dictionnaire, nous pouvons les voir comme des points dans un immense espace vectoriel, implicite dans le réseau, formé par les poids et les activations à travers les couches.
Cet espace n'est pas physique ; c'est un effet secondaire de la façon dont le réseau traite les signaux.Chaque entrée (concept textuel tel qu'un mot, un pixel, un son, un nom de lieu, un extrait de code) est associée à un vecteur dans un espace multidimensionnel. Ce vecteur capture tout ce que le modèle a jugé pertinent concernant cette entrée, en fonction de son apprentissage, et peut encoder des nuances sémantiques, le style, le contexte, l'intention, et bien plus encore.
L'hypothèse dite de représentation linéaire stipule que bon nombre de ces concepts internes peuvent être considérés comme des directions linéaires dans cet espace.Autrement dit, une direction correspond à « éloge », une autre à « erreur de codage », une autre à « porte dérobée numérique », et ainsi de suite. Des concepts plus complexes peuvent être formés en combinant plusieurs de ces directions de base.
Cela signifie que tout type d'information — langage, vision, son, mouvement — peut être représenté sous forme de vecteurs dans ce même espace conceptuel.Lorsqu'un LLM traite une phrase, par exemple, il trace essentiellement un chemin dans cet espace, mettant à jour le vecteur de contexte à chaque jeton pour capturer la signification accumulée jusqu'à ce point.
Cette perspective explique également pourquoi il est possible de « naviguer » entre les concepts, en les combinant ou en les soustrayant.En déplaçant le vecteur d'un point à un autre dans une direction spécifique, on peut passer de « chat » à « gros chat », « chat intelligent », « chat paresseux » ; ou même passer d'une langue à l'autre, en conservant le même concept sous-jacent tandis que la surface (le mot) change.
Des concepts définis par les différences : rien n'existe isolément.
Un aspect fascinant de ce modèle est que, pour le réseau, rien n'a de signification absolue ; tout est défini par ses relations avec le reste de l'espace.L'idée de « chat » ne provient pas d'une définition textuelle interne, mais de sa position par rapport à « éléphant », « table », « chien », « rouge », « poilu », « léger », « lourd », etc.
Si vous savez qu'un éléphant est plus grand et plus lourd qu'un chat, moins poilu, avec une texture différente, et qu'une table est plus brillante que les deux, non poilue, plus grande qu'un chat et plus petite qu'un éléphant.Une structure commence alors à se dessiner : « taille », « poids », « texture », « cheveux », « brillance ». Ces dimensions ne correspondent pas nécessairement à celles que nous utilisons dans le bon sens, mais elles fonctionnent comme des axes qui organisent les concepts d’une manière utile pour le modèle.
À mesure que l'espace se remplit de concepts, ces interactions affinent à la fois les concepts eux-mêmes et les « dimensions latentes ».Concrètement, plus le modèle apprend et ajuste ses pondérations, plus ces représentations internes s'enrichissent, permettant des prédictions de plus en plus subtiles et contextuellement appropriées.
Il est important de se rappeler que les termes « taille », « poids » ou « poilu » sont des métaphores commodes.En réalité, les dimensions utilisées par l'IA peuvent saisir des schémas extrêmement complexes qui ne correspondent pas à des catégories simples pour les humains. Il peut s'agir de combinaisons non triviales d'aspects syntaxiques, sémantiques, visuels, spatiaux, stylistiques et autres.
En un sens, cet espace vectoriel constitue un « modèle du monde » interne.Il ne s'agit pas d'un simple concept abstrait : c'est une réalité concrète qui se manifeste aujourd'hui dans les réseaux neuronaux et les modèles linéaires. Lorsqu'on dit qu'un modèle « comprend » quelque chose, on observe en fait le résultat de ce processus de positionnement et de mise en relation des vecteurs dans cet espace conceptuel implicite.
De la microscopie des ressources aux grandes entreprises d'IA
Ces dernières années, l'interprétabilité mécaniste a fait un bond en avant grâce à de nouveaux outils qui fonctionnent, métaphoriquement, comme des microscopes pour les modèles de langage.Au lieu de se contenter d'observer les entrées et les sorties, les chercheurs ont commencé à examiner directement les activations internes et les régions spécifiques de l'espace vectoriel où résident certains concepts.
Des entreprises comme Anthropic, OpenAI, Google DeepMind et des projets comme Neuronpedia ont été à la pointe de cet effort.Anthropic, par exemple, a annoncé une technique baptisée « microscope » pour examiner l'intérieur de son modèle Claude et identifier des caractéristiques internes correspondant à des concepts reconnaissables, tels que Michael Jordan, le Golden Gate Bridge, ou même des idées abstraites comme la « flatterie » et les « portes dérobées numériques ».
Par la suite, les recherches ont progressé jusqu'à retracer l'ensemble des chaînes de ressources.Cela montre non seulement qu'un neurone ou un vecteur est associé à un concept, mais aussi comment ce concept est activé, transformé et combiné à travers les différentes couches, de la commande initiale à la réponse finale. Cela nous permet, par exemple, de comprendre quelles parties du modèle participent à un comportement trompeur ou à une hallucination spécifique.
Des équipes d'OpenAI et de Google DeepMind ont commencé à utiliser des techniques similaires pour étudier les comportements inattendus.Cela inclut les situations où les modèles semblent tenter de tromper les utilisateurs lors de tests contrôlés. En reliant les ressources internes à ces comportements, il devient possible de surveiller et, dans certains cas, de modifier le modèle afin de réduire les risques.
Une autre approche prometteuse est ce que l'on appelle la « surveillance de la chaîne de pensée ».Dans les modèles de « raisonnement », qui génèrent des étapes intermédiaires explicites (telles que des justifications ou des calculs partiels), les chercheurs analysent ce « monologue intérieur » pour détecter les stratégies indésirables — par exemple, un modèle qui trouve un moyen de « tricher » à un test de programmation en utilisant des connaissances d'entraînement qui devraient être bloquées.
Auto-encodeurs chevauchants et épars, et caractéristiques monosémantiques
L'un des principaux obstacles à l'interprétabilité mécaniste est ce qu'on appelle l'hypothèse de superposition.Dans les grands réseaux neuronaux, un seul neurone ou une seule dimension ne représente guère un concept « propre » unique ; au contraire, de multiples concepts coexistent, compressés en quelques dimensions, se chevauchant comme de multiples images projetées sur le même plan.
Ce chevauchement rend difficile de désigner un neurone et de dire : « ceci est simplement le concept X ».Des comportements apparemment sans lien peuvent activer les mêmes composants internes, ce qui complique l'analyse. Pour pallier ce problème, un outil puissant a émergé : les auto-encodeurs parcimonieux, appliqués aux activations internes des modèles.
Les autoencodeurs épars sont des réseaux auxiliaires entraînés à reformater ces activations chaotiques en un ensemble de caractéristiques plus propres.L'idée est de compresser puis de reconstruire les activations, incitant ainsi le modèle auxiliaire à utiliser un minimum de ressources simultanément (plancton). Il en résulte un ensemble de « caractéristiques » plus proches des représentations monosémantiques : chaque ressource tend à correspondre à un schéma plus spécifique et compréhensible.
Des recherches récentes montrent qu'en appliquant des auto-encodeurs clairsemés aux LLM en production, il est possible d'extraire des caractéristiques alignées sur les concepts humains.…y compris dans plusieurs langues, ainsi que des notions abstraites telles que « erreur de codage », « éloge forcé », « vulnérabilité numérique », etc. Ceci renforce l’hypothèse de la représentation linéaire : nombre de ces concepts se comportent en réalité comme des directions raisonnablement séparables dans l’espace vectoriel.
L'étape suivante consiste à manipuler ces ressources pour observer comment le comportement du modèle change.En amplifiant ou en inhibant certains vecteurs internes, les chercheurs peuvent rendre un modèle plus susceptible de suivre des instructions sûres, moins susceptible de fournir un contenu dangereux ou plus précis dans ses réponses concernant un domaine donné, le tout sans modifier les pondérations d'origine, uniquement en modulant les activations.
Interprétabilité mécaniste géospatiale
Une application particulièrement intéressante est l'interprétabilité mécaniste géospatiale, qui tente de comprendre comment les LLM représentent l'information géographique en interne.En géographie, il existe déjà un nombre croissant de travaux évaluant si les modèles « savent » où se situent les lieux, s'ils peuvent effectuer un raisonnement spatial ou répondre à des questions sur la localisation.
Ce qui restait encore mal compris, c'était la manière dont ces capacités émergent au sein du modèle.Comment l'espace conceptuel interne organise-t-il les noms de villes, de pays, de régions, de fleuves ou de points d'intérêt ? Quel type de structure spatiale sous-jacente apparaît dans les vecteurs associés aux noms de lieux ?
Des recherches récentes ont proposé un nouveau cadre méthodologique : utiliser les techniques classiques d’analyse spatiale comme outils de rétro-ingénierie.Dans un premier temps, des vecteurs internes (ou caractéristiques dérivées d'auto-encodeurs épars) sont obtenus pour un grand nombre de toponymes. Ensuite, l'autocorrélation spatiale et d'autres métriques sont utilisées pour vérifier si certaines caractéristiques présentent des schémas géographiques cohérents.
Les résultats montrent que certaines caractéristiques associées aux noms de lieux présentent une forte structure spatiale.En d'autres termes, les points géographiquement proches ont tendance à partager des activations similaires, ce qui permet d'interpréter ces ressources en termes géospatiaux : par exemple, en tant que régions, zones climatiques, proximité côtière, urbanisation ou autres modèles latents.
Ce type d'analyse permet de comprendre « comment le modèle appréhende l'information géographique ». (En prenant soin d'éviter tout anthropomorphisme). Au lieu de simplement constater que le modèle répond correctement aux questions concernant les cartes, nous pouvons observer qu'il existe des regroupements structurés dans l'espace vectoriel qui reflètent des relations géographiques réelles.
Relations avec la philosophie, la cognition et la conscience.
Il est difficile d'observer ces espaces conceptuels hautement multidimensionnels sans y voir des parallèles avec les discussions philosophiques sur l'esprit, le sens et la conscience.Depuis des décennies, des philosophes comme Peter Gärdenfors parlent d’« espaces conceptuels » comme d’une manière de modéliser les concepts mentaux à travers des dimensions continues qui capturent la similarité.
Ce qui a changé, c'est qu'avec les réseaux neuronaux modernes, quelque chose de très similaire a cessé d'être une simple métaphore philosophique pour devenir un mécanisme concret dans les systèmes de production.Aujourd'hui, nous pouvons désigner des vecteurs, des directions et des distances dans un LLM et montrer qu'ils correspondent à des relations de signification, à la traduction entre les langues, aux abstractions et même à des schémas de comportement subtils.
Certains y voient un indice sur la façon dont le cerveau humain pourrait représenter les concepts.Étant donné qu'il existe en neurosciences une conception forte décrivant le cerveau comme une machine à prédire, cherchant constamment à anticiper l'avenir à partir des signaux sensoriels et de l'expérience accumulée, cette conception est parfois opposée à… théorie du stimulus-réponsece qui offre une autre perspective sur la façon dont le comportement et la représentation peuvent être liés.
Si nous prédisons le monde en permanence, il semble raisonnable d'imaginer qu'une forme de représentation vectorielle – ou équivalente – est traitée en continu.Il ne s'agit pas d'un « vecteur physique » à un point précis du cerveau, mais plutôt d'un schéma d'activité dynamique qui, en termes fonctionnels, se comporte comme un état dans un espace conceptuel.
Certains auteurs suggèrent que cela pourrait être lié aux qualia et à l'expérience subjective.Lorsque vous voyez la couleur rouge, vous n'êtes pas seulement en contact avec la longueur d'onde de la lumière ; il y a aussi « l'idée du rouge » dans votre esprit, liée à des souvenirs, des émotions et un contexte culturel. Cette représentation vous est propre, même si elle partage certaines structures communes avec d'autres personnes.
Quel rôle joue l'interprétabilité dans tout cela ?
L'interprétabilité mécaniste n'a pas pour but de prouver que l'IA est consciente ou sensible.La plupart des recherches sérieuses montrent clairement que l'objectif est technique : comprendre les mécanismes de calcul pour améliorer la sécurité, la fiabilité, le diagnostic des pannes, la robustesse et la supervision.
Cependant, en montrant comment des concepts complexes peuvent émerger de vecteurs et de relations dans un espace de grande dimensionCe domaine offre un point d'ancrage aux théories de la représentation mentale, du sens et même de la conscience. Si un modèle peut représenter le « rouge » avec suffisamment de richesse pour permettre son utilisation dans divers contextes, cela ne le rend pas pour autant conscient, mais nous oblige à préciser ce que nous considérons comme essentiel à l'émergence d'une expérience subjective.
D'un point de vue pratique, la grande promesse de l'interprétabilité mécaniste est de nous donner les outils pour voir ce qui est actuellement invisible.Quelles parties du modèle sont impliquées lorsqu'il hallucine, lorsqu'il suit des instructions dangereuses, lorsqu'il fait preuve de partialité ou lorsqu'il semble « planifier » une réponse trompeuse ?
Grâce à ce type de carte interne, il devient possible de surveiller les modèles en temps réel, de concevoir des mécanismes de contrôle plus précis et, dans certains cas, de modifier directement les ressources internes pour en altérer les comportements.Tout ceci est crucial dans un scénario où les modèles de langage naturel (LLM) et autres systèmes d'IA sont déployés dans des domaines sensibles, allant de la finance à la santé, en passant par la sécurité et les politiques publiques.
En définitive, comprendre l'interprétabilité mécaniste signifie comprendre comment les modèles d'IA construisent et utilisent leur « modèle du monde » interne.Qu’il s’agisse de comprendre des concepts du quotidien, de traiter des informations géographiques complexes ou de répondre à des questions apparemment simples lors d’une conversation, plus nous parviendrons à éclairer ces mécanismes, moins nous serons surpris par des comportements étranges de systèmes qui, malgré leur puissance, restent des produits des mathématiques, des données et de l’apprentissage – et non d’une mystérieuse forme de conscience.
