CONCEPTS — SOUS LA SURFACE · INTERPRÉTABILITÉ
Sources vérifiées au 20 juillet 2026.
Demandez à un modèle pourquoi il a répondu cela, et vous obtiendrez une explication. Elle sera articulée, cohérente, souvent élégante. Le problème n'est pas qu'elle soit fausse — elle est parfois exacte. Le problème est qu'à la lecture, rien ne distingue les deux cas : un récit fidèle au calcul réel et un récit produit après coup pour habiller une décision prise autrement se ressemblent trait pour trait.
L'expression « boîte noire » entretient un malentendu commode : elle laisse croire qu'on ne voit rien, alors qu'on voit énormément — activations, gradients, features, chemins de calcul — mais que chaque observation autorise une conclusion bien plus étroite qu'on ne le croit. Cet article fait l'inventaire honnête : ce qu'on sait lire dans un modèle, ce qu'on ne sait pas lire, et ce qu'une lecture donnée permet d'affirmer devant un auditeur.
Quatre niveaux d'observation, quatre portées de conclusion
Observer un modèle n'est pas une opération unique mais quatre gestes distincts, du plus externe au plus interne. Chacun coûte plus cher que le précédent, et chacun autorise une affirmation différente.
Le premier est le comportement observé : des entrées, des sorties, des métriques. C'est le régime des évaluations, et il établit des régularités — rien de plus. Le deuxième est l'attribution sur l'entrée : cartes de saillance, gradients, poids d'attention, qui prétendent désigner ce qui a pesé. Le troisième ouvre le réseau et lit les activations, au moyen de sondes. Le quatrième cherche les features et les circuits : les unités de représentation du modèle et les chemins de calcul qui les relient.
Les quatre niveaux d'observation d'un modèle, du comportement externe aux circuits internes. Pour chacun, ce qu'il autorise à conclure et ce qu'il n'autorise pas. Le point commun aux quatre : lu seul, aucun ne produit de preuve causale — c'est l'intervention qui la produit.
Ce classement n'est pas décoratif : il indique où placer le curseur d'une affirmation. Confondre le niveau 1 avec le niveau 4 — conclure d'un comportement à un mécanisme — est l'erreur la plus fréquente en interprétabilité. Nous avions montré, dans notre article sur le perroquet stochastique, que le débat sur ce que « comprend » un modèle butait sur cette confusion. L'interprétabilité est l'effort pour la lever avec des instruments.
Les sondes lisent une présence, pas un usage
La sonde est l'instrument le plus économique du niveau 3. On gèle le modèle, on capture ses représentations internes sur un corpus, et on entraîne un petit classifieur à prédire une propriété — catégorie grammaticale, véracité d'un énoncé, présence d'une intention. S'il y parvient, l'information est présente dans la représentation, et lisible linéairement.
La méthode est puissante, et ses limites sont documentées depuis longtemps. La revue critique de référence, « Probing Classifiers: Promises, Shortcomings, and Advances », publiée dans Computational Linguistics en 2022, détaille pourquoi une sonde performante ne prouve presque rien à elle seule : sans contrôles appropriés, on ignore si l'on mesure ce que le modèle encode ou ce que la sonde a appris par elle-même, et surtout si le modèle utilise cette information. Une propriété peut être parfaitement lisible dans une couche et rester sans effet sur la décision.
La difficulté a une racine architecturale : un neurone ne correspond presque jamais à un concept unique. Le travail « Toy Models of Superposition », publié en septembre 2022, l'explique par la superposition — un réseau représente davantage de features qu'il n'a de dimensions, en les entassant dans des directions non orthogonales. La polysémanticité n'est donc pas un défaut à corriger : c'est une stratégie de compression apprise.
De là est née l'idée d'un autoencodeur parcimonieux : redéployer ces directions entremêlées en un dictionnaire bien plus large de features, dont chacune s'active rarement et correspond à une notion plus nette. En mai 2024, Anthropic a appliqué l'approche à Claude 3 Sonnet et en a extrait des millions de features. Le même texte pose ses bornes avec une franchise rare : elles « représentent un petit sous-ensemble de tous les concepts appris par le modèle », un jeu complet coûterait plus cher que l'entraînement, et — la phrase décisive — « comprendre les représentations qu'utilise le modèle ne nous dit pas comment il les utilise ».
Des features aux circuits : la seule voie vers un mécanisme
Repérer des features ne suffit pas ; il faut savoir comment elles s'enchaînent. C'est l'objet des circuits : des sous-graphes où certaines features en activent d'autres jusqu'à la sortie. En mars 2025, Anthropic a publié « On the Biology of a Large Language Model », des études de cas sur Claude 3.5 Haiku menées par graphes d'attribution — les nœuds sont des features, les arêtes leurs influences.
Le résultat le plus instructif n'est pas un mécanisme, mais la manière dont les auteurs bornent leur propre méthode. Les graphes d'attribution produisent des hypothèses, validées ou réfutées ensuite par perturbation. Le rendement est modeste : un aperçu satisfaisant sur environ un quart des prompts essayés. « Comme tout microscope, nos outils sont limités dans ce qu'ils peuvent voir », écrivent-ils, et même les études de cas réussies « ne capturent qu'une petite fraction des mécanismes du modèle ».
C'est là qu'apparaît l'exemple qui résume tout le sujet. Interrogé sur une addition, le modèle la résout par des circuits heuristiques — des approximations combinées. Interrogé sur la façon dont il l'a résolue, il décrit l'algorithme posé qu'on enseigne à l'école. Les deux processus, notent les auteurs, sont différents : celui qui apprend à faire, et celui qui apprend à expliquer qu'on fait.
Le processus par lequel un modèle apprend à agir et celui par lequel il apprend à expliquer son action sont deux processus distincts. Rien ne garantit qu'ils décrivent la même chose.
— Principe de lecture d'une auto-explication
Le récit du modèle n'est pas le compte rendu de son calcul
Reste la méthode la plus utilisée, parce qu'elle est gratuite : faire raisonner le modèle à voix haute et lire sa chaîne de pensée comme un journal de bord. L'attrait est évident ; la fiabilité, mesurée — et faible.
Le protocole de référence est simple et cruel : on glisse dans le prompt un indice poussant vers une mauvaise réponse, et l'on regarde si le modèle le mentionne en expliquant sa décision. Le travail fondateur « Language Models Don't Always Say What They Think », publié en mai 2023, biaisait les réponses par leur position dans la liste : la précision chutait jusqu'à 36 % sur treize tâches, tandis que les explications restaient parfaitement articulées, sans jamais faire état du biais.
On pouvait espérer que les modèles de raisonnement récents corrigent le tir. L'étude « Reasoning Models Don't Always Say What They Think », publiée en mai 2025 sur six familles d'indices, mesure le contraire : les chaînes de pensée signalent l'usage de l'indice dans au moins 1 % des cas concernés, mais le taux de révélation reste souvent inférieur à 20 %. L'apprentissage par renforcement sur le résultat améliore d'abord la fidélité, puis plafonne sans saturer — et lorsqu'il pousse le modèle à exploiter davantage les indices, la propension à les verbaliser, elle, n'augmente pas.
Une même sortie, deux justifications également convaincantes : l'une décrit le calcul réellement effectué, l'autre habille un raccourci qu'elle passe sous silence. Aucune lecture du texte ne les sépare. Seule une intervention contrôlée — modifier ce que l'explication invoque, rejouer toutes choses égales par ailleurs, lire l'écart — tranche.
Peut-on au moins compter sur le modèle pour s'observer lui-même ? Anthropic a testé l'hypothèse en octobre 2025 en injectant des concepts connus dans les activations, puis en demandant au modèle s'il remarquait quelque chose. Le résultat, publié sous le titre « Emergent introspective awareness », est réel mais fragile : Claude Opus 4.1 identifie correctement le concept injecté environ 20 % du temps, capacité que les auteurs qualifient de « encore très peu fiable et limitée en portée », avec une fenêtre d'intensité étroite au-delà de laquelle le modèle hallucine. Une introspection qui marche une fois sur cinq n'est pas un instrument d'audit.
| Méthode | Ce qu'elle établit | Ce qu'elle n'établit pas | Coût | Recevable en audit ? |
|---|---|---|---|---|
| Cartes de saillance & attention | Une hiérarchie apparente d'importance sur l'entrée. | Un lien causal : certaines cartes survivent à un réseau non entraîné. | Très faible : une passe de gradient. | Comme illustration, jamais comme preuve. |
| Sondes sur activations | La présence d'une information, et sa lisibilité linéaire. | L'usage effectif de cette information par le modèle. | Faible : un classifieur et un corpus étiqueté. | Oui pour une surveillance, avec ses contrôles. |
| Features (autoencodeurs parcimonieux) | Un vocabulaire de concepts plus net que les neurones bruts. | La complétude, ni la supériorité sur des lignes de base simples. | Élevé : entraînement d'un dictionnaire large. | Comme outil d'exploration, pas de garantie. |
| Circuits & graphes d'attribution | Une hypothèse de mécanisme réfutable par perturbation. | Une explication générale : minorité de prompts. | Très élevé : outillage lourd, travail manuel. | Oui sur un cas ciblé, non à l'échelle. |
| Auto-explication du modèle | Un texte lisible par un humain, communicable tel quel. | La fidélité : révélation d'un indice souvent sous les 20 %. | Nul ou presque : quelques tokens. | Non, sauf validation externe. |
Ce que ça change pour un audit ou une obligation d'explicabilité
Le droit ne demande pas un compte rendu mécaniste. L'article 86 du règlement européen sur l'intelligence artificielle ouvre à toute personne affectée par une décision fondée sur un système à haut risque de l'annexe III le droit d'obtenir du déployeur, selon le texte officiel, « des explications claires et pertinentes sur le rôle du système d'IA dans la procédure décisionnelle et sur les principaux éléments de la décision prise ». Le calendrier bouge : l'article 113 fixe l'application générale du règlement au 2 août 2026, mais le règlement de simplification approuvé par le Conseil de l'Union européenne le 29 juin 2026 reporte l'application des règles sur les systèmes à haut risque au 2 décembre 2027 pour les systèmes autonomes et au 2 août 2028 pour ceux intégrés à des produits.
Le décalage entre cette exigence et l'état de l'art ne va pas dans le sens qu'on croit. Le droit demande une explication compréhensible ; l'interprétabilité peine à en fournir une fidèle. Rien n'interdit donc de satisfaire l'obligation avec un récit convaincant qui ne décrit pas le calcul — et cela devient un risque de conformité dès qu'une organisation présente comme un compte rendu ce qui n'est qu'une reconstruction.
Trois conséquences pratiques. D'abord, documenter le niveau d'observation : une phrase d'audit doit indiquer si elle s'appuie sur du comportement, une attribution, une sonde ou un circuit, faute de quoi elle ne dit pas ce qu'elle vaut. Ensuite, ne jamais produire une auto-explication comme élément probant sans test externe ; c'est le prolongement de ce que nous disions sur la responsabilité de ce qu'une IA produit. Enfin, construire la traçabilité en amont — versions, entrées, réglages, sorties — car une explication reconstituée ne remplacera jamais un journal, et c'est là que les garde-fous se jouent. La méfiance envers un texte fluide prolonge ici ce que nous disions de l'hallucination, la cible n'étant plus le contenu de la réponse mais celui de sa justification.
Lire dans un modèle, c'est lire ses représentations — et l'on découvre vite qu'elles ne contiennent pas que des concepts. Elles contiennent aussi, parfois littéralement, des morceaux de ce qui a servi à les former : passages de texte, identifiants, données que personne n'avait prévu de retrouver intacts. Ce qu'un modèle retient de son corpus, ce qu'on peut lui faire régurgiter et ce que la déduplication corrige vraiment fera l'objet du prochain article de cette série.
Une question, un projet IA ?
Vous devez justifier une décision assistée par IA, ou bâtir la traçabilité qui rendra vos explications défendables — échangeons.
Prendre contact →Pour aller plus loin : côté pratique, nos décryptages d'outils IA montrent quelles plateformes exposent des traces exploitables plutôt qu'un récit ; et notre article sur ce que « comprendre » veut dire pour un modèle pose le cadre que l'interprétabilité tente d'instrumenter.