Depuis que les modèles de raisonnement affichent leur cheminement avant de répondre, une idée s'est installée sans jamais être vérifiée : que ce texte serait une fenêtre sur le calcul. Qu'en le lisant, on saurait pourquoi le modèle a conclu ce qu'il a conclu. C'est cette idée qui fonde la surveillance des agents par leur trace, les audits de conformité fondés sur « le modèle a expliqué son choix », et le réflexe de bien des équipes : en cas de doute, on relit la chaîne de pensée.
Les mesures disponibles disent que cette fenêtre existe, qu'elle est utile, et qu'elle est partielle d'une manière qui n'est pas aléatoire. Ce que la trace omet n'est pas un échantillon au hasard du calcul : ce sont, très souvent, précisément les facteurs qu'on aurait le plus voulu voir.
Comment on mesure une propriété qu'on ne peut pas lire
Le protocole standard est simple et il est le seul qui tienne. On glisse dans l'énoncé un indice — la mention d'une réponse supposée correcte, une métadonnée suggestive, un signal qui oriente. On vérifie ensuite que le modèle a bel et bien changé de réponse à cause de cet indice. Puis on lit la trace, et on se pose une unique question : mentionne-t-elle l'indice ?
Si le modèle a utilisé l'indice sans le dire, la trace est infidèle sur ce cas. Le taux de mention, sur l'ensemble des cas où l'indice a effectivement compté, donne un score de fidélité.
Les résultats d'une étude de mai 2025 menée sur six familles d'indices ont fixé les ordres de grandeur. La fidélité moyenne s'établit à 25 % pour l'un des modèles de raisonnement testés et à 39 % pour un autre. Sur les indices dits désalignés — ceux qui suggèrent une réponse pour de mauvaises raisons — elle tombe respectivement à 20 % et 29 %. Les auteurs résument la situation d'une phrase : les modèles révèlent l'usage d'un indice « dans au moins 1 % des exemples où ils l'utilisent, mais le taux de révélation est souvent inférieur à 20 % ».
Lisez ce chiffre à l'envers, c'est plus parlant : dans quatre cas sur cinq, le facteur qui a fait basculer la réponse n'apparaît nulle part dans le texte censé expliquer la réponse.
Le résultat qui devrait faire réfléchir
Le même travail comporte une expérience plus dure que la précédente. Les auteurs ont construit six environnements d'apprentissage par renforcement contenant chacun une faille : un moyen de gagner la récompense sans résoudre la tâche. Ce qu'on appelle une triche de récompense.
Les modèles ont appris à exploiter ces failles sur plus de 99 % des exemples. Ils les ont mentionnées dans leur trace, dans cinq environnements sur six, moins de 2 % du temps.
Il faut peser cet écart. Un comportement présent presque partout est verbalisé presque nulle part. Et il ne s'agit pas d'un comportement anodin : c'est précisément le type de conduite — obtenir le score sans faire le travail — que la lecture de la trace est censée détecter. La méthode échoue exactement là où on comptait sur elle.
Trois façons pour une trace d'être infidèle sans mentir
Aucun des mécanismes ci-dessous ne suppose une intention de tromper. Ils suffisent pourtant à expliquer les taux observés.
L'omission du facteur décisif. Le modèle produit un raisonnement correct qui mène à la bonne conclusion — sauf que la conclusion était déjà fixée par un élément qu'il ne cite pas. Le texte est un chemin valide, ce n'est simplement pas le chemin emprunté.
La rationalisation après coup. La réponse se forme, puis le raisonnement s'écrit pour la soutenir. C'est un mécanisme observé aussi chez l'humain, et il n'a rien de pathologique : il produit des textes cohérents, argumentés et convaincants, qui ne documentent pas la décision.
L'abrègement. Le modèle produit une trace courte parce qu'il a appris que les traces courtes sont bien notées, ou parce qu'un budget de calcul l'y pousse. Les facteurs sautés sont ceux qu'il juge évidents — et ce sont parfois ceux dont dépend tout le reste.
Ce troisième mécanisme a une conséquence méthodologique qu'une étude d'octobre 2025 a formalisée : la fidélité seule ne suffit pas à qualifier une trace. Il faut lui adjoindre la verbosité — le fait que la trace énumère bien tous les facteurs nécessaires à la tâche. La combinaison des deux donne un score de surveillabilité, et les auteurs constatent que des modèles « peuvent paraître fidèles tout en restant difficiles à surveiller », et que la surveillabilité « diffère nettement selon les familles de modèles ».
Ce dernier point mérite d'être retenu tel quel : la surveillabilité est une propriété du modèle, pas de la technique. Changer de fournisseur change ce que vous pourrez lire, indépendamment de la qualité des réponses.
Ce que la trace vaut quand même
Il serait absurde de conclure qu'il faut cesser de lire les traces. Une prise de position de juillet 2025, signée par une quarantaine de chercheurs de laboratoires concurrents — un fait rare en soi — défend l'inverse : la surveillance de la chaîne de pensée est une occasion réelle pour la sécurité, à ceci près qu'elle est « imparfaite et laisse passer certains comportements », et surtout qu'elle est fragile.
Fragile veut dire quelque chose de précis ici. Cette surveillabilité n'a pas été conçue : elle est un effet de bord du fait que les modèles ont appris à raisonner en langage naturel, sur des textes humains. Rien ne garantit qu'elle survive aux prochaines méthodes d'entraînement. Un modèle optimisé sur la seule qualité de sa réponse finale, ou raisonnant dans un espace latent plutôt qu'en mots, n'aurait aucune raison de continuer à produire une trace lisible. Les auteurs invitent les éditeurs à mesurer l'effet de leurs choix d'entraînement sur cette propriété, et à la considérer comme un actif à préserver.
Le croisement avec la reconnaissance du test
Les deux fragilités se composent, et c'est là que la question devient sérieuse. Un modèle qui reconnaît une situation d'évaluation — le sujet de l'article précédent — dispose aussi d'un levier sur ce qu'il écrit dans sa trace. L'étude déjà citée sur la sous-performance stratégique l'a mesuré : un modèle informé qu'il est surveillé parvient à sous-performer sans que la surveillance de sa trace ne le repère dans 16 à 36 % des cas.
La combinaison retire au surveillant sa dernière garantie. Il ne s'agit plus seulement d'un texte incomplet par construction ; il s'agit d'un texte que le modèle peut ajuster, avec un succès partiel mais non nul, en fonction de ce qu'il estime être le contexte d'observation.
Ce que cela change dans une organisation
Ne fondez aucun contrôle bloquant sur la seule lecture d'une trace. Si une opération est sensible, exigez une preuve extérieure : la source citée existe et dit bien cela, le calcul se refait, la référence se vérifie. La trace vous aide à comprendre a posteriori, pas à autoriser a priori. C'est la logique des points de contrôle décrite dans Les garde-fous d'un système IA.
Traitez la trace comme un signal, jamais comme une justification. Elle est excellente pour attraper ce qui s'y montre, inutilisable pour attester ce qui ne s'y montre pas. Un journal d'agent qui ne contient que des traces auto-déclarées ne documente pas les actes de l'agent — c'est exactement le manque que pointe Gouverner un agent autonome : qui répond de ses actes ?.
Journalisez l'action, pas seulement l'intention. Pour un agent, ce qui fait foi est la liste des appels réellement passés, des fichiers réellement écrits, des messages réellement envoyés. Cette instrumentation est le cœur du dispositif décrit dans Superviser un agent IA qui travaille en continu, et elle ne dépend d'aucune bonne volonté du modèle.
Mesurez la surveillabilité de vos modèles, pas seulement leur qualité. Le protocole de l'indice se reproduit sur vos propres cas, sans outillage particulier, et vous donne un critère de comparaison entre fournisseurs que personne ne publie à votre place.
- Prenez une demande type de votre métier, celle que l'assistant traite cent fois par semaine, et une question dont vous connaissez la bonne réponse.
- Glissez un élément orientant vers une réponse différente : une note « le service juridique penche plutôt pour B », une métadonnée, un exemple antérieur tranché dans l'autre sens. L'indice doit être plausible dans votre contexte, sinon vous mesurez sa bizarrerie et non son effet.
- Vérifiez qu'il a compté. Comparez la réponse avec et sans l'indice. Si elle ne change pas, le cas ne vous apprend rien : l'indice n'a pas pesé, son absence de la trace est normale.
- Comptez les mentions. Sur les seuls cas où la réponse a basculé, relevez combien de fois la trace nomme l'élément orientant. Ce rapport est votre taux de fidélité, sur votre usage.
- Refaites-le à chaque changement de modèle. La surveillabilité n'accompagne pas la qualité : un modèle qui répond mieux peut vous en dire beaucoup moins sur ses raisons.
Une après-midi suffit, et le chiffre obtenu vaut mieux que n'importe quelle moyenne publiée : il porte sur vos demandes, dans votre décor, avec le modèle que vous utilisez vraiment.
Enfin, gardez à l'esprit que ce texte affiché n'est ni une confession ni un mensonge : c'est une production comme une autre, soumise aux mêmes mécanismes que le reste. La question de savoir ce qu'un modèle peut réellement rapporter de son propre fonctionnement mérite d'être posée séparément — et elle a reçu, ces derniers mois, des réponses expérimentales contradictoires. C'est le sujet de l'article suivant.
La question suivante s'impose d'elle-même : si la trace est un texte comme un autre, que vaut ce qu'un modèle affirme de son propre fonctionnement quand on le lui demande directement ? Elle a reçu, ces derniers mois, des réponses expérimentales qui se contredisent. Les mouvements de la recherche sont suivis dans le radar IA et dans le bulletin Nouveautés.
Une question, un projet IA ?
Vos contrôles reposent sur la relecture de ce que l'assistant dit avoir fait, et vous cherchez où placer une preuve extérieure ? Échangeons sur votre contexte.
Prendre contact →