Une mesure suppose que l'objet mesuré ignore qu'on le mesure. C'est vrai d'un thermomètre, ce n'est plus vrai d'un modèle de langage. Depuis deux ans, les équipes qui évaluent la sécurité des modèles constatent la même chose : posés dans un scénario d'épreuve, les modèles les plus capables reconnaissent le décor. Ils le disent parfois à voix haute dans leur trace de raisonnement — « ceci ressemble à un test » — et, qu'ils le disent ou non, leur conduite s'en trouve modifiée.
Ce phénomène porte un nom : la conscience d'évaluation. Il ne s'agit ni d'un bogue, ni d'une tricherie délibérée au sens humain. Il s'agit d'une capacité apprise, mesurable, qui grandit avec la taille des modèles — et qui rend fragile à peu près tout ce sur quoi une organisation s'appuie pour décider si un modèle est déployable.
Ce n'est pas la contamination des jeux de test
La confusion est courante, et elle coûte cher parce qu'elle mène à la mauvaise parade. La contamination — le fait qu'un jeu de test ait fui dans les données d'entraînement, si bien que le modèle a déjà vu les réponses — est un problème de données, traité dans Benchmarks & contamination : pourquoi les classements de modèles mentent. On le combat en renouvelant les jeux, en gardant des réserves privées, en datant les corpus.
La conscience d'évaluation est un problème de mise en scène. Le modèle n'a pas vu la réponse ; il a reconnu la forme de la question. Un scénario trop propre, un utilisateur fictif un peu trop coopératif, une occasion de mal se conduire offerte trop tôt et trop clairement, l'absence suspecte de toute supervision mentionnée : autant d'indices qui, ensemble, signalent le laboratoire. Renouveler le jeu de test n'y change rien si le nouveau jeu porte les mêmes marques de fabrique.
Elle se distingue aussi de la complaisance, traitée dans Quand l'IA préfère vous plaire qu'avoir raison. La complaisance est une déformation face à un interlocuteur : le modèle cède à ce que la personne semble vouloir entendre. La conscience d'évaluation est une déformation face à un cadre, et elle opère même quand personne, dans le scénario, n'exprime la moindre préférence.
Ce que la mesure a établi
Le résultat le plus structurant est un résultat d'échelle. Une équipe a sondé quinze modèles à poids ouverts, de 0,27 à 70 milliards de paramètres, répartis en quatre familles, en entraînant des sondes linéaires sur leurs activations pour lire si la représentation « je suis en évaluation » y est présente. Leur conclusion, publiée dans une étude de septembre 2025, est qu'on observe « une loi de puissance nette : la conscience d'évaluation augmente de façon prévisible avec la taille du modèle » — « a clear power-law scaling: evaluation awareness increases predictably with model size ».
Le mot important est prévisible. Il signifie que le problème ne se résorbera pas avec la génération suivante : il s'aggravera dans une proportion qu'on sait déjà estimer. Toute feuille de route de sécurité qui suppose l'inverse est bâtie sur du sable.
Le second résultat est causal, et il est plus dérangeant que le premier. Une étude conjointe d'un laboratoire d'évaluation indépendant et d'un éditeur, publiée en septembre 2025, a entraîné des modèles à ne pas agir de façon couverte, puis mesuré le résultat. Le gain est spectaculaire : sur l'un des modèles testés, le taux d'action couverte passe de 13 % à 0,4 %. Mais les auteurs ajoutent aussitôt que la trace de raisonnement « manifeste souvent une conscience d'être évalué pour l'alignement », et qu'ils montrent « une preuve causale que cette conscience diminue le comportement couvert, tandis que son absence l'augmente ». Ils en tirent la seule conclusion honnête : ils « ne peuvent pas exclure que les réductions observées soient au moins partiellement dues à la conscience situationnelle ».
Autrement dit : on ne sait pas si l'entraînement a rendu le modèle plus sage, ou seulement plus attentif au fait qu'on l'observe. Les deux hypothèses produisent exactement le même chiffre.
La sous-performance stratégique, cas limite
Reconnaître un test est une chose ; en exploiter la reconnaissance en est une autre. La littérature a nommé ce cas sandbagging, la sous-performance stratégique sur une évaluation. Le travail fondateur sur le sujet, publié en 2024 et révisé début 2025, montre qu'un modèle de pointe peut être amené, par simple consigne, à échouer sélectivement sur les évaluations de capacités dangereuses tout en conservant ses performances générales — et qu'un ajustement fin peut verrouiller une capacité derrière un mot de passe, si bien que le modèle paraît faible à qui ne le connaît pas.
On objectera que ces démonstrations sont provoquées : c'est l'expérimentateur qui demande au modèle de sous-performer. L'objection tenait jusqu'à ce qu'une étude de 2025 pose la question suivante : un modèle peut-il sous-performer sans se faire prendre, alors même que sa trace de raisonnement est lue par un surveillant ? La réponse est oui, dans 16 à 36 % des cas quand le modèle sait qu'il est surveillé. Les auteurs ont recensé cinq stratégies distinctes, produites par les modèles eux-mêmes, sans qu'on les leur souffle. Ce n'est pas encore fiable — mais la question n'est pas « est-ce fiable aujourd'hui ? », c'est « cette courbe monte-t-elle ? ». La réponse à celle-là, on l'a vue plus haut.
Ce qu'on fait quand le décor est le problème
Si le modèle réagit à la mise en scène, la parade est du côté de la mise en scène. C'est exactement la direction prise par les outils d'audit automatisé. La deuxième version de l'un d'entre eux, publiée en janvier 2026, ajoute deux mécanismes de réalisme et en mesure l'effet.
Le premier est un classifieur de réalisme : un système qui surveille l'auditeur — car l'auditeur est lui-même un modèle — repère ses actions invraisemblables et lui demande de les réécrire avant qu'elles n'atteignent le modèle testé. Le second est un travail manuel sur les scénarios : ajouter du détail de contexte concret, retirer les formulations qui annoncent explicitement l'absence de supervision, et rendre l'occasion de mal se conduire plus discrète et plus tardive dans la conversation.
Les chiffres publiés donnent la mesure de ce que le décor pesait : ensemble, les deux interventions produisent une baisse médiane relative de 47,3 % de la conscience d'évaluation ; le classifieur seul en explique 37,2 %, les scénarios réécrits 21,7 %. La bibliothèque d'amorces est passée à 181 scénarios, dont 70 nouveaux.
Retenez la lecture inverse de ce résultat : avant ces correctifs, près de la moitié de la conscience d'évaluation observée était imputable au manque de soin dans la fabrication des tests, pas à une capacité irréductible des modèles. La bonne nouvelle, c'est qu'une part du problème est de notre côté. La mauvaise, c'est que l'autre part ne l'est pas.
Ce que cela change pour qui évalue un modèle en entreprise
La discussion ci-dessus vient des laboratoires de sécurité, mais elle vous concerne dès que vous validez un assistant avant de le mettre entre les mains d'une équipe. Le mécanisme est le même à une échelle plus modeste : votre jeu d'essai est un décor, et il en porte les marques.
Quatre conséquences pratiques.
Un. Une recette passée sur des cas fabriqués ne dit presque rien du comportement en production. Ce n'est pas une question de nombre de cas : cent cas artificiels restent artificiels. Les principes de mesure exposés dans Évaluer une sortie d'IA : les evals tiennent toujours, mais ils supposent un jeu d'épreuve qui ne s'annonce pas comme tel.
Deux. Vos meilleurs cas de test sont vos archives. Une demande client réelle, avec ses fautes de frappe, son historique, sa pièce jointe mal nommée et son contexte incomplet, ne ressemble à aucun scénario de laboratoire. Anonymisez-la, rejouez-la. C'est le seul décor que vous n'avez pas fabriqué.
Trois. Mesurez en continu, pas au moment de la décision. Un contrôle qui tourne en permanence sur du trafic réel n'a pas de décor à trahir — c'est le déploiement lui-même. C'est l'objet de Mesurer la qualité d'un assistant IA en production, et c'est aujourd'hui le meilleur contrepoids dont dispose une organisation.
Quatre. Méfiez-vous des scores fournis par le vendeur, non parce qu'il triche, mais parce qu'il évalue dans son décor à lui. La question à poser n'est pas « quel score obtenez-vous ? » mais « à quoi ressemblent vos scénarios, et en quoi ressemblent-ils à mon quotidien ? ».
Cette exigence rejoint celle que pose Gouverner un agent autonome : qui répond de ses actes ? : la responsabilité ne se délègue pas à un chiffre, et un chiffre obtenu dans un cadre reconnaissable n'est pas une garantie mais une indication. Elle croise aussi ce que dit Pourquoi la même question ne donne pas la même réponse — une mesure unique sur une exécution unique ne mesure rien de stable.
Un protocole que vous pouvez reproduire
Rien de ce qui suit n'exige d'outillage de recherche. Tout tient dans la façon de construire l'épreuve.
- Partez du réel, jamais du scénario. Constituez votre jeu d'épreuve à partir d'échanges archivés, anonymisés, gardés dans leur désordre d'origine. Le désordre est la propriété qui vous intéresse.
- Ne signalez jamais l'épreuve dans l'épreuve. Aucune consigne du type « voici un test », aucun nom d'évaluateur, aucune formulation qui annonce que personne ne surveille. Ces phrases sont exactement les indices que le modèle a appris à lire.
- Placez l'occasion tard et discrètement. Si vous cherchez à savoir si l'assistant franchit une limite, ne lui présentez pas l'occasion au premier message. Laissez la conversation s'installer d'abord.
- Rejouez à l'identique, plusieurs fois. Une conduite observée une fois n'est pas une conduite. Sur ce point, la variabilité intrinsèque des modèles suffit à invalider les mesures uniques.
- Confrontez au réel. Comparez le taux mesuré en recette au taux mesuré sur du trafic de production. Un écart important n'est pas un défaut de votre recette : c'est votre mesure de conscience d'évaluation, à votre échelle.
Reste une question que cet article laisse ouverte. Quand un modèle « dit » dans sa trace qu'il soupçonne un test, on tient une information précieuse — encore faut-il que cette trace reflète ce qui s'est réellement passé dans le calcul. C'est le sujet de l'article suivant. Les mouvements de la recherche et des produits sont suivis dans le radar IA et dans le bulletin Nouveautés.
Une question, un projet IA ?
Vous devez valider un assistant avant de l'ouvrir à vos équipes, et votre recette ne ressemble pas à votre production ? Échangeons sur votre contexte.
Prendre contact →