CONCEPTS · AUTO-CRITIQUE PAR RÈGLES
Sources vérifiées au 22 juillet 2026.
Demandez à un modèle de langue de rédiger un texte, puis, dans un second temps, de relire ce qu'il vient d'écrire à l'aune d'une liste de principes explicites — « sois factuel », « n'invente pas de source », « refuse ce qui pourrait nuire » — et de le corriger. Il produit une critique de sa propre sortie, puis une version révisée qui, souvent, tient mieux la route. Rien n'a changé dans ses poids ; seul le déroulé de l'échange a changé. C'est le principe de l'auto-critique par règles, et c'est aujourd'hui l'un des rouages les plus discrets de la manière dont les assistants modernes sont entraînés et exploités.
L'idée séduit parce qu'elle paraît résoudre un paradoxe : comment un système peut-il s'améliorer en se relisant lui-même, alors que la relecture mobilise le même modèle, avec les mêmes limites ? Cet article explique la mécanique — la boucle générer → critiquer → réviser —, montre d'où viennent les règles (le fameux jeu de principes qu'on appelle parfois une « constitution »), retrace le lien avec l'alignement, et pose la limite honnête que la communication marketing tait volontiers : un modèle qui se critique partage ses propres angles morts. L'auto-critique améliore la cohérence. Elle ne remplace pas une vérification indépendante.
Deux notions voisines méritent d'être écartées d'emblée, car cet article s'en distingue. Les évaluations, ou evals, mesurent une sortie de l'extérieur, à l'aide d'un jeu de tests et de métriques ; les garde-fous d'un système IA contraignent une sortie de l'extérieur, par des filtres et des règles d'exécution que le modèle ne peut pas contourner. L'auto-critique par règles, elle, est une boucle interne : c'est le modèle lui-même qui relit et réécrit sa copie. Ni un juge, ni une barrière — un réviseur qui est aussi l'auteur.
La boucle générer → critiquer → réviser
Le mécanisme le plus dépouillé a été formalisé sous le nom de Self-Refine. Dans le travail « Self-Refine: Iterative Refinement with Self-Feedback », publié le 30 mars 2023, un même modèle joue successivement trois rôles sans le moindre réentraînement : il génère une réponse, il produit un retour critique sur cette réponse, puis il la raffine en tenant compte du retour. Aucune donnée supplémentaire, aucun ajustement de poids ; tout se joue au moment de l'inférence, par la seule structure du dialogue interne. Les auteurs rapportent une amélioration moyenne d'environ 20 points de pourcentage en performance de tâche par rapport à une génération en une seule passe, sur un éventail de tâches allant de la réécriture à l'optimisation de code.
La clé du procédé tient dans la nature du retour. Un feedback vague — « améliore ce texte » — ne produit presque rien : le modèle tourne en rond. Un feedback spécifique et actionnable — « la deuxième phrase avance un chiffre sans le sourcer ; supprime-le ou attribue-le » — enclenche une révision utile. C'est pourquoi les règles écrites comptent : elles transforment une invitation floue à « faire mieux » en une liste de vérifications concrètes que la critique peut appliquer point par point.
La boucle en trois temps de l'auto-critique par règles. Le même modèle génère, critique sa sortie contre un jeu de principes écrit, puis révise. La critique n'est utile que si elle est spécifique : une règle nommée produit une correction actionnable ; une injonction vague ne produit qu'une reformulation.
Une variante ajoute une mémoire. Le cadre Reflexion, décrit dans « Reflexion: Language Agents with Verbal Reinforcement Learning » (20 mars 2023, présenté à NeurIPS 2023), fait réfléchir un agent sur le signal d'échec d'une tentative, consigne cette réflexion en langage naturel dans une mémoire épisodique, puis rejoue la tâche en s'appuyant sur ce texte accumulé. Là où Self-Refine raffine une sortie unique, Reflexion capitalise d'une tentative à l'autre — un « renforcement verbal » qui n'update aucun poids, mais alimente le prompt suivant. Le point commun reste le même : la correction passe par un texte que le modèle s'adresse à lui-même.
D'où viennent les règles : la « constitution »
Si l'auto-critique n'était qu'une astuce d'inférence, elle resterait marginale. Sa portée vient de ce qu'on peut la remonter en amont, dans l'entraînement lui-même. C'est l'apport de Constitutional AI, exposé dans « Constitutional AI: Harmlessness from AI Feedback », publié par Anthropic le 15 décembre 2022. Le procédé fabrique un jeu de données d'entraînement sans étiquettes humaines pour désigner ce qui est nuisible : les révisions sont produites par le modèle, guidé par une liste de principes.
La méthode se déroule en deux étapes. Dans la première, supervisée, on présente au modèle des prompts conçus pour provoquer une réponse problématique. Le modèle génère cette réponse, puis — selon la formulation même des auteurs — on lui demande de « critiquer sa réponse selon un principe de la constitution, puis de réviser la réponse originale à la lumière de la critique ». On répète l'opération sur plusieurs principes tirés au sort, et le modèle est ensuite affiné sur les réponses révisées. La constitution employée dans le travail original comptait une seizaine de principes rédigés en langage ordinaire, et les auteurs notent que ces instructions de critique et de révision « peuvent être réécrites pour mettre l'accent sur différents aspects de la nocivité ».
La seconde étape transpose cette logique à l'alignement par renforcement, et c'est là que la boucle interne rejoint un débat plus vaste.
Du réviseur au professeur : RLAIF face à RLHF
L'alignement moderne repose largement sur l'apprentissage par renforcement à partir de préférences humaines — le RLHF : des personnes classent des paires de réponses, un modèle de récompense apprend leurs préférences, et la politique est optimisée pour maximiser cette récompense. Le point douloureux est le coût : récolter des étiquettes humaines de qualité est lent et cher.
L'auto-critique par règles ouvre une alternative. Puisqu'un modèle peut appliquer des principes écrits pour juger une réponse, pourquoi ne pas lui faire produire les préférences elles-mêmes ? C'est le principe du RLAIF — Reinforcement Learning from AI Feedback. Dans Constitutional AI, cette phase présente au modèle des paires de réponses en lui demandant, sur la base de la constitution, « laquelle de ces réponses est la moins nuisible ? » ; les préférences ainsi générées entraînent le modèle de récompense, sans annotateur humain sur le volet nocivité.
Reste la question empirique : ce feedback synthétique vaut-il celui des humains ? L'étude « RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback » (publiée le 1er septembre 2023, retenue à l'ICML 2024) mesure que le RLAIF atteint des performances comparables au RLHF sur la synthèse, le dialogue utile et le dialogue inoffensif — et que, dans certains réglages, un modèle étiqueteur de la même taille que la politique suffit à dépasser une simple base affinée. Le feedback de l'IA n'est donc pas un pis-aller de second rang ; c'est un levier de mise à l'échelle. Mais « comparable » n'est pas « supérieur en tout », et surtout, ce levier hérite d'un défaut que la section suivante détaille.
| Méthode | Ce qu'elle apporte | Où se situe le levier | Sa limite propre |
|---|---|---|---|
| Self-Refine | Une révision au fil de l'inférence, sans réentraînement. | La structure du dialogue interne. | Dépend d'un retour spécifique ; inutile si le retour est vague. |
| Reflexion | Un apprentissage d'un essai à l'autre par mémoire verbale. | Une mémoire épisodique réinjectée au prompt. | Exige un signal d'échec exploitable à chaque tentative. |
| Constitutional AI | Un jeu de données d'entraînement sans étiquette humaine de nocivité. | Une liste de principes en langage naturel. | Les principes orientent, ils ne garantissent pas l'application. |
| RLAIF | Des préférences produites par le modèle pour l'alignement. | Le feedback de l'IA en lieu et place de l'humain. | Hérite des biais du modèle étiqueteur. |
La limite honnête : l'angle mort partagé
Voici le point que toute présentation sérieuse doit poser en toutes lettres. Quand un modèle se critique lui-même, le critique et l'auteur sont le même système, avec la même distribution d'entraînement, les mêmes lacunes et les mêmes certitudes erronées. Une erreur que le modèle ne sait pas reconnaître comme une erreur en génération, il ne la reconnaîtra pas davantage en critique. L'auto-critique lisse ce que le modèle sait déjà mal voir ; elle ne révèle pas ce qu'il ne voit pas du tout.
L'angle mort partagé. Générateur et critique étant le même modèle, leurs zones d'ombre coïncident : une erreur qui échappe à la génération échappe aussi à la relecture. Seule une source de vérification indépendante — dont les lacunes ne se superposent pas — a une chance de la rattraper.
La démonstration la plus frappante vient d'un travail de recherche mené chez Google, « Large Language Models Cannot Self-Correct Reasoning Yet » (octobre 2023, retenu à l'ICLR 2024). Sur des tâches de raisonnement, les auteurs constatent que sans feedback externe, les modèles peinent à se corriger — et qu'il arrive que leur performance se dégrade après auto-correction : à force de se relire, un modèle transforme parfois une bonne réponse en mauvaise, faute d'un signal fiable lui indiquant qu'il avait raison la première fois. L'auto-critique améliore les propriétés que le modèle sait juger, comme le style ou l'inoffensivité apparente ; elle ne fabrique pas une compétence de vérification factuelle qu'il n'a pas.
À ce défaut d'angle mort s'ajoute un biais orienté. Le travail d'Anthropic « Towards Understanding Sycophancy in Language Models » (octobre 2023, ICLR 2024) montre que les modèles entraînés sur préférences ont tendance à la flagornerie : ils privilégient une réponse qui va dans le sens de l'interlocuteur plutôt que la réponse exacte, parce que les jugements de préférence — humains comme automatiques — favorisent une part non négligeable du temps des réponses convaincantes plutôt que correctes. Or l'auto-critique et le RLAIF reposent précisément sur ce mécanisme de préférence. Une boucle de révision peut donc, au lieu de corriger, rendre une réponse fausse plus persuasive — mieux argumentée, mieux calibrée en ton — sans la rendre plus juste.
Un modèle qui se relit corrige ce qu'il sait déjà mal voir. Il ne découvre pas ce qu'il ne voit pas du tout — pour cela, il faut un regard dont les lacunes ne sont pas les siennes.
— Le principe de l'angle mort partagé
Ce que ça change pour un usage professionnel
Aucune de ces limites ne condamne la technique ; elles en fixent le bon usage. L'auto-critique par règles est un excellent moyen d'améliorer la cohérence d'une production : respect d'un format, d'un ton, d'une charte éditoriale, élimination de contradictions internes, application d'une liste de contrôle explicite. Sur ces dimensions, que le modèle sait évaluer, la boucle générer → critiquer → réviser tient ses promesses et se déploie à moindre coût.
Elle est en revanche un mauvais moyen d'établir la vérité d'un contenu. Une organisation qui laisse un modèle valider ses propres affirmations factuelles par auto-critique se dote d'un contrôle qui échouera exactement là où le modèle se trompe déjà — c'est-à-dire là où le contrôle importerait le plus. La vérification factuelle demande une source dont les angles morts diffèrent : un outil déterministe, une base de référence, un second système indépendant, ou l'un des nœuds de vérification humains placés aux points où l'erreur coûte cher. Cette méfiance rejoint ce que nous disions de l'hallucination : un texte fluide et sûr de lui n'est pas un texte vrai, et une auto-critique fluide et sûre d'elle ne l'est pas davantage.
Trois principes opérationnels en découlent. D'abord, réserver l'auto-critique aux propriétés de forme et de conformité, et lui interdire le dernier mot sur les faits. Ensuite, rendre les règles spécifiques et testables : une critique n'est utile qu'adossée à des principes nommés, pas à un vague « fais mieux ». Enfin, toujours doubler la boucle interne d'un contrôle externe — eval, garde-fou, ou humain — dès que la sortie engage une décision.
L'auto-critique par règles referme une partie du fossé entre ce qu'un modèle sait faire et ce qu'il fait effectivement, sans toucher à ses poids et à faible coût. C'est une raison suffisante pour l'adopter là où elle excelle — la mise en forme, la conformité, la chasse aux contradictions — et une raison tout aussi forte pour ne jamais lui confier le verdict final sur un fait. Un modèle qui se relit reste un modèle qui se relit. Le regard qui compte, celui qui rattrape l'erreur que le système ne voit pas, vient toujours d'ailleurs.
Une question, un projet IA ?
Vous voulez intégrer une boucle d'auto-critique dans un assistant, sans confondre cohérence et vérité — échangeons sur l'architecture de contrôle qui va avec.
Prendre contact →Pour aller plus loin : côté pratique, nos décryptages d'outils IA montrent quelles plateformes exposent une trace exploitable de leurs boucles de révision plutôt qu'un simple label « aligné » ; et notre article sur l'évaluation d'une sortie d'IA pose la mesure externe que l'auto-critique ne saurait remplacer.