CONCEPTS — TROIS MESURES · HORIZON TEMPOREL DES AGENTS
Résultats, intervalles de confiance et limites méthodologiques relevés le 10 août 2026 sur les publications citées et sur les pages de l'organisme qui produit la mesure. Cet article est une analyse : aucun agent n'a été évalué pour l'écrire, et le protocole de la dernière section est destiné à être exécuté par le lecteur, sur ses propres tâches.
La question que l'on pose habituellement à propos d'un agent est binaire : en est-il capable, oui ou non ? Elle produit des réponses qui vieillissent mal, parce qu'elle ne dit rien de la seule chose qui varie vraiment d'une génération à l'autre. Un agent n'échoue presque jamais sur la nature d'une tâche. Il échoue sur sa longueur.
La thèse de cet article tient dans ce déplacement : la capacité d'un agent se mesure en durée de travail humain, pas en liste de compétences. Cette unité change ce qu'on peut lui confier, comment on le supervise, et surtout la façon dont on lit les annonces de progrès. Elle a aussi une conséquence désagréable pour les feuilles de route : la progression que l'on observe est exponentielle, et une exponentielle est très mauvaise à estimer à l'œil.
L'unité de mesure : combien de temps, pas quelle tâche
Depuis 2025, un organisme d'évaluation indépendant publie une mesure devenue la référence sur le sujet : l'horizon temporel. Le principe est de renverser l'échelle. Au lieu de noter un modèle sur un jeu d'épreuves, on chronomètre d'abord chaque épreuve chez des professionnels humains, puis on regarde à partir de quelle durée le modèle décroche.
La forme de la courbe est plus instructive que le chiffre. Sur la première publication, les modèles réussissaient presque toujours les tâches de moins de quatre minutes de travail humain, et « less than 10% of the time on tasks taking more than around 4 hours ». Entre les deux, l'effondrement est rapide et régulier. Ce n'est pas un mur, c'est une pente.
Où en est la mesure aujourd'hui
La méthodologie a été révisée le 29 janvier 2026. La suite d'épreuves est passée de 170 à 228 tâches, dont le nombre de tâches de huit heures et plus a doublé — 31 contre 14 — précisément pour resserrer les intervalles sur les modèles de tête. L'évaluation a par ailleurs migré vers Inspect, décrit par les auteurs comme « a widely-adopted open-source framework for AI evaluations developed by the UK AI Security Institute ».
| Modèle | Horizon à 50 % | Intervalle | Rapport haut / bas |
|---|---|---|---|
| Claude Opus 4.5 | 320 minutes | 170 – 729 min | × 4,3 |
| GPT-5 | 214 minutes | 117 – 480 min | × 4,1 |
| o3 | 121 minutes | 74 – 201 min | × 2,7 |
Un intervalle qui va du simple au quadruple n'est pas un défaut de la mesure : c'est ce qu'il en coûte d'évaluer des tâches longues, qui sont rares, chères à étalonner, et dont chaque exécution consomme des heures de calcul. Mais il interdit une lecture très répandue. Classer trois modèles à quelques dizaines de minutes d'écart n'a aucun sens quand les intervalles se recouvrent sur toute leur longueur — c'est le même piège que celui décrit dans Benchmarks & contamination : pourquoi les classements de modèles mentent, à ceci près qu'ici les auteurs publient eux-mêmes de quoi ne pas s'y laisser prendre.
Une pente qui s'est redressée
La tendance de fond annoncée en 2025 était déjà frappante : « The length of tasks…has been doubling approximately every 7 months for the last 6 years ». La révision de 2026 la corrige dans le sens du raidissement. Le temps de doublement mesuré depuis 2023 passe de 165 à 131 jours. Et si l'on ne regarde que la période ouverte en 2024, il « falls to 89 days » — contre 109 jours sous la méthodologie précédente.
Pourquoi la courbe a exactement cette forme
Reste à comprendre pourquoi la réussite s'effondre si régulièrement avec la durée. Un préprint de 2025 consacré à cette question propose une explication d'une simplicité désarmante, et qui rend compte des données : « a constant rate of failing during each minute a human would take to do the task ». Un taux d'échec constant par minute de travail — rien d'autre.
La conséquence mathématique est immédiate : « an exponentially declining success rate with the length of the task ». Et chaque agent « could be characterised by its own half-life », sa demi-vie propre, la durée au bout de laquelle il a une chance sur deux d'avoir déraillé.
Ce modèle a une vertu pratique considérable : il dit où porter l'effort. Si la réussite décroît comme une exponentielle du temps, alors doubler l'horizon d'un agent exige de diviser par deux son taux d'échec par minute. Pas de l'améliorer de dix pour cent : de le diviser par deux. C'est ce qui explique qu'un agent notablement plus fiable sur les tâches courtes ne gagne parfois que quelques minutes d'horizon, et qu'inversement un gain d'horizon spectaculaire suppose un progrès profond sur la reprise d'erreur.
Il éclaire aussi une observation de terrain : ce n'est presque jamais l'étape difficile qui fait échouer un agent long, c'est l'accumulation d'étapes ordinaires. Chaque minute est un tirage. Un enchaînement de deux cents minutes, c'est deux cents tirages dont un seul raté suffit. La mémoire des agents et la manière dont le contexte se dégrade en cours de route sont, dans ce cadre, des leviers directs sur le taux d'échec par minute — pas des raffinements.
Ce que le chiffre ne dit pas
Un horizon publié est un résultat de laboratoire, et les auteurs sont les premiers à en border la portée. Trois réserves méritent d'être reprises telles quelles avant d'utiliser le chiffre dans une décision.
| Réserve | Énoncé | Conséquence pratique |
|---|---|---|
| Composition des tâches | « the trend in time horizon is somewhat sensitive to task composition » | Changer le panier d'épreuves déplace la tendance : ne comparez pas deux chiffres issus de deux versions de la suite |
| Étalon humain | La durée humaine n'est mesurée que pour 5 des 31 tâches longues ; le reste est estimé | Sur les durées qui vous intéressent le plus, l'axe des abscisses lui-même est partiellement estimé |
| Plafond de l'échelle | Peu de tâches de la suite résistent encore à la dernière génération | Le chiffre est d'autant moins précis que le modèle est bon — l'inverse de l'intuition |
Il faut y ajouter une réserve qui ne figure pas dans la méthodologie mais qui décide de tout en entreprise : le seuil. Un horizon défini à 50 % de réussite est un repère de recherche, pas un régime d'exploitation. Une tâche réussie une fois sur deux est une tâche qu'il faut vérifier à chaque fois, et le coût de cette vérification est rarement compté dans les gains annoncés — c'est l'objet de Quand vérifier coûte plus cher que produire. Le seuil auquel vous exploitez un agent est bien plus haut, et l'horizon correspondant bien plus court.
Enfin, les épreuves sont majoritairement des tâches de génie logiciel et de raisonnement, à énoncé propre et à correction automatisable. Une tâche de terrain arrive avec un énoncé ambigu, des accès manquants, une exception à demander et une personne à relancer. Rien de tout cela ne figure dans l'étalon, et rien de tout cela n'est neutre sur le taux d'échec par minute.
Ce qu'on en fait, concrètement
L'usage raisonnable de cette mesure n'est pas de choisir un modèle sur son horizon publié — les intervalles l'interdisent. Il est de changer la façon dont on découpe le travail qu'on lui confie.
Cette règle de délégation est la traduction opérationnelle d'un principe déjà posé dans Gouverner un agent autonome : qui répond de ses actes ? : l'autonomie ne se décide pas en bloc, elle se borne. La durée est la borne la plus simple à écrire et la plus facile à contrôler. Côté mise en œuvre, elle rejoint directement ce que décrivent Superviser un agent IA qui travaille en continu et Confier une tâche de code à un agent en arrière-plan.
Elle change enfin la manière d'estimer. Un plan qui suppose qu'un agent avance seul pendant une journée entière ne parie pas sur sa compétence, il parie sur sa demi-vie — et l'ordre de grandeur publié dit que ce pari est perdu aujourd'hui, tout en laissant ouvert qu'il soit gagné dans deux ans. C'est exactement la difficulté que soulève Estimer une tâche de développement à l'ère de l'IA : on estime en supposant un niveau d'autonomie qui n'est jamais écrit noir sur blanc.
Les chiffres cités ici seront périmés avant la fin de l'année — c'est la seule prévision sûre qu'autorise une grandeur qui double tous les trois mois. Ce qui ne bougera pas, c'est l'unité : tant qu'un agent enchaîne des étapes dont chacune peut rater, sa capacité restera une durée, et cette durée restera la bonne question à poser avant de lui confier quoi que ce soit. Les mises à jour de mesure sont suivies dans le radar IA et dans le bulletin Nouveautés.
Une question, un projet IA ?
Vous cherchez jusqu'où déléguer une tâche à un agent, et à partir de quelle durée poser un point de contrôle ? Échangeons sur votre contexte.
Prendre contact →