Un agent vocal au téléphone : ce qui tient, ce qui casse

OUTILS IA — CHOISIR, MESURER, CONTRÔLER · UN AGENT VOCAL AU TÉLÉPHONE

Sources vérifiées au 19 juillet 2026, sur documentation officielle d'éditeur et textes réglementaires primaires. Aucun outil n'a été testé pour cet article.

Il existe un chiffre que tout le monde connaît sur les agents vocaux : cinq cents millisecondes. En deçà, l'échange paraîtrait naturel ; au-delà, pénible. Ce seuil circule dans les billets d'éditeurs, les comparatifs et les fiches produit, avec l'assurance tranquille des évidences partagées.

Il ne repose sur rien. Aucun éditeur ne le publie dans sa documentation, l'un d'eux refuse explicitement d'en publier un, et l'étude invoquée pour l'étayer mesure autre chose et donne des valeurs deux à cinq fois plus basses. Cet article part de là : il n'y a pas de seuil, il n'y a que des arbitrages — et la démonstration se refait en trois clics.

Pourquoi la voix en temps réel est le cas le plus dur

Un agent écrit dispose d'une ressource que l'agent vocal n'a pas : le silence toléré. Devant un chatbot de site, le lecteur relit sa question, corrige, attend deux secondes sans y voir un incident. Au téléphone, le même silence est une information : l'appelant conclut qu'il a été mal compris, répète, ou raccroche.

S'ajoute la nature du canal. La voix véhicule hésitation, accent, bruit de fond, chevauchements. La chaîne doit capter, transcrire, décider, synthétiser et restituer, chaque poste consommant une part d'un budget que le réseau téléphonique ampute déjà. C'est le cas d'usage le plus exigeant de la multimodalité : non parce que l'audio serait plus complexe que l'image, mais parce qu'il est synchrone. Une image se traite quand on peut ; une conversation, non.

Enfin, l'oral ne laisse aucune trace lisible pour l'appelant. Le garde-fou posé pour le chatbot écrit vaut ici avec une acuité supérieure : un agent vocal qui invente une politique commerciale engage l'entreprise, sans qu'aucun historique consultable ne permette de vérifier ce qui a été dit. Les garde-fous d'un système IA ne sont pas un supplément, c'est un préalable.

Le budget de latence, poste par poste — et pourquoi le seuil que vous avez lu partout n'existe pas

Le budget se décompose en postes stables : captation et détection de fin de tour, transcription, réflexion du modèle, synthèse, restitution, transport réseau. Cette décomposition est durable. Ce qui ne l'est pas, c'est le total qu'on prétend lui opposer.

Le budget de latence en proportions. Deux réglages — l'attente avant de considérer le tour terminé, le degré de débruitage — déplacent le curseur entre réactivité et justesse. Aucune valeur n'est portée sur la frise : les chiffres publiés ne mesurent pas les mêmes segments et ne s'additionnent pas.

Voici ce que les éditeurs publient réellement. Vapi indique dans sa foire aux questions « typiquement autour de 800 millisecondes pour le traitement vocal bout en bout ». Retell donne une consigne d'exploitation, pas une promesse produit : « visez une latence estimée sous 1,5 s », en page de dépannage. ElevenLabs annonce « environ 75 ms » pour ses modèles de synthèse rapides, avec une note qui change tout : « hors latence applicative et réseau ». OpenAI ne donne aucun chiffre. Et LiveKit, dont le billet d'ingénierie nomme pourtant les métriques à suivre, écrit : « toute recommandation sur les meilleurs modèles à utiliser dans des circonstances précises se périmera vite, et n'est donc pas fournie ici ».

Ces chiffres ne sont pas comparables : les 75 ms mesurent l'inférence d'un seul composant, réseau exclu, quand les 800 ms revendiquent une chaîne complète. Une bonne part de la cohérence apparente du folklore vient de cette comparaison silencieuse de grandeurs différentes.

Reste le fameux seuil. Sa chaîne de citation se remonte en trois maillons. Premier maillon : un billet de blog de Vapi — un blog d'éditeur, pas sa documentation — écrit que « la latence vocale commence à affecter l'expérience utilisateur au-delà de 500 millisecondes […] comme le montrent les études sur la voix IA à faible latence », et renvoie non pas vers une étude, mais vers une page de ressources d'un autre éditeur. Deuxième maillon : cette page de Telnyx parle de « grosso modo une demi-seconde entre le moment où une personne finit une pensée et celui où l'autre répond », et renvoie enfin à une source primaire. Troisième maillon : l'article de Stivers et coll., PNAS, 2009, sur les universaux du tour de parole.

Cet article donne un mode global à 0 ms, une médiane inter-langues à +100 ms et une moyenne à +208 ms, avec des médianes par langue allant de 0 à +300 ms. Il ne mentionne nulle part une demi-seconde. Sa conclusion n'est pas un seuil mais une tendance : toutes les langues testées montrent « un évitement général du chevauchement et une minimisation du silence entre les tours ». Une tendance universelle assortie de variation culturelle, c'est le contraire d'une valeur de bascule.

Trois architectures, pas deux

Le débat public oppose deux options ; la documentation de LiveKit, la plus explicite du domaine sur ce point, en décrit trois.

La chaîne classique — transcription, puis modèle de langue, puis synthèse — est le choix par défaut : « choisissez-la pour la plupart des agents en production ; elle donne le contrôle complet sur chaque étape et c'est le chemin le plus simple à déboguer et à auditer ». Contreparties énoncées sans détour : « latence totale plus élevée » et « perte de nuance vocale : la prosodie et les indices émotionnels n'atteignent pas le modèle ».

Le modèle vocal direct traite l'audio de bout en bout : « choisissez un modèle temps réel quand la latence ou l'expressivité comptent plus que le contrôle fin ». Contreparties publiées : transcriptions retardées, impossibilité de faire dire un texte scripté, moindre liberté de fournisseur, audit plus difficile.

La voie hybride — nommée half-cascade — combine les deux : « choisissez-la quand vous voulez à la fois la compréhension vocale temps réel et le contrôle complet de ce que votre agent dit ». C'est l'option la plus souvent absente des comparatifs, et souvent la plus pertinente sur une ligne téléphonique où certaines phrases doivent être prononcées à la lettre.

Trois architectures et l'arbitrage qui se retourne. Le vocal direct raccourcit la chaîne, mais supprime la transcription intermédiaire dont dépend la détection de fin de tour : le gain obtenu sur un poste du budget se paie sur un autre, moins visible.

L'arbitrage le plus contre-intuitif du dossier est documenté noir sur blanc. La page consacrée aux modèles temps réel précise qu'« une détection de tour précise repose à la fois sur la détection d'activité vocale et sur le contexte tiré de la transcription temps réel, laquelle n'est pas disponible avec les modèles temps réel », lesquels « ne fournissent pas de résultats de transcription intermédiaires ». Autrement dit : l'architecture qui réduit la latence brute est aussi celle qui sait le moins bien quand vous avez fini de parler. Une réponse plus rapide, déclenchée plus souvent au mauvais moment, n'est pas une amélioration.

OpenAI cadre les deux options principales dans son guide des agents vocaux : le traitement direct pour des « conversations naturelles à faible latence », la chaîne pour des « flux de travail prévisibles », lorsque « chaque étape doit être visible ou remplaçable ». Sur le canal téléphonique, un billet de blog de LiveKit — opinion d'éditeur, à lire comme telle — juge les chaînes à transcription optimisée pour la téléphonie plus fiables.

Ce qui casse en production : interruption, bruit, accents, silences

On pourrait croire ce terrain non documenté. C'est l'inverse : les éditeurs publient abondamment leurs échecs — sous forme de boutons de réglage. L'existence même de ces boutons est l'aveu du problème, et leur lecture attentive apprend plus qu'un comparatif.

L'interruption. Retell expose une sensibilité continue et prévient qu'« à 0, l'agent ne serait jamais interrompu ». Vapi expose un plan d'arrêt de parole — nombre de mots, durée de voix, délai de reprise — et documente l'arbitrage : la détection acoustique permet une « interruption plus rapide », la détection par transcription est « plus précise, réduit les faux positifs ». LiveKit distingue l'interruption intentionnelle de l'acquiescement en analysant le signal acoustique, tout en avouant que le modèle « n'est pas encore disponible dans toutes les régions » et retombe alors sur la détection d'activité vocale seule.

OpenAI livre le détail le plus révélateur : annuler la réponse côté serveur ne suffit pas. Le client doit envoyer un événement de troncature pour supprimer la portion non encore jouée. Sans cela, l'agent est « interrompu » du point de vue du serveur et continue pourtant de parler dans l'oreille de l'appelant : le prototype de la démonstration réussie qui casse en production.

Les silences. Deepgram documente un seuil de fin de tour réglable avec son arbitrage écrit noir sur blanc : valeurs hautes, « moins de faux positifs, latence légèrement accrue » ; valeurs basses, « réponses plus rapides, plus de faux positifs ». C'est la démonstration la plus nette que le budget de latence est un curseur, pas une norme. OpenAI oppose une détection par silence, par défaut, à une détection sémantique qui juge d'après les mots prononcés et se révèle « moins susceptible d'interrompre l'utilisateur ». Vapi prévoit même une attente spécifique après un chiffre — un appelant qui dicte un numéro ou un montant marque des pauses qu'aucun autre réglage ne couvre.

Les accents. Le fait notable n'est pas la dégradation — elle est attendue — mais l'asymétrie de franchise entre éditeurs. La carte de modèle de Whisper est la source la plus directe du secteur : les modèles « présentent des performances disparates selon les accents et les dialectes d'une même langue, ce qui peut inclure un taux d'erreur de mots plus élevé selon le genre, l'origine, l'âge ou d'autres critères démographiques ». La page multilingue de Retell reconnaît une chaîne « moins précise par langue que les modèles monolingues » et note que « tous les fournisseurs de voix ne gèrent pas les accents ».

À l'inverse, plusieurs éditeurs n'énoncent aucune réserve de ce type sur les pages qui la porteraient normalement — formulation à prendre au pied de la lettre, aucun balayage exhaustif n'ayant été conduit. Deux contraintes pour un lectorat francophone souvent bilingue en appel : ElevenLabs fixe « la sélection de la langue pour toute la durée de l'appel » ; et le détecteur de fin de tour de LiveKit, qui couvre le français, dépend de la langue rapportée par la transcription — la documentation déconseille l'auto-détection.

Panorama des plateformes et de leur modèle de facturation

Deux points méritent d'être isolés. Le premier concerne l'épinglage des versions. Chez OpenAI, la page « modèles » présente un instantané daté marqué par défaut, tandis que la page tarifaire facture des instantanés portant une numérotation différente : les deux pages officielles ne désignent pas le même jeu de modèles. Ne raisonnez jamais sur un prix « du modèle temps réel » sans nommer l'instantané, et épinglez explicitement une version en production. Le nom commercial, l'alias d'interface et la ligne de facture sont trois choses distinctes.

Le second concerne la réversibilité. LiveKit Agents est sous Apache-2.0 et Pipecat sous BSD-2-Clause, ce qui autorise l'auto-hébergement. C'est un critère de sortie possible, pas un verdict de qualité : ces cadriciels ne sont pas meilleurs parce qu'ils sont ouverts, ils sont quittables sans réécriture complète. Ouvert ne veut pas dire gratuit à exploiter — l'auto-hébergement déplace le coût vers votre infrastructure.

Transparence, enregistrement, sortie humaine : ce qui est obligatoire et ce qui ne l'est pas

Ici, les raccourcis circulent plus vite que les textes. Trois obligations sont couramment présentées comme acquises ; une seule est fondée. Ce qui suit s'appuie sur les textes primaires, et signale ce qui n'a pas pu être établi.

La transparence est fondée. L'article 50, paragraphe 1 du règlement européen sur l'intelligence artificielle impose que les systèmes destinés à interagir directement avec des personnes physiques soient conçus de manière que celles-ci soient informées qu'elles interagissent avec un système d'IA. Deux nuances que les résumés escamotent presque toujours. D'une part, le texte prévoit une exception d'évidence : sauf lorsque cela ressort clairement du point de vue d'une personne raisonnablement avertie, attentive et avisée, compte tenu des circonstances et du contexte. Écrire « il faut toujours annoncer que c'est une IA » est une surinterprétation. D'autre part, l'obligation du paragraphe 1 pèse sur le fournisseur du système, non d'abord sur l'entreprise qui exploite la ligne. Le paragraphe 5 donne la règle opérationnelle : information claire et distinguable, au plus tard au moment de la première interaction, conforme aux exigences d'accessibilité applicables.

Sur le calendrier, l'article 113 fixe une application générale au 2 août 2026, et l'article 50 relève du chapitre qui ne figure dans aucune des exceptions énumérées. Réserve impérative : un règlement modificatif est en cours d'adoption et pourrait décaler certaines échéances. Au 19 juillet 2026, aucun acte modificatif adopté n'est enregistré sur la fiche officielle du règlement, et l'accord provisoire approuvé au Parlement européen n'est pas publié au journal officiel. Le sort exact de l'article 50 dans le texte final n'a pas pu être établi : à revérifier avant toute décision.

L'enregistrement des appels ne suppose pas le consentement. Enregistrer un appel est un traitement de données personnelles : base légale, information, minimisation, limitation de conservation. Mais le consentement n'est qu'une des six bases légales du règlement général sur la protection des données. Écrire qu'il « exige le consentement pour enregistrer un appel » est un durcissement du droit, non le droit. La seule page d'autorité française identifiée porte en tête la mention qu'elle est obsolète et elle est antérieure au règlement : elle ne peut servir de doctrine actuelle, et n'est donc pas invoquée ici.

La sortie vers un humain n'est imposée par aucun texte général. L'article sur le contrôle humain du règlement européen s'ouvre sur les systèmes à haut risque et s'y limite ; un agent vocal de prise de rendez-vous, de suivi de commande ou de standard n'entre pas dans cette catégorie. Et même lorsqu'il s'applique, il exige un contrôle humain sur le système, non un transfert de l'appelant vers un opérateur. Quant au droit à l'intervention humaine en matière de décision automatisée, il suppose une décision produisant des effets juridiques ou significatifs similaires — une conversation n'en est pas une. Offrir une sortie vers un humain est une excellente pratique, souvent une exigence contractuelle ou sectorielle ; ce n'est pas, en l'état, une obligation légale générale. Des obligations sectorielles nationales, non couvertes ici, peuvent exister.

Comment le vérifier vous-même

Cette section est le cœur de l'article, non son appendice. Le protocole ci-dessous ne demande d'essayer aucune plateforme : il demande de suivre des citations. C'est reproductible par tous, cela ne coûte rien, et cela rend durablement méfiant devant le prochain chiffre rond.

Ce segment est jeune, encombré, et sa consolidation est probable : un produit y change de nom deux fois en dix-sept mois sans que son adresse bouge, un concurrent majeur reste en préversion, et les grilles se réécrivent plus vite que les articles qui les commentent. Raison de plus pour bâtir sa décision sur ce qui survivra aux acteurs : la décomposition du budget, les arbitrages qui se retournent, et l'habitude de remonter une citation jusqu'à sa source. C'est aussi ce qui distingue un agent vocal utile d'un standard automatisé de plus — sujet abordé côté relation client dans traiter les demandes clients sans déshumaniser.

Une question, un projet IA ?

Vous envisagez un agent vocal sur une ligne entrante, ou vous cherchez à savoir ce qu'un tel dispositif engagerait réellement pour votre entreprise — échangeons sur votre contexte.

Prendre contact →

Pour aller plus loin : le chatbot de site sans frustrer l'utilisateur traite le même engagement sur un canal où la trace reste lisible ; la multimodalité replace la voix parmi les autres canaux ; l'origine de la latence d'inférence détaille le poste le plus coûteux du budget ; et les garde-fous d'un système IA donnent le cadre qu'un canal sans historique consultable rend indispensable.