CONCEPTS — SOUS LA SURFACE · MÉMORISATION
Sources vérifiées au 20 juillet 2026.
Un modèle de langage n'est pas une base de données, et la formule est devenue un argument de vente. On l'entend chaque fois qu'une organisation hésite à verser ses documents dans un jeu d'ajustement : l'entraînement, dit-on, fond les données dans des milliards de paramètres, il en extrait des tendances, il ne conserve rien de particulier. La dilution rassure parce qu'elle ressemble à de l'anonymisation gratuite.
Elle n'en est pas une. Des travaux publiés depuis 2019 montrent qu'on peut faire ressortir d'un modèle des séquences exactes de son corpus d'entraînement — y compris des séquences qui n'y figuraient qu'une seule fois. Comprendre où passe la frontière entre apprendre une régularité et retenir un exemplaire, savoir quels exemples basculent du mauvais côté, et connaître ce que chaque contre-mesure protège réellement : c'est la différence entre une décision documentée et un pari.
Retenir n'est pas un accident de l'apprentissage
La tentation est de traiter la mémorisation comme un défaut de fabrication, quelque chose qu'un entraînement mieux mené éliminerait. Un résultat théorique interdit cette lecture confortable. Dans « Does Learning Require Memorization? », présenté à STOC en 2020, Vitaly Feldman démontre que mémoriser des exemples est nécessaire pour approcher l'erreur de généralisation optimale lorsque la distribution des sous-populations suit une longue traîne — ce qui est précisément le cas des données de texte et d'image.
L'intuition est simple. Un corpus réel n'est pas composé de cas fréquents et bien représentés. Il est composé d'une poignée de cas fréquents et d'une queue interminable de cas qui n'apparaissent qu'une ou deux fois : une tournure régionale, un format de référence propre à un secteur, une exception réglementaire. Pour ces cas-là, il n'existe aucune régularité à extraire — il n'y a pas assez d'exemplaires pour en dégager une. Un modèle qui refuserait de les retenir serait simplement moins bon.
Autrement dit, la mémorisation et la généralisation ne sont pas deux régimes séparés par une porte, mais les deux extrémités d'une même pente. Un modèle glisse le long de cette pente, exemple par exemple. La question opérationnelle n'est donc jamais « ce modèle mémorise-t-il ? » — tous le font — mais « quels exemples ont glissé vers l'extrémité où ils redeviennent lisibles ? ». Et cette question-là a des réponses mesurées.
Quatre facteurs décident du glissement
Le premier facteur est la duplication, et son effet est brutal. Kandpal, Wallace et Raffel ont mesuré une relation superlinéaire entre le nombre d'occurrences d'une séquence dans le corpus et la fréquence à laquelle le modèle la régénère : une séquence présente dix fois est régénérée environ mille fois plus souvent qu'une séquence présente une seule fois. Ce n'est pas une pente, c'est une falaise. Et la duplication réelle des corpus web dépasse l'imagination : les auteurs de « Deduplicating Training Data Makes Language Models Better » rapportent avoir retiré du corpus C4 une phrase anglaise de 61 mots qui y était répétée plus de soixante mille fois.
Le deuxième facteur joue en sens inverse, et c'est ce qui rend le sujet inconfortable : la rareté. Une chaîne unique — un identifiant, une coordonnée, un fragment de dossier — n'a aucun voisin dont le modèle pourrait déduire une règle. La seule façon de la produire est de l'avoir retenue. Le travail fondateur de Carlini et ses coauteurs, présenté à USENIX Security en 2021, insiste sur ce point dans son résumé même : leur attaque fonctionne « alors même que chacune de ces séquences ne figure que dans un seul document » du corpus d'entraînement.
Les deux derniers facteurs sont structurels. La capacité du modèle : les mêmes auteurs constatent que les grands modèles sont plus vulnérables que les petits, résultat confirmé et quantifié dans « Quantifying Memorization Across Neural Language Models », publié à ICLR en 2023, qui décrit trois relations log-linéaires : la mémorisation croît avec la capacité du modèle, avec le nombre de duplications d'un exemple et avec la longueur du contexte fourni en amorce. Le nombre de passages sur les données, enfin, agit comme une duplication déguisée : repasser cinq fois sur un petit jeu d'ajustement revient à inscrire cinq fois chacune de ses lignes.
Le continuum généralisation → mémorisation, et les quatre facteurs qui poussent un exemple vers son extrémité droite. Les deux premiers se combattent par des moyens opposés — dédupliquer traite la duplication, mais aggrave plutôt l'exposition relative de l'exemplaire unique, qui, lui, ne se dédoublonne pas.
Ces mêmes auteurs relèvent une réserve importante : les relations observées se généralisent mal d'une famille de modèles à l'autre. Elles donnent le sens des variations, pas une formule applicable à un modèle donné. La conséquence pratique est qu'aucune de ces mesures ne se transpose telle quelle à votre propre corpus — il faut la refaire.
Extraire, inférer, régurgiter : trois questions à ne pas confondre
Le vocabulaire du domaine mélange trois interrogations distinctes, qui n'ont ni la même difficulté ni les mêmes conséquences.
La régurgitation est la plus visible : le modèle recrache spontanément un passage de son corpus au fil d'une réponse ordinaire. C'est un problème de qualité et de droits d'auteur autant que de vie privée, et il se mesure sans adversaire. Sur des modèles entraînés sur corpus non dédupliqué, plus de 1 % de la sortie non amorcée est copiée verbatim du corpus d'entraînement.
L'extraction est délibérée : on cherche à faire ressortir des séquences précises. Le protocole quantitatif de l'étude de 2021 illustre l'ordre de grandeur : sur 1 800 échantillons candidats produits, plus de 600 ont été confirmés comme extraits verbatim du corpus d'entraînement de GPT-2 — incluant des informations personnelles publiques, des conversations, du code et des identifiants. Nasr et ses coauteurs ont ensuite montré que le problème persiste sur des modèles récents, ouverts comme fermés, et qu'un simple décrochage du registre conversationnel suffit à multiplier par cent cinquante le débit de données d'entraînement émises. Nous décrivons ici le mécanisme et son effet ; la procédure opératoire appartient au papier, et n'a rien à faire dans un article de vulgarisation.
L'inférence d'appartenance, enfin, pose une question plus modeste et plus intrusive à la fois : cet enregistrement précis figurait-il dans le corpus ? Formalisée par Shokri et ses coauteurs en 2017, elle n'exige pas de reconstituer la donnée — savoir qu'un dossier a servi à entraîner un modèle médical est déjà une divulgation. Sa réputation la précède, mais les mesures récentes la relativisent : Duan et ses coauteurs ont évalué ces attaques sur toute une famille de modèles entraînés sur le même corpus public et constatent qu'elles dépassent à peine le hasard dans la plupart des configurations. Deux raisons avancées : un corpus immense parcouru très peu de fois, et une frontière intrinsèquement floue entre membres et non-membres.
| Question posée | Ce qu'on cherche | Ce qu'un résultat positif prouve | Difficulté sur un grand modèle |
|---|---|---|---|
| Régurgitation | Le modèle recrache-t-il du corpus sans qu'on l'y pousse ? | Un défaut de qualité et un risque de droits d'auteur immédiats, visibles par tout utilisateur. | Faible : se mesure par échantillonnage libre, sans adversaire ni accès privilégié. |
| Extraction | Peut-on faire ressortir une séquence précise du corpus ? | Que la donnée est récupérable par un tiers — le seul critère qui compte pour un risque réel. | Moyenne : documentée sur modèles ouverts, semi-ouverts et fermés, à coût de calcul modeste. |
| Appartenance | Cet enregistrement figurait-il dans le corpus d'entraînement ? | Une divulgation par le seul fait de l'appartenance, sans reconstituer le contenu. | Élevée : à peine mieux que le hasard sur les modèles pré-entraînés récemment évalués. |
La question n'est pas de savoir si un modèle mémorise — tous le font, et c'est en partie ce qui les rend bons. Elle est de savoir quels exemples ont glissé jusqu'au point où un tiers peut les faire ressortir.
— Principe de lecture du risque de mémorisation
Ce que la déduplication corrige, et ce qu'elle laisse intact
La déduplication est la contre-mesure la mieux étayée du domaine, et elle a un avantage rare : elle ne coûte rien en qualité, elle en gagne. Les auteurs de l'étude sur le corpus C4 mesurent qu'après déduplication, les modèles émettent du texte mémorisé dix fois moins souvent, tout en atteignant une précision égale ou meilleure avec moins d'étapes d'entraînement. C'est l'une des très rares interventions où la sécurité et la performance tirent dans le même sens — la constitution du corpus étant, comme nous l'avions posé dans notre article sur le socle des données, l'endroit où se joue l'essentiel.
Reste à voir ce que cette mesure ne touche pas. Kandpal et ses coauteurs l'énoncent sans détour : les méthodes de détection de séquences mémorisées ont une précision proche du hasard sur les séquences d'entraînement non dupliquées. La déduplication s'attaque au facteur de duplication et l'écrase efficacement. Elle ne fait rien contre le second facteur — l'unicité. L'exemplaire qui n'apparaît qu'une fois n'a, par construction, aucun doublon à supprimer ; il traverse la déduplication intact, et c'est exactement le profil d'une donnée personnelle ou d'un secret industriel.
Il faut ajouter que la déduplication elle-même est une opération approximative. Elle repose sur des correspondances de chaînes ou d'empreintes : deux versions d'un même document séparées par une reformulation, une traduction ou un changement de mise en forme ne seront pas reconnues comme des doublons. Le problème est apparenté à celui que pose la génération de données synthétiques, où la difficulté n'est jamais de produire du volume, mais de savoir ce qui, dans ce volume, est réellement nouveau.
Un jeu d'ajustement n'est pas dilué — il est concentré
La mémorisation à l'ajustement fin est nettement moins étudiée que celle du pré-entraînement, alors qu'elle mobilise des données bien plus sensibles. Le travail de Zeng et ses coauteurs comble partiellement ce vide et livre un résultat contre-intuitif : la mémorisation présente une forte disparité selon la tâche d'ajustement. Le résumé et le dialogue mémorisent nettement plus que d'autres objectifs. Autrement dit, le risque ne dépend pas seulement de ce que vous versez dans le jeu, mais aussi de ce que vous demandez au modèle d'en apprendre.
La conséquence pratique tient en une phrase : ce qui ne doit pas ressortir ne doit pas entrer. Toutes les autres mesures sont des atténuations. La plus solide d'entre elles est la confidentialité différentielle appliquée à l'entraînement, formalisée pour l'apprentissage profond par Abadi et ses coauteurs en 2016 sous le nom de DP-SGD : les gradients sont écrêtés puis bruités, de sorte que la présence ou l'absence d'un exemple donné change de façon bornée le modèle obtenu. C'est la seule famille de méthodes qui offre une garantie mathématique plutôt qu'une amélioration empirique.
Elle se paie. Les auteurs l'assument dès leur résumé : un entraînement sous budget de confidentialité modeste a un coût « maîtrisable » en complexité logicielle, en efficacité d'entraînement et en qualité du modèle — trois postes, pas zéro. Ce coût dépend entièrement du budget choisi, de la tâche et de la taille du modèle, et aucune constante universelle ne peut être citée honnêtement. Ce qu'il faut retenir n'est pas un chiffre mais un arbitrage : la garantie formelle existe, elle est réelle, et elle n'est pas gratuite.
Les quatre points où une donnée peut ressortir, la contre-mesure réellement efficace à chacun, et ce qu'elle laisse intact. Les deux derniers points — contexte d'inférence et journaux — ne relèvent pas du tout de la mémorisation : les confondre avec les deux premiers conduit à investir au mauvais endroit.
Ce dernier point mérite d'être souligné, car il est la source de la moitié des confusions. Ce qui transite dans le contexte d'une requête n'est pas mémorisé : c'est un problème de périmètre et de droits d'accès, que nous traitons du côté du poste de travail dans notre article sur la confidentialité. Et ce qui dort dans les journaux d'une application n'est pas davantage dans les poids du modèle : c'est le point de fuite le plus banal, le moins audité, et celui qu'aucune mesure de mémorisation ne détectera jamais, puisqu'il est hors du modèle.
Ce que retient un modèle et ce qu'on peut lui faire dire relèvent d'une même enquête : savoir ce qui se passe à l'intérieur d'un objet qu'on n'a pas conçu ligne à ligne. Cette enquête a un coût, et il n'est pas seulement intellectuel. Entraîner, ajuster, dédupliquer, mesurer, puis servir des millions de requêtes : tout cela consomme de l'électricité, de l'eau et du matériel, dans des proportions que le débat public chiffre presque toujours de travers. Le prochain article de cette série s'attaque à cet ordre de grandeur, et n'y met que des nombres qu'on peut sourcer.
Une question, un projet IA ?
Vous envisagez d'ajuster un modèle sur vos propres documents et vous vous demandez ce qui pourrait en ressortir — échangeons sur votre contexte.
Prendre contact →Pour aller plus loin : côté pratique, nos décryptages d'outils IA examinent ce que les plateformes annoncent réellement sur la réutilisation de vos données ; et sur le versant sécurité, notre article sur l'empoisonnement et les portes dérobées traite le mouvement inverse de celui-ci — là on injecte dans le corpus, ici on en extrait.