L'oubli catastrophique : pourquoi un LLM n'apprend plus

CONCEPTS · APPRENTISSAGE ET MÉMOIRE DES MODÈLES

Sources vérifiées au 22 juillet 2026.

Une intuition tenace accompagne l'usage quotidien d'un grand modèle de langage : puisqu'il répond à tout, converse et se corrige quand on le reprend, on le croit capable d'apprendre au fil de l'eau, comme un collaborateur qui accumulerait de l'expérience. Cette intuition est fausse, et pas à la marge. Un modèle mis en service est, à peu de choses près, figé. Il ne retient rien de vos échanges, ne se corrige pas d'une session à l'autre, et le geste apparemment simple — « ajoutez-lui cette information » — n'existe pas comme on l'imagine.

Cet écart entre l'usage et la mécanique détermine ce que vous pouvez, ou non, promettre à une direction ou à une équipe : on ne « met pas à jour » un modèle comme une base de données. Cet article explique pourquoi un modèle entraîné cesse d'apprendre, ce qui se passe réellement quand on tente de lui réapprendre quelque chose — l'oubli catastrophique — et il fait le tri entre les contournements qu'on confond avec de l'apprentissage.

Pourquoi un modèle entraîné est figé

Un grand modèle de langage, une fois son entraînement terminé, est un objet mathématique arrêté : une longue liste de nombres — les poids — dont chacun a été fixé par l'optimisation, puis gelé au moment du déploiement. Répondre à une requête consiste à faire circuler votre texte à travers ce réseau de nombres et à lire ce qui en sort. Aucune de ces opérations n'écrit dans les poids. Le modèle qui vous répond ce soir est, au bit près, celui qui répondait ce matin.

D'où vient alors l'impression qu'il « se souvient » ? De deux mécanismes qu'il faut soigneusement distinguer de l'apprentissage. Le premier est la fenêtre de contexte : dans une conversation, l'historique est renvoyé au modèle à chaque tour, ce qui simule une continuité le temps de la session. Le second, plus élaboré, est la mémoire applicative que certains agents construisent autour du modèle — des notes stockées à l'extérieur, relues au bon moment. Ces mécanismes sont réels et utiles, mais ils ne touchent jamais les poids : ils entourent un modèle immuable. Nous avons consacré un article entier à cette distinction, la mémoire des agents — retenez ici seulement que rien de tout cela n'est de l'apprentissage au sens propre.

Reste la question naturelle : si le modèle est figé, pourquoi ne pas simplement reprendre l'entraînement quand on veut lui ajouter des connaissances ? C'est techniquement possible. C'est aussi le point où le vrai problème commence.

L'oubli catastrophique : réapprendre efface l'ancien

Reprenons l'entraînement d'un modèle déjà formé, sur un corpus neuf — une documentation métier, un domaine spécialisé. Les poids se remettent à bouger, tirés par la nouvelle tâche. Le problème est qu'ils sont les mêmes poids qui encodaient déjà tout ce que le modèle savait. En les déplaçant pour absorber le nouveau, on dégrade, souvent brutalement, l'ancien. Le réseau ne dispose pas de tiroirs séparés : chaque connaissance est distribuée sur un enchevêtrement de paramètres partagés, et écrire par-dessus revient à effacer en partie ce qui s'y trouvait.

Ce n'est pas une conjecture. Une étude empirique publiée en août 2023, « An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning », observe le phénomène de façon générale sur des modèles allant de 1 à 7 milliards de paramètres, en mesurant la dégradation sur trois axes : connaissances de domaine, raisonnement et compréhension de lecture. Son résultat le plus contre-intuitif : dans cette gamme, plus le modèle est grand, plus l'oubli s'aggrave — vraisemblablement parce que sa performance de départ, plus élevée, a davantage à perdre. L'étude relève aussi une nuance encourageante : un modèle passé par une phase d'instruction tuning général oublie moins lors des adaptations ultérieures, et l'architecture compte — le modèle décodeur seul testé retenait mieux ses connaissances que son homologue encodeur-décodeur.

Le champ qui étudie ce compromis est balisé. La « Continual Learning of Large Language Models: A Comprehensive Survey », parue en avril 2024, cartographie deux directions d'adaptation continue : une adaptation verticale, du général vers le spécifique, et une adaptation horizontale, à travers le temps et les domaines. Dans les deux cas, l'ennemi est le même — cette « dégradation significative des performances sur les domaines de connaissance antérieurs » que la revue nomme, elle aussi, oubli catastrophique. Aucune de ces publications ne présente le problème comme résolu ; elles décrivent un front de recherche actif, avec des atténuations, jamais une élimination.

Les contournements qu'on confond avec « apprendre »

Face à un modèle figé, l'industrie n'a pas attendu de résoudre l'apprentissage continu : elle a construit des contournements. Trois dominent, et il est capital de voir ce que chacun fait réellement aux poids — car deux d'entre eux n'y touchent pas, et le troisième les modifie au prix du même risque d'oubli.

La génération augmentée par récupération (RAG) ne modifie rien dans le modèle. On range les connaissances à jour dans une base externe, on récupère les passages pertinents au moment de la requête, et on les glisse dans le contexte. Le modèle lit ces passages comme il lirait n'importe quelle entrée : ses poids restent intacts. C'est la voie la plus courante pour « donner » à un modèle des informations qu'il n'avait pas, et la plus réversible — on met à jour la base, jamais le modèle. Nous en détaillons les rouages dans le RAG en profondeur, et sa place dans la chaîne globale dans les LLM démontés : pré-entraînement, fine-tuning, RAG. Le RAG n'apprend rien au modèle : il lui prête une mémoire de lecture, requête après requête.

Le fine-tuning, lui, modifie bien les poids : on reprend l'entraînement sur un corpus ciblé pour spécialiser le comportement du modèle. C'est le geste qui expose directement à l'oubli catastrophique décrit plus haut. Sa variante économe, LoRA et ses dérivés, limite les dégâts en gelant le modèle d'origine et en n'entraînant que de petites matrices ajoutées — nous en avons décrit la mécanique dans LoRA et QLoRA. L'intérêt n'est pas que théorique face à l'oubli : le travail « LoRA Learns Less and Forgets Less », publié dans TMLR en 2024, mesure que LoRA apprend moins la nouvelle tâche que le fine-tuning complet, mais qu'il préserve mieux les capacités hors du domaine cible — et davantage que des régularisations classiques comme le weight decay. « Moins d'oubli » n'est pas « aucun oubli » : le compromis se déplace, il ne disparaît pas. C'est le même arbitrage qui traverse l'alignement décrit dans aligner un modèle : RLHF et DPO, où chaque passe d'entraînement peut éroder des acquis antérieurs.

La frontière : apprentissage continu et édition de modèle

Existe-t-il un geste plus chirurgical — changer un fait dans un modèle sans tout réentraîner ni tout dégrader ? C'est exactement l'ambition de l'édition de modèle (model editing, ou knowledge editing), l'un des fronts les plus actifs de la recherche. La « A Comprehensive Study of Knowledge Editing for Large Language Models », parue en janvier 2024, en range les méthodes en trois familles, selon l'analogie avec la mémoire humaine : recourir à une connaissance externe, fusionner la connaissance dans le modèle, ou éditer la connaissance intrinsèque.

Les trois familles d'édition de modèle. À gauche, on n'ajoute qu'un aiguillage externe ou une injection dans le contexte : les poids restent intacts. Au centre, on greffe un petit module dédié qui intercepte les cas concernés, sans réécrire l'existant. À droite seulement, on modifie directement les poids ciblés — le geste le plus intrusif, et le plus exposé à l'oubli.

La première famille — recourir à une connaissance externe — n'écrit pas dans le modèle : elle intercepte les cas à corriger et injecte la bonne réponse par le contexte, sans jamais réécrire les poids. C'est la parenté directe du RAG, appliquée à la correction ponctuelle. La deuxième — fusionner un module — greffe au modèle figé un petit composant supplémentaire, entraîné, qui prend le relais sur les entrées concernées : l'existant n'est pas réécrit, il est complété. La troisième — éditer la connaissance intrinsèque — est la plus ambitieuse et la plus périlleuse : elle localise, dans les couches intermédiaires, les poids qui portent un fait, puis les modifie in situ. C'est le paradigme localiser-puis-éditer, illustré par des méthodes comme ROME et MEMIT, cataloguées parmi d'autres dans le cadre de référence EasyEdit (aux côtés des approches à mémoire externe et des méta-apprenants qui prédisent la mise à jour des poids).

La promesse est séduisante : rectifier une erreur factuelle par une intervention ciblée, en secondes, sans réentraînement. La réalité, à l'échelle, ramène au thème de cet article. Le travail « Model Editing at Scale leads to Gradual and Catastrophic Forgetting », présenté aux Findings de l'ACL en 2024, a soumis ROME et MEMIT à des éditions séquentielles — corriger fait après fait. Le constat : le modèle oublie progressivement les faits édités précédemment et perd sa capacité à accomplir ses tâches ordinaires, selon deux phases — un effacement d'abord graduel, puis une chute brutale au-delà d'un certain nombre d'éditions. Autrement dit, l'édition intrinsèque ne s'échappe pas de l'oubli catastrophique : elle le rejoue, sur son propre terrain.

Le profil qualitatif de l'oubli lors d'éditions séquentielles : une érosion d'abord lente des capacités conservées, puis un décrochage abrupt au-delà d'un seuil. Le tracé illustre le régime décrit par la littérature ; il ne reproduit pas des mesures chiffrées d'une étude particulière.

Ce tableau porte une leçon simple : les approches qui ne touchent pas aux poids sont les plus sûres et les plus réversibles. Tant que l'apprentissage continu n'est pas résolu, la robustesse se gagne en n'écrivant pas dans le modèle.

Ce que ça change en pratique

La conséquence la plus importante tient en une phrase : on ne met pas à jour un modèle comme une base de données. Il n'existe pas d'opération « UPDATE fait SET valeur » qui inscrirait proprement un fait nouveau sans effet de bord : toute écriture dans les poids se paie en risque sur l'existant, et ce risque croît avec le volume des changements. Une organisation qui construit sa feuille de route IA sur l'idée qu'on « réapprend » périodiquement au modèle ses nouveautés bâtit sur un mécanisme qui, aujourd'hui, n'est pas fiable à l'échelle.

Concrètement, trois réflexes. D'abord, router chaque besoin vers le bon outil : un fait qui change relève de la mémoire externe, pas du fine-tuning ; un comportement à façonner relève du fine-tuning ou de LoRA ; une correction ponctuelle relève de l'édition, avec la prudence que sa fragilité impose. Ensuite, ne jamais confondre la mémoire d'un agent avec l'apprentissage du modèle : la première est applicative, externe, contrôlable ; le second est figé — les deux couches se pilotent séparément. Enfin, traiter tout réentraînement comme une régression potentielle : ce qui marchait avant peut cesser de marcher après, et seule une batterie d'évaluations sur les capacités antérieures le révélera. L'oubli catastrophique n'est pas un incident rare, c'est le comportement par défaut.

Le modèle figé n'est donc pas une limite passagère qu'un prochain palier de taille lèverait : c'est une propriété de la façon dont ces systèmes apprennent, un seul jeu de poids partagés pour tout ce qu'ils savent. L'apprentissage tout au long de la vie, sans se défaire de l'acquis, reste un problème ouvert et majeur. En attendant, l'art consiste à entourer un objet immobile de mémoires qu'on maîtrise, plutôt qu'à espérer le réécrire sans dommage.

Une question, un projet IA ?

Vous hésitez entre RAG, fine-tuning et édition pour intégrer vos connaissances à un modèle — sans dégrader ce qui marche déjà ? Échangeons.

Prendre contact →

Pour aller plus loin : côté pratique, nos décryptages d'outils IA montrent quelles plateformes reposent sur une mémoire externe plutôt que sur un réentraînement ; et pour situer ces choix dans la chaîne complète, relisez les LLM démontés : pré-entraînement, fine-tuning, RAG.