Les modèles de diffusion : comment une IA fabrique une image à partir de bruit

CONCEPTS — SOUS LA SURFACE · DIFFUSION

Sources vérifiées au 20 juillet 2026.

Tout le vocabulaire courant de l'IA générative décrit une machine à prédire le mot suivant : tokens, fenêtre de contexte, température. Puis vient le moment où l'on tape une phrase et où une image apparaît — et le réflexe consiste à supposer la même mécanique, appliquée à des pixels. Cette supposition est fausse, et elle rend incompréhensibles la plupart des comportements observés : pourquoi une même phrase donne deux fois la même image, pourquoi un curseur nommé « pas » change le résultat, pourquoi une consigne trop appuyée produit des couleurs criardes.

La génération d'image dominante ne prédit rien de « suivant ». Elle part d'un carré de bruit aléatoire et le nettoie progressivement jusqu'à ce qu'une image apparaisse : aucun ordre de lecture, aucune séquence. Cet article ouvre cette mécanique — ce que le réseau apprend exactement, comment le texte y entre, pourquoi tout se passe dans un espace comprimé, et ce que ces choix imposent en matière de reproductibilité, de coût et de ratés typiques.

Bruiter pour apprendre, débruiter pour générer

Le dispositif comporte deux chaînes symétriques, et une seule est apprise. La première, dite processus avant, ne contient aucun paramètre : une formule fixe prend une image du jeu d'entraînement et y injecte du bruit gaussien par incréments. L'implémentation de référence en compte mille, avec un calendrier linéaire allant de 0,0001 à 0,02, comme le documente la fiche du planificateur DDPM de la bibliothèque Diffusers. Au terme de ces mille pas, il ne reste rien de l'image : du bruit statistiquement pur.

Cette chaîne n'a qu'un rôle : fabriquer gratuitement des millions d'exemples. Chaque couple (image bruitée, bruit ajouté) devient un exercice à corriger. La même fiche nomme cette cible epsilon et en fait le type de prédiction par défaut : le modèle « prédit le bruit du processus de diffusion ». L'image propre n'est jamais produite directement — elle est reconstruite en soustrayant l'estimation du bruit.

Les deux chaînes du dispositif. En haut, le bruitage : une formule fixe, sans paramètre appris, qui sert uniquement à fabriquer les exemples d'entraînement. Au centre, la seule chose que le réseau apprend réellement — estimer le bruit présent dans une image dégradée. En bas, la génération : on part de bruit tiré au hasard et on retranche, pas après pas, le bruit estimé. À aucun moment le système ne prédit « le pixel suivant » ni « le mot suivant ».

La différence avec un modèle de langage est structurelle, pas cosmétique. Un transformer génératif de texte construit sa sortie de gauche à droite, chaque jeton étant tiré conditionnellement à ceux qui précèdent, et ne revient jamais en arrière. Un modèle de diffusion travaille sur la totalité de la toile à chaque pas et peut réviser n'importe quelle zone jusqu'au dernier instant. Cette globalité explique pourquoi la cohérence d'ensemble d'une scène est bien tenue alors que certains détails locaux restent obstinément approximatifs.

L'échantillonneur : combien de fois pose-t-on la question ?

Si l'entraînement se fait sur mille pas, faut-il mille passages dans le réseau pour produire une image ? Cette limite a été levée par les échantillonneurs — la règle qui décide comment on descend l'échelle de bruit, et combien de barreaux on saute. Le travail de Jiaming Song, Chenlin Meng et Stefano Ermon sur les modèles de diffusion implicites, soumis en octobre 2020, a montré qu'on pouvait produire des échantillons de qualité comparable « 10 à 50 fois plus vite en temps réel », et pose explicitement le compromis : on échange du calcul contre de la qualité.

C'est de là que vient le curseur « nombre de pas » des interfaces de génération d'image. Il ne règle pas une quantité de détail mais un budget d'inférences : chaque pas est un passage complet dans le réseau de débruitage. La documentation de référence d'un pipeline de diffusion latente recommande cinquante pas par défaut, en notant que le procédé « fonctionne assez bien avec un nombre relativement faible de pas ». Le régime extrême est documenté lui aussi : la distillation adversariale de diffusion, publiée fin 2023, échantillonne de grands modèles « en seulement un à quatre pas » — au prix d'un entraînement supplémentaire dédié, non d'un simple réglage.

Deux conséquences en découlent. Le coût d'une image est approximativement linéaire en nombre de pas, ce qui en fait le levier de dépense le plus direct. Et il n'existe pas de nombre de pas universellement optimal : les valeurs par défaut sont des valeurs par défaut, pas des optimums démontrés.

Où entre le texte, et pourquoi le guidage se paie

Rien de ce qui précède n'explique comment une phrase influence le résultat. Le mécanisme, dit conditionnement, est double. La consigne est d'abord encodée en une représentation numérique, au sens où nous avons décrit les représentations vectorielles du sens. Cette représentation est ensuite injectée dans le réseau de débruitage par des couches d'attention croisée — l'apport décisif du travail de Rombach et de ses coauteurs sur la diffusion latente, qui transforme le débruiteur en « générateur puissant et flexible pour des entrées de conditionnement générales telles que du texte ». Point capital : cette injection a lieu à chaque pas, pas une seule fois au départ.

Reste que le conditionnement seul produit des résultats tièdes, faiblement fidèles à la consigne. D'où le guidage. L'idée initiale, posée par Prafulla Dhariwal et Alex Nichol dans « Diffusion Models Beat GANs on Image Synthesis », orientait le débruitage avec les gradients d'un classifieur — « une méthode simple et économe en calcul pour échanger de la diversité contre de la fidélité ». Jonathan Ho et Tim Salimans ont ensuite supprimé le classifieur : leur guidage sans classifieur entraîne conjointement un modèle conditionnel et un modèle inconditionnel, puis combine leurs estimations. Le réseau produit ainsi deux prédictions de bruit à chaque pas — une avec la consigne, une sans — et l'on extrapole dans la direction de l'écart. L'ampleur de cette extrapolation, c'est l'échelle de guidage, réglée par défaut à 7,5 dans les pipelines de référence.

Un modèle de diffusion ne dessine pas ce que vous décrivez : il retire du bruit, et le guidage est l'amplitude avec laquelle votre phrase courbe cette trajectoire de débruitage.
— Principe de lecture d'une génération conditionnée par texte

Ce curseur n'est pas gratuit, et la littérature le dit sans détour. Les auteurs du système Imagen relèvent dans les actes de NeurIPS 2022 qu'« augmenter le poids du guidage sans classifieur améliore l'alignement texte-image, mais dégrade la fidélité de l'image en produisant des images très saturées et peu naturelles » : le guidage pousse les valeurs de sortie hors de la plage sur laquelle le réseau a été entraîné. La logique est celle qui gouverne les réglages d'échantillonnage d'un modèle de texte : on arbitre entre conformité et variété, et pousser un curseur au maximum dégrade toujours quelque chose.

Pourquoi tout se passe dans un espace comprimé

Débruiter directement les pixels a un coût prohibitif : une image de 512 sur 512 en trois canaux représente 786 432 valeurs à réviser, à chacun des cinquante pas. La percée pratique a consisté à déplacer l'opération — plutôt que de débruiter l'image, on la comprime d'abord avec un auto-encodeur, on débruite la version comprimée, et on décode à la fin. C'est la diffusion en espace latent, qui atteint selon ses auteurs « un point quasi optimal entre réduction de complexité et préservation du détail ».

Les ordres de grandeur sont publics. L'auto-encodeur employé dans cette famille a un facteur de réduction de 8 : une image de forme (3, 512, 512) devient (4, 64, 64), soit un rapport de compression spatiale de 8 × 8 = 64. Le réseau révise alors 16 384 valeurs par pas au lieu de 786 432. C'est ce déplacement, bien plus que le raffinement des architectures, qui a fait passer la génération d'image du cluster de recherche à la carte graphique grand public.

À gauche, le débruitage en espace pixel : chaque pas révise 786 432 valeurs, et le coût est dominé par la résolution. À droite, la diffusion latente : un auto-encodeur comprime d'un facteur 8 en largeur comme en hauteur, le débruitage s'opère sur 16 384 valeurs, puis un décodeur reconstitue l'image. C'est dans ce réseau de débruitage que la consigne texte est injectée par attention croisée, à chaque pas. Le bandeau du bas rappelle ce que le latent ne change pas : le nombre de pas reste le levier de coût principal, et la compression est irréversible.

Cette compression a un revers, qui explique une famille entière d'artefacts. Un auto-encodeur comprime avec perte : ce qui n'a pas survécu à l'encodage ne peut pas être reconstitué au décodage. Les détails de très petite échelle — traits d'un visage lointain, lettres de quelques pixels, texture fine répétée — sont ce que la compression sacrifie en premier. Le débruiteur a beau avoir compris la scène, la restitution passe par un goulot qui ne laisse pas tout passer.

Les frontières entre ces familles sont moins nettes qu'il n'y paraît. Le flow matching de Lipman et ses coauteurs travaille sur « une famille générale de chemins de probabilité gaussiens » dont les chemins de diffusion ne sont qu'un cas particulier. Le flux rectifié, qui « relie données et bruit par une ligne droite », est au cœur des générations récentes : les cartes publiques décrivent aussi bien un transformeur de diffusion multimodal de 8 milliards de paramètres qu'un transformeur à flux rectifié de 12 milliards. Quant à la voie autorégressive, le papier fondateur de la diffusion décrivait déjà sa décompression progressive comme « une généralisation du décodage autorégressif » : la parenté était posée dès l'origine.

Ce que ces choix imposent au quotidien

Trois conséquences découlent directement de la mécanique, et elles surprennent souvent ceux qui abordent la génération d'image avec des réflexes de modèle de langage.

La graine rend la génération reproductible — localement. Puisque tout part d'un tirage de bruit, fixer ce tirage fixe le résultat. La documentation de référence est explicite : « si vous voulez une sortie déterministe, vous pouvez fixer une graine aléatoire et passer un générateur au pipeline. Chaque fois que vous utilisez un générateur avec la même graine, vous obtenez la même image en sortie. » C'est ce qui permet de faire varier un seul paramètre et d'attribuer la différence observée à ce paramètre. La portée de cette garantie est toutefois bien plus étroite qu'on ne le croit, et l'encadré ci-dessous détaille pourquoi.

Les ratés typiques ont une origine structurelle. Les cartes de modèle officielles ne s'en cachent pas. Celle d'un modèle largement diffusé de cette famille énonce, dans sa section de limitations, que « les visages et les personnes en général peuvent ne pas être générés correctement », que « le modèle ne peut pas rendre de texte lisible », et qu'il échoue sur les relations spatiales composées — l'exemple cité est « un cube rouge posé sur une sphère bleue ». Ces échecs partagent une cause : ils exigent une exactitude structurelle locale, là où le procédé optimise une plausibilité globale et où la compression latente sacrifie justement le détail fin. Les générations suivantes attaquent le problème par l'architecture — le flux bidirectionnel entre jetons image et jetons texte est présenté comme améliorant « la compréhension du texte, la typographie et les préférences humaines » — mais il s'agit d'une amélioration mesurée, pas d'une résolution.

L'encodeur de texte pèse plus lourd qu'on ne le pense. Un résultat contre-intuitif du système Imagen mérite d'être retenu : « augmenter la taille du modèle de langage améliore à la fois la fidélité des échantillons et l'alignement texte-image bien davantage qu'augmenter la taille du modèle de diffusion d'image ». Autrement dit, une grande part de la qualité perçue d'un générateur d'image tient à sa capacité à comprendre la phrase, pas à sa capacité à peindre — un pont direct vers ce que nous avons décrit à propos de la perception multimodale.

Comprendre comment naît une image ne dit rien de la difficulté suivante. Une vidéo n'est pas une pile d'images indépendantes : il faut qu'un objet reste le même d'un instant à l'autre, qu'une ombre suive sa source, qu'un liquide versé continue de tomber. Cette exigence de cohérence dans le temps déplace le problème et fait surgir un terme dont l'usage a largement débordé sa définition technique — celui de « world model ». Le prochain article de cette série ira voir ce que ces systèmes simulent réellement, où leur physique implicite se rompt, et ce que l'expression promet qu'elle ne tient pas.

Une question, un projet IA ?

Vous évaluez l'intégration d'un générateur d'image dans une chaîne de production, ou cherchez à comprendre pourquoi vos résultats ne sont pas reproductibles — échangeons sur votre contexte.

Prendre contact →

Pour aller plus loin : côté pratique, nos décryptages d'outils IA montrent comment ces curseurs — pas, guidage, graine — apparaissent dans les interfaces du quotidien ; et sur le versant génération de texte, notre article sur la température et le top-p détaille l'arbitrage entre conformité et variété qu'on retrouve, transposé, dans le guidage.