Comment fonctionnent réellement les modèles de diffusion, expliqué simplement

Les modèles de diffusion sont devenus la technique dominante pour la génération d'images, et gagnent désormais du terrain sur la vidéo. Voici comment ils fonctionnent, sans jargon inutile.

Le principe de base : détruire puis reconstruire

Pendant l'entraînement, le modèle apprend à ajouter progressivement du bruit à une image jusqu'à obtenir un signal complètement aléatoire. Il apprend ensuite à inverser ce processus, étape par étape, pour retrouver une image cohérente à partir de bruit pur.

Pourquoi le texte guide l'image

Un encodeur de texte transforme votre invite en une représentation numérique injectée à chaque étape du débruitage. Le modèle apprend ainsi à privilégier les trajectoires de reconstruction qui correspondent à la description fournie.

Et pour la vidéo ?

Les modèles de diffusion vidéo appliquent une logique similaire mais doivent aussi maintenir une cohérence temporelle entre les images successives, ce qui multiplie considérablement le coût de calcul et explique pourquoi la génération vidéo reste plus lente et plus chère que la génération d'image.