# InstructPix2Pix: Learning to Follow Image Editing Instructions

**Authors:** Tim Brooks, Aleksander Holynski, Alexei A. Efros  
**arXiv:** [2211.09800](https://arxiv.org/abs/2211.09800)  
**Date:** 2022-11-17  
**Summary page:** https://www.summarizepaper.com/fr/paper/2211.09800v1/

## Key points

- Méthode pour éditer des images à partir d'instructions humaines
- Utilisation d'une image d'entrée et d'une instruction écrite pour modifier l'image
- Combinaison des connaissances de deux modèles pré-entraînés (GPT-3 et Stable Diffusion) pour générer un grand ensemble d'exemples d'édition d'images
- Modèle conditionnel de diffusion, InstructPix2Pix, entraîné sur les données générées
- Généralisation aux images réelles et aux instructions écrites par les utilisateurs lors de l'inférence
- Modifications effectuées en quelques secondes sans nécessiter de fine-tuning ou d’inversion
- Résultats convaincants pour une collection diversifiée d'images et d’instructions écrites
- Différence avec les travaux récents qui utilisent des modèles pré-entraînés avec un prompt cible difficile à atteindre
- Utilisation d'instructions textuelles intuitives et expressives plutôt que des étiquettes textuelles ou des descriptions visuelles entrée/sortie
- Combinaison des connaissances de plusieurs modèles pré-entraînés pour générer les données d’entraînement et permettre la modification rapide des images réelles selon les instructions fournies par l’utilisateur.

## Summary

Nous proposons une méthode pour éditer des images à partir d'instructions humaines. En utilisant une image d'entrée et une instruction écrite qui indique au modèle quoi faire, notre modèle suit ces instructions pour modifier l'image. Pour obtenir des données d'entraînement pour ce problème, nous combinons les connaissances de deux modèles pré-entraînés - un modèle de langage (GPT-3) et un modèle texte-image (Stable Diffusion) - pour générer un grand ensemble d'exemples d'édition d'images. Notre modèle conditionnel de diffusion, InstructPix2Pix, est entraîné sur nos données générées et généralise aux images réelles et aux instructions écrites par les utilisateurs lors de l'inférence. Il effectue des modifications en quelques secondes sans nécessiter de fine-tuning ou d’inversion par exemple. Des résultats convaincants sont présentés pour une collection diversifiée d'images et d’instructions écrites. Des travaux récents ont utilisé des modèles pré-entraînés pour l’ajout du bruit ou le débruitage avec un prompt cible difficile à atteindre. Notre méthode diffère car elle permet aux utilisateurs de spécifier exactement ce qu’ils veulent que le modèle fasse grâce à des instructions textuelles intuitives et expressives plutôt que des étiquettes textuelles ou des descriptions visuelles entrée/sortie. Nous avons combiné les connaissances de plusieurs modèles pré-entrainés afin de génerer nos donnée d’entrainement et permettre la modification rapide des images réelles selon les instructions fournis par l’utilisateur.