Résultats du processus de synthèse de l'article arXiv : 2211.09800v1

Nous proposons une méthode pour éditer des images à partir d'instructions humaines. En utilisant une image d'entrée et une instruction écrite qui indique au modèle quoi faire, notre modèle suit ces instructions pour modifier l'image. Pour obtenir des données d'entraînement pour ce problème, nous combinons les connaissances de deux modèles pré-entraînés - un modèle de langage (GPT-3) et un modèle texte-image (Stable Diffusion) - pour générer un grand ensemble d'exemples d'édition d'images. Notre modèle conditionnel de diffusion, InstructPix2Pix, est entraîné sur nos données générées et généralise aux images réelles et aux instructions écrites par les utilisateurs lors de l'inférence. Il effectue des modifications en quelques secondes sans nécessiter de fine-tuning ou d’inversion par exemple. Des résultats convaincants sont présentés pour une collection diversifiée d'images et d’instructions écrites. Des travaux récents ont utilisé des modèles pré-entraînés pour l’ajout du bruit ou le débruitage avec un prompt cible difficile à atteindre. Notre méthode diffère car elle permet aux utilisateurs de spécifier exactement ce qu’ils veulent que le modèle fasse grâce à des instructions textuelles intuitives et expressives plutôt que des étiquettes textuelles ou des descriptions visuelles entrée/sortie. Nous avons combiné les connaissances de plusieurs modèles pré-entrainés afin de génerer nos donnée d’entrainement et permettre la modification rapide des images réelles selon les instructions fournis par l’utilisateur.

• Méthode pour éditer des images à partir d'instructions humaines
• Utilisation d'une image d'entrée et d'une instruction écrite pour modifier l'image
• Combinaison des connaissances de deux modèles pré-entraînés (GPT-3 et Stable Diffusion) pour générer un grand ensemble d'exemples d'édition d'images
• Modèle conditionnel de diffusion, InstructPix2Pix, entraîné sur les données générées
• Généralisation aux images réelles et aux instructions écrites par les utilisateurs lors de l'inférence
• Modifications effectuées en quelques secondes sans nécessiter de fine-tuning ou d’inversion
• Résultats convaincants pour une collection diversifiée d'images et d’instructions écrites
• Différence avec les travaux récents qui utilisent des modèles pré-entraînés avec un prompt cible difficile à atteindre
• Utilisation d'instructions textuelles intuitives et expressives plutôt que des étiquettes textuelles ou des descriptions visuelles entrée/sortie
• Combinaison des connaissances de plusieurs modèles pré-entraînés pour générer les données d’entraînement et permettre la modification rapide des images réelles selon les instructions fournies par l’utilisateur.

Éditer des images à partir d'instructions humaines

Nous présentons une méthode innovante pour éditer des images à partir d'instructions humaines. Notre modèle, InstructPix2Pix, suit les instructions fournies par l'utilisateur et modifie l'image en conséquence. Pour entraîner ce modèle, nous avons combiné les connaissances de deux modèles pré-entraînés - un modèle de langage (GPT-3) et un modèle texte-image (Stable Diffusion). Nous avons généré un grand ensemble d’exemples d’images éditables qui ont été utilisés pour entraîner le modèle. Lorsque le modèle est appliqué aux images réelles et aux instructions écrites par l’utilisateur, il effectue des modifications sans nécessiter de fine-tuning ou d’inversion par exemple. Des résultats convaincants sont présentés pour une collection diversifiée d'images et d’instructions écrites.

Comment notre méthode diffère?

Notre méthode se distingue des travaux récents qui ont utilisé des modèles pré-entraînés pour ajouter du bruit ou débruiter avec un prompt cible difficile à atteindre car elle permet aux utilisateurs de spécifier exactement ce qu’ils veulent que le modèle fasse grâce à des instructions textuelles intuitives et expressives plutôt que des étiquettes textuelles ou des descriptions visuelles entrée/sortie.

Combinaison de plusieurs connaissances

Afin de génerer nos donnée d’entrainement et permettre la modification rapide des images réelles selon les instructions fournis par l’utilisateur, nous avons combiné les connaissances de plusieurs modèles pré-entrainés. Ces donnée sont ensuite utiliser pour entrainer notre propre modele InstructPix2Pix qui est capable de modifier rapidement une image réelle en quelques seconde sans necessité de fine tuning ou inversion par exemple.

Conclusion

Notre moteur InstructPix2Pix offres aux utilisateurs la possibilitiés spicifier exactement ce qu'ils veulent que le modele fasse grace a des instruction textuel intuitifs plutot que les labels textuel ou description visuel entrée/sortie traditionnellement employe . Les resultat obtenus sur une collection diversifiée montrent la puissance du modele proposer