IP Adapter ou comment faire des images «inspirées»

Ip Adapter pour "Image Prompt Adapter" est une forme plus poussée de "image to image". IP Adapter transforme l'image en token (comme pour un prompt) alors que Image to Image ajoute une image au bruit de départ.
Ip Adapter fait partie de la collection d'outils ControlNet.

En partant d'un prompt très simple :

wild provençal landscape.

Et en soumettant une image de référence représentée ici par l'image carrée de gauche, on obtient des images "dans le style de" .
Quelques exemples ci-dessous :



Le style pictural est pris en compte, parfois avec plus ou moins de bonheur selon les modèles utilisés.



La lumière dans les 2 exemples ci-dessous semble assez bien comprise.



D'autres exemples d'interprétation de style.




Un exemple à partir d'une photo de paysage de neige que j'ai pris en Auvergne et sa version Provençale.


Quelques exemples de portrait :