Un super «filtre» avec IP Adapter

On a vu précédemment que l'on pouvait créer des images inspirées par d'autres images avec IP Adapter. Ici on va voir que l'on peut aussi transformer une image sur la base d'une image référence tout en gardant la structure et la composition de l'image modifiée. Une sorte de super filtre Photoshop.

Pour cela on utilise un ou plusieurs ControlNet classiques comme Canny, Depth, Lineart, OpenPose ou même une combinaison selon ce qui fonctionne le mieux avec l'image à modifier. Ici j'ai utilisé Lineart pour rester au plus proche des traits de l'image originale même s'il peut parfois être plus intéressant de s'éloigner un peu pour accentuer l'influence de la référence. Dans les exemples ci-dessous j'ai toutefois essayé de rester proche de l'image originale pour le côté didactique des exemples.

Et pour ceux que ça intéresse voici mon workflow de test.

On commence par un peu de peinture :

Un peu de modelage :

De la céramique :

Quelques styles BD ou illustration :

Maquillages / effet spéciaux :

Et enfin on peut mixer plusieurs images références comme ici :

On constate que le visage n'est pas toujours reconnaissable car constitué d'une fusion des deux images, les traits caractéristiques peuvent parfois se perdre.
Je tente alors de venir greffer un nouveau contrôleur qui s'appelle InstantID et qui est chargé de maintenir une cohérence du visage.

Le nouveau workflow :

et quelques tests :

On peut aussi changer la pose avec une autre image de référence comme ici.