Texte à image

Définition

Le texte en image est une tâche d'IA générative dans laquelle les modèles créent des images visuelles basées sur des invites en langage naturel.

Interet

L’objectif est de permettre la conception créative, la génération d’art et la visualisation à partir du texte.

Importance

• Développe la créativité et la productivité humaines.
• Soulevez des inquiétudes en matière de droits d’auteur et de désinformation.
• Nécessite des mesures de protection contre les invites nuisibles.
• Lié aux modèles de diffusion et aux GAN.

Fonctionnement

1. Entraîner le modèle sur des ensembles de données texte-image appariés.
2. Encoder le texte dans des incorporations.
3. Associez les incorporations de texte aux représentations d'images.
4. Générer des images en utilisant des techniques de diffusion ou de GAN.
5. Affiner avec des invites ou des contraintes utilisateur.

Exemples (monde réel)

• DALL·E (OpenAI) : génère des images créatives à partir de texte.
• Diffusion stable : modèle de génération d'images open source.
• MidJourney : Génération d'art alimentée par l'IA.

Références / Lectures complémentaires

• Ramesh et al. « Génération de texte en image sans injection de matière ». OpenAI.
• Carte modèle de diffusion stable — Stability AI.
• IEEE Computer Graphics et Applications : IA générative en imagerie.