Modèle de langage multimodal

Définition

Un modèle de langage multimodal est une extension des LLM qui peut traiter et générer du texte et d'autres modalités telles que des images, de l'audio ou de la vidéo.

Interet

L'objectif est de créer des systèmes d'IA capables d'une compréhension et d'une interaction plus riches, au-delà du simple texte. Ces modèles sont utiles pour les assistants virtuels, les outils d'accessibilité et la robotique.

Importance

• Prend en charge l’intégration du contexte visuel et auditif dans les réponses.
• Alimente de nouvelles applications telles que les réponses visuelles aux questions.
• Coûteux en termes de calcul et complexe à former.
• Partage les risques d’hallucination et de biais des LLM.

Fonctionnement

1. Collecter de grands ensembles de données multimodales (texte + images/audio).
2. Train avec transformateurs adaptés à de multiples modalités.
3. Alignez les intégrations entre les modalités pour l'interopérabilité.
4. Affiner des tâches multimodales spécifiques.
5. Déployer pour une interaction multimodale dans le monde réel.

Exemples (monde réel)

• GPT-4 avec vision (OpenAI) : traite le texte et les images.
• Flamingo (DeepMind) : apprentissage en quelques étapes pour les tâches multimodales.
• Google Gemini : intègre plusieurs modalités de raisonnement.

Références / Lectures complémentaires

• Alayrac et al. « Flamingo : un modèle de langage visuel. » DeepMind.
• Rapport technique OpenAI GPT-4.
• Rapport du CRFM de Stanford sur les modèles de fondation.
• Que sont les grands modèles multimodaux (LMM) ?