Pré-formation

Définition

La préformation est la formation initiale d'un modèle d'apprentissage automatique sur de grands ensembles de données à usage général avant de procéder à un réglage précis sur des tâches spécifiques.

Interet

L’objectif est de fournir des modèles avec des représentations larges qui se transfèrent à plusieurs tâches, réduisant ainsi les besoins en données et en calcul pour l’adaptation en aval.

Importance

• Fondation pour les LLM modernes et les modèles de vision.
• Améliore les performances dans diverses tâches.
• Coûteux en termes de données et de calcul.
• Nécessite une conservation minutieuse des ensembles de données pour éviter les biais.

Fonctionnement

1. Collecter des ensembles de données généraux massifs (texte, images).
2. Définir des tâches d’apprentissage non supervisées ou auto-supervisées.
3. Entraînez les modèles pour apprendre les caractéristiques générales.
4. Conservez les poids pré-entraînés pour les réutiliser.
5. Affinez les ensembles de données plus petits et spécifiques à des tâches.

Exemples (monde réel)

• BERT pré-entraîné sur Wikipédia et BooksCorpus.
• CLIP formé sur des paires image–texte.
• Modèles GPT pré-entraînés sur du texte Internet à grande échelle.

Références / Lectures complémentaires

• Devlin et al. « BERT : pré-entraînement des transformateurs bidirectionnels profonds. » NAACL 2019.
• Radford et al. « Les modèles linguistiques sont des apprenants à faible intensité. » NeurIPS 2020.
• Rapport technique OpenAI GPT-4.