Définition
Le réglage fin supervisé (SFT) est le processus d'entraînement d'un modèle pré-entraîné sur des données étiquetées pour une tâche spécifique, en ajustant tout ou partie de ses paramètres.
Interet
L’objectif est d’adapter des modèles à usage général à des tâches spécialisées avec une précision améliorée.
Importance
- Technique de base en PNL et tâches de vision.
- Nécessite des données étiquetées de haute qualité.
- Risque de surapprentissage avec de petits ensembles de données.
- Souvent un précurseur du RLHF.
Aide
- Sélectionnez un modèle pré-formé.
- Collectez des données étiquetées pour la tâche cible.
- Entraînez le modèle avec l’apprentissage supervisé.
- Valider sur un ensemble de tests conservé.
- Déployer et surveiller les performances.
Exemples (monde réel)
- GPT a peaufiné les conversations sur le service client.
- BERT optimisé pour la reconnaissance des entités nommées.
- Transformateurs de vision affinés sur la classification des images médicales.
Références / Lectures complémentaires
- Devlin et al. « BERT : pré-entraînement des transformateurs bidirectionnels profonds. » NAACL 2019.
- Documentation des transformateurs Hugging Face.
- Stanford CS224N : PNL avec apprentissage profond.
- Qu'est-ce que le SFT ? Pourquoi est-ce important ?
