Données d'entraînement à l'IA

Définition

Les données d'entraînement de l'IA constituent l'ensemble de données étiquetées utilisé pour apprendre aux modèles d'apprentissage automatique à identifier des tendances et à générer des prédictions. Elles représentent la « réalité terrain » par rapport à laquelle les modèles ajustent leurs paramètres internes.

Interet

L'objectif est de fournir des exemples qui guident les algorithmes dans l'apprentissage des relations statistiques. Cela permet aux modèles de généraliser à partir d'exemples à des données inédites.

Importance

• La qualité des données de formation a un impact direct sur la précision du modèle.
• Des données biaisées ou déséquilibrées produisent des modèles injustes ou peu fiables.
• Des ensembles de données suffisamment grands améliorent la généralisation.
• La fuite de données de formation dans les ensembles de tests compromet les évaluations.

Fonctionnement

1. Définissez la tâche de prédiction et les exigences du jeu de données.
2. Collecter des données brutes pertinentes.
3. Étiquetez ou annotez les données avec des sorties correctes.
4. Divisé en ensembles d'entraînement, de validation et de test.
5. Entraînez le modèle pour ajuster les poids en fonction des données d’entraînement.

Exemples (monde réel)

• Ensemble de données COCO : images annotées pour la détection et la segmentation.
• Common Crawl : ensemble de données textuelles Web à grande échelle pour la préformation des LLM.
• LibriSpeech : ensemble de données vocales pour la formation ASR.

Références / Lectures complémentaires

• Données de formation pour l'apprentissage automatique — IBM Research.
• ISO/IEC 23053 : Cadre pour les systèmes d’IA utilisant l’apprentissage automatique — ISO.
• Cadre de gestion des risques liés à l’IA du NIST — NIST.
• Qu'est-ce que les données d'entraînement en apprentissage automatique ? – Shaip