Grand modèle de langage (LLM)

Définition

Un grand modèle linguistique (LLM) est un réseau neuronal entraîné sur de vastes corpus textuels pour comprendre et générer le langage humain. Les LLM utilisent des milliards de paramètres pour capturer des schémas linguistiques.

Interet

L'objectif est de permettre des tâches avancées de PNL telles que la génération, la synthèse et la traduction de textes. Les LLM sont utilisés dans les chatbots, les outils de recherche et les outils de productivité.

Importance

• Alimente l'IA conversationnelle moderne.
• Risque de biais, de désinformation et d’hallucinations.
• Coûts informatiques et environnementaux élevés.
• Nécessite un alignement et une gouvernance minutieux.

Fonctionnement

1. Collecter des ensembles de données textuelles à grande échelle.
2. Tokeniser le texte en représentations numériques.
3. Modèles de transformateurs de trains avec des milliards de paramètres.
4. Apprenez à prédire le prochain jeton dans son contexte.
5. Ajuster ou adapter aux tâches en aval.

Exemples (monde réel)

• GPT-4 (OpenAI) : utilisé dans ChatGPT.
• PaLM (Google) : LLM à grande échelle pour la recherche et les produits.
• LLaMA (Meta) : LLM ouvert axé sur la recherche.

Références / Lectures complémentaires

• Vaswani et al. « L'attention est tout ce dont vous avez besoin. » NeurIPS 2017.
• Carte système OpenAI GPT-4.
• Stanford CRFM. « Modèles de fondation ».
• Tout ce que vous devez savoir sur le LLM