Hallucination

Définition

En IA, l'hallucination désigne les cas où un modèle génère des résultats fluides, mais factuellement incorrects ou absurdes. Ce phénomène est particulièrement fréquent dans les grands modèles de langage et l'IA générative.

Interet

L'étude des hallucinations contribue à améliorer la fiabilité et la sécurité des modèles. Elle permet aux développeurs de concevoir des mesures de protection pour détecter et réduire les résultats inexacts.

Importance

• Réduit la confiance dans l’IA si elle n’est pas traitée.
• Peut causer des dommages dans des applications sensibles comme les soins de santé ou le droit.
• Souligne les limites des modèles génératifs actuels.
• Dirige la recherche sur les méthodes de recherche et de récupération des faits.

Fonctionnement

1. Le modèle reçoit une invite ou une requête.
2. Génère une sortie basée sur des modèles appris, et non sur une vérification des faits.
3. Peut produire des résultats plausibles mais incorrects.
4. Des techniques de détection et de correction sont appliquées (par exemple, RAG).

Exemples (monde réel)

• ChatGPT produit parfois des informations incorrectes lorsqu'il y est invité.
• La démonstration initiale de Google Bard a montré des erreurs factuelles.
• Les conseils médicaux générés par l’IA contiennent parfois des inexactitudes.

Références / Lectures complémentaires

• « Réduire les hallucinations dans les grands modèles de langage » — pré-impression arXiv.
• Cadre de gestion des risques liés à l'IA du NIST.
• Mitchell et al. « Cartes modèles pour les rapports de modèles ». ACM FAccT.
• Causes des hallucinations de l’IA