La transition des chatbots aux robots capables d'exécuter des commandes en langage naturel repose sur une seule et même catégorie de modèles : les modèles VLA (vision-langage-action). Ces modèles combinent perception visuelle, compréhension du langage et génération d'actions au sein d'un même réseau neuronal. Leur puissance est indéniable, mais elle dépend presque entièrement des données d'entraînement utilisées. Ce guide explique la composition des données d'entraînement VLA, les aspects souvent sous-estimés par les équipes et comment constituer un jeu de données permettant de produire un modèle exploitable.
Points clés à retenir
- Les modèles VLA associent directement les entrées visuelles et linguistiques aux actions du robot au sein d'un seul réseau.
- Les données d'entraînement doivent inclure des observations visuelles synchronisées, des instructions linguistiques et des actions.
- Les jetons d'action discrets nécessitent des données de démonstration à grande échelle pour bien apprendre.
- Les vidéos humaines égocentriques sont de plus en plus exploitées comme source de pré-entraînement VLA à faible coût.
- Des évaluations robustes sont tout aussi importantes que les données de formation pour un déploiement fiable.
- Le succès ou l'échec du réglage fin du VLA dépend de la rigueur de l'annotation, et non du seul volume brut.
Qu'est-ce qu'un modèle VLA ?
Un modèle VLA est un modèle de base pour la robotique qui prend en entrée des images et des instructions en langage naturel et génère des actions robotiques. Contrairement aux architectures traditionnelles qui séparent la perception, la planification et le contrôle en modules distincts, les modèles vision-langage-action apprennent une correspondance de bout en bout au sein d'un réseau unique.
Modèle VLA : Un réseau neuronal qui prend en entrée des observations visuelles synchronisées et des instructions en langage naturel et produit des séquences d'actions robotiques ou des jetons d'action.
Cette conception unifiée permet aux modèles VLA d'hériter des capacités de raisonnement issues d'un pré-entraînement étendu en vision et langage, et de les étendre grâce au contrôle moteur. Concrètement, cela signifie qu'un seul modèle peut en principe exécuter de nombreuses tâches, à condition que ses données d'entraînement les couvrent de manière adéquate.
Que contiennent réellement les données d'entraînement VLA ?
Les données d'entraînement VLA comprennent quatre éléments essentiels par épisode : des observations visuelles, une instruction en langage naturel, une trajectoire d'action et une étiquette de réussite ou d'échec. À ces éléments, les équipes ajoutent des horodatages, l'état proprioceptif et des marqueurs d'évaluation.
Les quatre couches obligatoires :
- Observations visuelles — Cadres RGB, souvent associés à des vues de profondeur ou à des vues de type caméra au poignet.
- Instructions linguistiques — des commandes concises en langage naturel telles que « verser de l’eau dans la tasse ».
- trajectoires d'action — des séquences d'actions discrètes ou continues associées aux degrés de liberté du robot.
- Étiquettes de résultats — des marqueurs explicites de réussite, d'échec ou d'achèvement partiel par épisode.
Un modèle VLA ouvert à 7 milliards de paramètres a été entraîné sur plus d'un million d'épisodes issus de 22 incarnations robotiques (Stanford et al., 2024), illustrant la diversité requise pour la généralisation inter-tâches. Sans cette diversité, les modèles VLA ont tendance à mémoriser des objets spécifiques plutôt qu'à généraliser.
Pourquoi l'annotation d'actions est-elle plus difficile que l'annotation d'images ?
L'annotation des actions est plus complexe car elles se déroulent dans des espaces continus et multidimensionnels et dépendent de l'incarnation du robot, et non du simple contenu de l'image. Étiqueter un cadre englobant une tasse est simple ; étiqueter une trajectoire permettant de saisir cette tasse avec succès à l'aide d'une pince spécifique et à un point de contact précis ne l'est pas.
Jeton d'action : Une représentation discrétisée du mouvement d'un robot ou du déplacement de son effecteur terminal qu'un modèle VLA peut prédire comme un jeton linguistique.
Les équipes d'annotation doivent aligner chaque jeton d'action avec son observation synchronisée, marquer les instants de contact, capturer la récupération après une panne et baliser les limites atomiques de l'instruction du langage. (Shaip) annotation de données Les flux de travail gèrent cela à grande échelle, avec des taxonomies structurées adaptées aux espaces d'actions robotiques et aux seuils d'acceptation par tâche.
Quelle place occupe la vidéo humaine égocentrique dans la formation VLA ?
Les vidéos centrées sur l'humain constituent une source de pré-entraînement évolutive qui comble les lacunes des données réelles des robots. Les séquences filmées à la première personne montrant des humains en train de cuisiner, de cueillir et d'assembler des objets capturent des comportements à une échelle que la téléopération robotique n'atteindra jamais.
Une étude récente a transformé des vidéos humaines égocentriques non structurées en épisodes au format VLA (1 million de segments et 26 millions d'images) en considérant la main humaine comme un effecteur terminal habile (Wu et al., arXiv, 2025). Ce type de données issues de l'incarnation croisée est désormais couramment utilisé dans les protocoles de pré-entraînement VLA.
Le hic : la vidéo brute ne constitue pas une donnée d’entraînement. Elle nécessite une segmentation, des descriptions linguistiques, un reciblage de la pose des mains et une validation de la qualité avant d’intégrer un pipeline VLA. (Shaip) IA physique Les opérations sur les données comprennent la capture égocentrique, la conversion real2sim et l'annotation alignée sur le VLA dans une seule livraison.
Comment constituer des ensembles d'évaluation permettant de détecter les modes de défaillance des VLA ?
Les ensembles d'évaluation permettent de détecter les défaillances des systèmes de test vectoriel (VLA) lorsqu'ils sont conçus avant la formation, et non après. Trois structures sont primordiales : les critères de réussite en phase de distribution, les tests de généralisation hors distribution et les scénarios de sécurité hiérarchisés selon les risques.
Imaginez un modèle VLA domestique entraîné de manière approfondie sur les tâches ménagères. Un ensemble d'évaluation pertinent testerait : les tâches connues dans des cuisines connues (en distribution), les tâches connues sous un éclairage inhabituel (gestion orientée objet légère), les objets inconnus avec des instructions connues (généralisation de concepts) et les événements rares tels que les déversements accidentels (niveau de sécurité). Sans chacun de ces éléments, le risque de déploiement reste indéterminé.
Une ressource neutre utile pour organiser la couverture des niveaux de risque est le Cadre de gestion des risques NIST AI, qui sépare les niveaux d'impact d'une manière qui correspond clairement à la conception de l'ensemble d'évaluation.
Données d'entraînement VLA : quel budget prévoir
| Couche | Ce qu'il comprend | Piège courant |
|---|---|---|
| Observations visuelles | Caméra de poignet RVB multivue, profondeur | Horodatages manquants ou non synchronisés |
| Langue | Instructions, descriptions atomiques | Des formulations vagues qui ne se traduisent pas en actions. |
| trajectoires d'action | Jetons discrets ou contrôles continus | Aucun alignement avec l'incarnation du robot |
| Évaluation | Épisodes, sondes OOD, niveaux de sécurité | Conçu trop tard, après le gel des modèles |
Conclusion : Les modèles VLA sont soit gagnants, soit perdants dans l'ensemble de données
Les performances maximales d'un modèle VLA sont déterminées par ses données d'entraînement : leur étendue, la profondeur de leurs annotations et la rigueur de leur évaluation. Les équipes qui conçoivent leur jeu de données comme un produit à part entière, et non comme une simple formalité, sont les premières à le déployer. Celles qui se contentent d'extraire des données vidéo en espérant une amélioration progressive n'y parviennent généralement pas.
Quelle est la différence entre un modèle VLA et une politique robotique ?
La différence réside dans la portée. Une politique robotique classique associe des observations à des actions pour une tâche ou un petit groupe de tâches. Un modèle VLA est une politique de type fondation qui vise à gérer de nombreuses tâches sur de nombreux objets, en fonction d'instructions en langage naturel. Les deux sont des politiques ; les modèles VLA sont simplement la version généraliste entraînée sur des données plus vastes et alignées sur le langage.
De combien de données d'entraînement VLA a-t-on généralement besoin pour une exécution de réglage fin ?
Une phase d'ajustement fin utilise généralement de quelques milliers à quelques centaines de milliers de démonstrations de haute qualité, selon la complexité de la tâche et la robustesse du modèle de base. Les architectures VLA pré-entraînées réduisent considérablement le volume de données requis. Le facteur déterminant est la qualité des annotations et la précision des instructions linguistiques, et non le simple nombre d'épisodes.
Est-il possible d'entraîner un modèle VLA entièrement sur des données simulées ?
Il est possible d'entraîner un modèle VLA entièrement sur des données simulées, mais rarement suffisant pour un déploiement. La simulation gère bien la diversité et les événements rares ; la capture de données réelles permet d'appréhender la dynamique des contacts et le transfert entre simulation et réalité. La plupart des chaînes de production combinent les deux, avec des benchmarks appariés qui mesurent explicitement l'écart de performance entre simulation et réalité.
De quelles modalités de capteurs les données d'entraînement du VLA ont-elles besoin ?
Les données d'entraînement VLA nécessitent au minimum une vidéo RGB synchronisée et une trajectoire d'action. Les pipelines les plus performants ajoutent la profondeur, les vues de la caméra au poignet, l'audio, les données de l'IMU et les mesures de force ou de couple selon la tâche. La synchronisation temporelle entre les modalités est absolument essentielle ; sans elle, les signaux linguistiques et d'action se désynchronisent pendant l'entraînement.
Comment évaluer la qualité d'un jeu de données VLA avant l'entraînement ?
L'évaluation d'un jeu de données VLA repose sur quatre critères : la précision de l'alignement langue-action, la cohérence de la segmentation des épisodes, l'étendue de la couverture de l'espace des actions et la représentation des cas limites. L'examen humain basé sur des échantillons, avec un étalonnage sur un jeu de référence, constitue le point de départ le plus fiable. Un accord inter-annotateurs supérieur à 95 % sur les étiquettes d'actions est un seuil de production courant.
Les données d'entraînement VLA sont-elles identiques aux données d'apprentissage par imitation ?
Les données d'entraînement VLA constituent un sur-ensemble des données d'apprentissage par imitation. Ces dernières se concentrent sur les paires observation-action issues de démonstrations. Les données VLA ajoutent des instructions linguistiques, une structure multitâche et une couverture inter-incarnations à grande échelle, permettant ainsi au modèle de généraliser au-delà des trajectoires mémorisées.
