Collecte de données à grande échelle pour la robotique humanoïde : 5 000 heures par mois de données de mouvement simulé à réel
Comment Shaip fournit 5 000 heures valides par mois de données de capture de mouvement VR égocentriques auprès de 1 500 à 2 500 participants, 300 à 400 tâches et plus de 50 paramètres de capture distincts dans six types d’environnements.
Résumé du projet
Alors que l'IA physique et la robotique humanoïde entrent dans le déploiement du monde réel, le client avait besoin d'un cadre évolutif pour collecter 5 000 heures valides par mois de données de mouvement VR basées sur des tâches dans divers environnements avec un étalonnage, une exécution et une assurance qualité (AQ) cohérents.
Shaip a construit le pipeline d'opérations de données de bout en bout couvrant la configuration de la scène, le mappage QR, le suivi à cinq capteurs, la répétition des participants, la capture modérée et les flux de travail de révision pour prendre en charge 300 à 400 tâches définies par le client et fournir des ensembles de données d'IA incarnée prêts pour le modèle à grande échelle.
Principales statistiques
Participants
1 500 à 2 500 par cycle
Volume de données
5 000 heures valides par mois
Couverture environnementale
Plus de 50 modes de capture pour le bureau, la maison, l'usine, le café, l'entrepôt, l'industrie pharmaceutique et bien plus encore.
Forum
Cycle mensuel continu
Défis
- Passer à une collecte de données de mouvement récurrente, à partir de flux de travail contrôlés de type pilote 5 000 heures valides programme mensuel.
- Maintenir précision de suivi constante dans diverses situations réelles et avec différentes configurations de participants.
- S'assurer que chaque session réponde aux exigences strictes d'application Gestion des versions et des builds, configuration du réseau partagé, enregistrement d'écran et appariement des capteurs.
- Gérant 300-400 tâches définies par le client dans des catégories telles que la locomotion, la manipulation d'objets, l'interaction domestique, l'interaction au bureau et les flux de travail physiques en plusieurs étapes, chacune nécessitant une mise en place correcte de la scène, un placement précis des objets, la préparation des participants et une validation par un modérateur.
- Conversion des sessions brutes en sorties prêtes pour le modèle grâce à des processus d'assurance qualité reproductibles, de gestion des reprises et de révision des téléchargements.
Solution
Stratégie de collecte
Shaip a conçu un système de collecte permettant de recueillir 5 000 heures de données de mouvement VR valides par mois, par lots définis selon des étapes clés. Sur la base d'un ratio de 3 à 5 participants pour 10 heures valides, chaque cycle mensuel nécessite environ 1 500 à 2 500 participants.
Gestion de l'environnement et des scènes
Les environnements sont structurés sur deux niveaux. Six grandes catégories d'environnements — bureau, domicile, usine, café, entrepôt et industrie pharmaceutique — sont subdivisées en plus de 50 contextes de capture distincts, chacun correspondant à un lieu physique précis comme une chambre d'hôtel, un espace café, un établi ou une chaîne de conditionnement. Chaque contexte est traité comme une scène structurée. Shaip la documente à l'aide de photographies grand angle, configure les scènes dans le système d'administration, coordonne la validation client et exporte les fichiers PDF des scènes pour leur mise en place physique. La cartographie des scènes par QR code garantit que chaque contexte est associé avec précision au contexte d'enregistrement correspondant.
Préparation de l'appareil et de l'application
Shaip standardise la préparation technique en veillant à ce que le casque VR et le dispositif de surveillance soient connectés au même réseau, en contrôlant le flux d'installation et de mise à jour des applications et en activant la capture d'écran via navigateur pour la visibilité du modérateur tout au long de la session.
Suivi et étalonnage des mouvements
Avant chaque session, les cinq capteurs de mouvement sont appariés et validés. L'étalonnage est obligatoire pour chaque participant et comprend la vérification de l'alignement de l'avatar, l'ajustement du sol et la configuration personnalisée des limites afin de garantir une capture précise des mouvements du corps entier dans l'espace d'activité enregistrable.
Exécution et modération des tâches
Avant l'enregistrement, les participants sont guidés dans la préparation et la répétition des tâches spécifiques à chaque scène. Les modérateurs observent via un enregistrement d'écran, vérifient la précision des tâches et la fluidité des mouvements, et ne passent à la capture en direct que lorsque le comportement des capteurs et les mouvements des participants répondent aux critères de qualité. Le démarrage et l'arrêt de l'enregistrement sont gérés par le flux de travail gestuel défini.
Assurance qualité et résultats prêts à être modélisés
Après l'enregistrement, les sessions sont téléchargées pour analyse. Shaip vérifie la netteté des mouvements, la conformité des tâches, l'alignement des scènes et la précision des capteurs, et annule ou reprend les enregistrements inutilisables si nécessaire. Ce processus garantit une production plus fiable d'ensembles de données prêts à être annotés, validés par assurance qualité et intégrés aux modèles pour l'apprentissage de l'IA incarnée et de la robotique.
Description du projet
| Type de jeu de données | Participants | Volume d'enregistrement | Couverture environnementale | Volume de tâches | Configuration de capture | Forum |
|---|---|---|---|---|---|---|
| Capture de mouvement VR égocentrique | 1 500 à 2 500 par cycle | 5 000 heures valides par mois | Plus de 50 environnements de capture différents : bureau, domicile, café, usine, entrepôt, industrie pharmaceutique et autres environnements réels. | 300 à 400 tâches définies par le client | Casque de réalité virtuelle + 5 capteurs de mouvement | Cycle mensuel continu |
Le résultat
- Mise en place d'un cadre d'opérations de données évolutif pour 5,000 heures valides par mois d'IA physique données d'entraînement
- Normalisé Gestion des scènes, cartographie basée sur les codes QR et étalonnage à cinq capteurs dans des environnements distribués
- Amélioration de la cohérence des collectes grâce à répétition modérée, examen en temps réel des enregistrements d'écran et questions-réponses au niveau de la session
- Les utilisateurs de l’app Smart Spaces avec Google Wallet profitent d’un accès mobile sans contact avec tout lecteur HID® Signo™ compatible NFC. Sorties validées par la tâche et prêtes à être annotées pour le développement de modèles d'IA incarnée, de simulation et de robotique en aval
- Renforcement du client pipeline de données simulées à réelles avec une capture de mouvement égocentrique de haute qualité provenant de divers environnements réels
Globalement, Shaip a contribué à transformer une exigence complexe de capture VR en un pipeline de données structuré et prêt pour la production, capable de soutenir les initiatives en matière d'IA physique, d'intelligence incarnée et de robotique humanoïde avec une cohérence, une traçabilité et une échelle accrues.
Shaip nous a aidés à mettre en place l'infrastructure de traitement des données pour notre feuille de route en IA physique. Son équipe a structuré la capture de mouvement multi-environnements, la gestion des participants, la configuration des scènes, le calibrage et l'assurance qualité, ce qui nous a permis de générer des ensembles de données prêts à l'emploi pour la modélisation, favorisant ainsi l'apprentissage du virtuel au réel pour l'IA incarnée et la robotique humanoïde.
