Mise à l'échelle de l'IA physique et de la robotique humanoïde grâce à 10 000 heures de données de mouvement simulé à réel
Comment Shaip a fourni 10 000 heures de données de capture de mouvement VR égocentriques à travers 4 000 participants, 100 tâches et plus de 5 environnements du monde réel — construits comme un pipeline de données d'entraînement d'IA physique de qualité production pour la robotique humanoïde simulée à réelle.
Résumé du projet
Avec le déploiement concret de l'IA physique et de la robotique humanoïde, le client avait besoin d'un cadre évolutif pour collecter 10 000 heures de données de mouvement VR basées sur des tâches dans divers environnements, avec un étalonnage, une exécution et une assurance qualité cohérents.
Shaip a construit le pipeline d'opérations de données de bout en bout couvrant la configuration de la scène, le mappage QR, le suivi à cinq capteurs, la répétition des participants, la capture modérée et les flux de travail de révision pour prendre en charge 100 tâches définies par le client et fournir des ensembles de données d'IA incarnée prêts pour le modèle à grande échelle.
Principales statistiques
Participants
~ 4,000
Volume de données
10 000 heures valides
Couverture environnementale
Bureau, domicile, usine, café, entrepôt, etc.
Forum
1 mois
Défis
- Passer à l'échelle supérieure la collecte de données de mouvement à partir de flux de travail contrôlés de type pilote dans un 10 000 heures, multi-environnements .
- Maintenir précision de suivi constante dans diverses situations réelles et avec différentes configurations de participants.
- S'assurer que chaque session respecte des exigences strictes pour Gestion des versions/APK, configuration du réseau partagé, enregistrement d'écran et appariement des capteurs.
- Gérant 100 tâches définies par le client dans des catégories telles que la locomotion, la manipulation d'objets, l'interaction domestique, l'interaction au bureau et les flux de travail physiques en plusieurs étapes, chacune nécessitant une mise en place correcte de la scène, un placement précis des objets, la préparation des participants et une validation par un modérateur.
- Conversion des sessions brutes en sorties prêtes pour le modèle grâce à des processus d'assurance qualité reproductibles, de gestion des reprises et de révision des téléchargements.
Solution
Stratégie de collecte
Shaip a conçu un cadre de collecte évolutif pour 10 000 heures valides de données de mouvement VR, livrées par lots basés sur des étapes clés. Basé sur le ratio de planification des sources de 3 à 5 participants par tranche de 10 heures valides, le programme complet s'étend à une estimation 3,000–5,000 participants(la prise en charge Environ 4 000 participants utilisé comme chiffre de planification médian.
Gestion de l'environnement et des scènes
Chaque lieu de prise de vue a été traité comme une scène structurée. Shaip a documenté l'environnement à l'aide de photographies grand angle des pièces, configuré les scènes dans le système d'administration, coordonné la validation par le client et exporté les fichiers PDF des scènes pour leur mise en place physique. La cartographie des scènes par QR code a permis d'associer avec précision chaque environnement réel à son contexte d'enregistrement.
Préparation de l'appareil et de l'application
Shaip a standardisé la préparation technique en veillant à ce que le casque VR et le dispositif de surveillance soient connectés au même réseau, en contrôlant le flux d'installation/de mise à jour des APK et en activant la capture d'écran via navigateur pour la visibilité du modérateur tout au long de la session.
Suivi et étalonnage des mouvements
Avant chaque session, les cinq capteurs de mouvement étaient appariés et validés. L'étalonnage était obligatoire pour chaque participant et comprenait la vérification de l'alignement de l'avatar, l'ajustement du sol et la configuration personnalisée des limites afin de garantir une capture précise des mouvements du corps entier dans l'espace d'activité enregistrable.
Exécution et modération des tâches
Avant l'enregistrement, les participants ont été guidés dans la préparation et la répétition des tâches spécifiques à chaque scène. Les modérateurs ont observé la performance via un enregistrement d'écran, vérifié la précision des tâches et la fluidité des mouvements, et n'ont procédé à la capture en direct que lorsque le comportement des capteurs et les mouvements des participants répondaient aux critères de qualité. Le démarrage et l'arrêt de l'enregistrement étaient gérés par le flux de travail gestuel défini.
Assurance qualité et résultats prêts à être modélisés
Après l'enregistrement, les sessions étaient archivées pour analyse. Shaip a validé la netteté des mouvements, l'exactitude des tâches, l'alignement des scènes et la précision des capteurs, annulant ou reprenant les enregistrements inutilisables si nécessaire. Cette méthode a permis d'obtenir plus facilement des jeux de données annotables, validés par assurance qualité et prêts pour la modélisation, en vue de l'entraînement de l'IA et de la robotique embarquées.
Description du projet
| Type de jeu de données | Participants | Volume d'enregistrement | Environnements | Volume de tâches | Configuration de capture | Forum |
|---|---|---|---|---|---|---|
| Capture de mouvement VR égocentrique | ~ 4,000 | 10 000 heures valides | Bureau, domicile, café, usine, entrepôt et autres environnements réels | 100 tâches définies par le client | Casque de réalité virtuelle + 5 capteurs de mouvement | 1 mois |
Le résultat
- Mise en place d'un cadre d'opérations de données évolutif pour 10 000 heures de données d'entraînement pour l'IA physique
- Normalisé Gestion des scènes, cartographie basée sur les codes QR et étalonnage à cinq capteurs dans des environnements distribués
- Amélioration de la cohérence des collectes grâce à répétition modérée, examen en temps réel des enregistrements d'écran et questions-réponses au niveau de la session
- Les utilisateurs de l’app Smart Spaces avec Google Wallet profitent d’un accès mobile sans contact avec tout lecteur HID® Signo™ compatible NFC. Sorties validées par la tâche et prêtes à être annotées pour le développement de modèles d'IA incarnée, de simulation et de robotique en aval
- Renforcement du client pipeline de données simulées à réelles avec une capture de mouvement égocentrique de haute qualité
issus de divers environnements réels
Globalement, Shaip a contribué à transformer une exigence complexe de capture VR en un pipeline de données structuré et prêt pour la production, capable de prendre en charge IA physique, intelligence incarnée et robotique humanoïde Des initiatives avec une cohérence, une traçabilité et une envergure accrues.
Shaip nous a aidés à mettre en place l'infrastructure de traitement des données pour notre feuille de route en IA physique. Son équipe a structuré la capture de mouvement multi-environnements, la gestion des participants, la configuration des scènes, le calibrage et l'assurance qualité, ce qui nous a permis de générer des ensembles de données prêts à l'emploi pour la modélisation, favorisant ainsi l'apprentissage du virtuel au réel pour l'IA incarnée et la robotique humanoïde.
– Vice-président, Infrastructure de données et de simulation
