Annotation d'objets dans des scènes d'intérieur pour la robotique de service et l'IA incarnée — Étude de cas
Comment Shaip a fourni une annotation complète de scènes intérieures à une entreprise leader en innovation robotique — en détectant et en étiquetant chaque objet dans les environnements de pièces avec un marquage des relations spatiales — construite comme un ensemble de données de qualité production pour l'IA de perception et de navigation robotique dans les maisons, les bureaux, les entrepôts et les établissements de santé.
Résumé du projet
À mesure que la robotique se déploie dans le monde réel, dans les maisons, les bureaux, les entrepôts et les hôpitaux, le client avait besoin d'un pipeline d'annotation complet capable d'étiqueter chaque objet visible dans des scènes intérieures densément encombrées, avec une richesse d'attributs suffisante pour les tâches d'interaction robotique.
Shaip a construit le pipeline d'annotation de bout en bout couvrant la segmentation des boîtes englobantes et des polygones, l'inclusion dense d'objets, l'étiquetage des relations spatiales et la gestion des surfaces réfléchissantes, produisant des ensembles de données prêts pour la modélisation de la perception robotique, de la navigation et de l'interaction homme-environnement.
Principales statistiques
Objets / Image
100s
Catégories
donner l'un à l'autre
Méthodologie
Boîte + Polygone
Couches d'attributs
4
Défis
- Annoter chaque objet visible dans des images de pièces densément encombrées — des centaines par image
- Choisir la bonne méthode — segmentation par boîte englobante vs segmentation polygonale — en fonction de la complexité de l'objet
- Y compris petits objets comme les interrupteurs, les prises et les éléments décoratifs essentiels à l'interaction robotique
- Manipulation surfaces réfléchissantes (miroirs, tables en verre) sans annotations fantômes
- Étiquetage relations spatiales et les états des objets pour l'IA robotique contextuelle
Solution
Inclusion d'objet complète
Chaque objet visible dans chaque image de pièce a été annoté individuellement dans un large éventail de catégories : meubles (chaises, tables, canapés, lits, étagères), appareils électroménagers (téléviseurs, réfrigérateurs, micro-ondes, lampes), objets personnels (sacs, livres, bouteilles, vêtements), éléments structurels (portes, fenêtres, murs, sols) et petits objets (télécommandes, tasses, assiettes, claviers, interrupteurs, prises).
Sélection de la méthode par objet
Les objets ont été étiquetés avec précision à l'aide de cadres de délimitation ou de segmentation polygonale, selon leur forme et leur complexité. Les cadres ont été utilisés pour les objets rectangulaires réguliers ; les polygones ont permis de représenter les formes organiques et les objets très rapprochés, pour lesquels les cadres auraient entraîné un chevauchement excessif. Ce choix de méthode, adapté à chaque objet, a garanti des contours nets, même dans des scènes complexes.
Étiquetage des relations spatiales
Chaque objet annoté a été enrichi d'attributs précisant son état (ouvert ou fermé pour les portes et les tiroirs), ses relations spatiales (proximité et position par rapport aux autres objets), son statut d'occlusion et son état général. Cette couche d'intelligence spatiale permet aux systèmes d'IA robotiques de comprendre le contexte, et non plus seulement de détecter les objets.
Couverture des petits objets et des interactions critiques
Les annotateurs ont suivi des règles d'inclusion strictes pour étiqueter chaque objet visible, quelle que soit sa taille, y compris les petits éléments comme les interrupteurs, les prises et les objets décoratifs essentiels aux tâches d'interaction robotique. Ces éléments déterminent souvent la capacité d'un robot à accomplir sa tâche ; il était donc impératif de ne pas les négliger.
Manipulation des surfaces réfléchissantes
Les surfaces réfléchissantes, comme les miroirs et les tables en verre, nécessitaient un traitement particulier afin d'éviter les annotations dupliquées ou fantômes. Des directives précises régissaient le traitement des objets réfléchis : étiquetage séparé, ignorance ou signalement. Ainsi, les modèles ultérieurs n'étaient pas influencés par des étiquettes erronées.
Description du projet
| Type de jeu de données | Territoire desservi | Méthodologie | Catégories | Attributs | Traitement spécial |
|---|---|---|---|---|---|
| annotation d'objets de scène intérieure | Chaque objet visible | Boîte + polygone | Meubles, appareils électroménagers, effets personnels, structure, petits | 4 couches (état, spatiale, occlusion, condition) | règles des surfaces réfléchissantes |
Les résultats
- A établi un pipeline d'annotation dense d'objets pour la perception robotique en intérieur
- Normalisé sélection de méthode par objet entre les boîtes englobantes et la segmentation polygonale
- Livré étiquetage des relations spatiales activer l'IA robotique contextuelle
- Mis en œuvre manipulation des surfaces réfléchissantes pour éviter les annotations fantômes
- Activé le client domicile, entrepôt, commerce de détail et établissement de santé déploiement de l'IA en robotique
Globalement, Shaip a contribué à transformer un besoin d'annotation intérieure dense en objets en un pipeline structuré et prêt pour la production, capable de prendre en charge la navigation robotique, l'automatisation du prélèvement et du placement, la surveillance intelligente de l'environnement et l'interaction homme-robot dans divers environnements de déploiement intérieurs.
Shaip a annoté les pièces telles que nos robots les perçoivent : chaque objet, chaque relation, chaque petit détail important. Grâce à leur attention portée aux interrupteurs, aux prises et aux surfaces réfléchissantes, notre modèle de perception n’a pas été perturbé par des éléments généralement ignorés par la plupart des ensembles de données.
