Transformer la compréhension du paysage ferroviaire grâce au LiDAR et à l'annotation 2D
Découvrez comment les services LiDAR, caméra et annotation de données 2D de Shaip aident les modèles d'IA à détecter les objets, à comprendre les environnements ferroviaires et à améliorer la perception de la mobilité autonome.
Résumé du projet
Les systèmes modernes de perception ferroviaire exigent bien plus qu'un simple étiquetage générique des objets. Ils requièrent un contexte spécifique au réseau ferroviaire, une géométrie précise et une cohérence fiable entre les différents capteurs, notamment les nuages de points LiDAR et les vues synchronisées des caméras.
Pour répondre à ce besoin, Shaip a été engagé pour un projet d'annotation de données LiDAR ferroviaires couvrant des scènes d'infrastructure ferroviaire. Le projet comprenait l'annotation de nuages de points LiDAR, appuyés par cinq images de référence 2D synchronisées par scène, selon une taxonomie à 29 classes avec des classes obligatoires et optionnelles.
attributs pour chaque classe.
L’objectif était de créer un ensemble de données structuré et contrôlé en termes de qualité, capable de former et de valider des modèles de perception ferroviaire pour la détection d’objets, la compréhension de scènes, la connaissance des voies et l’interprétation des infrastructures.
Principales statistiques
Configuration du capteur
nuage de points LiDAR
Taxonomie
29 classes spécifiques au transport ferroviaire
Objectifs de qualité
Précision globale d'annotation ≥ 99 %
Cohérence inter-capteurs
Alignement LiDAR 2D ≥99 %
Défis
- Annoter de manière cohérente les scènes ferroviaires multimodales à partir d'images LiDAR et 2D
- Gestion d'une taxonomie spécifique au secteur ferroviaire comprenant 29 classes avec des attributs détaillés et des relations entre objets.
- Assurer la cohérence inter-capteurs entre les annotations 3D et 2D
- Préserver la précision géométrique des structures linéaires telles que les voies ferrées et les câbles
- Respecter des seuils de précision stricts pour les étiquettes de classe, la géométrie et les attributs dans un environnement pilote
Solution
Shaip a conçu un flux de travail d'annotation axé sur le secteur ferroviaire et adapté aux exigences techniques du projet.
Stratégie de données
Définition d'un pipeline d'annotation multimodal couvrant les données de nuages de points LiDAR et cinq images de référence 2D synchronisées par image LiDAR.
Cadre d'annotation
Application de plusieurs méthodes d'annotation en fonction du type d'objet et de la structure de la scène :
- Annotation cuboïde 3D pour les objets volumétriques discrets
- Annotation de polylignes 3D pour les structures linéaires liées aux rails
- Boîte englobante 2D pour la localisation d'objets dans les images
- Polygone 2D pour les contours d'objets irréguliers
- Polyligne 2D pour rails, câbles et marquages
- Cuboïde 3D dans des vues 2D où l'orientation et le contexte de profondeur étaient nécessaires
Conception de taxonomie spécifique au secteur ferroviaire
29 classes prédéfinies annotées couvrant les personnes, les objets personnels, les véhicules, les trains, les wagons, les animaux, les voies ferrées, les aiguillages, les poteaux de caténaire, les poteaux de signalisation, les signaux, les ponts de signalisation, les butoirs, les objets de test réfléchissants et autres entités de la scène ferroviaire.
Annotation riche en attributs
Les attributs obligatoires et facultatifs ont été capturés, notamment :
- Niveaux d'occlusion
- État et type
- Connectivité via connectéÀ
- Identification des rails et des voies
- Ordre et orientation des objets
- Propriétés de la face, de l'aspect et de la structure du signal
Intégrité de l'identité et des relations
Nous avons veillé à ce que chaque annotation possède un identifiant d'annotation unique et que chaque objet possède un identifiant d'objet unique au format UUID, avec des relations bidirectionnelles connectedTo de manière sensible aux capteurs.
Règles de précision et assurance qualité
Règles d'annotation mises en œuvre, notamment :
- Estimation de l'occlusion en 2D et 3D
- Seuil d'étiquetage 2D des objets ≥ 25 px de hauteur ou de largeur
- Tolérance 2D de ±3 px
- Tolérance 3D jusqu'à 10 cm
- Alignement de la rotation sur l'axe z pour une cohérence face à l'objet
- Contrôle qualité à 3 niveaux avec boucles de correction pour les sorties sous le seuil
Description du projet
| Élément de l'ensemble de données | Spécifications |
|---|---|
| Modalité principale | données de nuage de points LiDAR |
| Modalité de référence | 5 images 2D synchronisées par trame LiDAR : 3 images IR et 5 images RGB |
| Cours totales | 29 classes spécifiques au transport ferroviaire |
| Types d'annotations 3D | Cuboïde 3D, polyligne 3D |
| Types d'annotations 2D | Boîte englobante 2D, polygone 2D, polyligne 2D, parallélépipède rectangle 3D en vues 2D |
| Volume pilote | 2 séquences |
| Norme d'identification | ID d'annotation basé sur l'UUID et ID d'objet |
| Cibles de précision | Cohérence globale ≥ 99 %, cohérence par attribut ≥ 99 %, cohérence inter-capteurs ≥ 99 % |
Exemple de couverture de classe
| Catégories | Exemples de classes | Type d'annotation |
|---|---|---|
| Humains et mobilité | personne, fauteuil roulant, scooter, vélo, foule | BB 2D / Polygone à 4 points / BB 3D |
| Actifs ferroviaires | train, train_front, wagons, voie, aiguillage, sabot de dragage | polygone contour / polyligne / BB 3D |
| Signalisation et couverture aérienne | signal, poteau de signalisation, pont de signalisation, poteau caténaire | BB 2D / polygone contour / BB 3D |
| Environnement et divers | véhicule routier, animal, groupe d'animaux, objets de test réfléchissants, fumée, flamme | varié selon la classe |
Les résultats
- Mise en place d'un cadre d'annotation multimodale spécifique au secteur ferroviaire pour les données LiDAR et d'imagerie
- Définition d'une taxonomie ferroviaire en 29 classes avec gestion détaillée des attributs
- Définir des critères de qualité de ≥ 99 % pour la précision des annotations, les attributs et la cohérence inter-capteurs.
- Création d'une base opérationnelle pour la construction de modèles de perception ferroviaire à haute fiabilité.
D'un point de vue stratégique, ce projet permet aux systèmes d'IA ferroviaires du client de mieux comprendre les scènes dans les environnements ferroviaires, où la géométrie, la continuité des objets et le contexte de l'infrastructure sont essentiels.
L'approche d'annotation multimodale de Shaip nous a permis de structurer un ensemble de données ferroviaires très spécialisé avec la précision requise pour le développement de modèles de perception. Leur attention portée à la profondeur de la taxonomie, à la précision géométrique et à la cohérence inter-capteurs a jeté les bases solides de notre pipeline d'IA ferroviaire.
