LiDAR multimodal ferroviaire et annotation 2D
Comment Shaip a réalisé l'un des projets les plus diversifiés en termes de types d'annotations dans le domaine de l'IA ferroviaire — combinant des images de caméra 2D et des nuages de points LiDAR 3D sur plus de 39 classes d'objets et 8 types d'étiquettes distincts pour alimenter les systèmes de perception autonome des trains et de sécurité ferroviaire.
Résumé du projet
À mesure que la perception autonome des trains se dirige vers un déploiement en production, le client avait besoin d'un pipeline d'annotation multimodal à grande échelle capable d'étiqueter l'environnement ferroviaire complet à partir d'images de caméras 2D et de données de nuages de points LiDAR 3D avec une précision spatiale constante.
Shaip a construit le pipeline d'annotation multimodal de bout en bout couvrant 8 types d'étiquettes distincts, plus de 39 classes d'objets et plus de 25 classifications d'état de signalisation à travers les systèmes de signalisation H/V et Ks, fournissant des ensembles de données validés de manière croisée et prêts pour le modèle pour l'IA d'autonomie et de sécurité ferroviaires.
État clé
Classes d'objets
39
Types d'annotations
8
États de signalisation
25
Modalités
2D + 3D
Défis
- Manipulation Annotation multimodale 2D + 3D avec une cohérence spatiale validée par validation croisée
- Annoter Plus de 39 classes d'objets couvrant les personnes, les véhicules, les infrastructures, les animaux et les objets de sécurité
- Opérant à travers 8 types d'annotations — Boîtes englobantes 2D/3D, cuboïdes, polylignes, polygones
- Classement Plus de 25 états de signal distincts sur les systèmes de signalisation allemands H/V et Ks
- Application logique de seuil de foule et annotation continue de la voie sous les objets de wagon
Solution
Pipeline d'annotation multimodale
Shaip a mis en place un pipeline d'annotation parallèle combinant caméra 2D et LiDAR 3D, avec validation croisée entre les modalités. Les annotateurs travaillaient simultanément avec les deux sources de données afin de garantir la cohérence spatiale, les états d'occlusion étant évalués uniquement à partir des données du nuage de points et non des images 2D.
Ontologie de classe 39+
L'ontologie d'annotation couvrait les personnes (avec groupe d'âge, aide à la mobilité, rôle fonctionnel, posture corporelle, objets transportés et attributs de distraction), les véhicules (vélos, motos, véhicules routiers par sous-catégorie), 18 espèces animales et l'infrastructure ferroviaire, y compris les voies, les aiguillages, les poteaux de caténaire, les signaux, les butoirs, les ponts de signalisation, les patins de freinage et les objets de test réfléchissants.
Classification de l'état du signal
Les signaux ont été annotés avec une classification détaillée de leurs aspects pour les systèmes de signalisation H/V et Ks, couvrant plus de 25 états distincts. Les annotateurs ont identifié les aspects précis des signaux, vus de face et de dos, en distinguant les signaux lumineux des signaux de forme dans plusieurs systèmes de signalisation ferroviaire allemands.
Seuil de foule et logique de groupe
L'annotation des foules nécessitait un seuil minimal de six personnes se chevauchant avant de passer de l'annotation individuelle à l'annotation de groupe. Les groupes de vélos et d'animaux suivaient la même logique de seuil, avec des règles uniformes concernant la pose et l'espèce au sein de chaque groupe. Ceci garantissait un étiquetage efficace des scènes à forte densité, sans perte de détails.
Annotation de piste continue
Les voies ont été annotées en continu, même sous les trains ou les wagons, les aiguillages et les butoirs étant cartographiés avec précision. Cette couche de continuité est essentielle pour la planification des trajectoires ferroviaires et la détection des obstacles en aval.
Description du projet
| Type de jeu de données | Modalités | Cours | Types d'étiquettes | États de signalisation | Systèmes |
|---|---|---|---|---|---|
| perception de l'environnement ferroviaire | LiDAR 2D + 3D | 39 | 8 (boîtes, cuboïdes, polylignes, polygones) | 25 | H/V, Ks |
Les résultats
- Établi un pipeline d'annotation LiDAR multimodal 2D + 3D pour la perception des trains autonomes
- Normalisé Ontologie de plus de 39 classes d'objets englobant les personnes, les véhicules, les animaux et l'infrastructure ferroviaire
- Livré Plus de 25 classifications d'état de signal sur les systèmes de signalisation allemands H/V et Ks
- Mis en œuvre logique de seuil de foule et annotation continue des voies sous les wagons
- Activé le client train autonome, sécurité et IA de détection d'obstacles feuille de route
Globalement, Shaip a contribué à transformer une exigence de perception ferroviaire multimodale en un pipeline d'annotation structuré et prêt pour la production, capable de prendre en charge l'exploitation autonome des trains, l'IA de sécurité ferroviaire et les systèmes de reconnaissance de signaux avec une cohérence spatiale 2D-3D validée à grande échelle.
Shaip a géré la complexité des annotations, un aspect que la plupart des fournisseurs refusent de traiter : plus de 39 classes, 8 types d’étiquettes, plus de 25 états de signalisation, validation croisée 2D et 3D… Le tout a été intégré dans un pipeline unique et coordonné. Nos modèles de perception ferroviaire ont ainsi pu s’entraîner plus rapidement.
