Annotation d'images de véhicules pour les déclarations de sinistres, l'estimation des réparations et l'inspection de flottes par IA — Étude de cas
Comment Shaip a fourni une annotation spécialisée des dommages aux véhicules combinant la segmentation polygonale de chaque partie de la carrosserie avec une classification des dommages en 11 classes et des recommandations de réparation au niveau des composants — conçue comme un ensemble de données de qualité production pour le traitement automatisé des demandes d'indemnisation et l'IA d'inspection des véhicules.
Résumé du projet
À mesure que l'assurance et l'IA automobile évoluent vers une évaluation automatisée des sinistres et une inspection des véhicules, le client avait besoin d'un pipeline d'annotation capable de segmenter chaque partie de la carrosserie d'un véhicule, ainsi que d'une classification détaillée des dommages, à un niveau de granularité permettant de formuler des recommandations de réparation au niveau des composants.
Shaip a construit le pipeline d'annotation de bout en bout couvrant la segmentation polygonale des parties du corps, la classification des dommages en 11 classes, l'étiquetage des attributs de gravité, d'emplacement et de réparation, et l'intelligence des dommages multicouches — produisant des ensembles de données prêts pour la modélisation pour l'inspection automatisée des véhicules et l'IA des demandes d'indemnisation d'assurance.
Principales statistiques
Couverture des parties du corps
Extérieur complet
Classes de dégâts
11
Couches d'attributs
4
Balises de réparation
Types 4
Défis
- Segmentation chaque partie du corps — pare-chocs, portes, phares, ailes, jantes en alliage, rétroviseurs, montants
- Classement 11 types de dommages distincts — rayure, bosse, fissure, éclatement, peinture écaillée, rouille, pièce manquante, verre brisé
- Distinguer dommages subtils à cause des reflets de surface, de la saleté et des ombres
- Manipulation types de dommages qui se chevauchent sur un seul panneau avec plusieurs étiquettes
- Génération recommandations de réparation au niveau des composants — polir, repeindre, redresser la carrosserie, remplacer
Solution
Segmentation polygonale des parties du corps
Chaque partie visible de la carrosserie de chaque véhicule a été annotée individuellement à l'aide d'une segmentation polygonale précise ou de boîtes englobantes, couvrant la structure extérieure complète : pare-chocs avant et arrière, capot, coffre, toit, pare-brise avant et arrière, vitres latérales, portes gauche et droite, ailes, rétroviseurs latéraux, phares, feux arrière, calandre, montants, bas de caisse, passages de roue et jantes en alliage.
Classification des dommages en 11 classes
Chaque élément annoté a été étiqueté avec une classification détaillée des dommages : absence de dommage, rayure légère, rayure profonde, bosse, fissure, éclatement, peinture écaillée, rouille, déformation, pièce manquante et bris de verre. Cette taxonomie précise des dommages facilite le tri des réparations au niveau des composants.
Renseignements sur les dommages multicouches
Des attributs contextuels supplémentaires ont été ajoutés à chaque annotation, précisant la gravité des dommages (mineurs, modérés, importants), leur localisation sur la pièce (dessus, centre, dessous, bord gauche, bord droit), la recommandation de réparation (polissage, peinture, redressage, remplacement) et l'état général de la pièce. Ce système d'étiquetage multicouche permet au modèle d'IA de générer des recommandations de réparation au niveau des composants directement à partir des données d'image.
Différenciation subtile des dommages
Les annotateurs ont suivi des critères visuels stricts pour différencier les types de rayures, la profondeur des impacts et les motifs de fissures sur les différents matériaux de surface des véhicules, notamment les panneaux métalliques, les pare-chocs en plastique et les éléments en verre. Les rayures superficielles et les éraflures de peinture ont été soigneusement distinguées des reflets normaux ou des traces de saleté.
Cas particuliers et panneaux à dommages multiples
Les cas particuliers incluaient les dommages sur des surfaces courbes nécessitant un traçage polygonal de haute précision, les véhicules fortement endommagés présentant plusieurs types de dommages se chevauchant sur un même panneau, les dommages anciens et récents distingués par l'oxydation de surface et l'état de la peinture, ainsi que les dommages visibles dans les reflets ou sous des angles de prise de vue extrêmes. Les images extérieures ajoutaient de la complexité en raison des interférences d'ombres et des reflets sur les surfaces métalliques.
Description du projet
| Type de jeu de données | Territoire desservi | Classes de dégâts | Niveaux de gravité | Balises de réparation | Méthodologie |
|---|---|---|---|---|---|
| Dommages au véhicule + partie de carrosserie | Extérieur complet | les classes 11 | 3 (mineur / modéré / grave) | 4 (polissage / peinture / réparation de carrosserie / remplacement) | Polygone + boîte |
Les résultats
- Établi un pipeline de segmentation complète des parties externes du corps avec classification des dommages
- Normalisé Taxonomie des dommages en 11 classes allant de la rayure à la partie manquante
- Livré Renseignements sur les dommages à 4 niveaux (gravité, localisation, recommandation de réparation, score d'état)
- Mis en œuvre différenciation subtile des dommages distinguer les dommages des reflets et de la saleté
- Activé le client Automatisation des déclarations de sinistres, estimation des réparations, inspection de flottes et évaluation des véhicules d'occasion AI
Globalement, Shaip a contribué à transformer une exigence complexe d'annotation des dommages aux véhicules en un pipeline structuré et prêt pour la production, capable de prendre en charge l'évaluation automatisée des demandes d'indemnisation, l'estimation des coûts de réparation, l'automatisation de l'inspection des flottes et l'IA d'évaluation des voitures d'occasion avec une intelligence de réparation au niveau des composants.
Le système de gestion des dommages automobiles de Shaip a parfaitement répondu aux besoins de notre automatisation des sinistres : chaque partie de la carrosserie a été segmentée, chaque type de dommage classé et chaque recommandation de réparation étiquetée. Cette précision s'est traduite par des décisions de sinistre plus rapides et plus exactes.
