Annotation des boîtes englobantes pour la détection des fruits en agriculture
Comment Shaip a réalisé une annotation précise des boîtes englobantes de chaque pomme visible dans les images du verger — couvrant le cycle de croissance complet, la capture multi-perspective et les attributs de condition à 3 couches — constituant ainsi un ensemble de données de qualité production pour l'estimation du rendement, la récolte robotisée et l'IA de santé des cultures.
Résumé du projet
À mesure que l'agriculture de précision évolue vers une récolte pilotée par l'IA et une prédiction des rendements, le client avait besoin d'un pipeline d'annotation capable de détecter les fruits individuels à grande échelle sur des images denses et naturellement encombrées de vergers, couvrant chaque étape de croissance, de la floraison à la récolte.
Shaip a construit le pipeline d'annotation de bout en bout couvrant le placement précis des boîtes englobantes par fruit, l'étiquetage des conditions multi-attributs, la gestion des images multi-perspectives et l'assurance qualité à deux niveaux — produisant des ensembles de données prêts pour la modélisation de l'IA en agriculture de précision à grande échelle.
Principales statistiques
Seuil de précision
99 %
Stades de croissance
Cycle complet
Couches d'attributs
3
Perspectives
Sol + Drone
Défis
- Annoter chaque pomme visible dans des images denses de vergers — des centaines par image
- Couverture le cycle de croissance complet — fleurs, petits fruits verts, pommes bien mûres
- Manipulation imagerie multi-perspective — au niveau du sol, vue aérienne par drone, gros plan sur une branche
- Distinguer fruits issus du feuillage lorsque les couleurs se mélangent au cours des premiers stades de croissance
- Gérant occlus, partiels et affectés par l'éblouissement fruits sans compromettre la précision
Solution
Placement de la boîte de délimitation par fruit
Les annotateurs ont tracé des cadres précis autour de chaque pomme visible sur chaque image, indépendamment de sa taille, de son stade de coloration ou de sa position dans le cadre. Même dans les grappes denses où des dizaines de fruits se chevauchaient, chacun a été étiqueté individuellement afin de faciliter le comptage des fruits et l'estimation du rendement par la suite.
Couverture complète du cycle de croissance
L'annotation couvrait les pommes à tous les stades de leur croissance, depuis les premières fleurs et les petits fruits verts jusqu'aux pommes rouges et jaunes pleinement mûres. Cette couverture complète du cycle de vie garantit que le modèle entraîné peut détecter les fruits à n'importe quel moment du cycle agricole, et pas seulement à la récolte.
Imagerie multi-perspective
Des images prises au ras du sol dans les vergers, des vues aériennes par drone et des photographies rapprochées de branches ont été intégrées, conférant à l'ensemble de données une grande diversité et une excellente représentativité des conditions réelles d'utilisation. Chaque perspective a fait l'objet d'annotations spécifiques.
Classification des attributs à 3 niveaux
Chaque pomme annotée a ensuite été classée selon des attributs couvrant le stade de maturité (verte, semi-mûre, mûre), la visibilité (entièrement visible, partiellement cachée, fortement cachée) et l'état du fruit (sain, endommagé, malade). Cette approche multi-attributs permet au modèle entraîné d'évaluer la maturité à la récolte et la santé de la culture, en plus de la détection des fruits.
Gestion des cas limites
Les annotateurs ont suivi des directives strictes concernant les pommes partiellement hors cadre, les pommes au sol, les surfaces réfléchissantes ou brillantes des fruits provoquant des reflets parasites, et les petits fruits éloignés nécessitant un zoom pour être identifiés. La variabilité de l'éclairage, notamment les ombres portées par la canopée, a été gérée grâce à des règles d'annotation tenant compte de la perspective.
Description du projet
| Type de jeu de données | Objectif | Stades de croissance | Perspectives | Attributs | Exactitude |
|---|---|---|---|---|---|
| détection des fruits agricoles | Les pommes | Cycle complet (fleurir → mûrir) | Au sol + drone + gros plan | Maturité, visibilité, état | 99 % |
Les résultats
- Établi un pipeline de boîte englobante de verger dense capable de détecter tous les fruits visibles
- Normalisé Couverture complète des annotations du cycle de croissance de la floraison à la récolte
- Livré Classification par attributs à 3 niveaux pour la maturité, la visibilité et l'état
- facile Porte de précision à 99 % via un contrôle qualité à deux niveaux sur des images multi-perspectives
- Activé le client Estimation des rendements, récolte robotisée, santé des cultures et surveillance par drones AI
Globalement, Shaip a contribué à transformer une exigence de détection des fruits à l'échelle d'un verger en un pipeline d'annotation structuré et prêt pour la production, capable de prendre en charge l'agriculture de précision, la récolte robotisée, la prédiction des rendements et l'IA de surveillance de la santé des cultures dans divers environnements de vergers et cycles de croissance.
Shaip a annoté des pommes que nous ne pouvions même pas distinguer des feuilles sur certaines images. Leur stade de croissance et leur état ont été directement intégrés à nos modèles d'estimation du rendement et de planification des récoltes.
