Si vous avez l'intention de lancer une entreprise de beignets prospère, vous devez préparer le meilleur beignet du marché. Bien que vos compétences techniques et votre expérience jouent un rôle crucial dans votre entreprise de beignets, pour que votre délicatesse clique véritablement parmi vos publics cibles et récupère des affaires récurrentes, vous devez préparer vos beignets avec les meilleurs ingrédients possibles.
La qualité de vos ingrédients individuels, l'endroit d'où vous les achetez, la façon dont ils se mélangent et se complètent, et plus invariablement déterminent le goût, la forme et la consistance du beignet. Il en va de même pour le développement de vos modèles d'apprentissage automatique.
Bien que l'analogie puisse sembler bizarre, sachez que le meilleur ingrédient que vous pourriez insuffler dans votre modèle d'apprentissage automatique sont des données de qualité. Ironiquement, c'est aussi la partie la plus difficile du développement de l'IA (intelligence artificielle). Les entreprises ont du mal à trouver et à compiler des données de qualité pour leurs procédures de formation à l'IA, finissant par retarder le temps de développement ou lancer une solution avec moins d'efficacité que prévu.
Limités par des budgets et des contraintes opérationnelles, ils sont contraints de recourir à des méthodes de collecte de données décalées telles que différentes techniques de crowdsourcing. Alors, ça marche ? Est crowdsourcing de données de haute qualité vraiment une chose ? Comment mesurer la qualité des données en premier lieu ?
Découvrons-le.
Qu'est-ce que la qualité des données et comment la mesurer ?
La qualité des données ne se traduit pas seulement par la propreté et la structure de vos ensembles de données. Ce sont des métriques esthétiques. Ce qui compte vraiment, c'est la pertinence de vos données pour votre solution. Si vous développez un modèle d'IA pour un solution de santé et la majorité de vos ensembles de données ne sont que des statistiques vitales provenant d'appareils portables, ce que vous avez, ce sont de mauvaises données.
Avec cela, il n'y a aucun résultat tangible que ce soit. Ainsi, la qualité des données se résume à des données contextuelles aux aspirations de votre entreprise, complètes, annotées et prêtes pour la machine. L'hygiène des données est un sous-ensemble de tous ces facteurs.
Maintenant que nous savons ce que sont des données de mauvaise qualité, nous avons également répertorié vers le bas une liste de 5 facteurs qui influencent la qualité des données.
Comment mesurer la qualité des données ?
Il n'y a pas de formule que vous pourriez utiliser sur une feuille de calcul et mettre à jour la qualité des données. Cependant, il existe des mesures utiles pour vous aider à suivre l'efficacité et la pertinence de vos données.
Ratio données/erreurs
Cela permet de suivre le nombre d'erreurs d'un ensemble de données par rapport à son volume.
Valeurs vides
Cette métrique indique le nombre de valeurs incomplètes, manquantes ou vides dans les ensembles de données.
Taux d'erreurs de transformation de données
Cela permet de suivre le volume d'erreurs qui surviennent lorsqu'un ensemble de données est transformé ou converti dans un format différent.
Volume de données sombres
Les données sombres sont toutes les données inutilisables, redondantes ou vagues.
Durée des données jusqu'à la valeur
Cela mesure le temps que votre personnel consacre à l'extraction des informations requises à partir des ensembles de données.
Alors, comment garantir la qualité des données lors du crowdsourcing
Il y aura des moments où votre équipe sera poussée à collecter des données dans des délais stricts. Dans ces cas, techniques de crowdsourcing aider significativement. Cependant, cela signifie-t-il que le crowdsourcing de données de haute qualité peut toujours être un résultat plausible ?
Si vous êtes prêt à prendre ces mesures, la qualité de vos données de crowdsourcing augmenterait dans une certaine mesure et vous pourriez les utiliser à des fins de formation rapide en IA.
Lignes directrices claires et sans ambiguïté
Le crowdsourcing signifie que vous approcherez les travailleurs du crowdsourcing sur Internet pour contribuer à vos besoins avec des informations pertinentes.
Il y a des cas où des personnes authentiques ne parviennent pas à fournir des détails corrects et pertinents parce que vos exigences étaient ambiguës. Pour éviter cela, publiez un ensemble de directives claires sur l'objet du processus, comment leurs contributions aideraient, comment ils pourraient contribuer, et plus encore. Pour minimiser la courbe d'apprentissage, présentez des captures d'écran expliquant comment soumettre des détails ou créez de courtes vidéos sur la procédure.
Diversité des données et suppression des biais
Il est possible d'empêcher l'introduction de biais dans votre pool de données lorsqu'ils sont traités à des niveaux fondamentaux. Le biais n'apparaît que lorsqu'un volume important de données est orienté vers un facteur particulier tel que la race, le sexe, la démographie, etc. Pour éviter cela, rendez votre foule aussi diversifiée que possible.
Publiez votre campagne de crowdsourcing à travers différents segments de marché, personnalités du public, ethnies, groupes d'âge, milieux économiques, etc.. Cela vous aidera à compiler un riche pool de données que vous pourrez utiliser pour des résultats impartiaux.
Plusieurs processus d'assurance qualité
Idéalement, votre procédure d'assurance qualité devrait impliquer deux processus principaux :
- Un processus dirigé par des modèles d'apprentissage automatique
- Et un processus dirigé par une équipe d'associés professionnels de l'assurance qualité
Contrôle qualité de l'apprentissage automatique
Cela pourrait être votre processus de validation préliminaire, où les modèles d'apprentissage automatique évaluent si tous les champs requis sont remplis, les documents ou les détails nécessaires sont téléchargés, si les entrées sont pertinentes pour les champs publiés, la diversité des ensembles de données, etc. Pour les types de données complexes tels que l'audio, les images ou les vidéos, les modèles d'apprentissage automatique peuvent également être formés pour valider les facteurs nécessaires tels que la durée, la qualité audio, le format, etc..
AQ manuel
Il s'agirait d'un processus de contrôle qualité de deuxième couche idéal, où votre équipe de professionnels effectue des audits rapides d'ensembles de données aléatoires pour vérifier si les mesures et les normes de qualité requises sont respectées.
S'il existe une tendance dans les résultats, le modèle pourrait être optimisé pour de meilleurs résultats. La raison pour laquelle l'AQ manuelle ne serait pas un processus préliminaire idéal est le volume d'ensembles de données que vous obtiendrez éventuellement.
Alors, quel est votre plan ?
Il s'agissait donc des meilleures pratiques les plus pratiques pour optimiser crowdsourced qualité des données. Le processus est fastidieux mais des mesures comme celles-ci le rendent moins lourd. Mettez-les en œuvre et suivez vos résultats pour voir s'ils sont conformes à votre vision.