Le succès de tout modèle d'IA dépend de la qualité des données introduites dans le système. Les systèmes ML s'exécutent sur de grandes quantités de données, mais on ne peut pas s'attendre à ce qu'ils fonctionnent avec n'importe quelles données. Il faut que ce soit données d'entraînement IA de haute qualité. Si la sortie du modèle d'IA doit être authentique et précise, il va sans dire que les données de formation du système doivent être de haute qualité.
Les données sur lesquelles les modèles d'IA et de ML sont formés doivent être de première qualité pour que l'entreprise puisse en tirer des informations significatives et pertinentes. Pourtant, se procurer d'énormes volumes de données hétérogènes pose un défi aux entreprises.
Les entreprises devraient s'appuyer sur des fournisseurs comme Shaip, qui mettent en œuvre des mesures strictes de gestion de la qualité des données dans leurs processus pour relever ce défi. De plus, chez Shaip, nous entreprenons également la transformation continue de nos systèmes pour relever les défis en constante évolution.
Introduction à la gestion de la qualité des données de Shaip
Chez Shaip, nous comprenons l'importance de données de formation fiables et leur rôle dans le développement de modèles ML et le résultat de solutions basées sur l'IA. En plus de sélectionner nos travailleurs pour leurs compétences, nous nous concentrons également sur le développement de leur base de connaissances et leur développement personnel.
Nous suivons des directives strictes et des procédures opérationnelles standard mises en œuvre à tous les niveaux du processus afin que nos données de formation répondent aux critères de qualité.
Gestion de la qualité
Notre flux de travail de gestion de la qualité a joué un rôle déterminant dans la fourniture de modèles d'apprentissage automatique et d'IA. Grâce à la rétroaction en boucle, notre modèle de gestion de la qualité est une méthode scientifiquement testée qui a joué un rôle déterminant dans la réalisation réussie de plusieurs projets pour nos clients. Notre flux de processus d'audit de qualité se déroule de la manière suivante.
- Examen du contrat
- Créer une liste de contrôle d'audit
- Recherche de documents
- Audit à deux niveaux
- Modération du texte d'annotation
- Audit d'annotation à 2 couches
- Livraison des travaux
- Commentaires des clients
Sélection et intégration des travailleurs Crowdsource
Notre processus rigoureux de sélection et d'intégration des travailleurs nous distingue du reste de la concurrence. Nous entreprenons un processus de sélection précis pour n'engager que les annotateurs les plus qualifiés sur la base de la liste de contrôle de la qualité. Nous considérons:
- Expérience antérieure en tant que modérateur de texte pour s'assurer que leurs compétences et leur expérience correspondent à nos exigences.
- Les performances des projets précédents pour s'assurer que leur productivité, leur qualité et leur rendement étaient à la hauteur des besoins du projet.
- Une connaissance approfondie du domaine est une condition préalable au choix d'un travailleur particulier pour une verticale spécifique.
Notre processus de sélection ne s'arrête pas là. Nous soumettons les travailleurs à un échantillon de test d'annotation pour vérifier leurs qualifications et leurs performances. Sur la base de la performance dans l'essai, de l'analyse des désaccords et des questions et réponses, ils seront sélectionnés.
Une fois les travailleurs sélectionnés, ils suivront une session de formation approfondie utilisant le cahier des charges du projet, des directives, des méthodes d'échantillonnage, des tutoriels, etc., en fonction des besoins du projet.
Liste de contrôle pour la collecte de données
Des contrôles de qualité à double niveau sont mis en place pour garantir que seuls les données d'entraînement de haute qualité est transmis à l'équipe suivante.
Niveau 1 : contrôle d'assurance qualité
L'équipe QA de Shaip effectue le contrôle de qualité de niveau 1 pour la collecte de données. Ils vérifient tous les documents, et ils sont rapidement validés par rapport aux paramètres nécessaires.
Niveau 2 : Vérification critique de l'analyse de la qualité
L'équipe AQC composée de ressources accréditées, expérimentées et qualifiées évaluera les 20 % restants des échantillons rétrospectifs.
Certains des éléments de la liste de contrôle de la qualité de l'approvisionnement en données comprennent,
- La source de l'URL est-elle authentique et permet-elle de récupérer des données sur le Web ?
- Y a-t-il une diversité dans les URL présélectionnées afin d'éviter les biais ?
- Le contenu est-il validé pour sa pertinence ?
- Le contenu inclut-il des catégories de modération ?
- Les domaines prioritaires sont-ils couverts ?
- Le type de document obtenu tient-il compte de la distribution du type de document ?
- Chaque classe de modération contient-elle la dalle de volume minimum ?
- Le processus Feedback-in-loop est-il suivi ?
Liste de vérification des annotations de données
Semblable à la collecte de données, nous avons également deux couches de liste de contrôle de qualité pour l'annotation des données.
Niveau 1 : contrôle d'assurance qualité
Ce processus garantit que 100 % des documents sont correctement validés par rapport aux paramètres de qualité définis par l'équipe et le client.
Niveau 2 : Vérification critique de l'analyse de la qualité
Ce processus garantit que 15 à 20 % des échantillons rétrospectifs sont également validés et leur qualité assurée. Cette étape est entreprise par l'équipe qualifiée et expérimentée du CQA avec un minimum de 10 ans d'expérience dans la gestion de la qualité et les détenteurs de la ceinture noire.
L'équipe du CQA s'assure,- Cohérence dans la modération des textes par les utilisateurs
- Vérifier si les phrases et les classes de modération correctes sont utilisées pour chaque document
- Vérification des métadonnées
Nous fournissons également des commentaires quotidiens basés sur Analyse de Pareto pour s'assurer que leur performance est à la hauteur des exigences du client.
Nous avons ajouté une autre couche d'analyse des performances pour nous concentrer sur les annotateurs les moins performants à l'aide de la gestion du quartile inférieur. Avant la livraison finale, nous nous assurons également que les contrôles d'hygiène des échantillons sont terminés.
Paramètre Seuil
Selon les directives du projet et les exigences du client, nous avons un seuil de paramètres de 90 à 95 %. Notre équipe est équipée et expérimentée pour entreprendre l'une des méthodes suivantes afin d'assurer des normes de gestion de qualité plus élevées.
- Score F1 ou Mesure F – pour juger de la performance de deux classificateurs – 2* ((Précision * Rappel)/ (Précision + Rappel))
- La méthode DPO ou Defects per Opportunity est calculée comme un ratio de défauts divisé par les opportunités.
Exemple de liste de contrôle d'audit
L'exemple de liste de contrôle d'audit de Shaip est une procédure de personnalisation complète qui peut être adaptée pour répondre aux exigences du projet et du client. Il peut être modifié en fonction des commentaires reçus du client et finalisé après une discussion approfondie.
- Vérification de la langue
- Vérification d'URL et de domaine
- Vérification de la diversité
- Volume par langue et classe de modération
- Mots clés ciblés
- Type de document et pertinence
- Vérification des phrases toxiques
- Vérification des métadonnées
- Contrôle de cohérence
- Vérification de la classe d'annotation
- Toute autre vérification obligatoire selon la préférence du client
L'équipe du CQA s'assure,Nous prenons des mesures strictes pour maintenir les normes de qualité des données car nous comprenons que tous les modèles basés sur l'IA sont basés sur les données. Et ayant données d'entraînement de haute qualité est une condition requise pour tous les modèles d'IA et d'apprentissage automatique. Nous comprenons la criticité des données de formation de qualité et leur importance sur les performances et le succès de vos modèles d'IA.