Ensembles de données textuelles sous licence pour la formation LLM et IA
Licence pour des corpus de textes prêts à l'emploi pour la formation en LLM, NLP et IA générative — questions-réponses conversationnelles, code, actualités, données cliniques, académiques et multilingues, adaptés à votre projet.
Ensembles de données textuelles sous licence pour la formation LLM et NLP
Le catalogue de données textuelles de Shaip propose aux équipes d'IA des jeux de données textuelles prêts à l'emploi pour l'entraînement, l'optimisation et l'évaluation de grands modèles de langage (LLM) et de systèmes de traitement automatique du langage naturel (TALN). Il couvre huit catégories. Chaque jeu de données provient de documents réels et peut être adapté à votre projet.
Le catalogue comprend des ensembles de données de questions-réponses conversationnelles et d'instructions en anglais et en arabe, couvrant l'arabe standard moderne et les dialectes saoudien, émirati, égyptien et levantin. Il contient également des ensembles de données de dépôts de code dans neuf langages de programmation, dont plusieurs avec un historique complet des demandes de fusion et des commits. Pour les modèles d'actualités et RAG, des ensembles de données d'actualités sont disponibles en anglais, en espagnol et en arabe, incluant une archive de 975 000 articles remontant à 1999. Les équipes d'IA en santé peuvent utiliser des ensembles de données de questions-réponses cliniques et de cas cliniques , disponibles en versions « gold » et « silver », avec anonymisation incluse.
Pour le préentraînement, on dispose de corpus de textes bruts et de données web , dont un corpus arabe de 20 millions de mots. Les corpus de documents numérisés prennent en charge l'IA documentaire et l'extraction d'informations. Les textes académiques et d'éditeurs couvrent douze disciplines scientifiques et techniques, tandis que les textes de divertissement scénarisés incluent des films, des séries télévisées, des dessins animés et des micro-drames.
Chaque jeu de données est accompagné d'une licence claire et d'un contrôle qualité. Des exemples sont disponibles pour vous permettre d'évaluer un jeu de données avant de l'acheter. Parcourez une catégorie ci-dessous ou contactez-nous pour discuter de la collecte de données textuelles sur mesure.
Ensembles de données de questions-réponses et d'instructions conversationnelles
Ces ensembles de données contiennent des paires de questions-réponses et des consignes rédigées par des humains, en arabe et en anglais, couvrant l'arabe standard moderne ainsi que les dialectes saoudiens, émiratis, égyptiens et levantins. Des ensembles spécifiques à un domaine couvrent les sciences, les technologies, l'ingénierie et les mathématiques (STEM), l'alimentation et l'agriculture. Ils permettent d'optimiser, d'affiner et d'évaluer les modèles linguistiques lorsque la prise en compte des dialectes régionaux et des connaissances culturelles est essentielle.
Ensembles de données de référentiels de code et de logiciels
Des bases de code de production issues de logiciels réels et déployés, utilisant C#, React, TypeScript, Angular, Java, Go, PHP, Swift et BrightScript. Plusieurs entrées incluent l'historique complet des demandes de fusion et des commits, illustrant les modifications apportées au code lors des revues. Elles prennent en charge la complétion, la génération et la compréhension du code, ainsi que l'entraînement des modèles de revue de code. Des dépôts sont disponibles pour évaluation avant l'acquisition d'une licence.
Ensembles de données de textes d'actualité et journalistiques
Articles d'actualité rédigés et édités par des professionnels, issus d'une grande agence de presse internationale, disponibles sous forme de flux RSS en anglais, espagnol et arabe, et sous forme d'archives de 975 000 articles publiés depuis 1999. Chaque article comporte un nom d'auteur, une date, un titre, un corps de texte et des balises thématiques. Ils se prêtent à l'entraînement de modèles d'actualité, à la génération assistée par la recherche et aux tâches de raisonnement temporel.
Questions-réponses cliniques et ensembles de données de cas
Des ensembles de questions-réponses médicales, des résumés de cas cliniques et des articles médicaux en texte intégral sont disponibles pour l'entraînement et l'évaluation de modèles axés sur la santé. Deux ensembles de données sont proposés : les premiers, de qualité supérieure, sont préparés selon des normes d'examen plus rigoureuses à des fins d'analyse comparative. Lorsque les documents sources contiennent des informations personnelles identifiables ou des données de santé protégées, leur occultation, leur dépersonnalisation et leur masquage sont systématiquement appliqués.
Textes bruts et corpus à l'échelle du Web
Des corpus volumineux de textes bruts, d'invites et de scripts de synthèse vocale couvrant l'arabe standard moderne et les dialectes régionaux, dont un corpus brut de 20 millions de mots. Ils permettent le pré-entraînement des modèles de langage et l'enrichissement du vocabulaire et de la couverture dialectale des modèles performants en arabe standard moderne mais moins performants avec les variantes régionales parlées.
Corpus de documents et de textes numérisés
Les documents numérisés et les formulaires structurés sont fournis au format PDF, avec une mise en page et une qualité de numérisation authentiques, et non des rendus synthétiques. Ils prennent en charge l'IA documentaire, le traitement automatique du langage naturel (en complément de la reconnaissance optique de caractères) et l'extraction d'informations, notamment pour la compréhension des documents de type clé-valeur et des tableaux, où la mise en page est aussi importante que le texte lui-même.
Ensembles de données textuelles académiques et d'éditeurs
Des livres et des articles de revues en texte intégral, sous licence d'un éditeur universitaire et accessibles via API, couvrent douze domaines des sciences physiques et de l'ingénierie : astronomie, biomédical, génie civil, génie électrique et électronique, énergie, génie industriel, science des matériaux, génie mécanique, nanotechnologie, physique, science des polymères et gestion de la sécurité. Ils sont particulièrement adaptés à la formation initiale et à la recherche documentaire scientifique et technique, en complément des publications à comité de lecture.
Divertissement scénarisé et texte narratif
Scénarios, transcriptions et textes narratifs issus d'un vaste catalogue de productions scénarisées (longs métrages, séries télévisées, animation et micro-dramas) couvrant les genres drame, comédie, science-fiction, western, action, mystère, romance, thriller et œuvres religieuses. Ils facilitent la génération de récits et de dialogues, la modélisation de la mise en page et l'adaptation des scènes.
Questions fréquentes
1. Que sont les ensembles de données textuelles pour l'entraînement de l'IA ?
Les jeux de données textuelles pour l'entraînement de l'IA sont des collections organisées de textes, comme des paires question-réponse, des instructions, des articles, du code, des dossiers cliniques, des livres et des scripts, utilisées pour pré-entraîner, affiner et évaluer les grands modèles de langage (LLM) et les systèmes de traitement automatique du langage naturel (TALN). Le catalogue de données textuelles de Shaip propose des jeux de données prêts à l'emploi, répartis en huit catégories et issus de documents réels.
2. Quels types de jeux de données textuelles propose Shaip ?
Le catalogue couvre huit catégories : ensembles de données de questions-réponses conversationnelles et d’instructions, ensembles de données de référentiels de code et de logiciels, textes d’actualité et journalistiques, ensembles de données de questions-réponses cliniques et de cas cliniques, corpus de textes bruts et à l’échelle du Web, corpus de documents numérisés, textes universitaires et d’éditeurs, et textes de divertissement et narratifs scénarisés.
3. Quelles langues et quels dialectes sont couverts ?
Les jeux de données sont disponibles en anglais, en arabe et en espagnol. La couverture arabe inclut l'arabe standard moderne ainsi que les dialectes saoudiens, émiratis, égyptiens et levantins, ce qui est utile aux modèles qui gèrent bien l'arabe standard moderne mais qui ont des difficultés avec les variantes régionales parlées.
4. Quels cas d'utilisation de l'IA ces ensembles de données prennent-ils en charge ?
Les cas d'utilisation courants incluent le pré-entraînement LLM, le réglage et l'ajustement fin des instructions, l'évaluation et l'analyse comparative des modèles, la génération augmentée par la récupération (RAG), la complétion et la révision du code, l'IA dans le domaine de la santé, l'IA documentaire et l'extraction d'informations, ainsi que la génération de dialogues et de scénarios.
5. Puis-je évaluer un ensemble de données avant d'en acquérir la licence ?
Oui. Il est possible d'obtenir des échantillons ou un accès à l'évaluation avant d'acquérir une licence pour un jeu de données, afin que votre équipe puisse en vérifier l'adéquation, le format et la qualité. Contactez-nous en nous précisant votre cas d'utilisation pour demander un échantillon de la catégorie appropriée.
6. Comment les données sensibles telles que les informations personnelles identifiables (IPI) et les informations de santé protégées (ISP) sont-elles traitées ?
Lorsque les documents sources contiennent des informations personnelles identifiables ou des renseignements médicaux protégés, comme les données cliniques, la rédaction, la dépersonnalisation et le masquage sont intégrés à la mission afin que les données répondent à vos exigences en matière de confidentialité et de conformité.
7. Quelle est la différence entre les ensembles de données dorés et argentés ?
Les jeux de données de référence sont préparés selon des normes d'examen plus strictes et sont parfaitement adaptés à l'analyse comparative et à l'évaluation. Les jeux de données d'argent sont soumis à un examen standard et conviennent parfaitement à l'entraînement à grande échelle, où le volume est primordial.
8. Les ensembles de données peuvent-ils être personnalisés ou étendus ?
Oui. Les jeux de données peuvent être adaptés à votre projet par langue, domaine, volume ou format. Si le catalogue ne répond pas à vos besoins, Shaip peut collecter et annoter des données textuelles personnalisées selon vos spécifications.
9. Quelles sont les options de licence disponibles ?
L'octroi de licences est adapté à chaque projet en fonction des données, du volume, de l'utilisation prévue et de la durée. Certains ensembles de données, comme les contenus d'actualité, sont disponibles à la fois sous forme de flux continu et sous forme d'archives ponctuelles.
10. Comment les ensembles de données sont-ils livrés ?
Le mode de diffusion dépend du jeu de données. Il peut s'agir de fichiers structurés, de PDF pour les documents numérisés, de flux RSS pour l'actualité ou d'une diffusion via API pour les contenus académiques et d'éditeurs. Le format de diffusion peut être adapté à votre processus de formation.
11. Combien coûtent les ensembles de données textuelles ?
Le prix dépend de la catégorie, du volume, de l'exclusivité et des conditions de licence. Faites part de vos besoins à notre équipe pour obtenir un devis personnalisé.
12. Comment commencer?
Parcourez la catégorie correspondant à votre cas d'utilisation, puis contactez Shaip pour lui faire part de vos besoins. Notre équipe vous fournira les détails de l'ensemble de données, des exemples et définira la licence adaptée à votre projet.
