Améliorer les modèles prédictifs de soins de santé grâce à l'IA générative
Étude de cas sur la détection de la pneumonie et la stadification du cancer
Résumé du projet
Dans le domaine des soins de santé en constante évolution, l’utilisation de l’IA générative, en particulier des modèles de langage étendu (LLM), pour prédire les états pathologiques à partir de rapports cliniques constitue un progrès considérable. Le client, un pionnier de l’analyse de la santé, s’est donné pour mission d’affiner ses modèles de prédiction de l’état pathologique. En exploitant la base de données open source MIMIC CXR et en intégrant des prédictions d’IA générative pour l’analyse initiale, suivie d’une validation manuelle avec Label Studio, l’objectif était d’améliorer la précision et la fiabilité du modèle pour les analyses de rapports cliniques, en particulier les rapports de radiologie.
Défis
L’intégration des prédictions génératives de l’IA dans les flux de travail des soins de santé a présenté de nombreux défis :
La sécurisation de l’accès à des ensembles de données médicales open source de haute qualité comme MIMIC-CXR nécessitait un processus d’accréditation rigoureux, garantissant le respect des normes de confidentialité et d’éthique.
Les résultats initiaux des modèles d’IA génératifs présentaient parfois des inexactitudes dans les prédictions de l’état de la maladie, nécessitant des vérifications manuelles pour une précision accrue.
La classification précise des états pathologiques à partir du langage nuancé des rapports cliniques, en particulier lors de l’utilisation de l’IA générative, constituait un obstacle important.
Garantir des annotations précises et de haute qualité dans l'outil Label Studio nécessite des connaissances spécialisées et une compréhension des états pathologiques médicaux.
Solution
Shaip a mis en œuvre une stratégie globale pour relever ces défis :
- Accréditation simplifiée : L’équipe a rapidement parcouru le processus d’accréditation pour l’accès au MIMIC-CXR, démontrant ainsi son efficacité et son engagement envers des pratiques de recherche éthiques.
- Élaboration de lignes directrices : J'ai développé des lignes directrices pertinentes pour les validateurs manuels afin de garantir la cohérence et la qualité dans l'annotation des prédictions LLM.
- Annotations d'experts sur les prédictions de l'IA : J'ai utilisé une validation et une correction manuelles méticuleuses des prédictions LLM à l'aide de Label Studio, soutenues par une expertise médicale.
- Indicateurs de performance: Grâce à une analyse détaillée, Shaip a calculé les mesures de performance du LLM telles que la concordance, la précision, le rappel et le score F1, permettant une amélioration continue.
Résultat
- Précision améliorée dans la prédiction des conditions de la maladie à partir des rapports de radiologie.
- Développement d'un vérité fondamentale de haute qualité ensemble de données pour le développement futur de produits et l'évaluation des prédictions d'IA génératives.
- Meilleure compréhension d’identification de l’état de la maladie, facilitant des prédictions plus fiables.
Cas d'utilisation 1 : Validation du modèle d'apprentissage automatique
Scénario: Améliorer la précision des prédictions de pneumonie grâce à l'IA générative Dans ce cas, un modèle d'IA générative a passé au crible des rapports de radiographies thoraciques pour détecter des signes de pneumonie. Un rapport notant « Opacité accrue dans le lobe inférieur droit, suggérant un processus infectieux » a incité l'IA à classer le cas dans la catégorie « Incertain » en raison de la formulation ambiguë du rapport.
Processus de validation :
- Un expert médical a examiné le rapport dans Label Studio, en se concentrant sur le texte mis en évidence par l’IA.
- En évaluant le contexte clinique et en appliquant les connaissances radiologiques, l’expert a reclassé le rapport comme « positif » définitif pour la pneumonie.
- Cette correction experte a été réintégrée dans le modèle d’IA, facilitant ainsi son apprentissage et son perfectionnement continus.
Résultats:
- Amélioration de la précision du modèle
- Améliorer la précision et le rappel des indicateurs de performance
Cas d'utilisation 2 : générer un ensemble de données de vérité terrain
Scénario: Création d'un ensemble de données de référence pour la stadification TNM du cancer avec l'IA générative
Dans le but de faire progresser le développement de produits sur la progression du cancer, le client a cherché à rassembler un ensemble complet de données de référence. Cet ensemble de données servirait de référence pour la formation et l'évaluation de nouveaux modèles d'IA afin de prédire avec précision la stadification TNM du cancer à partir de récits cliniques.
Processus de génération de jeux de données :
- Un large éventail de rapports liés au cancer, y compris des résultats de pathologie et des aperçus diagnostiques, a été recueilli.
- Le modèle d’IA générative a fourni des prédictions initiales de stadification TNM pour chaque rapport, en exploitant ses modèles et ses connaissances appris.
- Les professionnels de la santé ont examiné ces prédictions générées par l’IA pour en vérifier l’exactitude, en rectifiant les erreurs et en complétant les informations dans les cas de prédictions d’IA incomplètes ou incorrectes.
Résultats:
- Création d'un ensemble de données de vérité terrain de haute qualité.
- Fondation pour les produits du futur pour le perfectionnement des modèles de nouvelle génération sur le diagnostic et la stadification du cancer.
Travailler avec Shaip a révolutionné notre approche de la prédiction des maladies. La précision et la fiabilité de nos modèles ont été considérablement améliorées grâce aux annotations effectuées par les experts du domaine de Shaip. Grâce à leur processus de validation méticuleux.
