Résumé automatique multicentrique des comptes rendus médicaux (cas d’usage 3 projet PARTAGES)

Objectif(s) de la recherche et intérêt pour la santé publique

Finalité de l'étude

Objectifs poursuivis

Domaines médicaux investigués

Bénéfices attendus

Contexte de l’étude :
Une part importante du temps médical est absorbée par la documentation clinique. En pratique ambulatoire, pour une heure de temps clinique direct avec le patient, les médecins consacrent près de deux heures supplémentaires au dossier informatisé et aux tâches administratives. Dans ce contexte, les modèles de langage suscitent un intérêt croissant pour l’aide à la rédaction clinique, notamment pour la synthèse automatique de documents médicaux. Malgré ces avancées, plusieurs limites persistent : la qualité des résumés doit être évaluée avec soin (fidélité au document source, informations essentielles, robustesse, risque d’hallucinations) et la généralisation des modèles entre établissements reste difficile en raison des différences de formats et de pratiques rédactionnelles.
Le projet PARTAGES vise à répondre à ces enjeux en développant un modèle de résumé automatique open source, adaptable à plusieurs établissements, entraîné à partir de données fictives et évalué sur des données de vie réelle au moyen d’une plateforme distribuée installée chez chaque partenaire. Cette approche permet de mutualiser le développement méthodologique tout en évitant les transferts de données sensibles entre établissements.

Objectif principal : Développer et évaluer un modèle open source de résumé automatique de comptes rendus médicaux, en particulier pour l’assistance à la rédaction de la conclusion, adapté à une utilisation multi-établissements et compatible avec une évaluation distribuée sur données de vie réelle.
Objectif secondaires : Les objectifs secondaires sont d’étudier l’apport des données fictives utilisées pour le développement initial, d’évaluer différentes approches de modélisation, notamment par prompting et fine-tuning de modèles de type LLM, d’évaluer la robustesse des modèles sur des comptes rendus issus de plusieurs établissements, et de produire un modèle, un code open source, une documentation méthodologique et des résultats d’évaluation reproductibles.

Méthode : Le cas d’usage « Complétion » du projet PARTAGES ne nécessite pas d’annotation manuelle du contenu cible, mais requiert une préparation préalable des données locales avant leur dépôt sur le nœud d’évaluation. Les sections « corps du texte » et « conclusion » doivent être séparées dans des fichiers distincts. Lorsque des traitements spécifiques ont été appliqués, notamment de type OCR, ceux-ci doivent être documentés, en veillant idéalement à conserver une répartition représentative entre comptes rendus OCRisés et non OCRisés. Pour chaque document du jeu de données, le nom de fichier doit également indiquer la strate d’appartenance (par exemple année, sexe ou tranche d’âge), et, si possible, la fréquence de chaque strate dans la population documentaire globale de l’établissement doit être précisée.
Le projet vise à évaluer des modèles de résumé automatique capables de générer une conclusion pertinente, structurée et cliniquement correcte à partir du contenu d’un compte rendu médical dont la conclusion a été retirée. La conclusion générée est ensuite comparée à la conclusion de référence du document. Afin de permettre une évaluation fine des informations médicales, des faits atomiques — c’est-à-dire des énoncés courts et indépendants — sont extraits des conclusions générées et de référence à l’aide de modèles de langage spécialisés. La comparaison bidirectionnelle de ces faits permet de calculer différentes métriques portant notamment sur la factualité clinique, l’exhaustivité des informations restituées et la présence d’hallucinations. Dans un second temps, des outils d’extraction d’entités nommées pourront être utilisés afin d’identifier et normaliser les concepts médicaux présents dans les faits atomiques (symptômes, pathologies, traitements, etc.), et d’affiner les métriques selon la nature des concepts évalués.
Les approches étudiées incluent des modèles de type LLM, des stratégies de prompting, de fine-tuning sur données fictives, ainsi que des pipelines open source développés dans le cadre du projet. Le développement initial repose principalement sur des données fictives et des ressources de calcul dédiées, tandis que d’éventuels affinages sur données de vie réelle pourront être réalisés localement à l’AP-HP, sans partage ultérieur des données ni des modèles entraînés sur ces données sensibles.

Population : L’étude porte sur des comptes rendus médicaux textuels comportant une conclusion identifiable. Bien que la conclusion ne constitue pas à proprement parler une synthèse exhaustive du document, elle en reprend généralement les informations essentielles : elle constitue donc un proxy pertinent pour l’évaluation de tâches de résumé automatique.
Trois ensembles documentaires sont mobilisés :
1. Comptes rendus fictifs PARHAF produits dans le cadre du projet PARTAGES, pré-traités pour délimiter la conclusion et le reste du texte, et utilisés pour le développement initial du modèle.
- Volume attendu : pool général d’environ 850 comptes rendus fictifs.
2. Comptes rendus de vie réelle de l’AP-HP présents dans l’EDS de l’AP-HP, pseudonymisés et pré-traités pour délimiter la conclusion et le reste du texte, utilisés pour l’affinage local de certains modèles dans le cadre du projet autorisé correspondant.
- Population ciblée : environ 20 millions de comptes rendus cliniques, pour environ 10 millions de patients, échantillonnés à environ 1000 comptes-rendus.
3. Comptes rendus de vie réelle des établissements partenaires, pseudonymisés et utilisés localement pour l’évaluation distribuée des modèles.

Volume attendu pour l’évaluation du cas d’usage résumé automatique :
• minimum : 100 comptes rendus par établissement
• idéal : 400 comptes rendus par établissement
• maximum : 1000 comptes rendus par établissement

Le projet PARTAGES est un projet d’ampleur nationale dont le mode d'organisation entre les partenaires et implique la présence d'une multitude d'établissements de santé évaluateurs (à la fois responsables de la mise en œuvre et destinataires des données). Le détail de l'architecture du projet est décrit dans le protocole scientifique.