Ingénierie des données de test pour l'analyse multi-cas d'utilisation : au-delà de la simple génération de données synthétiques

Nous avons évalué trois ensembles de données synthétiques du secteur de la santé (CMS PUFS, données de certification NCQA, Synthea) et avons constaté que chacun présentait des limites majeures : incompatibilité de format, champ d’application restreint ou couverture insuffisante des indicateurs. Cet article présente notre approche hybride, qui combine les données CMS PUFS pour la compatibilité de format avec les ensembles de données NCQA pour la couverture, ainsi que le pipeline technique spécialisé que nous avons mis au point pour adapter les distributions des données synthétiques aux modèles attendus des clients, tout en préservant la validité statistique pour les tests d’agrégation hiérarchique.

Pourquoi est-ce important ? La plupart des données synthétiques se concentrent sur la génération préservant la confidentialité ou sur la simple correspondance de format, mais abordent rarement le défi que représentent les données de test devant simultanément prendre en charge la validation de certification, la simulation de prévisions, les démonstrations clients et les tests d’agrégation à plusieurs niveaux. Lorsque chaque cas d’utilisation requiert des propriétés statistiques différentes et que vos ensembles de données présentent des limites complémentaires, les approches standard en matière de données synthétiques s’avèrent insuffisantes — or, les stratégies hybrides pratiques sont sous-représentées dans la littérature actuelle.

Dans le secteur de la santé, les données synthétiques sont généralement présentées comme une solution aux problèmes de confidentialité, de disponibilité et d’accès. La génération de dossiers médicaux artificiels permet de contourner la loi HIPAA, les délais informatiques et les accords de partage de données susceptibles de bloquer un projet pendant des mois, et peut augmenter considérablement le volume de données disponibles pour le projet. Mais les équipes qui développent concrètement des produits d’analyse dans le domaine de la santé se heurtent rapidement à la difficulté de produire des données qui soient à la fois au format correct, statistiquement valides, cliniquement réalistes et utiles pour de multiples tâches en aval, telles que les tests, les démonstrations, la validation des certifications et les simulations de prévisions. La plupart des ensembles de données synthétiques accessibles au public remplissent bien l’un de ces critères, mais échouent sur les autres.

Ce qui existe (et ses lacunes)

Si vous avez déjà travaillé avec des données de santé dans le cadre du développement de produits, vous avez probablement rencontré une combinaison de ces sources. Les ensembles de données de référence publics, tels que les fichiers d’usage public (PUFS) du CMS, offrent une compatibilité de format conforme à la réalité et des distributions raisonnables, mais leur champ d’application se limite aux populations couvertes par Medicare et ils ne disposent pas des détails cliniques nécessaires aux tests au niveau des indicateurs. Les ensembles de données de certification provenant d’organismes tels que le NCQA offrent une couverture des indicateurs pour les workflows de validation, mais les dossiers patients sous-jacents peuvent présenter des cas cliniquement inhabituels, comme des patientes enceintes de 80 ans ou des jeunes de 18 ans présentant des diagnostics de démence et d’ostéoporose. Ils n’ont jamais été conçus pour être réalistes, mais simplement pour être structurellement complets. Les générateurs synthétiques tels que Synthea produisent des dossiers patients longitudinaux cliniquement plausibles, mais les résultats ne correspondent pas parfaitement aux formats, aux définitions des indicateurs et aux distributions requis par les véritables plateformes d’analyse.

Dans le cadre d’un projet de développement d’une plateforme d’analyse des données de santé devant prendre en charge les tests de certification HEDIS, les démonstrations clients et les simulations de prévisions, nous avons évalué ces trois solutions et constaté qu’aucune ne pouvait servir de source autonome. Chacune présentait des atouts complémentaires — CMS pour le format, NCQA pour la couverture des indicateurs, Synthea pour la logique clinique — mais aussi des lacunes critiques qui nécessitaient une approche hybride : fusionner les ensembles de données, concevoir des distributions cibles et mettre en place un pipeline pour ajuster les proportions afin qu’elles correspondent aux schémas attendus par les clients.

Cette approche hybride a fonctionné. Elle nous a permis de passer les tests de certification et de réaliser les premières démonstrations. Mais elle présentait de réelles limites. Nous pouvions contrôler les distributions agrégées, telles que la proportion de membres dans chaque tranche d’âge ou la prévalence de certaines pathologies, mais nous ne pouvions pas générer à moindre coût les détails cliniques sous-jacents qui rendent les dossiers individuels crédibles. L’ajustement des proportions relève de l’ingénierie. Assurer la cohérence interne de chaque dossier en termes de données démographiques, de diagnostics, de traitements médicamenteux et d’historique d’utilisation est un problème d’un autre ordre qui nécessite l’encodage de centaines de règles cliniques implicites.

C’est là que l’IA générative change la donne

C’est là que l’IA générative devient véritablement utile, et pas de la manière dont la plupart des contenus sur les données synthétiques la présentent. Le discours habituel est que l’IA générative peut générer des ensembles de données synthétiques entiers à partir de zéro pour préserver la confidentialité. C’est vrai, mais pas très intéressant, car des outils dédiés comme Synthea et des plateformes commerciales comme Tonic.ai gèrent déjà bien ce flux de travail avec davantage de contrôle. Le cas d’utilisation le plus convaincant est celui de l’IA générative en tant que couche de réalisme clinique venant se superposer à une structure statistique conçue par l’ingénierie.

L’idée est la suivante : on conçoit les distributions dont on a besoin (tranches d’âge, prévalence des pathologies, taux d’éligibilité aux examens, proportions de regroupement hiérarchique), puis on utilise un grand modèle linguistique pour générer des dossiers de patients individuels qui correspondent à ces distributions tout en restant cliniquement plausibles. Le LLM comprend implicitement qu’une personne de 80 ans est rarement enceinte, qu’un jeune de 18 ans chez qui on a diagnostiqué une démence nécessite une justification clinique exceptionnelle, ou qu’un patient sous metformine a probablement un diagnostic lié au diabète quelque part dans ses antécédents. Il n’est pas nécessaire d’énumérer chaque règle, car le modèle les a intériorisées à partir de son corpus d’entraînement composé de littérature clinique, de directives de codage et de documentation médicale.

Où cela pose encore problème

Malgré ces avancées, cette approche présente encore certaines limites. Les données synthétiques, qu’elles soient basées sur des règles, générées par des GAN ou produites par un LLM, ne peuvent pas remplacer les données du monde réel pour la construction de modèles prédictifs. La raison, subtile, est que lorsque vous définissez les distributions et les profils cliniques qui composent votre ensemble de données synthétiques, tout modèle entraîné sur ces données vous renverra vos propres hypothèses. Vous avez spécifié la prévalence de la pathologie, la répartition démographique, les schémas d’utilisation — autant d’éléments qu’un modèle encoderait généralement à partir de données réelles ; le modèle « prédit » donc ce que vous lui avez déjà indiqué. 

Cela est particulièrement dangereux car les données synthétiques générées par les outils modernes semblent convaincantes. Les dossiers individuels sont cliniquement plausibles. Les statistiques agrégées correspondent à vos objectifs, qui peuvent également correspondre à ce que vous avez observé dans la réalité. Les indicateurs de validation standard ne révèlent aucun problème. Mais les données ne contiennent aucune information que le processus de génération n’ait déjà incluse. Un article publié fin 2025 dans *Lancet Digital Health* a inventé le terme de « confiance synthétique » pour décrire précisément ce piège : une confiance injustifiée dans des modèles entraînés sur des ensembles de données artificiels qui ne parviennent pas à préserver les relations et les cas limites présents dans les populations cliniques réelles.

La littérature sur l’effondrement des modèles ajoute une autre dimension. Une étude publiée dans *Nature* (Shumailov et al., 2024) a montré que les modèles entraînés de manière récursive sur des données synthétiques perdent d’abord les distributions de queue — événements rares, cas limites, présentations atypiques — avant de finir par se dégrader complètement. Dans le domaine de la santé, c’est souvent dans ces « queues » que se prennent les décisions cliniques les plus lourdes de conséquences. Maladies rares, présentations atypiques, facteurs de risque intersectionnels : les données synthétiques lissent systématiquement précisément les cas où les outils d’IA sont les plus nécessaires et les plus dangereux en cas d’erreur.

La position honnête est la suivante : l’approche « ingénierie + IA générique » est puissante pour des cas d’utilisation bien délimités où l’on contrôle les paramètres du scénario et où l’on a besoin de données suffisamment réalistes pour valider des systèmes, réaliser des démonstrations et simuler des résultats. Ce n’est pas une voie à suivre pour entraîner des modèles prédictifs, et le fait que les données semblent plus réalistes que jamais rend la tentation d’essayer — et le risque de le faire sans esprit critique — plus forte qu’auparavant.

Ce que cela signifie concrètement

Si vous développez un produit de santé nécessitant des données synthétiques, le cadre pratique est le suivant :

Utilisez l’approche hybride pour les données de test, les pipelines d’assurance qualité, la validation de certification, les environnements sandbox, les démonstrations clients et les simulations basées sur des scénarios dont vous définissez les paramètres. Concevez des distributions correspondant à vos populations cibles, puis utilisez l’IA générative pour générer des dossiers cliniquement plausibles qui s’inscrivent dans ces distributions. Validez les dossiers individuels au regard de la logique clinique et les statistiques agrégées par rapport à vos objectifs. Ne l’utilisez pas pour l’entraînement de modèles prédictifs, la stratification des risques ou toute application dont l’objectif est de découvrir des modèles dans les données plutôt que de vérifier le comportement du système par rapport à des modèles connus. Pour ces applications, les données du monde réel — avec toutes leurs contraintes d’accès, leur caractère désordonné et leur charge réglementaire — restent irremplaçables. Développez sur des données synthétiques, validez et déployez sur des données réelles. Méfiez-vous du « fossé de confiance » : les données synthétiques modernes sont plus convaincantes que jamais, ce qui rend plus facile de sauter l’étape consistant à se demander si les données peuvent réellement étayer le cas d’utilisation auquel vous les appliquez.