Base ParaBios : Extraction synthétique vraisemblable du SNDS

1. Description de la base de données :

   1. Objectifs et finalités initiales de la base de données :

      Ce jeu de données met à disposition une extraction synthétique du SNDS, construite avec un objectif de cohérence structurelle, métier et statistique.

   2. Contexte de création :

      Cette base synthétique a été générée de manière algorithmique, en s’appuyant notamment sur le schéma des tables du SNDS pour l’année 2023.

      Elle a été conçue afin de faciliter l’exploration et la compréhension du SNDS, ainsi que le développement d’algorithmes, d’outils et de traitements autour de cette base.

      La version actuelle comprend 6 tables du DCIR, ainsi que les tables IR_BEN_R et IR_IMB_R. Le périmètre couvert et le niveau de cohérence intégré ont vocation à évoluer progressivement au fil des versions.

      À ce jour, elle intègre 362 éléments de cohérence structurelle et métier, ainsi que 14 éléments de cohérence statistique. Ces éléments sont détaillés dans les sections suivantes.

   3. Public cible :

      Ces données synthétiques s’adressent à l’écosystème de la donnée de santé, notamment aux équipes souhaitant travailler sur la structure du SNDS, préparer des traitements, développer des algorithmes, tester des outils ou disposer d’un support pédagogique et technique sans recourir à des données individuelles réelles.

   4. Résultats associés à la création de la base :

      Ce jeu de données a été généré avec la version 0.1.0 de ParaBios, un moteur de génération de données synthétiques basé sur des connaissances métier, développé par la Plateforme des Données de Santé.

      Le code source de ParaBios a vocation à être ouvert prochainement.

2. Méthodologie de collecte :

   1. Méthodologie de collecte et critères d’inclusion :

      La base générée s’appuie sur plusieurs familles d’éléments de cohérence.

      Le premier socle correspond au schéma SNDS 2023. À ce stade, le périmètre généré couvre une partie du DCIR et deux tables bénéficiaires. Ce périmètre est destiné à être étendu progressivement.

      La génération repose également sur un ensemble de contraintes structurelles et de règles de gestion métier. Ces règles sont au nombre de 362 et couvrent notamment :

      • 155 contraintes de domaine, qui limitent les valeurs possibles d’une variable à une plage autorisée, hors nomenclatures
      • 146 contraintes de nomenclature, qui restreignent les valeurs des champs concernés aux référentiels associés
      • 23 contraintes inter-champs, par exemple des relations d’ordre entre dates ou des comparaisons entre variables
      • 16 contraintes d’héritage, utilisées lorsque des valeurs doivent être propagées d’une table parente vers une table enfant, sans nécessairement correspondre à des clés étrangères
      • 7 relations d’intégrité référentielle par clés étrangères composites
      • 7 champs dérivés, calculés directement à partir d’autres variables
      • 1 contrainte au niveau du jeu de données, pour encadrer la répartition d’un enregistrement parent entre plusieurs tables enfants

      En complément, 14 éléments statistiques agrégés depuis l’extraction Persephone ont été intégrés afin de renforcer la cohérence des distributions générées.

      Ces éléments statistiques portent notamment sur :

      • Des distributions univariées de variables de la table IR_BEN_R, telles que le sexe, le rang de naissance, certains indicateurs administratifs, le régime d’affiliation ou le département de résidence
      • Des variables à forte cardinalité, pour lesquelles les modalités les plus fréquentes sont modélisées, tandis que les autres modalités sont échantillonnées à partir des nomenclatures selon des masses agrégées
      • Des règles de rareté, incluant notamment la présence contrôlée de modalités singleton et les fréquences de valeurs NULL
      • Des distributions d’écarts temporels entre certaines dates de la table ER_PRS_F
      • Des contraintes multivariées, par exemple entre le département et la commune de résidence ainsi que l’âge et le sexe.

      Pour les variables très diffuses, comme certains organismes ou codes de gestion, la méthode combine généralement un traitement spécifique des modalités les plus fréquentes et un échantillonnage contrôlé des autres modalités. Cette approche permet de représenter à la fois les modalités dominantes, les modalités intermédiaires et les modalités rares, sans détailler individuellement l’ensemble des valeurs possibles.

      Les contraintes statistiques multivariées actuellement intégrées concernent notamment la cohérence entre IR_BEN_R.BEN_RES_COM et IR_BEN_R.BEN_RES_DPT, ainsi que la cohérence entre IR_BEN_R.BEN_SEX_COD et ER_PRS_F.BEN_AMA_COD.

      Pour les enfants âgés de 0 à 24 mois, l’âge est encodé en nombre de mois, de 1000 à 1024, conformément aux conventions utilisées dans le schéma.

      La table ER_PRS_F intègre également des distributions d’écarts en jours entre certaines dates, notamment entre FLX_DIS_DTD et EXE_SOI_DTD, ainsi qu’entre EXE_SOI_DTD et EXE_SOI_DTF.

   2. Choix des variables :

      Le jeu de données pour ce lot correspond au schéma de l’année 2023.

      Les tables incluses sont les suivantes :

      • ER_PRS_F
      • ER_PHA_F
      • ER_TIP_F
      • ER_ETE_F
      • ER_UCD_D
      • ER_CAM_F
      • IR_BEN_R
      • IR_IMB_R

      Pour chacune de ces tables, l’ensemble des variables présentes dans le schéma 2023 a été généré.

   3. Structure de la base et rationnel des fichiers (si la base est volumineuse et scindée en fichiers) :

      La base est fournie sous la forme d’une archive .tar.gz d’environ 1,5 Go. L’archive doit être désarchivée avant utilisation.

      Une fois décompressé, le dossier contient un répertoire datasets/, qui regroupe les fichiers de données, ainsi que plusieurs fichiers produits automatiquement lors de l’exécution de ParaBios.

      L’arborescence est organisée de la manière suivante :

      ├── datasets/

      │   ├── ER_PRS_F_2023.parquet

      │   ├── ER_PHA_F_2023.parquet

      │   ├── ER_TIP_F_2023.parquet

      │   ├── ER_ETE_F_2023.parquet

      │   ├── ER_UCD_D_2023.parquet

      │   ├── ER_CAM_F_2023.parquet

      │   ├── IR_BEN_R_2023.parquet

      │   └── IR_IMB_R_2023.parquet

      ├── config_resolved.yaml

      ├── manifest.json

      ├── report.json

      ├── coverage_report.json

      └── logs.jsonl

      Le dossier datasets/ contient un fichier Parquet par table générée. Par exemple, le fichier ER_PRS_F_2023.parquet correspond à la table ER_PRS_F.

      Les fichiers complémentaires sont générés automatiquement par ParaBios à l’issue du run :

      • config_resolved.yaml : configuration complète effectivement utilisée pour la génération, conservée afin d’auditer ou de reproduire le run
      • manifest.json : métadonnées de provenance du run, incluant notamment l’identifiant du run, la seed, les versions logicielles et les empreintes du schéma et de la configuration
      • report.json : synthèse d’exécution regroupant le statut, les durées, les volumes générés, la télémétrie mémoire et les éventuels avertissements
      • coverage_report.json : fichier indiquant quelles cibles statistiques ont été traduites en paramètres pilotables par le générateur
      • logs.jsonl : journal chronologique structuré, avec un événement JSON par ligne, destiné au diagnostic et à l’analyse détaillée du déroulement du run

   4. Limite de la base de données :

      Ce jeu de données correspond à une première version. Il couvre actuellement une extraction réduite du DCIR, complétée par les tables IR_BEN_R et IR_IMB_R.

      Le périmètre a vocation à évoluer progressivement, avec l’ajout prévu d’autres composantes du SNDS (PMSI, CépiDc, etc.)

      Les éléments de cohérence intégrés sont également amenés à être enrichis. Ils ne couvrent pas l’ensemble des situations possibles et ne doivent pas être considérés comme exhaustifs.

      Les principales limites connues sont les suivantes : 

      • Le périmètre actuellement disponible ne couvre pas l’ensemble du SNDS
      • Les règles de cohérence structurelle, métier et statistique restent partielles
      • La base n’intègre pas de cohérence médicale

3. Instructions/pré-requis d’utilisation de la base :

Les fichiers de données sont fournis au format Parquet.

Il est recommandé de disposer de suffisamment de mémoire vive pour charger les données. L’empreinte mémoire dépend du moteur utilisé et de la stratégie de chargement.

À titre indicatif, le chargement complet représente environ :

• 4,88 Go avec Polars
• 8,56 Go avec PyArrow
• jusqu’à 11 à 12 Go en pratique avec Pandas.

Support : Un support peut être apporté en sollicitant la PDS aux adresses de messagerie suivantes:

opensource@health-data-hub.fr