# Textes des Publications de la HAS ## À propos de cette documentation La documentation de ce jeu de données suit le concept de _fiche technique pour les jeux de données_ (ou *Datasheets for Datasets*) proposé par [Gebru et al.](https://arxiv.org/abs/1803.09010) Spécifiquement, nous reprenons l'adaptation et traduction au français proposée par Samuel Goëta [ici](https://teamopendata.org/t/traduction-et-adaptation-du-modele-de-description-des-donnees-datasheet-for-datasets/1400). Le but de cette fiche technique est de normaliser la documentation à propos de pourquoi un jeu de données a été créé, quelles informations il contient, les tâches pour lesquelles il devrait et ne devrait pas être utilisé, et si cela pourrait soulever des préoccupations d’ordre éthique ou juridique. ## Motivations pour la création du jeu de données **Pourquoi le jeu de données a-t-il été initialement créé ?** Les métadonnées des publications de la HAS sont disponibles [ici](https://www.data.gouv.fr/fr/datasets/627152fbe5cc39edfc691d2c/). Chacune de ces publications contient des ressources liées. Dans le but de faciliter la réutilisation des connaissances produites par la HAS, ce dataset propose le fichier PDF ainsi qu'une version semi-structure du texte contenu à l'intérieur pour chaque ressource, pour chaque publication HAS. **Pour quelles autres tâches le jeu de données pourrait-il être utilisé ?** Faciliter la découverte des informations médicales, suivre l'évolution des connaissances en santé… **Quelles sont les utilisations trompeuses du jeu de données ?** Nous incluons tout l'historique des publications de la HAS disponible sur [le site web](www.has-sante.fr). Les informations incluses dans les documents peuvent ne pas être à jour. **Qui a financé ou soutenu la création du jeu de données ?** La HAS. ## Composition du jeu de données **Que contient le jeu de données principalement ?** Les textes bruts (non structurés (PDF) et semi-structurés (XML)) des documents rédigés par les agents de la HAS. Deux types de fichiers semi-structurés sont mis à disposition : 1. Text : fichier XML contenant le texte brut par page, 2. Annotated: fichier XML contenant le mis en forme (en utilisant de [balises type HTML](https://accessible-pdf.info/basics/general/overview-of-the-pdf-tags)) ainsi que le texte. Ce type de fichier existe **que** pour les fichiers PDF qui suivent le standard PDF/A ou [PDF/UA](https://en.wikipedia.org/wiki/PDF/UA). **Dispose-t-on d’un schéma décrivant les variables du jeu de données ?** Pas pour l'instant. **Est-ce que le contenu du jeu de données dépend de ressources externes ?** Oui, ce dataset est exploitable en utilisant le dataset avec [les métadonnées des publications de la HAS](https://www.data.gouv.fr/fr/datasets/627152fbe5cc39edfc691d2c/). En outre, les documents peuvent contenir des informations relatives à des ressources externes. **De quelles garanties dispose-t-on concernant la pérennité de ces ressources ?** Le dataset des métadonnées des publications de la HAS est assuré par les agents de la HAS. Pour le reste, cela dépend de chaque ressource externe. ## Processus de collecte des données **Comment les données ont été collectées (avec des capteurs, manuellement par des outils informatiques…) ?** Les publications sont rédigées par des agents de la HAS et puis sont versées automatiquement à partir d'un système d'information interne. Certaines publications sont ajoutées manuellement. La collecte se fait par des outils informatiques. **Qui a assuré le processus de collecte de données (des agents, des bénévoles, des étudiants…) ?** Des agents de la HAS. **Quelle a été la période de collecte des données ?** Le dataset contient les textes des publications créées à partir de juin 1999. **Les données ont-elles été collectées directement ou inférées à partir d’autres données ?** Collectées directement. **Les données ont-elles été collectées sur un échantillon ? Selon quelles méthodes ?** Oui. Nous incluions que les types des publications liées à la production des experts de la HAS. Nous écartons les publications liées au système de gestion de documents du site web. Les publications incluses/exclues sont les suivantes : | **Types inclus** | **Types exclus** | |-----------------------------------------------------------------|----------------------------------------------| | Avis sur les Médicaments | Médecin accrédité | | Avis sur les dispositifs médicaux et autres produits de santé | Avis et décisions de la HAS | | Évaluation des technologies de santé | Article HAS | | Recommandation de bonne pratique | Médicament | | Outil d'amélioration des pratiques professionnelles | Résultat de certification des établissements | | Guide maladie chronique | Événement de Calendrier | | Guide méthodologique | Lien externe | | Recommandation en santé publique | Article Webzine | | Études et Rapports | Communiqué de presse | | Guide usagers | Synthèse d'avis et Fiche bon usage | | Recommandation vaccinale | Newsletter HAS | | | Sous-éléments | | | Glossaire - Terme | | | Avis sur les Actes | | | Brève | | | Vos interlocuteurs | | | Faq - Entrée | | | Sondage | | | Étude d'évaluation économique | **Quelles sont les erreurs connues, les limites, les sources de bruit ou de redondances associées à ces données ?** 1. La transformation PDF vers texte peut introduire des errerurs ortographiques voir rendre illisible le contenu. 2. Pour la majorité des fichiers semi-structurés (XML), nous perdons le concept de table ainsi que les images. 3. La creation de fichiers XML *annotated* depend de l'annotation fait par le createur original du fichier PDF. Par defaut, ce balisage se fait automatiquement (par exemple, par Office 365 lors de la conversion `docx` vers `pdf`). Cette démarche peut contenir des erreurs. ## Pré-traitement des données **Comment les données ont-elles nettoyées ou préparées ?** Aucun prétraitement est fait aux fichiers PDF. **Les données « brutes » ont-elles été conservées ? Sont-elles diffusées ?** Oui, les fichiers PDF sont diffusés dans ce dataset. **L’outil de prétraitement des données est-il disponible ?** Oui, dans [le repo](https://gitlab.com/has-sante/public/alpha/has-text-extract/) correspondant à ce dataset. ## Diffusion du jeu de données **Les données sont-elles diffusées en ligne ? Selon quelles modalités (sur un portail open data, un site web, une API…)?** Oui, sur cette page data.gouv.fr. **Selon quelle licence les données sont-elles diffusées ?** [License Ouverte version 2.0](https://www.etalab.gouv.fr/wp-content/uploads/2017/04/ETALAB-Licence-Ouverte-v2.0.pdf) **Des redevances ou des restrictions sont-elles appliquées dans l’accès aux données ?** Non. ## Maintenance du jeu de données **Qui assure la maintenance du jeu de données ? Comment peut-on contacter cette personne ? Quel est le service responsable du jeu de données ?** La [Mission Data de la HAS](mailto:open-data@has-sante.fr). **Est-ce que les rôles sont distincts entre la production des données, leur éditorialisation et leur diffusion ?** Oui. Produit par les services HAS. Éditorialisé aussi par les services HAS et le service communication. Diffusé par le service informatique et la Mission Data de la HAS. **Le jeu de données sera-t-il mis à jour ? Si oui, à quelle fréquence ?** Non. **Si les données deviennent obsolètes, comment cette information sera-t-elle communiquée ?** À travers de cette page. **Est-il possible de contribuer à l’amélioration des données ? Selon quelles modalités ?** Oui, en nous contactant à travers des commentaires de cette page ou directement par e-mail. ## Considérations légales et éthiques **Si le jeu de données concerne des individus, ont-ils exprimé leur consentement de manière claire ?** Il ne concerne pas des individus. **Le jeu de données peut-il exposer de manière directe ou indirecte des individus ?** Non à notre connaissance. **Ces données sont-elles conformes au RGPD ?** Oui. **Les données peut-elles avantager ou désavantager des groupes sociaux ?** Non à notre connaissance. **Le jeu de données contient-il des informations pouvant être considérées comme inappropriées ou offensantes ?** Non à notre connaissance # Organisation de fichiers Douze fichiers ZIP sont mis à disposition : * Les premiers 12 fichiers contiennent, **pour chaque publication et pour chacune de ses resources liées**, le fichier PDF ainsi que le fichier XML *text* et *annotated*. Ce dernier existe seulement si le fichier PDF traité suit le standard PDF/UA (*tagged PDF*). Par souci de taille, le fichier zip des Avis sur les Médicaments est séparé en deux parties. * Le dernier fichier `TextesPublicationsHAS_XML.zip` contient **que** les fichiers semi-structurés XML **pour toutes les thematiques**. ## Arborescence des fichiers Tous les fichiers de ce dataset suivent la hiérarchie de fichiers décrite ci-dessous : ```shell ├── AVISMedicament # Thématique de la publication │ ├── p_3201790 # Id de la publication | | ├── p_3201789 # Id de la ressource | | | ├── 2020-09-16_CT-18742_TAKHZYRO_PIS_INS_AvisDef_CT18742.pdf | | | ├── 2020-09-16_CT-18742_TAKHZYRO_PIS_INS_AvisDef_CT18742_tagged.xml # Fichier XML tagged avec la date de publication comme préfixe | | | ├── 2020-09-16_CT-18742_TAKHZYRO_PIS_INS_AvisDef_CT18742_text.xml # Fichier XML text avec la date de publication comme préfixe │ ├── c_1001256 │ ├── c_1001258 │ ├── c_1001261 | ├── ... ├── AVISMedicament | ├── ... ├── AVISProduitsEtPrestations | ├── ... ├── EtudeEtEnquete | ├── ... ├── EvaluationDesPratiques | ├── ... ├── EvaluationDesProgrammesEtPolitiq | ├── ... ├── EvaluationDesTechnologiesDeSante | ├── ... ├── GuideMedecinALD | ├── ... ├── GuideMethodologique | ├── ... ├── GuidePatient | ├── ... ├── RecommandationsProfessionnelles | ├── ... ├── RecommandationVaccinale | ├── ... ```
Fichier 2/2 des Avis sur les Médicaments
Licence Ouverte / Open Licence version 2.0
# Base de données publique des médicaments ### Ce jeu de données est la version redistribuée de la Base de Données Publiques des Médicaments (BDPM) (publiée [ici](https://www.data.gouv.fr/fr/datasets/base-de-donnees-publique-des-medicaments-base-officielle/)) dans le cadre du [Défi iDoc Santé](https://defi-idoc.has-sante.fr/) organisé par la Haute Autorité de Santé. ## Caractéristiques de cette version 1. Fichiers de type `csv`, séparés par tabulation (à la place de fichiers `txt`), 2. Ajout de tableau avec les Résumés des Caractéristiques des Produits, 3. Ajout de tableau avec les relations entre les médicaments et les pathologies. La base de données publique des médicaments permet au grand public et aux professionnels de santé d'accéder à des données et documents de référence sur les médicaments commercialisés ou ayant été commercialisés durant les deux dernières années en France. Cette base de données administratives et scientifiques sur les traitements et le bon usage des produits de santé est mise en œuvre par l'Agence nationale de sécurité du médicament et des produits de santé (ANSM), en liaison avec la Haute Autorité de santé (HAS) et l'Union nationale des caisses d'assurance maladie (UNCAM), sous l'égide du ministère des Affaires sociales et de la santé. ## Fichiers 1. Fichier descriptif (`contenu-et-format-des-fichiers-telechargeables-dans-la-bdm-v1.pdf`, 28 Ko) 2. Fichiers de la BDPM [officielle](https://base-donnees-publique.medicaments.gouv.fr/) (`CIS_bdpm_officielle.zip`, date de mise à jour : 15/04/2022, 3335 Ko) : * Fichier des spécialités (`CIS_bdpm.csv`, date de mise à jour : 15/04/2022, 3012 Ko) * Fichier des présentations (`CIS_CIP_bdpm.csv`, date de mise à jour : 27/04/2022, 3966 Ko) * Fichier des compositions (`CIS_COMPO_bdpm.csv`, date de mise à jour : 15/04/2022, 2685 Ko) * Fichier des avis SMR de la HAS (`CIS_HAS_SMR_bdpm.csv`, date de mise à jour : 15/04/2022, 3534 Ko) * Fichier des avis ASMR de la HAS (`CIS_HAS_ASMR_bdpm.csv`, date de mise à jour : 15/04/2022, 3101 Ko) * Fichier des liens vers les avis de la commission de la transparence de la HAS (`HAS_LiensPageCT_bdpm.csv`, date de mise à jour : 15/04/2022, 436 Ko) * Fichier des groupes génériques (`CIS_GENER_bdpm.csv`, date de mise à jour : 15/04/2022, 1122 Ko) * Fichier des conditions de prescription et de délivrance (`CIS_CPD_bdpm.csv`, date de mise à jour : 15/04/2022, 1073 Ko) * Fichier des Informations importantes (`CIS_InfoImportantes_20220427143329_bdpm.csv`, génération en direct) 3. Fichier des Résumés des Caractéristiques des Produits (`CIS_RCP.zip`, date de mise à jour : 15/04/2022, 157 Mo) 4. Fichier des spécialités et pathologies (`CIS_Pathologie.csv`, date de mise à jour : 15/04/2022, 393 Ko) 5. Fichier des pathologies (`BDPM_Pathologies.csv`, date de mise à jour : 15/04/2022, 3 Ko) ### Fichier des résumés des caractéristiques des produits Le nom de ce fichier comprimé est : `CIS_RCP.zip` Il contient un fichier CSV avec l’ensemble des Résumés des Caractéristiques des Produits associées à un médicament. Les éléments mis à disposition dans ce fichier sont les suivants : - Code CIS - Contenu HTML du Résumé des Caractéristiques du Produit ### Fichier des spécialités et pathologies Le nom de ce fichier est : `CIS_Pathologie.csv` Il contient l’ensemble des [pathologies](https://base-donnees-publique.medicaments.gouv.fr/pathologies.php) associées à un médicament dans la BDPM. À noter que l'ensemble des pathologies n'est actuellement pas disponible dans la base de données. Les éléments mis à disposition dans ce fichier sont les suivants : - Code CIS - Pathologie ### Schéma BDPM enrichi pour le défi iDoc Santé ![Schéma BDPM enrichi pour le défi iDoc Santé](https://www.data.gouv.fr/fr/datasets/r/2c88d712-f69c-4f31-9fd8-63a340a1466d "Schéma BDPM enrichi pour le défi iDoc Santé")
Base de données publique des médicaments (Défi iDoc Santé)
Fichier 1/2 des Avis sur les Médicaments
Contenu semi-structuré des publications (PDF) de l'INCa
Ce jeu d'exercice comporte des fiches fictives de traçabilité de Réunions de Concertation Pluridisciplinaire (RCP) de cancers du sein dans un document CSV mais aussi dans des CDA (XML) du cadre national d'interopérabilité dans le cadre du [Défi iDoc Santé](https://defi-idoc.has-sante.fr) organisé par la Haute Autorité de Santé et l'INCa. ## Motivations pour la création du jeu de données **Pourquoi le jeu de données a-t-il été initialement créé ?** Ces fiches tracent les décisions des professionnels de santé de différentes disciplines (médecin cancérologue, chirurgien, radiothérapeute, chimiothérapeute, …) au cours d'une réunion dédiée nommée Réunion de Concertation Pluridisciplinaire (RCP). Ce document sert ensuite de support de coordination des soins entre différents professionnels de santé. L'objectif de ces fiches est d'assurer la qualité des soins, par le recueil d'un socle minimal d'informations nécessaire à la décision. Ce jeu de données a été créé pour le défi 1C du Défi iDoc Santé, qui vise à identifier automatiquement les recommandations de bonnes pratiques pertinentes dans les situations cliniques décrites dans ces RCP. **Pour quelles autres tâches le jeu de données pourrait-il être utilisé ?** Dans un contexte général, les fiches de RCP pourraient être utilisées pour effectuer des recherches, études ou évaluations sur la qualité des soins et les pratiques des professionnels mais ce n'est pas le cas pour les données présentées ici. Ces données n'ont pas non plus été testées pour leur interopérabilité et il n'est pas conseillé de les utiliser pour tester ou modéliser un processus d'interopérabilité. De plus, le format CDA utilisé n'est pas le plus récent pour ce type de document. **Quelles sont les utilisations trompeuses du jeu de données ?** RAS **Qui a financé ou soutenu la création du jeu de données ?** La HAS et l'INCa sont à l'origine de la rédaction de ces fiches RCP pour des patients fictifs, qui s'inspirent de véritables fiches issues de RCP qui ont été initialement préparées par le réseau régional de cancérologie de Nouvelle-Aquitaine. Les fiches réelles ont servi d'inspiration pour inventer des situations emblématiques dans le même cadre pour la pathologie principale, les pathologies et antécédents associés et les traitements proposés. Deux professionnels de santé ont rédigé à titre gracieux les fiches RCP inventées : Philippe Rochigneux, chef de clinique en oncologie médicale à l'Institut Paoli Calmettes, et Marguerite Tyran, radiothérapeute à l'Institut Paoli Calmettes. Ils ont été supervisés par Mathieu Morey de la coopérative Datactivist. Les fiches ont été mises en cohérence et ensuite utilisées pour resynthétiser des document CDA par Pierre Liot, HAS. ## Composition du jeu de données **Que contient le jeu de données principalement ?** Les principales informations de ces données sont des informations médicales et des décisions de traitement. **Dispose-t-on d'un schéma décrivant les variables du jeu de données ?** Les fiches RCP suivent le standard Clinical Document Architecture (CDA). Ce jeu de données contient des fiches suivant la version 2.0.0 du Volet Fiche de Réunion de Concertation Pluridisciplinaire (FRCP) du Cadre d'Interopérabilité des Systèmes d'Information de Santé (CI-SIS), publiée en novembre 2015 par l'Agence du Numérique en Santé. Les documentations fonctionnelles et techniques sont disponibles en ressources pdf sur cette page. **Que contient chaque champ du jeu de données ?** Se référer à la documentation pdf. Les valeurs des colonnes TNM suivent la 8e édition de la classification TNM pour le cancer du sein. **Est-ce que le contenu du jeu de données dépend de ressources externes ?** Oui pour certaines sémantiques et pour certains attributs mais par construction, les documents au standard CDA sont autoporteurs du point de vue du contenu médical. **De quelles garanties dispose-t-on concernant la pérennité de ces ressources ?** Le contenu médical ne dépend pas de sources externes. ## Processus de collecte des données **Comment les données ont été collectées (avec des capteurs, manuellement par des outils informatiques…) ?** Les données des fiches RCP d'origine, servant d'inspiration, ont été saisies manuellement dans des outils informatiques dédiés. Les données des fiches RCP inventées ont été saisies manuellement dans un tableur. Elles ont ensuite été réinsérées, par un script, dans une trame XML pour mimer des documents CDA de même nature. **Qui a assuré le processus de collecte de données (des agents, des bénévoles, des étudiants…) ?** Les fiches initiales ont été saisies par des professionnels de santé en Nouvelle-Aquitaine pour tracer des RCP. Les fiches RCP inventées ont été saisies par des professionnels de santé dans des outils bureautiques. Le script de réinsertion XML a été écrit par un professionnel de santé. **Quelle a été la période de collecte des données ?** De janvier à mai 2022. **Les données ont-elles été collectées directement ou inférées à partir d'autres données ?** Les données ont été collectées directement. **Les données ont-elles été collectées sur un échantillon ? Selon quelles méthodes ?** Ces données représentent un échantillon très restreint, défini heuristiquement par des professionnels de santé pour illustrer une variété de situations cliniques. **Quelles sont les erreurs connues, les limites, les sources de bruit ou de redondances associées à ces données ?** Ces données suivent la version du référentiel de 2015 du Volet Fiche de Réunion de Concertation Pluridisciplinaire (FRCP). La version 2021.01, publiée en novembre 2021, offre plus de détails et plus de latitude pour décrire finement le type de cancer, via certaines classifications. À noter par ailleurs que les fiches RCP ne reprennent pas la totalité de l'histoire des patientes. Elles ne reprennent que les informations utiles à la prise de décision. ## Pré-traitement des données **Comment les données ont-elles nettoyées ou préparées ?** Les données des fiches RCP utilisées pour l'inspiration avaient été pseudonymisées manuellement. Notamment, les noms, prénoms, identifiants ont été supprimés ou complètement remplacés. La date de naissance a été tronquée à l'année, puis floutée à quelques années près. Les dates d'information cliniques et de RCP ont été ramenées et tronquées à 2022. Les lieux ont été placés à l'échelle de la région. Ces fiches réelles pseudonymisées ont ensuite servi d'inspiration pour inventer des situations emblématiques dans le même cadre pour la pathologie principale, les pathologies et antécédents associés et les traitements proposés. Les données présentées dans les fiches RCP publiées sont donc inventées et ne sont donc pas en relation avec des patientes réelles. **Les données « brutes » ont-elles été conservées ? Sont-elles diffusées ?** Les données sources, des fiches RCP ayant servi d'inspiration, ne sont pas diffusées. **L'outil de prétraitement des données est-il disponible ?** À décider pour la partie automatique. Sous forme CSV le jeu de données comporte les colonnes : **DDN** : date de naissance **DateRCP** : date de la Réunion de Concertation Pluridisciplinaire (RCP) **DatePrelevement** : date de prélèvement **NaturePrelevement** : acte source du prélèvement **ResiduTumoralApresChirurgie** : éventuel résidu après chirurgie **T, N et M** : classification de l'étendue du cancer selon les axes TNM ([www.cancer.fr/glossaire/classification-tnm](https://www.cancer.fr/glossaire/classification-tnm) ) **Histologie** : type histologique du cancer **MotifRCP** : raison de la discussion du cas en RCP **ATCD** : antécédents médicaux, histoire médicale en dehors de la maladie cancéreuse **HDM** : histoire de la maladie cancéreuse **Question** : question(s) posée(s) lors de la RCP **OMS** : classification OMS **Decouverte** : modalité de découverte **PhaseMaladie** : phase de la maladie **DPD** : activité enzymatique de la DihydroPyrimidine Déshydrogénase, dont le déficit est susceptible d'accroitre la toxicité de certaines chimiothérapie (<https://www.has-sante.fr/jcms/c\\\\\\\\_2966449/fr/cancer-recherche-d-un-deficit-en-enzyme-dihydropyrimidine-deshydrogenase-dpd-avant-chimiotherapie>) **TypeTT** : type du principal traitement proposé **DetailTT** : traitement proposé en langue naturelle **PhaseTT** : niveau de réalisation du traitement principal proposé **TypeTT2** : éventuel type du traitement proposé secondaire **TypeTT3** : éventuel type d'un autre traitement proposé ## Diffusion du jeu de données **Les données sont-elles diffusées en ligne ? Selon quelles modalités (sur un portail open data, un site web, une API…) ?** Oui, sur cette page [data.gouv.fr](http://data.gouv.fr/). **Selon quelle licence les données sont-elles diffusées ?** [License Ouverte version 2.0](https://www.etalab.gouv.fr/wp-content/uploads/2017/04/ETALAB-Licence-Ouverte-v2.0.pdf) **Des redevances ou des restrictions sont-elles appliquées dans l'accès aux données ?** Non. ## Maintenance du jeu de données **Qui assure la maintenance du jeu de données ? Comment peut-on contacter cette personne ? Quel est le service responsable du jeu de données ?** Ce jeu de données n'est pas maintenu. La publication est réalisée par l'Institut national du cancer. **Est-ce que les rôles sont distincts entre la production des données, leur éditorialisation et leur diffusion ?** Oui. L'anonymisation des données des fiches RCP d'inspiration a été réalisée par le réseau régional de cancérologie et la mission Data de la HAS. La production des données des fiches RCP inventées a été réalisée par des professionnels de santé, à titre gracieux, pour la mission Data de la HAS. La diffusion est assurée par la mission data de la HAS. **Le jeu de données sera-t-il mis à jour ? Si oui, à quelle fréquence ?** Non **Si les données deviennent obsolètes, comment cette information sera-t-elle communiquée ?** Sur cette page. **Est-il possible de contribuer à l'amélioration des données ? Selon quelles modalités ?** Non ## Considérations légales et éthiques **Si le jeu de données concerne des individus, ont-ils exprimé leur consentement de manière claire ?** Les fiches RCP inventées ne concernent plus des individus. **Le jeu de données peut-il exposer de manière directe ou indirecte des individus ?** Non. Les données publiées correspondent à des fiches RCP inventées, s'inspirant d'un petit nombre de fiches RCP anonymisées automatiquement puis manuellement. **Ces données sont-elles conformes au RGPD ?** Oui **Les données peuvent-elles avantager ou désavantager des groupes sociaux ?** Non. **Le jeu de données contient-il des informations pouvant être considérées comme inappropriées ou offensantes ?** Non.
Fiches fictives de Réunion de Concertation Pluridisciplinaire (RCP)
# Publications de l'INCa ## À propos de cette documentation La documentation de ce jeu de données suit le concept de _fiche technique pour les jeux de données_ (ou *Datasheets for Datasets*) proposé par [Gebru et al.](https://arxiv.org/abs/1803.09010) Spécifiquement, nous reprenons l'adaptation et traduction au français proposée par Samuel Goëta [ici](https://teamopendata.org/t/traduction-et-adaptation-du-modele-de-description-des-donnees-datasheet-for-datasets/1400). Le but de cette fiche technique est de normaliser la documentation à propos de pourquoi un jeu de données a été créé, quelles informations il contient, les tâches pour lesquelles il devrait et ne devrait pas être utilisé, et si cela pourrait soulever des préoccupations d’ordre éthique ou juridique. ## Motivations pour la création du jeu de données **Pourquoi le jeu de données a-t-il été initialement créé ?** Les publications de l'INCa sont disponibles [ici](https://www.e-cancer.fr/Expertises-et-publications/Catalogue-des-publications). L'objectif de ce jeu de données est de rassembler l'ensemble des publications de l'INCa afin de faciliter le travail de récupération automatique des contenus, textes bruts et structure de ces fichiers. **Pour quelles autres tâches le jeu de données pourrait-il être utilisé ?** Faciliter la découverte des informations médicales, suivre l'évolution des connaissances en santé… **Quelles sont les utilisations trompeuses du jeu de données ?** Ce jeu de données contient tous les fichiers PDF issus des fiches correspondant à la recherche des documents en français, pour lesquels le lien derrière le bouton Télécharger correspond bien à un fichier. Ces fichiers ont été téléchargés le 04/05/2022, la liste de ces fichiers peut donc ne pas être exhaustive et à jour. **Qui a financé ou soutenu la création du jeu de données ?** L'INCa. ## Composition du jeu de données **Que contient le jeu de données principalement ?** Les fichiers PDF des documents rédigés par les agents de l'INCa. **Dispose-t-on d’un schéma décrivant les variables du jeu de données ?** Non. **Est-ce que le contenu du jeu de données dépend de ressources externes ?** Oui, ce dataset est exploitable en utilisant le dataset avec [les métadonnées des publications de l'INCa](https://www.data.gouv.fr/fr/datasets/62718e928b7f39c0942e4473/). En outre, les documents peuvent contenir des informations relatives à des ressources externes. **De quelles garanties dispose-t-on concernant la pérennité de ces ressources ?** Les fichiers PDF produits par l'INCa sont disponibles sur le [site de l'INCa](https://www.e-cancer.fr/Expertises-et-publications/Catalogue-des-publications). Les fichiers PDF copiés et mis à disposition sur ce jeu de données sont disponibles pour la durée du Défi iDoc Santé et seront supprimés lorsqu'il sera terminé. ## Processus de collecte des données **Comment les données ont été collectées (avec des capteurs, manuellement par des outils informatiques…) ?** Les publications sont rédigées par des agents de l'INCa et mises à disposition sur le [site de l'INCa](https://www.e-cancer.fr/Expertises-et-publications/Catalogue-des-publications). La collecte a été faite en utilisant des techniques de web scraping. **Qui a assuré le processus de collecte de données (des agents, des bénévoles, des étudiants…) ?** Cette collecte a été réalisée dans le cadre d'une mission pour le compte de la HAS, afin que les données soient mises à disposition des participants du Défi iDoc Santé. **Quelle a été la période de collecte des données ?** Les fichiers PDF ont été collectés le 04/05/2022. **Les données ont-elles été collectées directement ou inférées à partir d’autres données ?** Les fichiers PDF ont été collectés à partir des liens trouvés dans les pages des fiches correspondantes, à l'aide de techniques de web scraping. **Les données ont-elles été collectées sur un échantillon ? Selon quelles méthodes ?** Les fichiers PDF sont exhaustifs sur le résultat de la requête des fiches en français. **Quelles sont les erreurs connues, les limites, les sources de bruit ou de redondances associées à ces données ?** Quelques fichiers PDF correspondent à des fiches différentes. ## Pré-traitement des données **Comment les données ont-elles nettoyées ou préparées ?** Aucun prétraitement réalisé sur les fichiers PDF. **Les données « brutes » ont-elles été conservées ? Sont-elles diffusées ?** Oui, les fichiers PDF sont diffusés dans ce dataset. **L’outil de prétraitement des données est-il disponible ?** Aucun prétraitement réalisé ## Diffusion du jeu de données **Les données sont-elles diffusées en ligne ? Selon quelles modalités (sur un portail open data, un site web, une API…)?** Oui, sur cette page data.gouv.fr. **Selon quelle licence les données sont-elles diffusées ?** [License Ouverte version 2.0](https://www.etalab.gouv.fr/wp-content/uploads/2017/04/ETALAB-Licence-Ouverte-v2.0.pdf) **Des redevances ou des restrictions sont-elles appliquées dans l’accès aux données ?** Non. ## Maintenance du jeu de données **Qui assure la maintenance du jeu de données ? Comment peut-on contacter cette personne ? Quel est le service responsable du jeu de données ?** La [Mission Data de la HAS](mailto:open-data@has-sante.fr). **Est-ce que les rôles sont distincts entre la production des données, leur éditorialisation et leur diffusion ?** Non. Les fichiers PDF sont produits, éditorialisés et diffusés par les services de l'INCa. **Le jeu de données sera-t-il mis à jour ? Si oui, à quelle fréquence ?** Non. **Si les données deviennent obsolètes, comment cette information sera-t-elle communiquée ?** À travers de cette page. **Est-il possible de contribuer à l’amélioration des données ? Selon quelles modalités ?** Non. ## Considérations légales et éthiques **Si le jeu de données concerne des individus, ont-ils exprimé leur consentement de manière claire ?** Il ne concerne pas des individus. **Le jeu de données peut-il exposer de manière directe ou indirecte des individus ?** Non, pas à notre connaissance. **Ces données sont-elles conformes au RGPD ?** Oui. **Les données peut-elles avantager ou désavantager des groupes sociaux ?** Non, pas à notre connaissance. **Le jeu de données contient-il des informations pouvant être considérées comme inappropriées ou offensantes ?** Non, pas à notre connaissance # Organisation de fichiers Un fichier ZIP est mis à disposition, qui contient 425 fichiers PDF nommés d'après leur nom original disponible via le lien de téléchargement sur le site de l'INCa. ## Arborescence des fichiers Tous les fichiers de ce dataset suivent la hiérarchie de fichiers décrite ci-dessous : ```shell ├── publicationincapdf # Dossier racine │ ├── 05_nut_enterale.pdf # Fichier PDF ```
# Métadonnées des Publications de l'INCa ## À propos de cette documentation La documentation de ce jeu de données suit le concept de _fiche technique pour les jeux de données_ (ou *Datasheets for Datasets*) proposé par [Gebru et al.](https://arxiv.org/abs/1803.09010) Spécifiquement, nous reprenons l'adaptation et traduction au français proposée par Samuel Goëta [ici](https://teamopendata.org/t/traduction-et-adaptation-du-modele-de-description-des-donnees-datasheet-for-datasets/1400). Le but de cette fiche technique est de normaliser la documentation à propos de pourquoi un jeu de données a été créé, quelles informations il contient, les tâches pour lesquelles il devrait et ne devrait pas être utilisé, et si cela pourrait soulever des préoccupations d’ordre éthique ou juridique. ## Motivations pour la création du jeu de données **Pourquoi le jeu de données a-t-il été initialement créé ?** Les données des publications de l'INCa sont accessibles sur les fiches web du site de l'INCa. Ce jeu de données centralise les données de publication sous forme d'un fichier JSON. **Pour quelles autres tâches le jeu de données pourrait-il être utilisé ?** Créer un graphe de connaissance en liant les publications par rapport aux collections, publics, dates, contenu du résumé etc. **Quelles sont les utilisations trompeuses du jeu de données ?** L'utilisation des dates de publication ou de mise à jour comme des dates ayant une valeur légale. Ces dates font partie d'un processus métier interne et ne peuvent pas être prises en compte pour des démarches légales. **Qui a financé ou soutenu la création du jeu de données ?** L'INCa pour les données disponibles sur le site de l'INCa, la HAS pour la centralisation de ces données et leur mise à disposition. ## Composition du jeu de données **Que contient le jeu de données principalement ?** Les métadonnées des documents rédigés par les agents de l'INCa. **Dispose-t-on d’un schéma décrivant les variables du jeu de données ?** Oui : ```shell ├── Titre ├── Collection ├── PublicationInfos │ ├── Public │ ├── Date de publication │ ├── Référence # identifiant unique de la publication │ ├── Format # format papier (A4...) │ ├── Langue │ ├── LienPublication # lien vers le fichier PDF disponible [ici](https://www.data.gouv.fr/fr/datasets/62721e92b9937f6a1c5b8b96/) ├── Résumé │ ├── Texte │ ├── Liens # liens présents dans le texte du résumé ├── Partenaires │ ├── Texte │ ├── Liens # liens présents dans le texte des partenaires ├── LienSite # URL de la fiche ``` **Que contient chaque champ du jeu de données ?** Voir l'arborescence des champs ci-dessus. **Est-ce que le contenu du jeu de données dépend de ressources externes ?** Non **De quelles garanties dispose-t-on concernant la pérennité de ces ressources ?** Les données de publications présentes dans ce jeu de données ont été extraites de façon ponctuelle du site de l'INCa, l'auteur de ce jeu de données ne peut apporter de garantie sur la pérennité des données sources disponibles sur le site de l'INCa. ## Processus de collecte des données **Comment les données ont été collectées (avec des capteurs, manuellement par des outils informatiques…) ?** Les publications sont rédigées par des agents de l'INCa et sont mises à disposition sur le [site de l'INCa](https://www.cancer.fr/catalogue-des-publications). La collecte a été faite en utilisant des techniques de web scraping. **Qui a assuré le processus de collecte de données (des agents, des bénévoles, des étudiants…) ?** Cette collecte a été réalisée dans le cadre d’une mission pour le compte de la HAS, afin que les données soient mises à disposition des participants du Défi iDoc Santé. **Quelle a été la période de collecte des données ?** Les données de publication ont été collectées le 04/05/2022. **Les données ont-elles été collectées directement ou inférées à partir d’autres données ?** Les données de publication de l'INCa ont été collectées directement sur les pages des fiches correspondantes, à l’aide de techniques de web scraping. **Les données ont-elles été collectées sur un échantillon ? Selon quelles méthodes ?** Les données de publication de l'INCa sont exhaustives sur le résultat de la requête des fiches en français. **Quelles sont les erreurs connues, les limites, les sources de bruit ou de redondances associées à ces données ?** Aucune connue à ce jour. ## Pré-traitement des données **Comment les données ont-elles nettoyées ou préparées ?** Pour chaque fiche : * les liens relatifs ont été modifiés afin de proposer un lien complet contenant la racine [https://www.cancer.fr/](https://www.e-cancer.fr/) * les liens erronés ont été corrigés manuellement * les liens présents dans le texte des résumé ou partenaires sont présentés séparément du texte brut **Les données « brutes » ont-elles été conservées ? Sont-elles diffusées ?** Oui, elles sont trouvables sur le site de l'INCa. **L’outil de prétraitement des données est-il disponible ?** Oui, dans [le repo](https://gitlab.com/has-sante/public/alpha/defi-idoc-data/-/blob/master/defi_idoc_data/inca_scrap.R) correspondant à ce dataset. ## Diffusion du jeu de données **Les données sont-elles diffusées en ligne ? Selon quelles modalités (sur un portail open data, un site web, une API…)?** Oui, sur cette page data.gouv.fr. **Selon quelle licence les données sont-elles diffusées ?** [License Ouverte version 2.0](https://www.etalab.gouv.fr/wp-content/uploads/2017/04/ETALAB-Licence-Ouverte-v2.0.pdf) **Des redevances ou des restrictions sont-elles appliquées dans l’accès aux données ?** Non. ## Maintenance du jeu de données **Qui assure la maintenance du jeu de données ? Comment peut-on contacter cette personne ? Quel est le service responsable du jeu de données ?** La [Mission Data de la HAS](mailto:open-data@has-sante.fr). **Est-ce que les rôles sont distincts entre la production des données, leur éditorialisation et leur diffusion ?** Non. Les données de publication sont produites, éditorialisées et diffusées par les services de l’INCa. **Le jeu de données sera-t-il mis à jour ? Si oui, à quelle fréquence ?** Non. **Si les données deviennent obsolètes, comment cette information sera-t-elle communiquée ?** À travers de cette page. **Est-il possible de contribuer à l’amélioration des données ? Selon quelles modalités ?** Oui, en nous contactant à travers des commentaires de cette page ou directement par e-mail. ## Considérations légales et éthiques **Si le jeu de données concerne des individus, ont-ils exprimé leur consentement de manière claire ?** Il ne concerne pas des individus. **Le jeu de données peut-il exposer de manière directe ou indirecte des individus ?** Non, pas à notre connaissance. **Ces données sont-elles conformes au RGPD ?** Oui. **Les données peut-elles avantager ou désavantager des groupes sociaux ?** Non, pas à notre connaissance. **Le jeu de données contient-il des informations pouvant être considérées comme inappropriées ou offensantes ?** Non, pas à notre connaissance # Organisation de fichiers Un fichier metadatapublicationsinca.json est mis à disposition. ## Dictionnaire des données abrégé | Champ | Description | Commentaire | | ---------------------- | --------------------------------------------------- | ---------------------------------- | | `Titre` | Titre de la publication | | | `Collection` | Collections auxquelles la publication est rattachée | | | `Public` | Public cible de la publication | | | `Date de publication` | Date de publication | Date sans valeur légale | | `Référence` | Identifiant unique de la publication | | | `Format` | Format papier de la publication | Par ex: Affichette, Brochure A4... | | `Langue` | Langue de la publication | Uniquement français ici | | `LienPublication` | Lien vers le fichier PDF relatif à la fiche | | | `Texte (<Résumé)` | Résumé en texte brut | | | `Liens (<Résumé)` | Lien présent dans le résumé | | | `Texte (<Partenaires)` | Partenaires | | | `Liens (<Partenaires)` | Lien présent dans les partenaires | | | `LienSite` | Lien de la fiche de publication | |
Ce jeu d'exercice comporte des dossiers fictifs de médecine générale sous format json proposés pour le Défi iDoc Santé (défi 1A). ## Motivations pour la création du jeu de données **Pourquoi le jeu de données a-t-il été initialement créé ?** Ces dossiers médicaux figurent des notes fictives de médecins généralistes dans leur activité de premier recours au cours de consultations successives. Ces informations constituent l'essentiel de la traçabilité constitué par le professionnel de santé dans son dossier médical. Ce jeu de données a été créé pour le défi 1A du Défi iDoc Santé, qui vise à identifier automatiquement les recommandations de bonnes pratiques pertinentes dans les situations cliniques décrites dans ces dossiers médicaux. **Pour quelles autres tâches le jeu de données pourrait-il être utilisé ?** Des dossiers médicaux réels pourraient être utilisés pour effectuer des recherches, études ou évaluations sur la qualité des soins et les pratiques des professionnels mais ce n'est pas le cas pour les données présentées ici qui sont fictives. **Quelles sont les utilisations trompeuses du jeu de données ?** Le format de ces données n'est proposé que pour le défi 1A du Défi iDoc Santé. Il est conforme à aucune norme d'interopérabilité, la HAS et ses partenaires dans ce concours ne promeuvent en aucun cas d'autre usage de ce format. **Qui a financé ou soutenu la création du jeu de données ?** La HAS est à l'origine de la rédaction de ces dossiers médicaux fictifs. Ils s'inspirent de véritables dossiers médicaux extraits de son logiciel de gestion de cabinet par Philippe Szidon, médecin généraliste à Paris. De ces dossiers médicaux, les épisodes d'histoires pathologiques emblématiques ont été extraits, les dates décalées aléatoirement et les détails changés. Ces « histoires pathologiques » ont ensuite été regroupées de façon aléatoire pour fabriques des histoires possibles de patients de médecine générale. Des balises ont ensuite été insérées pour produire un document json. Ces traitements ont été réalisés par Pierre Liot, HAS. ## Composition du jeu de données **Que contient le jeu de données principalement ?** Les principales informations de ces données sont des informations médicales et des prescriptions. **Dispose-t-on d'un schéma décrivant les variables du jeu de données ?** Oui. Le schéma json du document est fourni. Il ne correspond à aucun standard. **Que contient chaque champ du jeu de données ?** Le jeu de données est une liste de patients, qui comprend chacun les informations de sex, date de naissance, et une liste de prescription. Les balises json sont explicites et en français : - **Sex** : sexe - **DDN** : date de naissance - **Consultations** : liste de consultations contenu d'une consultation - **Date\_consultation** : date de la consultation - **Resultat\_consultation** : diagnostics et problèmes principaux justifiant la consultation. A noter que ces contenus comportent de nombreux libellés de CISP2 - **Biometrie** : constantes cliniques - **Biologie** : résultats d'examen biologique - **Accident\_travail** : contenu du formulaire « Accident du travail » - **Text** : autres notes prises lors de la consultation **Est-ce que le contenu du jeu de données dépend de ressources externes ?** Non. **De quelles garanties dispose-t-on concernant la pérennité de ces ressources ?** Le contenu médical ne dépend pas de sources externes. ## Processus de collecte des données **Comment les données ont été collectées (avec des capteurs, manuellement par des outils informatiques…) ?** Les dossiers médicaux d'origine, servant d'inspiration, ont été saisies manuellement dans le logiciel de gestion de cabinet d'un médecin généraliste. **Qui a assuré le processus de collecte de données (des agents, des bénévoles, des étudiants…) ?** Les dossiers initiaux ont été saisies par Philippe Szidon, médecin généraliste à Paris. Les dossiers inventés ont été saisis par Pierre Liot (HAS, neurologue) dans des outils bureautiques en s'inspirant des dossiers réels affichés via un script spécifique. **Quelle a été la période de collecte des données ?** De janvier 1998 à mai 2022 pour les dossiers initiaux. **Les données ont-elles été collectées directement ou inférées à partir d'autres données ?** Les données ont été créées en s'inspirant de données collectées directement. **Les données ont-elles été collectées sur un échantillon ? Selon quelles méthodes ?** Ces données représentent un échantillon très restreint, défini heuristiquement par un professionnel de santé pour illustrer une variété de situations cliniques. **Quelles sont les erreurs connues, les limites, les sources de bruit ou de redondances associées à ces données ?** Ces données ne sont ni exhaustives ni représentatives. Elles ne sont qu'une illustration de situations cliniques emblématiques et fréquentes telles qu'on peut les trouver dans les dossiers médicaux d'un médecin de premier recours. Elles ne sont pas publiées selon un format standard. ## Pré-traitement des données **Comment les données ont-elles nettoyées ou préparées ?** Ces dossiers médicaux ne comportent pas de nom, aucune date (naissance, consultation, arrêt ou accident de travail, …) n'est réelle. Aucune des associations pathologiques des fiches initiales n'a été conservée dès lors qu'elle n'avait pas de relation médicale connue. Ces dossiers médicaux publiés sont donc inventés et sans relation avec de réels patients. **Les données « brutes » ont-elles été conservées ? Sont-elles diffusées ?** Les données sources, les dossiers médicaux ayant servi d'inspiration, ne sont pas diffusées. **L'outil de prétraitement des données est-il disponible ?** Non. ## Diffusion du jeu de données **Les données sont-elles diffusées en ligne ? Selon quelles modalités (sur un portail open data, un site web, une API…) ?** Oui, sur cette page [data.gouv.fr](http://data.gouv.fr/). **Selon quelle licence les données sont-elles diffusées ?** [License Ouverte version 2.0](https://www.etalab.gouv.fr/wp-content/uploads/2017/04/ETALAB-Licence-Ouverte-v2.0.pdf) **Des redevances ou des restrictions sont-elles appliquées dans l'accès aux données ?** Non. ## Maintenance du jeu de données **Qui assure la maintenance du jeu de données ? Comment peut-on contacter cette personne ? Quel est le service responsable du jeu de données ?** Ce jeu de données n'est pas maintenu. La publication est réalisée par la HAS. **Est-ce que les rôles sont distincts entre la production des données, leur éditorialisation et leur diffusion ?** Non. La production de ces dossiers médicaux fictifs a été réalisée par la mission Data de la HAS qui en assure la diffusion. **Le jeu de données sera-t-il mis à jour ? Si oui, à quelle fréquence ?** Non **Si les données deviennent obsolètes, comment cette information sera-t-elle communiquée ?** Sur cette page. **Est-il possible de contribuer à l'amélioration des données ? Selon quelles modalités ?** La mission data de la HAS est à l'écoute de toute proposition constructive. ## Considérations légales et éthiques **Si le jeu de données concerne des individus, ont-ils exprimé leur consentement de manière claire ?** Les dossiers médicaux fictifs ne concernent pas des individus. **Le jeu de données peut-il exposer de manière directe ou indirecte des individus ?** Non. Les dossiers publiés sont fictifs. **Ces données sont-elles conformes au RGPD ?** Oui **Les données peuvent-elles avantager ou désavantager des groupes sociaux ?** Non. **Le jeu de données contient-il des informations pouvant être considérées comme inappropriées ou offensantes ?** Non.
# Métadonnées des Publications de la HAS ## À propos de cette documentation La documentation de ce jeu de données suit le concept de _fiche technique pour les jeux de données_ (ou *Datasheets for Datasets*) proposé par [Gebru et al.](https://arxiv.org/abs/1803.09010) Spécifiquement, nous reprenons l'adaptation et traduction au français proposée par Samuel Goëta [ici](https://teamopendata.org/t/traduction-et-adaptation-du-modele-de-description-des-donnees-datasheet-for-datasets/1400). Le but de cette fiche technique est de normaliser la documentation à propos de pourquoi un jeu de données a été créé, quelles informations il contient, les tâches pour lesquelles il devrait et ne devrait pas être utilisé, et si cela pourrait soulever des préoccupations d’ordre éthique ou juridique. ## Motivations pour la création du jeu de données **Pourquoi le jeu de données a-t-il été initialement créé ?** Les données des publications de la HAS sont trouvables programmatiquement à travers de l'API du site web, documenté [ici](https://gitlab.com/has-sante/public/exercices/exercice_nlp/-/blob/master/documentation/README.md). Ce dataset propose les publications traitées, nettoyées et enrichies sous forme de fichiers JSON, CSV et XSLX. **Pour quelles autres tâches le jeu de données pourrait-il être utilisé ?** Créer un graphe de connaissance en liant les publications par rapport aux thématiques, mots clés, dates, etc. **Quelles sont les utilisations trompeuses du jeu de données ?** L'utilisation des dates de publication ou de mise à jour comme des dates ayant une valeur légale. Ces dates font partie d'un processus métier interne et ne peuvent pas être prises en compte pour des démarches légales. **Qui a financé ou soutenu la création du jeu de données ?** La HAS. ## Composition du jeu de données **Que contient le jeu de données principalement ?** Les métadonnées des documents rédigés par les agents de la HAS. **Dispose-t-on d’un schéma décrivant les variables du jeu de données ?** Oui, [comme ressource dans ce même dataset](https://www.data.gouv.fr/fr/datasets/r/1c9d50d3-b98f-45d6-8d88-94b478a25724) et sur [la documentation du projet](https://has-sante.gitlab.io/public/alpha/has_publications/data-docs/index.html). **Que contient chaque champ du jeu de données ?** Voir les tableaux du *Dictionnaire abrégé* ci-dessous. **Est-ce que le contenu du jeu de données dépend de ressources externes ?** Oui, pour les publications du type *Avis sur les Médicaments*, le champ `reference` fait référence au Code ATC (Anatomical Therapeutic Chemical) **De quelles garanties dispose-t-on concernant la pérennité de ces ressources ?** Le code ATC est un identifiant de référence [indexé par l'OMS](https://www.whocc.no/atc_ddd_index/). ## Processus de collecte des données **Comment les données ont été collectées (avec des capteurs, manuellement par des outils informatiques…) ?** Les publications sont rédigées par des agents de la HAS et puis sont versées automatiquement à partir d'un système d'information interne. Certaines publications sont ajoutées manuellement. La collecte se fait par des outils informatiques, via l'API du site. **Qui a assuré le processus de collecte de données (des agents, des bénévoles, des étudiants…) ?** Des agents de la HAS. **Quelle a été la période de collecte des données ?** Le dataset contient les métadonnées des publications créées à partir de juin 1999. **Les données ont-elles été collectées directement ou inférées à partir d’autres données ?** Collectées directement. **Les données ont-elles été collectées sur un échantillon ? Selon quelles méthodes ?** Oui. Nous incluions que les types des publications liées à la production des experts de la HAS. Nous écartons les publications liées au système de gestion de documents du site web. Les publications inclues/exclues sont les suivantes : | **Types inclus** | **Types exclus** | |-----------------------------------------------------------------|----------------------------------------------| | Avis sur les Médicaments | Médecin accrédité | | Avis sur les dispositifs médicaux et autres produits de santé | Avis et décisions de la HAS | | Évaluation des technologies de santé | Article HAS | | Recommandation de bonne pratique | Médicament | | Outil d'amélioration des pratiques professionnelles | Résultat de certification des établissements | | Guide maladie chronique | Événement de Calendrier | | Guide méthodologique | Lien externe | | Recommandation en santé publique | Article Webzine | | Études et Rapports | Communiqué de presse | | Guide usagers | Synthèse d'avis et Fiche bon usage | | Recommandation vaccinale | Newsletter HAS | | | Sous-éléments | | | Glossaire - Terme | | | Avis sur les Actes | | | Brève | | | Vos interlocuteurs | | | Faq - Entrée | | | Sondage | | | Étude d'évaluation économique | **Quelles sont les erreurs connues, les limites, les sources de bruit ou de redondances associées à ces données ?** 1. Il existe des variables avec des limites, évoquées dans le tableau ci-dessous. 2. Il existe des publications qui ont été remplacées par une nouvelle version dans le site web. 3. Les dates inclues dans le dataset sont relatives à la gestion du site Web. Ces dates ne portent aucune valeur légale. ## Pré-traitement des données **Comment les données ont-elles nettoyées ou préparées ?** Pour chaque publication : 1. Suppression des variables liées au système de gestion de documents pour faciliter l'utilisation. 2. Renommage des noms de champs pour expliciter les contenus. 3. Suppression des doublons dans les contenus dus aux erreurs de saisie. 4. Simplification du code HTML pour faciliter sa lecture en gardant l'opérabilité. 5. Ajout une version en Markdown pour les champs contenant du HTML. 6. L'ajout des URLs des ressources référencées. 7. L'ajout de la date où l'API a été consultée. 8. L'ajout d'une valeur haché correspondant aux variables présentes dans la publication. Spécifiquement, une somme MD5 calculée avec tous les champs de la publication, sauf la date de consultation. **Les données « brutes » ont-elles été conservées ? Sont-elles diffusées ?** Oui, ils sont trouvables via l'API du site web de la HAS. **L’outil de prétraitement des données est-il disponible ?** Oui, dans [le repo](https://gitlab.com/has-sante/public/alpha/has_publications/-/tree/master) correspondant à ce dataset. La documentation de cet outil se trouve [ici](https://has-sante.gitlab.io/public/alpha/has_publications/). ## Diffusion du jeu de données **Les données sont-elles diffusées en ligne ? Selon quelles modalités (sur un portail open data, un site web, une API…)?** Oui, sur cette page data.gouv.fr. Aussi, ils sont accessibles sans prétraitement via l'API. **Selon quelle licence les données sont-elles diffusées ?** [License Ouverte version 2.0](https://www.etalab.gouv.fr/wp-content/uploads/2017/04/ETALAB-Licence-Ouverte-v2.0.pdf) **Des redevances ou des restrictions sont-elles appliquées dans l’accès aux données ?** Non. ## Maintenance du jeu de données **Qui assure la maintenance du jeu de données ? Comment peut-on contacter cette personne ? Quel est le service responsable du jeu de données ?** La [Mission Data de la HAS](mailto:open-data@has-sante.fr). **Est-ce que les rôles sont distincts entre la production des données, leur éditorialisation et leur diffusion ?** Oui. Produit par les services HAS. Éditorialisé aussi par les services HAS et le service communication. Diffusé par le service informatique et la Mission Data de la HAS. **Le jeu de données sera-t-il mis à jour ? Si oui, à quelle fréquence ?** Oui, de manière hebdomadaire (tous les lundis). **Si les données deviennent obsolètes, comment cette information sera-t-elle communiquée ?** À travers de cette page. **Est-il possible de contribuer à l’amélioration des données ? Selon quelles modalités ?** Oui, en nous contactant à travers des commentaires de cette page ou directement par e-mail. ## Considérations légales et éthiques **Si le jeu de données concerne des individus, ont-ils exprimé leur consentement de manière claire ?** Il ne concerne pas des individus. **Le jeu de données peut-il exposer de manière directe ou indirecte des individus ?** Non à notre connaissance. **Ces données sont-elles conformes au RGPD ?** Oui. **Les données peut-elles avantager ou désavantager des groupes sociaux ?** Non à notre connaissance. **Le jeu de données contient-il des informations pouvant être considérées comme inappropriées ou offensantes ?** Non à notre connaissance # Organisation de fichiers Deux fichiers ZIP sont mis à disposition avec les données sous trois formats différents. **Nous conseillons fortement d'utiliser le format JSON.** ### Single Le premier, `has-publications-single.zip`, contient un seul fichier avec toutes les publications à l'intérieur. Nous fournissons trois types de format : CSV, JSON et XLSX (Excel). L'arborescence de ce fichier ZIP est la suivante : ```shell ├── csv │ └── AllPublications.csv ├── json │ └── AllPublications.json └── xlsx └── AllPublications.xlsx ``` ### Split Le deuxième fichier, `has-publications-split.zip`, contient un fichier par type de publication (voir table ci-dessus) et par type de format (CSV, JSON, XLSX) : ```shell ├── csv │ ├── AVISMedicament.csv │ ├── AVISProduitsEtPrestations.csv │ ├── ... │ └── RecommandationsProfessionnelles.csv ├── json │ ├── AVISMedicament.json │ ├── AVISProduitsEtPrestations.json │ ├── ... │ └── RecommandationsProfessionnelles.json └── xlsx ├── AVISMedicament.xlsx ├── AVISProduitsEtPrestations.xlsx ├── ... └── RecommandationsProfessionnelles.xlsx ``` ## Dictionnaire des données abrégé ### Attention Certains champs dans les données proposées ont des particularités à prendre en compte lors de son utilisation. En général, il peut aussi exister des erreurs de saisi dans certains champs. Pour ces champs, nous ajoutons des commentaires dans les tableaux ci-dessous. ### AVISMedicament.json Veuillez trouver des informations complémentaires pour les Avis sur les Médicaments [ici](https://www.data.gouv.fr/fr/datasets/evaluation-des-medicaments-2022/) dans un autre dataset ouvert de la HAS. | Field | Description | Commentaire | |------------------------------------------|-------------------------------------------------------------------|-----------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `typeDavis` | Type d'avis | | | `syntheseDeLavis` | Synthèse de l'avis | | | `codeCIP` | Code Identifiant de Présentation | | | `natureDeLaDemande` | Nature de la demande d'avis | variable à très haute cardinalité | | `reference` | Code Anatomical Therapeutic Chemical (ATC) | | | `fabricant` | Fabricant du médicament | | | `presentation` | Présentation du médicament | | | `avisPrioritaire` | Si l'avis es prioritaire ou pas | | | `accesPrecoce` | Si l'avis es de type accès précoce ou pas | | | `documentLinkSet` | Ressources (fichiers) liées | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | terminologie interne à la HAS | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `substance` | Substance active du médicament | | | `serviceMedicalRendu` | Valeur du Service Médical Rendu | | | `serviceMedicalRenduTexte` | Résumé explicatif du SMR | | | `ameliorationDuServiceMedicalRendu` | Valeur de l'Amélioration du Service Médical Rendu | | | `ameliorationDuServiceMedicalRenduTexte` | Résumé explicatif de l'Amélioration du Service Médical Rendu | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### RecommandationsProfessionnelles.json | Field | Description | Commentaire | |-------------------------|---------------------------------------------------------------------|--------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `surtitre` | Surtitre de la publication | beaucoup de valeurs manquantes | | `soustitre` | Sous-titre de la publication | beaucoup de valeurs manquantes | | `objectifs` | Objectifs de la recommandation | beaucoup de valeurs manquantes | | `dateDeValidation` | Date de validation par le collège | | | `documentLinkSet` | Ressources (fichiers) liées | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | terminologie interne à la HAS | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### AVISProduitsEtPrestations.json | Field | Description | Commentaire | |-------------------------------------|---------------------------------------------------------------------|-------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `typeDavis` | Type d'avis | | | `soustitre` | Sous-titre de la publication | | | `natureDeLaDemande` | Nature de la demande | | | `demandeurFabricant` | Demandeur ou fabricant du produit | | | `documentLinkSet` | Ressources (fichiers) liées | | | `serviceAttendu` | Valeur du Service Attendu | | | `serviceAttenduTexte` | Résumé explicatif du SA | | | `ameliorationDuServiceAttendu` | Valeur de l'amélioration du Service Attendu | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | terminologie interne à la HAS | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `ameliorationDuServiceAttenduTexte` | Résumé explicatif de l'Amélioration du SA | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### GuideMedecinALD.json | Field | Description | Commentaire | |-------------------------|-------------------------------------------------------------------|-------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `documentLinkSet` | Ressources (fichiers) liées | | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `categoriesThematiques` | Liste des catégories thématiques de la publication | terminologie interne à la HAS | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### EtudeEtEnquete.json | Field | Description | Commentaire | |-------------------------|-------------------------------------------------------------------|------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `documentLinkSet` | Ressources (fichiers) liées | | | `publicationDate` | Date de publication | | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | date sans valeur legal | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### GuideMethodologique.json | Field | Description | Commentaire | |-------------------------|-------------------------------------------------------------------|-------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `documentLinkSet` | Ressources (fichiers) liées | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | terminologie interne à la HAS | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### GuidePatient.json | Field | Description | Commentaire | |-------------------------|-------------------------------------------------------------------|-------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `documentLinkSet` | Ressources (fichiers) liées | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | terminologie interne à la HAS | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### EvaluationDesTechnologiesDeSante.json | Field | Description | Commentaire | |-------------------------|-------------------------------------------------------------------|--------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `surtitre` | Surtitre de la publication | beaucoup de valeurs manquantes | | `soustitre` | Sous-titre de la publication | beaucoup de valeurs manquantes | | `objectifs` | Objectifs de l'étude | | | `documentLinkSet` | Ressources (fichiers) liées | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### RecommandationVaccinale.json | Field | Description | Commentaire | |-------------------------|---------------------------------------------------------------------|-------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `documentLinkSet` | Ressources (fichiers) liées | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | terminologie interne à la HAS | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### EvaluationDesPratiques.json | Field | Description | Commentaire | |-------------------------|---------------------------------------------------------------------|--------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `surtitre` | Surtitre de la publication | beaucoup de valeurs manquantes | | `soustitre` | Sous-titre de la publication | beaucoup de valeurs manquantes | | `resumeCourt` | Résumé court de cette évaluation | beaucoup de valeurs manquantes | | `documentLinkSet` | Ressources (fichiers) liées | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | terminologie interne à la HAS | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | | ### EvaluationDesProgrammesEtPolitiq.json | Field | Description | Commentaire | |-------------------------|---------------------------------------------------------------------|--------------------------------| | `class` | Type de la publication | | | `id` | Identifiant de la publication | | | `title` | Titre de la publication | | | `surtitre` | Surtitre de la publication | beaucoup de valeurs manquantes | | `soustitre` | Sous-titre de la publication | beaucoup de valeurs manquantes | | `resumeCourt` | Résumé court de cette évaluation | | | `objectifs` | Objectifs de l'évaluation | | | `documentLinkSet` | Ressources (fichiers) liées | | | `publicationDate` | Date de publication | date sans valeur legal | | `creationDate` | Date de création | date sans valeur legal | | `apiAccessDate` | Date d'accès à l'API du site web HAS | | | `categoriesThematiques` | Liste des catégories thématiques de la publication | terminologie interne à la HAS | | `liensSiteWeb` | Liste des publications HAS liées | | | `resumeSiteWeb` | Résumé présenté sur le site web | | | `page_url` | URL de la page de cette publication | | | `md5` | Hash lié aux métadonnées de cette publication (champs précédents) | |