Agrégation des fichiers des personnes décédées

Bonjour, le code qui met à jour ce jeu de données est disponible ici : https://github.com/datagouv/datagouvfr_data_pipelines/tree/main/data_processing/insee/deces

Bonjour, merci pour ce retour. Actuellement aucun traitement n'est fait sur les données. Pour toute question sur leur contenu et les précautions d'usage, l'INSEE sera plus à même de vous répondre. Si des améliorations sont suggérées par l'INSEE (déduplication notamment), nous pourrons les mettre en place dans notre traitement. Je ne suis pas sûr de comprendre votre deuxième point : les dates de naissance et décès sont disponibles dans les fichiers (format AAAAMMJJ) (toujours avec les précautions indiquées par l'INSEE pour les cas de méconnaissance d'une donnée).

Merci pour votre prompte réponse, je vous rejoins dans le respect des indications du fournisseur, vers qui je pourrais me tourner. D'une façon générale, surtout en parquet qui gère des types, un champ date typé date est directement manipulable, on n'a pas à le décoder (parser) à la main, ce qui fait gagner ps mal de temps.

Merci pour cette précision : en effet nous avons testé la conversion des colonnes qui contiennent des dates au type DATE dans le parquet, mais les dates (partiellement ou totalement inconnues) posent problème (impossible de convertir 1950-00-01 en date par exemple). Nous avons envisagé de convertir ces cas en une date réelle (et d'ajouter une colonne qui dirait que la date n'est pas exacte), mais cela ne nous semble pas satisfaisant. Si vous avez des suggestions, nous sommes preneurs.

Merci pour ce suivi. J'ai eu la même idée que vous, ajouter aux dates en caractère deux dates estimées au format date, deux champs indiquant la précision de l'estimation, et l'âge au décès obtenu par différence entre les deux dates. Ainsi, aucune information ne serait perdue, et la valeur ajoutée serait bien présente. Pour ce que ça vaut, mon retraitement en SQL DuckDB (mais sans le calcul des indicateurs d'estimation) : COPY ( WITH t1 AS ( FROM 'base_deces.parquet' SELECT * REPLACE (opposition::boolean AS opposition, replace(prenoms,',',', ') AS prenoms), date_naissance[:4] tp_an_nais, CASE WHEN date_naissance[5:6] = '00' OR date_naissance[5:6] > '12' THEN '07' ELSE date_naissance[5:6] end tp_mois_nais, CASE WHEN date_naissance[-2:] = '00' THEN '15' ELSE date_naissance[-2:] END tp_jour_nais, IFNULL(try_cast(tp_an_nais || '-' || tp_mois_nais || '-' || tp_jour_nais AS date), (tp_an_nais || '-' || tp_mois_nais || '-01')::date + INTERVAL 1 MONTH - INTERVAL 1 DAY) AS date_naissance_est , date_deces[:4] tp_an_deces, CASE WHEN date_deces[5:6] = '00' OR date_deces[5:6] > '12' THEN '07' ELSE date_deces[5:6] end tp_mois_deces, CASE WHEN date_deces[-2:] = '00' THEN '15' ELSE date_deces[-2:] END tp_jour_deces, IFNULL(try_cast(tp_an_deces || '-' || tp_mois_deces || '-' || tp_jour_deces AS date), (tp_an_deces || '-' || tp_mois_deces || '-01')::date + INTERVAL 1 MONTH - INTERVAL 1 DAY) AS date_deces_est, date_diff('year',date_naissance_est,date_deces_est) AS age WHERE len(trim(date_deces)) = 8 AND len(trim(date_naissance)) = 8 ) FROM t1 SELECT columns(c -> c NOT LIKE 'tp_%' ) ORDER BY date_naissance_est,code_insee_naissance, nom ) TO 'base_deces2.parquet' (compression 'zstd') ; Et pour le dédoublonnage, quelque chose comme : FROM 'base-deces.parquet' QUALIFY row_number() OVER (PARTITION BY nom, prenoms, code_insee_naissance,code_insee_deces,date_naissance, date_deces) = 1

Merci pour ce retour. Je ne suis pas sûr que nous voulions nous engager à ce point dans des retraitements, avec des choix éditoriaux forts qui peuvent entraver la bonne compréhension des données. Nous sommes en contact avec l'INSEE pour continuer d'améliorer la qualité de ce jeu de données. Ces modifications des données pour améliorer leur qualité sont cependant intéressants, elles ont toute leur place dans les ressources communautaires si vous souhaitez en faire bénéficier la communauté.

Je comprends, merci pour le débat constructif. Je pourrais déposer ma version ici, mais comme je ne peux m'engager à la mettre à jour régulièrement, ce n'est pas la formule idéale. Connaissant l'Insee, je ne doute pas qu'ils prendront en compte quelques unes de ces suggestions au moment opportun.