⚠️ Ce dépôt est remplacé par un projet un peu plus vaste, decp-processing

Version 1.3.4

Ce dépôt rassemble les outils liés au schéma tabulaire des DECP.

Il rassemble les outils suivants :

• scripts/flow.py : un script de conversion des données depuis le format JSON réglementaire vers le format tabulaire
• scripts/make-decp-titulaires.sh: un script de fusion des DECP avec certaines données du répertoire SIRENE pour produire decp-titulaires.csv
• scripts/publish.sh: un script de publication de l'ensemble des données produites sur data.gouv.fr

Pour transformer le JSON réglementaire en un fichier CSV et un fichier SQLite :

La commande suivante :

1. télécharge les données au format JSON réglementaire
2. détecte les anomalies dans le données
3. transforme les données au format CSV
4. rectifie le datatype de certaines colonnes
5. calcul la valeur de la colonne donneesActuelles
6. trie les données selon la colonne datePublicationDonnees
7. produit les fichiers suivants :

• ./decp/decp.csv
• ./decp/datapackage.json
• ./decp/decp.sqlite

Préparez votre environnement Python :

pipenv install
pipenv shell

Puis lancez la conversion :

python3 ./scripts/flow.py

• correction de dates malformées dans les données PES Marché (DGFiP)

• correction et amélioration du filtrage par date de notification

• filtrage des dates de notification trop mal formées

• correction des dates qui commencent par "220-" au lieu de "2020-" (uid : 200060010000852020-02B457-L200)

• ne garder que les inscrits au SIRENE dans decp-titulaires (f8c8bf4)
• correction de bugs:
  • suppression de la colonne titulaire.typeIdentifiant dans decp-sans-titulaires

• déplacement du code de decp.info vers ColinMaudry/decp.info
• remplacement du fichier .sqlite.gz par .sqlite

• ajout de nouvelles vues :
  • vue dédiée aux titulaires de marchés (decp-titulaires) avec données provenant du répertoire SIRENE
  • vue sans les titulaires (decp-sans-titulaires) pour analyser les nombres de marchés et les montants
• amélioration de la page d'accueil
• développement de la page "db" avec description des vues et liste des colonnes
• les codes APE sont cliquables
• ajout des mentions légales
• ajout d'un formulatire d'inscription à une lettre d'information
• correction de bugs :
  • correction du format de certaines dates dans les données

• publication sur https://decp.info
• ajout d'une vue équivalente au format DECP réglementaire
• personnalisation de datasette
• script de conversion quotidien basé sur dataflows