PARQUET - Données climatologiques de base - mensuelles - quotidiennes - horaires - 6 minutes (format parquet) PARQUET

Bonjour Maxime, merci pour cet affinage. Et votre site me parait très utile pour visualiser et extraire.

Merci pour la réponse, Maxime Je suivrai donc l'évolution de votre jeu de données. Je comprends donc que la version "non prepared" n'est pas indexée. Le petit fichier '2022-2024 prepared ' est effectivement indexé de façon logique sur les métadonnées de la station ce qui est pratique, et les espaces inutiles présents dans le fichier CSV sont effectivement supprimés. Par contre je ne suis pas encore capable d'ouvrir le gros fichier "1950-2022" faute de solution pour l'instant. Mais je crains que ma question sur polars en tant que meilleure solution pour ouvrir les gros fichiers ait été trop simpliste pour appeler une réponse !-). Je voudrais seulement être sûr que c'est la bonne piste avant de me lancer dans l'apprentissage de polars, sachant que mon but est d'extraire un subset de taille adapté à la mémoire vive que je puissse traiter avec mon pandas habituel. Cordialement Loïc

Bonjour Maxime, Encore merci pour votre partage. Météo-France se devrait d'initier un partenariat avec vous (ou utiliser votre code de conversion s'il est open-source) pour pérenniser et améliorer ce jeu de données dont le format est bien plus adapté à un usage avancé que le ridicule format CSV qui n'est pertinent pour aucun utilisateur, lambda ou avancé. Pour accéder chaque mois aux données récentes, je suis malheureusement obligé d'utiliser le format CSV de la plateforme Météo-France, à l'aide de code python personnels qui demandent un développement coûteux en effort et en temps. Avec votre format, la plateforme meteo.data.gouv.fr pourrait proposer une version améliorée de votre jeu de données adaptée aux utilisateurs avancés utilisant pytho (ou R) : - mise à jour avec la même fréquence que le format CSV - correction des imperfections de votre jeu de données que vous avez vous même relevées après sa création au cours du Hackaton : -- suppression des blancs inutiles de certains champs, -- NUM_POSTE en chaine de caractère et non en entier (départements 01 à 09....) -- Champ AAAAMMJJ converti en type date (puisque votre jeu de données est un dataframe pandas) -- etc... Bien cordialement Loïc Duffar

Je me réponds à moi-même !-) au sujet de mon espérance que la solution PARQUET de Maxime Pawlak soitn disponible sur la plateforme meteo.data.gouv.fr avec la même fréquence que les fichiers CSV. En réalité la démarche est déjà commencée (je ne sais pas depuis quand). Cela semblait une bonne nouvelle, mais certains manques et défauts rend leur utilisation impossible. La démarche n'est visiblement pas terminées. - L’alternative PARQUET est « cachée ». Dans meteo.data Il faut cliquer sur le nom du fichier (et non sur le lien de téléchargement de l’archive CSV) puis sur « Téléchargement ». - Le nom des fichiers PARQUET ne permet pas d’identifier leur contenu (par exemple « 11b4f6ca-71eb-4865-b0e8-2901c1e83295.parquet »). Il faut donc les renommer à la main ce qui est rédhibitoire pour une utilisation professionnelle courante. - Certain fichiers PARQUET sont absents, pour les données de base que j’ai consultées : o 6 minutes : Aucun fichier PARQUET pour les départements consultés (04, 13, 83, 84) o Quotidien : Tous les fichiers PARQUET PREVIOUS sont manquants pour les départements consultés (04, 13, 83, 84) o Mensuel : fichier PARQUET absent pour le fichier LATEST du 84 (parmi les départements consultés 04, 13, 83, 84) - Les jeux de données PARQUET sont découpés en multiples fichiers, de la même façon que les fichiers CSV, ce qui ne se justifie plus pour ce format compact et rapide. o On pourrait par exemple regrouper toutes les périodes d’un département, o et même tous les départements et toutes les périodes pour les pas de temps les plus longs (au moins pour le MENSUEL). - Aucune amélioration des inconvénients déjà identifiées par Maxime Pawlak dans sa solution développée rapidement pendant le hackathon. Le code de Maxime a donc été utilisé tel quel, alors que les modifications souhaitables sont très faciles. o suppression des blancs inutiles de certains champs, o NUM_POSTE en chaine de caractère et non en entier (départements 01 à 09....) o Champ AAAAMMJJ converti en type date (puisque cette solution est un dataframe pandas) @ Maxime Pawlak , donc la bonne nouvelle c'est que votre solution a été adoptée par Météo France ! Mais il reste du travail pour que ce soit utilisable sur la plateforme meteo.data Je vais poster ce commentaire dans une discussion sur meteo.data, pour montrer à Météo-France que cette alternative sera appréciée. Cordialement Loïc Duffar

Bonjour, Je me permets d'intervenir au sujet des fichiers parquet mis à disposition par data.gouv.fr : pour tous les fichiers tabulaires de la plateforme (i.e. pas uniquement pour ceux de Météo France), nous avons plusieurs traitements automatiques, dont notamment la mise en base de données afin de permettre le requêtage des données par API (cf https://www.data.gouv.fr/dataservices/api-tabulaire-data-gouv-fr-beta/) ainsi que la conversion du fichier en parquet (et potentiellement en d'autres formats) que vous pouvez retrouver dans l'onglet "Téléchargement" (NB : ce layout va probablement évoluer dans les prochains mois pour mieux mettre en valeur les différents formats de téléchargement). Ce processus n'est actif que si le fichier d'origine n'est pas "trop gros", ce qui explique pourquoi certains fichiers des jeux de données météo ne bénéficient pas de ce traitement, mais nous pouvons les passer en exception au cas par cas. Vous avez également la possibilité de récupérer les données climatologiques de base via l'API que nous avons mise en place pour la recherche guidée de meteo.data.gouv.fr (https://meteo.data.gouv.fr/form), par exemple : https://meteo-api.data.gouv.fr/api/clim/base_decad/09/csv/?num_postes=09224001,09042004,09289001&anneemin=2022&anneemax=2025 (avec quelques limitations), vous pouvez récupérer les données en construisant l'URL à partir des paramètres qui vous conviennent. Si la communauté estime que des expositions différentes des données seraient préférables, l'équipe de data.gouv.fr pourra envisager des traitements complémentaires pour permettre une meilleure consommation. N'hésitez pas à nous remonter cela via notre forum : https://forum.data.gouv.fr/. Pierlou Ramade, pour l'équipe de data.gouv.fr

Oui maxime c'est une très bonne nouvelle. Et j'ai préciés dans mon commentaire sur meteo.gouv que votre solution très pertinente avait été "développée rapidement dans le cadre du Hakaton". https://meteo.data.gouv.fr/datasets/6569b3d7d193b4daf2b43edc Je vois que mon ici sur data.gouv a suscité une réponse qui montre que la solution est en cours de mise en place et sera améliorée. C'est une bonne nouvelle. D'ailleurs mon commentaire apporte beaucoup plus de détails dans l'autre discussion sur meteo.data.(https://meteo.data.gouv.fr/datasets/6569b3d7d193b4daf2b43edc) Notamment, sur AAAAMMJJ à convertir en date, les nombres interprétés comme des string, et sur les valeurs manquantes codées de manières variables None, pd.NA et numpy.nan etc.....