Bonjour Pierre
Merci de votre retour.
L'adresse IP de notre serveur est 146.59.209.152. Elle correspond au domaine "altygo.digital" sur lequel nous hébergeons une application qui s'appelle BiBiScan et qui utilise (utilisait) la base open food facts en live.
L'objet principal de l'application est de permettre un scan (GTIN 13 positions) d'un produit alimentaire, d'hygiène ou de beauté et d'apporter au consommateur des informations et des services liés au produit.
- Informations produits (API OFF, ingrédients, marque, nom, pays, nutriscore ...)
- Gestion de listes de produits préférés et de produits à racheter
- Informations de rappels sanitaires (API DGCCRF) - Sur le produit scanné, sur l'historique des scans, sur les listes de produits ou tous les produits en rappel en cours.
- Possibilité de racheter le produit en ligne si la marque possède un site eShop
- Possibilité de laisser un message au fabricant du produit (relation privée non diffusée)
- Notation des produits sur 6 critères (goût, odeur, packaging, ecoresponsabilité etc)
Cette application est une WebApp.
Pour des raisons de fiabilité de l'information j'avais programmé un accès live à votre API soit pour obtenir les infos d'un produit scanné et inconnu chez nous, soit pour mettre à jour une fiche produit déjà connue.
J'avais programmé par ailleurs quelques tâches cron qui tournaient la nuit et qui accédaient également à la volée à votre API pour mettre à jour des produits ou récupérer des images manquantes etc .
Tous les produits connus et scannés sont stockés chez nous avec des datas complémentaires aux votres et utiles à l'application
Pour tous les produits dont on connait une source d'image , une vignette est reconstruite sur notre serveur à la fois pour soulager vos serveurs mais aussi pour y accéder plus rapidement chez nous (même serveur que l'appli et taille réduite de l'image)
J'ai bien compris la montée en charge de vos serveurs et votre souci de limiter en bridant des IP
Je suis preneur d'une solution élégante pouvant convenir à vous et nous.
J'ai regardé l'import automatique la nuit du fichier csv. L'import ne pose pas de problème surtout en version gzippée que je dézippe à la volée sur mon serveur.
En revanche je suis confronté à la gestion du fichier dézippé en csv qui fait presque 8 giga octets.
Du coup le traitement qui consiste à extraite les 500 000 lignes qui nous intéressent sur les 2 500 000 proposées souffre de time out serveur sur lequel je n'ai pas la main.
Idéalement il faudrait qu'on puisse récupérer la nuit à l'heure de votre choix un fichier extrait selon nos critères que je peux vous transmettre bien entendu et qui correspondrait aux fameuses 500 000 lignes pertinentes pour nous.
A votre disposition
Très cordialement
Igor Peltier
Altygo Digital