Refacto get dataset betagouv

[fufeck]

Context

• La récupération des datasets de data.gouv était quasiment obsolète, car on ne prenait pas la pagination de l'api en compte et le page_size allait être dépassé a terme.
• Le but est de refacto avant d'intégrer la restriction des partenaire de la charte Gestion des aurotisations pour les organismes moissonnés bal-admin#27

Fonctionnalité

• Prise en compte de la pagination pour le pas avoir a augmenter le page_size dans quelque mois.
• Suppression de la requête qui récupère l'organisation de chaque dataset, car cette dernière est présente dans la requète de base
• Url de la route api de beta.gouv mise en variable d'environnement

Doc API datasets

https://guides.data.gouv.fr/publier-des-donnees/guide-data.gouv.fr/api/reference/datasets

[MaGOs92]

Code LGTM

[MaGOs92]

Mince j'ai des soucis pour tester, un bug bizarre de connexion à Mongo... Je pense que c'est encore un problème lié à la lib "gdal-async" qu'on ne peut pas utiliser en node >= 16.
En regardant un peu, je me suis aperçu que cette lib est utilisé par le reader shp qui n'est utilisé que pour ce dataset : https://opendata.arcgis.com/datasets/ce237a8f47bc450d9abd6bfa84a44f74_3.zip (qui pointe maintenant vers une erreur 404).
Je pense donc qu'on devrait pouvoir se débarrasser de cette dépendance, tu en penses quoi?
Plus globalement, on pourrait aussi voir si les autres datasets dans les configs sont tjs valides.
A mon avis, le plus solide ça serait de moissonner les données uniquement depuis data.gouv

[MaGOs92]

Bon bizarrement aujourd'hui ça fonctionne, sans doute un souci de conf de mon côté hier.
Tests LGTM, j'ai fait la PR d'authentification du moissonnage sur cette PR

[fufeck]

Mince j'ai des soucis pour tester, un bug bizarre de connexion à Mongo... Je pense que c'est encore un problème lié à la lib "gdal-async" qu'on ne peut pas utiliser en node >= 16. En regardant un peu, je me suis aperçu que cette lib est utilisé par le reader shp qui n'est utilisé que pour ce dataset : https://opendata.arcgis.com/datasets/ce237a8f47bc450d9abd6bfa84a44f74_3.zip (qui pointe maintenant vers une erreur 404). Je pense donc qu'on devrait pouvoir se débarrasser de cette dépendance, tu en penses quoi? Plus globalement, on pourrait aussi voir si les autres datasets dans les configs sont tjs valides. A mon avis, le plus solide ça serait de moissonner les données uniquement depuis data.gouv

A regarder en effet, je vais faire un petit check a la mano ;)
Et pour l'aglo de Chalons, j'ai demandé au reste de l'équipe

[MaGOs92]

LGTM