-
Notifications
You must be signed in to change notification settings - Fork 24
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Import IAE : Utiliser les données issues de l'équipe RIAE de l'ASP plutôt que celle de la DGEFP #4048
Conversation
shutil.register_unpack_format("gz", [".gz"], gunzip) | ||
shutil.register_unpack_format("7zip", [".7z"], unpack_7zarchive) | ||
shutil.register_unpack_format("zip-riae", [".riae"], unpack_riae_zip_aes_encrypted) |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Arnaque !
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Si les algos ne changent plus, on peut ouvrir le ZipFile conteneur puis chaque fichier individuellement directement avec pyzipper, plutôt que d’utiliser shutil
, non ?
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
C'est sûrement l'étape de fin oui, je suis pas partis sur ça car ça veux dire descendre ce qui est dans import-iae.sh
dans les management commands et donc toucher des trucs à plein d'endroits car le code s'attend à un truc particulier, donc j'attendais plutôt d'avoir extrait populate_metabase_fluxiae
du C1 pour faire ça.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
N’hésites pas à le noter, car j’oublierai probablement 🙊
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Peut-être ajouter un TODO ?
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
J'en ai pas mis car c'est pas quelque chose qui peux être fait directement la prochaine fois que quelqu'un passe sur ces lignes, et que d'ici là des choses auront peut-être encore changée donc le TODO pourrais être "faux".
J’ai essayé de regarder si on ne pouvait pas s’en sortir avec un |
b724997
to
fd9ac16
Compare
fd9ac16
to
985e248
Compare
985e248
to
7d2dbf8
Compare
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Ça me chagrine un peu d'utiliser une lib pas mise à jour depuis quasi 2 ans :'(
@xavfernandez La seul alternative que j'ai trouvé c'est d'utiliser 7z mais c'est pas installer par défaut sur les machines Clever, donc ça ne me semblait pas rentable de partir dans des trucs un poils plus (trop ?) compliqués alors que le cas d'usage est très limité. |
7d2dbf8
to
074c4c3
Compare
074c4c3
to
4b63832
Compare
🤔 Pourquoi ?
La DGEFP va arrêter de nous fournir ces données car l'ASP nous les envois.
🍰 Comment ?
Ça me plait moyen mais je n'ai pas trouvé plus "simple" que l'extension personnalisée, et ça fait pas si dégueulasse que ça.
🏝️ Comment tester
.tar.gz
du bucket de l'équipe RIAE de l'ASP dans un dossierasp_riae_shared_bucket
à la racine du projetASP_RIAE_UNZIP_PASSWORD
./scripts/import-iae.sh
en local ☕