Feat/permissions blurring #2571

mvergez · 2023-05-25T10:03:49Z

Implémentation du floutage des données sensibles dans la synthèse en suivant les spécifications détaillées ici #2558

backend/geonature/core/gn_synthese/routes.py

mvergez · 2023-08-09T10:35:32Z

Le seul test qui ne fonctionne pas (test_get_one_synthese_sensitive) pourra fonctionner une fois que la PR : PnX-SI/RefGeo#11 sera mergée car il dépend de la hiérarchisation des zones

codecov · 2023-11-06T14:36:07Z

Codecov Report

Attention: 5 lines in your changes are missing coverage. Please review.

Comparison is base (85d6931) 78.57% compared to head (1a95cfa) 69.01%.

❗ Current head 1a95cfa differs from pull request most recent head 23bbdf2. Consider uploading reports for the commit 23bbdf2 to get more accurate results

Files	Patch %	Lines
...nature/core/gn_synthese/utils/query_select_sqla.py	87.50%	4 Missing ⚠️
backend/geonature/core/gn_synthese/models.py	88.88%	1 Missing ⚠️

Additional details and impacted files

@@             Coverage Diff             @@
##           develop    #2571      +/-   ##
===========================================
- Coverage    78.57%   69.01%   -9.56%     
===========================================
  Files           84       86       +2     
  Lines         6907     7542     +635     
===========================================
- Hits          5427     5205     -222     
- Misses        1480     2337     +857

Flag	Coverage Δ
pytest	`69.01% <96.42%> (-9.56%)`	⬇️

Flags with carried forward coverage won't be shown. Click here to find out more.

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

bouttier · 2023-11-27T06:27:48Z

backend/geonature/core/gn_synthese/models.py

        for perm in permissions:
            if perm.has_other_filters_than("SCOPE", "SENSITIVITY"):
                continue  # unsupported filters
-            if perm.sensitivity_filter and self.nomenclature_sensitivity.cd_nomenclature != "0":
-                continue  # sensitivity filter denied access, check next permission
+            if perm.sensitivity_filter and "nomenclature_sensitivity" not in unloaded_objs:


Si nomenclature_sensitivity n’est pas chargé, on applique pas le floutage ? Ça me semble un problème. C’est dans quel cas que cette nomenclature n’est pas chargé ? Si trop lourd de rajouter cette jointure, il reste possible d’utiliser l’id_nomenclature de l’obs directement, en récupérant les nomenclatures à partir de leur code (avec du cache pour les récupérer une seule fois évidemment !).

La nomenclature_sensitivity n'est pas chargée lors des requêtes où la jointure n'est pas réalisée et un raiseload est mis, je trouve dommage d'ajouter une jointure juste pour que ça marche. Donc oui peut-être est-ce mieux de passer par les id_nomenclature. mais idem, c'est dommage de définir une fonction avec du cache juste pour ça...
Il faudrait trouver un moyen de voir si on est vraiment dans un contexte de floutage ou pas...

docs/images/blurring_query.svg

bouttier · 2023-11-27T06:37:39Z

docs/sensitivity.rst

+l'observation à la maille de 10km par exemple.
+
+Comme décrit ci-dessous, un paramètre en configuration a été ajoutée pour donner l'a possibilité d'exclure 
+toutes les données sensibles plutôt que de les flouter.


Donner un exemple typique de jeu de permissions : précis données perso/orga + floutée données de tous le monde.

backend/geonature/core/gn_synthese/routes.py

backend/geonature/core/gn_synthese/utils/query_select_sqla.py

bouttier · 2023-11-27T22:28:13Z

backend/geonature/core/gn_synthese/routes.py

+        # Careful: do not db.session.commit after these lines !!!
+        # Because we set manually the synthese attributes
+        synthese.the_geom_4326 = the_geom
+        synthese.areas = synthese_for_areas.areas


On ne peut pas utiliser directement synthese_for_areas en tant que synthese ? Ça éviterait cette modification de synthese (outre de commiter, l’auto-flush de sqlalchemy peut faire des surprises). Si pas possible d’utiliser synthese_for_areas directement, peut-être faire db.session.expunge(synthese) avant de le modifier.

Oui je suis d'accord avec toi, je vais regarder, je te tiens au courant

De ce que j'ai testé :

Renvoyer le synthese_for_areas fonctionne. Mais faut faire gaffe car ce n'est pas le même objet que plus haut car il n'y a pas toutes les options comme ici : https://github.com/PnX-SI/GeoNature/pull/2571/files/07f33f26036ced488e1f77159a3fa32c8ea517a6#diff-5fb8d19676b01cc7c0b77799d74e25c6a6ff510372180a633a2ecd1682c3c4d9R485 (on pourrait les stocker dans une variable et les réutiliser, à voir)

expunge ne fonctionne pas car cela renvoie l'erreur suivante, je ne comprends pas trop, j'ai l'impression qu'il essaie de loader les relationships (?) :
sqlalchemy.orm.exc.DetachedInstanceError: Parent instance <Synthese at 0x7f95fc504400> is not bound to a Session; lazy load operation of attribute 'source' cannot proceed (Background on this error at: http://sqlalche.me/e/13/bhk3)

Possibilité d'ajouter : with DB.session.no_autoflush: pour être sûr mais je comprends qu'assigner une geom à un objet ORM c'est pas ouf...

mvergez · 2023-12-04T08:51:47Z

En discutant avec @bouttier, cette PR nécessite 2 PR sur RefGeo avant d'être mergée :

Donc c'est normal que les actions de tests ne fonctionnent pas pour le moment...

camillemonchicourt · 2023-12-04T11:09:03Z

OK, mais les tests ne passent pas non plus sur ces 2 PR ?
Enfin seulement sur SQLA 1.3, mais peut-être pas grave car on va passer sur SQLA 1.4 dans la prochaine version de GeoNature ?

Via migration

Use assert_geometries_equal provided by shapely>=2

Of LAreas associated with the synthese

For tests to pass

To add shapely

bouttier · 2024-01-05T10:45:07Z

Remplacé par #2687 qui reprend le travail initié ici

mvergez force-pushed the feat/permissions-blurring branch from 0ea5172 to 1d5d72e Compare May 25, 2023 10:26

mvergez mentioned this pull request May 25, 2023

feat(db): add hierarchy type area PnX-SI/RefGeo#11

Merged

bouttier reviewed May 25, 2023

View reviewed changes

backend/geonature/core/gn_synthese/routes.py Outdated Show resolved Hide resolved

mvergez force-pushed the feat/permissions-blurring branch 2 times, most recently from 84bc884 to 269ce71 Compare August 2, 2023 12:21

mvergez marked this pull request as ready for review August 18, 2023 14:00

mvergez marked this pull request as draft August 18, 2023 14:00

bouttier force-pushed the feat/permissions-blurring branch from 75c4aea to 8a59c42 Compare September 5, 2023 16:53

bouttier mentioned this pull request Sep 5, 2023

Floutage des données sensibles #2687

Merged

mvergez force-pushed the feat/permissions-blurring branch from ec3d3d4 to 414b722 Compare November 6, 2023 08:36

mvergez force-pushed the feat/permissions-blurring branch from 9c74f27 to 4d0c0db Compare November 8, 2023 15:33

camillemonchicourt added this to the 2.14 milestone Nov 13, 2023

bouttier reviewed Nov 27, 2023

View reviewed changes

Maxime Vergez and others added 9 commits December 13, 2023 11:19

feat(backend): add cor_sensitivity_area_type model

b2a109f

feat: synthese blurring

5d0956c

tests: synthese blurring

0c81ae7

feat(db): add Synthese Export permission available

07decae

Via migration

docs: blurring doc

3850a5e

bump RefGeo (geom_4326 + size_hierarchy)

7508f69

perf: optimize sensitive obs fixture

174e61a

add SyntheseSchema

e0be178

feat(api): wip: get_one_synthese with Marshmallow

d0fd4f2

mvergez force-pushed the feat/permissions-blurring branch from 50fd60c to d0fd4f2 Compare December 14, 2023 09:25

style(api): applied black

a45852b

mvergez mentioned this pull request Dec 14, 2023

feat(api): add Organism schema and add it to User PnX-SI/UsersHub-authentification-module#83

Merged

compat shapely 2

aa8012b

bouttier and others added 6 commits December 14, 2023 10:38

tests: check precise/blurred geom

366958d

Use assert_geometries_equal provided by shapely>=2

fix(api): change Multipolygon for Geometry Field

a5bee9b

perf(api): move permissions & exclude area geom

53c2585

Of LAreas associated with the synthese

test(api): add fixture to monkeypatch the config

166719d

feat(api): set UH-authentication-module

f6a5e72

For tests to pass

build(api): update requirements-dev.txt

23bbdf2

To add shapely

jacquesfize added documentation backend labels Dec 16, 2023

bouttier closed this Jan 5, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Feat/permissions blurring #2571

Feat/permissions blurring #2571

mvergez commented May 25, 2023

mvergez commented Aug 9, 2023

codecov bot commented Nov 6, 2023 •

edited

Loading

bouttier Nov 27, 2023

mvergez Dec 1, 2023

bouttier Nov 27, 2023

bouttier Nov 27, 2023

mvergez Dec 4, 2023

mvergez Dec 4, 2023

mvergez commented Dec 4, 2023

camillemonchicourt commented Dec 4, 2023

bouttier commented Jan 5, 2024 •

edited by camillemonchicourt

Loading

Feat/permissions blurring #2571

Feat/permissions blurring #2571

Conversation

mvergez commented May 25, 2023

mvergez commented Aug 9, 2023

codecov bot commented Nov 6, 2023 • edited Loading

Codecov Report

bouttier Nov 27, 2023

Choose a reason for hiding this comment

mvergez Dec 1, 2023

Choose a reason for hiding this comment

bouttier Nov 27, 2023

Choose a reason for hiding this comment

bouttier Nov 27, 2023

Choose a reason for hiding this comment

mvergez Dec 4, 2023

Choose a reason for hiding this comment

mvergez Dec 4, 2023

Choose a reason for hiding this comment

mvergez commented Dec 4, 2023

camillemonchicourt commented Dec 4, 2023

bouttier commented Jan 5, 2024 • edited by camillemonchicourt Loading

codecov bot commented Nov 6, 2023 •

edited

Loading

bouttier commented Jan 5, 2024 •

edited by camillemonchicourt

Loading