fix: remove partial caching for children

.github/workflows/lint.yml

@@ -13,6 +13,7 @@ jobs:
         uses: psf/black@stable
         with:
           src: "setup.py ./backend/gn_module_monitoring"
+
   frontend:
     runs-on: ubuntu-latest
     steps:
@@ -23,4 +24,5 @@ jobs:
         uses: creyD/[email protected]
         with:
           dry: True
-          prettier_options: --config frontend/.prettierrc --ignore-path frontend/.prettierignore --check frontend/**/*.ts
+          prettier_version: 3.1.0
+          prettier_options: --config frontend/.prettierrc --check frontend/**/*.ts

.github/workflows/pytest.yml

@@ -7,12 +7,15 @@ on:
       - hotfixes
       - develop
       - workshop
+      - dev-suivi-eolien
   pull_request:
     branches:
       - master
       - hotfixes
       - develop
       - workshop
+      - workshop
+      - dev-suivi-eolien
 
 jobs:
   build:
@@ -23,10 +26,6 @@ jobs:
       fail-fast: false
       matrix:
         include:
-          - name: "Debian 10"
-            python-version: "3.7"
-            postgres-version: 11
-            postgis-version: 2.5
           - name: "Debian 11"
             python-version: "3.9"
             postgres-version: 13
@@ -91,6 +90,10 @@ jobs:
           -e ..[tests] \
           -r requirements-dev.txt
       working-directory: ./dependencies/GeoNature/backend
+    - name: Install monitoring module
+      run: |
+        python -m pip install -e .
+      working-directory: .
     - name: Install database
       run: |
         geonature db upgrade geonature@head -x local-srid=2154

README.md

@@ -2,9 +2,9 @@
 
 ## Module générique de gestion des données de protocoles de type suivis
 
-Ce module permet de gérer de façon générique des données de protocoles "simples" articulés en 3 niveaux : des sites (nom, type, localisation) dans lesquels on fait des visites (dates, observateurs) dans lesquelles on peut faire des observations (espèces).
+Ce module permet de gérer de façon générique des données de protocoles "simples" articulés jusqu'à 4 niveaux : des groupes de site, puis des sites associés à ces groupes de site (nom, type, localisation) dans lesquels on fait des visites (dates, observateurs) dans lesquelles on peut faire des observations (espèces).
 
-Ces 3 niveaux peuvent être complétés des données spécifiques à chaque protocole, qui sont stockées dynamiquement dans la base de données sous forme de jsonb.
+Les 3 niveaux que sont le sites, visites et observations peuvent être complétés des données spécifiques à chaque protocole, qui sont stockées dynamiquement dans la base de données sous forme de jsonb.
 
 ![Liste des sites du protocole de test](docs/images/apercu.png)
 
@@ -16,14 +16,21 @@ Pour chaque sous-module, correspondant à un protocole spécifique de suivi, il
 
 Des fonctions SQL ainsi qu'une vue définie pour chaque protocole permettent d'alimenter automatiquement la synthèse de GeoNature à partir des données saisies dans chaque sous-module.
 
-![MCD du schema gn_monitoring](docs/images/2020-06-MCD-monitoring.jpg)
+Via le module monitoring on peut également entrer directement via les sites et groupes de sites. Il est possible de crééer des groups de sites, des sites, associer des sites à des groupes de sites et ensuite pouvoir associer ces sites / groupes de site à différents sous modules.
+
+![Page d'accueil accès aux sites](docs/images/page_accueil_monitoring_acces_sites.png)
+
+Les sites et groupes de sites sont désormais multi protocoles.
+
+![MCD du schema gn_monitoring](docs/images/2023-10-MCD_schema_monitoring.png)
 
 ## Sommaire
 
 * [Installation](#installation)
 * [Gestion de la synthèse](docs/synthese.md)
 * [Documentation technique](docs/documentation_technique.md)
 * [Création d'un sous-module](docs/sous_module.md)
+* [Gestion des sites et groupes de site](docs/gestion_sites_groupes_de_site.md)
 * [Mise à jour du module](docs/MAJ.md)
 * [Liste des commandes](docs/commandes.md)
 * [Permissions](#permissions)
@@ -69,7 +76,32 @@ Créer le dossier suivant dans le dossier `media` de GeoNature
 mkdir ~/geonature/backend/media/monitorings
 ```
 
-Il vous faut désormais attribuer des permissions aux groupes ou utilisateurs que vous souhaitez, pour qu'ils puissent accéder et utiliser le module (voir https://docs.geonature.fr/admin-manual.html#gestion-des-droits). Si besoin une commande permet d'attribuer automatiquement toutes les permissions dans tous les modules à un groupe ou utilisateur administrateur.
+Il vous faut désormais attribuer des permissions aux groupes ou utilisateurs que vous souhaitez, pour qu'ils puissent accéder et utiliser le module (voir <https://docs.geonature.fr/admin-manual.html#gestion-des-droits>). Si besoin une commande permet d'attribuer automatiquement toutes les permissions dans tous les modules à un groupe ou utilisateur administrateur.
+
+### Configuration générale du module monitoring
+
+Un fichier de config `monitorings_config.toml.example` peut être modifié puis copié à la racine du dossier de config de GeoNature : `~/geonature/config`.
+
+Trois champs sont paramétrable :
+
+- `TITLE_MODULE` : Titre présent sur la page d'accueil du module monitoring
+- `DESCRIPTION_MODULE` : Description du module monitoring également présente sur la page d'accueil
+- `CODE_OBSERVERS_LIST` : Liste d'observateur qui est utilisé pour le fichier de config de `site.json` , qui permet d'avoir une liste d'observateur spécifique aux créateurs lorsqu'on entre directement par les sites/groupe de site . (Par défaut c'est la liste d'observateur occtax qui est utilisée)
+
+<details open><summary> Exemple d'utilisation du paramètre `CODE_OBSERVERS_LIST`</summary>
+
+```json
+"id_inventor": {
+      "type_widget": "observers",
+      "attribut_label": "Observateur",
+      "type_util": "user",
+      "code_list":"CODE_OBSERVERS_LIST",
+      "required": true,
+      "multi_select": false
+}
+```
+
+</details>
 
 ### Installation d'un sous-module
 
@@ -125,7 +157,7 @@ Modules installés :
 - module2: Module 2 (Deuxième exemple de module)
 ```
 
-Il vous faut désormais attribuer des permissions aux groupes ou utilisateurs que vous souhaitez, pour qu'ils puissent accéder et utiliser le sous-module (voir https://docs.geonature.fr/admin-manual.html#gestion-des-droits). Si besoin une commande permet d'attribuer automatiquement toutes les permissions dans tous les modules à un groupe ou utilisateur administrateur.
+Il vous faut désormais attribuer des permissions aux groupes ou utilisateurs que vous souhaitez, pour qu'ils puissent accéder et utiliser le sous-module (voir <https://docs.geonature.fr/admin-manual.html#gestion-des-droits>). Si besoin une commande permet d'attribuer automatiquement toutes les permissions dans tous les modules à un groupe ou utilisateur administrateur.
 
 ### Configurer le sous-module
 
@@ -173,19 +205,20 @@ D'autres exemples de sous-modules sont disponibles sur le dépôt
 
 ## Permissions
 
-Les permissions ne sont implémentées que partiellement. La notion de portée (mes données, les données de mon organisme, toutes les données) n'est pas prise en compte. Si un utilisateur a le droit de réaliser une action sur un type d'objet, il peut le faire sur l'ensemble des données.
+Les permissions peuvent désormais être définies avec une notion de portée ('mes données', 'les données de mon organisme', 'toutes les données' si on ne précise pas de portée mais qu'on accorde une permission). Ces permissions peuvent être définies sur chaque objet défini ci dessous.
 
 La gestion des permissions pour les rôles (utilisateur ou groupe) se réalise au niveau de l'interface d'administration des permissions de GeoNature.
 
-Les permissions sont définis pour chaque type d'objet (modules, groupes de sites, sites, visites et observations) :
- * MONITORINGS_MODULES - R : permet a l'utilisateur d'accéder au module, de le voir dans la liste des modules
- * MONITORINGS_MODULES - U : action administrateur qui permet de configurer le module et de synchroniser la synthèse
- * MONITORINGS_MODULES - E : action qui permet aux utilisateurs d'exporter les données (si défini par le module)
- * MONITORINGS_GRP_SITES - CRUD : action de lire, créer, modifier, supprimer un groupe de site
- * MONITORINGS_SITES - CRUD : action de lire, créer, modifier, supprimer un site
- * MONITORINGS_VISITES - CRUD : action de lire, créer, modifier, supprimer les visites, observations, observations détails
+Les permissions sont définis pour chaque type d'objet (modules, groupes de sites, sites, visites, observations et types de site) :
 
-Par défaut, dès qu'un utilisateur a un droit supérieur à 0 pour une action (c-a-d aucune portée) il peut réaliser cette action.
+- MONITORINGS_MODULES - R : permet a l'utilisateur d'accéder au module, de le voir dans la liste des modules
+- MONITORINGS_MODULES - U : action administrateur qui permet de configurer le module et de synchroniser la synthèse
+- MONITORINGS_MODULES - E : action qui permet aux utilisateurs d'exporter les données (si défini par le module)
+- MONITORINGS_GRP_SITES - CRUD : action de lire, créer, modifier, supprimer un groupe de site
+- MONITORINGS_SITES - CRUD : action de lire, créer, modifier, supprimer un site
+- MONITORINGS_VISITES - CRUD : action de lire, créer, modifier, supprimer les visites, observations, observations détails
+- TYPES_SITES- CRUD : action de lire, créer, modifier, supprimer les types de sites via l'interface administrateur
 
+Par défaut, dès qu'un utilisateur a un droit supérieur à 0 pour une action (c-a-d aucune portée) il peut réaliser cette action.
 
 Il est possible de mettre à jour les permissions disponibles pour un module en utilisant la commande `update_module_available_permissions`

backend/gn_module_monitoring/blueprint.py

@@ -4,7 +4,12 @@
 """
 
 from flask import Blueprint, current_app
-from .command.cmd import commands
+
+from geonature.utils.env import DB
+from geonature.core.admin.admin import admin as flask_admin
+
+from gn_module_monitoring.monitoring.admin import BibTypeSiteView
+from gn_module_monitoring.command.cmd import commands
 
 blueprint = Blueprint(
     "monitorings", __name__, template_folder=current_app.config["MEDIA_FOLDER"] + "/monitorings"
@@ -14,3 +19,5 @@
 blueprint.cli.short_help = "Commandes pour l" "administration du module MONITORINGS"
 for cmd in commands:
     blueprint.cli.add_command(cmd)
+
+flask_admin.add_view(BibTypeSiteView(DB.session, name="Types de site", category="Monitorings"))

backend/gn_module_monitoring/command/cmd.py

@@ -1,29 +1,26 @@
-import os
-from pydoc import cli
 import click
 
 from pathlib import Path
 from flask.cli import with_appcontext
-from sqlalchemy.sql import text
+from sqlalchemy.sql import text, select
 
-from geonature.utils.env import DB, BACKEND_DIR
+from geonature.utils.env import DB
 from geonature.core.gn_synthese.models import TSources
 from geonature.core.gn_synthese.utils.process import import_from_table
 from geonature.core.gn_commons.models import TModules
 
+from gn_module_monitoring.config.repositories import get_config
+from gn_module_monitoring.config.utils import monitoring_module_config_path
+from gn_module_monitoring.monitoring.models import TMonitoringModules
+from gn_module_monitoring.modules.repositories import get_simple_module
 
-from ..monitoring.models import TMonitoringModules
-from ..config.repositories import get_config
-from ..config.utils import json_from_file, monitoring_module_config_path
-from ..modules.repositories import get_module, get_simple_module
-
-from .utils import (
-    process_export_csv,
+from gn_module_monitoring.command.utils import (
     process_available_permissions,
     remove_monitoring_module,
     add_nomenclature,
     available_modules,
     installed_modules,
+    process_sql_files,
 )
 
 
@@ -33,9 +30,18 @@
 def cmd_process_all(module_code):
     """
     Met à jour les paramètres de configuration pour un module
+        Fichiers sql synthese et export
     """
-    # process export csv
-    process_export_csv(module_code)
+    if module_code:
+        modules = [module_code]
+    else:
+        modules = [module["module_code"] for module in installed_modules()]
+
+    for module in modules:
+        # process Synthese
+        process_sql_files(dir=None, module_code=module, depth=1)
+        # process Exports
+        process_sql_files(dir="exports/csv", module_code=module, depth=None, allowed_files=None)
 
 
 @click.command("process_export_csv")
@@ -45,7 +51,13 @@ def cmd_process_export_csv(module_code):
     """
     Met à jour les fichiers pour les exports pdf
     """
-    process_export_csv(module_code)
+    if module_code:
+        modules = [module_code]
+    else:
+        modules = [module["module_code"] for module in installed_modules()]
+
+    for module in modules:
+        process_sql_files(dir="exports/csv", module_code=module, depth=None, allowed_files=None)
 
 
 @click.command("install")
@@ -98,8 +110,10 @@ def cmd_install_monitoring_module(module_code):
     except Exception:
         pass
 
-    # process export csv
-    process_export_csv(module_code)
+    # process Synthese
+    process_sql_files(dir=None, module_code=module_code, depth=1)
+    # process Exports
+    process_sql_files(dir=None, module_code=module_code, depth=None, allowed_files=None)
 
     config = get_config(module_code, force=True)
 
@@ -141,23 +155,6 @@ def cmd_install_monitoring_module(module_code):
     process_available_permissions(module_code, session=DB.session)
     DB.session.commit()
 
-    #  run specific sql
-    if (module_config_dir_path / "synthese.sql").exists:
-        click.secho("Execution du script synthese.sql")
-        sql_script = module_config_dir_path / "synthese.sql"
-        try:
-            DB.engine.execute(
-                text(
-                    open(sql_script, "r")
-                    .read()
-                    .replace(":'module_code'", "'{}'".format(module_code))
-                    .replace(":module_code", "{}".format(module_code))
-                ).execution_options(autocommit=True)
-            )
-        except Exception as e:
-            print(e)
-            click.secho("Erreur dans le script synthese.sql", fg="red")
-
     # insert nomenclature
     add_nomenclature(module_code)
 
@@ -195,14 +192,13 @@ def cmd_process_available_permission_module(module_code):
         module_code ([string]): code du sous module
 
     """
-
     if module_code:
-        process_available_permissions(module_code, session=DB.session)
-        DB.session.commit()
-        return
+        modules = [module_code]
+    else:
+        modules = [module["module_code"] for module in installed_modules()]
 
-    for module in installed_modules():
-        process_available_permissions(module["module_code"], session=DB.session)
+    for module in modules:
+        process_available_permissions(module, session=DB.session)
     DB.session.commit()
 
 
@@ -238,7 +234,9 @@ def synchronize_synthese(module_code, offset):
     Synchronise les données d'un module dans la synthese
     """
     click.secho(f"Start synchronize data for module {module_code} ...", fg="green")
-    module = TModules.query.filter_by(module_code=module_code).one()
+    module = DB.session.execute(
+        select(TModules).where(TModules.module_code == module_code)
+    ).scalar_one()
     table_name = "v_synthese_{}".format(module_code)
     import_from_table(
         "gn_monitoring",