Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Alléger les data en phases de train et val #22

Closed
CharlesGaydon opened this issue May 19, 2022 · 2 comments
Closed

Alléger les data en phases de train et val #22

CharlesGaydon opened this issue May 19, 2022 · 2 comments

Comments

@CharlesGaydon
Copy link
Collaborator

Non ils sont modifiés ; cette copie signifie en fait conserver les positions initiales du nuages, c'est-à-dire 1) non normalisées, et 2) non sous-échantillonnées. L'idée étant aux phases de test et de predictions de pouvoir interpoler les probabilités vers les positions initiales de tous les points. Mais actuellement cette copie a lieu systématiquement ce qui n'est pas idéal.

Il y a probablement moyen de faire plus parcimonieux. L'intérêt que le sous-échantillonage arrive à l'extérieur du modèle c'est que ça permet une remontée de gradient plus efficace sans interpolation systématique à l'ensemble du nuage.
On pourrait au moins désactiver ces copies en phases de train et de validation, car elles y sont inutiles.

Originally posted by @CharlesGaydon in #14 (comment)

@MichelDaab
Copy link
Collaborator

Pour la normalisation, je comprends qu'il faut conserver une possibilité de retourner aux positions non-normalisées. Y a-t-il une des deux séries de valeurs (normalisées vs non-normalisées) qui est très peu utilisée ? Si c'est le cas il serait possible de ne conserver que la série la plus utilisée (mettons celle normalisée) et les coefs de passage de normalisée à non-normalisée, et lorsqu'il faut les valeurs non-normaliser de les recalculer à partir des valeurs normalisées et des coefs.

Pour le sous-échantillonnage je ne m'y connais pas encore assez pour saisir l'intérêt de le faire "à la main" plutôt que de laisserl e modèle le faire

@CharlesGaydon
Copy link
Collaborator Author

Corrigé avec #33 - on fait des copies différentes suivant les phases train/val/test/predict.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants