Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Tracking des expérimentations : logging #14

Open
8 of 16 tasks
ThomasFaria opened this issue May 21, 2024 · 0 comments
Open
8 of 16 tasks

Tracking des expérimentations : logging #14

ThomasFaria opened this issue May 21, 2024 · 0 comments

Comments

@ThomasFaria
Copy link
Collaborator

ThomasFaria commented May 21, 2024 •
edited by linogaliana
Loading

Petite discussion pour se mettre d'accord sur quoi logger à chaque expérimentation exécutée via run_pipeline.py.

Pour le moment on log :

  • Hyper paramètres:

    • le path s3 de la chroma DB
    • Nom modèle LLM
    • Nom modèle d'embedding
    • Template de prompt

  • Métriques :

    • ?

  • Artifacts :

    • Réponse du modèle
    • Documents récupérés
    • Métadata récupérés

Dans la constitution de la base de données vectorielles

  • Hyper paramètres:

    • le path s3 de la chroma DB
    • Nom modèle d'embedding
    • Nombre de pages utilisées pour construire la database
    • chunk_size
    • chunk_overlap

  • Métriques :

  • Nombre de documents

  • Artifacts:

    • Exemples de documents
    • Environnement: code python, requirements
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@ThomasFaria