Script per la vettorizzazione dei PDF tramite Qdrant

Per la guida a come mettere su un server Qdrant consiglio di visualizzare il Quickstart messo a disposizione dal tool https://qdrant.tech/documentation/quickstart/.

Di seguito gli script presenti:

costanti.py: contiene le costanti di progetto
crea_collezione.py: crea una collezione Qdrant
elimina_collezione.py: elimina una collezione Qdrant
download_script.py: scarica i PDF dei paper da arXiv sfruttando la loro Api pubblica
database.py: embedda il contenuto dei PDF, insieme ai loro metadati su Qdrant
query.py: effetua una query all'interno del database Qdrant e restituisce i documenti più simili
stats.py: recupera i dettagli della collezione Qdrant
recupera_punti.py: recupera il contenuto dei punti/vettori (consiglio comunque di sfruttare la dashboard offerta dal tool localhost:6333/dashboard)
select_computer_science.py: estrae dal dataset arXiv solo i paper a tema "computer science"

Istruzioni per l'uso

git clone https://github.com/AndreaCicca/arXiv-vettorizzazione
cd arXiv-vettorizzazione

git submodule init
git submodule update

cd flask-webserver
docker compose up -d --build

Name		Name	Last commit message	Last commit date
Latest commit History 99 Commits
.github		.github
arxiv-summary-agent @ 7aa6285		arxiv-summary-agent @ 7aa6285
flask-webserver		flask-webserver
web-ui-applicazioni-indusriali @ 61b4f34		web-ui-applicazioni-indusriali @ 61b4f34
.gitignore		.gitignore
.gitmodules		.gitmodules
README.md		README.md
costanti.py		costanti.py
crea_collezione.py		crea_collezione.py
database.py		database.py
database_old.py		database_old.py
download_script.py		download_script.py
elimina_collezione.py		elimina_collezione.py
filter_data.py		filter_data.py
local_qdrant.sh		local_qdrant.sh
query.py		query.py
recupera_punti.py		recupera_punti.py
requirements.txt		requirements.txt
set_cache.sh		set_cache.sh
snapshot.sh		snapshot.sh
stats.py		stats.py