feat(api): add markdown support

[revolunet]

Trying to add Markdown support

The markdown parser is extracted from llamaindex

[leoguillaume]

@revolunet Merci beaucoup Julien pour cette contribution, ca me semble nickel :) !

Je m'interroge juste sur la nécessité de maintenir le code parsing, j'ai vu que des libraires semblent très complète et rapide comme : https://github.com/miyuchina/mistletoe/blob/master/performance.md

Qu'en penses-tu ?

Hate de tester le dauphinois au potimarron. On fait quelques migrations en ce moment je merge ca dans les prochains jours !

[revolunet]

Hello, possible de faire tourner les tests dans la CI ?

Je plussoie pour utiliser des implems externes quand c'est possible. tu veux que j'essaie dans cette PR ?

[leoguillaume]

Hello, possible de faire tourner les tests dans la CI ?

Je plussoie pour utiliser des implems externes quand c'est possible. tu veux que j'essaie dans cette PR ?

@revolunet C'est un gros chantier qu'on a pas encore entreprit, car il faudrait mock tous les clients externe qui permettent de lancer l'API : vLLM, TEI, Qdrant, Grist ...

Ce qui serait très utile pour les contributeurs également qui n'otn pas accès à des GPUs.

Tu voyais ca comme ca également ?

[leoguillaume]

@revolunet PR migrée dans #106 pour rebase