Metadados de runtime durante etapa de build do datapackage.json

[fjuniorr]

Ainda que utilizar o yaml seja bom para os processos internos, como em #4-comment e #12, ele ainda não faz parte da especificação¹, e, portanto, o nosso produto final deve ser um datapackage.json.

Essa etapa é simples e pode ser gerada por exemplo com:

datapackage.json: datapackage.yaml
    frictionless describe --type package --json datapackage.yaml > datapackage.json

O que eu tenho mais dúvida é se o datapackage.json deve ser versionado e quais informações extras de run time devem ser inseridos (eg. commit).

Um argumento forte para ele ser versionado é que permite que as ferramentas façam a leitura do data package diretamente do repositório do Github.

Footnotes

1. Vide Yaml as well as JSON for Data Package descriptor files (?) · Issue #292 · frictionlessdata/specs ↩

[fjuniorr]

Um argumento forte para ele ser versionado é que permite que as ferramentas façam a leitura do data package diretamente do repositório do Github.

Os clientes em Python e R aceitam a leitura do datapackage.yaml, o que diminui a relevância desse ponto.

Como algumas informações de run time, especialmente o commit, somente podem ser inseridas se o datapackage.json não for versionado, vou optar por essa solução.

Além disso, para facilitar a distribuição, o output do diretório build or dist deve ser um único arquivo zip contendo o datapackage.json com os arquivos externos dereferenciados (eg. table schema) e os arquivos de dados.

Ps. Para o arquivo zip, confirmar o status atual da especificação (vide frictionlessdata/datapackage#132) e o suporte do cliente em R (vide frictionlessdata/frictionless-r#10)

[fjuniorr]

O data package zipado teve uma redução de 25,4 MB para 1,9 MB.

Para finalizar esse issue vou esperar a implementação de um novo método dereference() (vide frictionlessdata/frictionlessdata.io#798).

Também faz sentido fazer uma sugestão de melhoria para que a exportação de um data package como um arquivo zip faça a dereferenciação de arquivos externos locais.