A ferramenta faz múltiplas operações de I/O desnecessárias

[jvcoutinho]

Sempre que o programa executa copyFile, ele faz uma operação de I/O (escrita no arquivo) para cada linha da saída do comando git cat-file, que retorna o conteúdo de um arquivo em um commit. Isso torna o processo bem lento.

miningframework/src/main/util/FileManager.groovy

Lines 26 to 34 in 391a61b

	public static File copyFile(Project project, String path, String SHA) {
	Process gitCatFile = ProcessRunner.runProcess(project.getPath(), 'git', 'cat-file', '-p', "${SHA}:${path}")
	File target = new File("${SHA}.java")
	gitCatFile.getInputStream().eachLine {
	target << "${it}\n"
	}
	return target
	}

Eu proponho colocar toda a saída na memória (em uma string, por exemplo), e só realizar a escrita no arquivo no fim do processo.

[jvcoutinho]

Isso possivelmente acontece em outros comandos executados pelo ProcessRunner.

[pauloborba]

não temos na API de Java algum método que já faça essa cópia de forma mais eficiente? e uma forma de pegar o arquivo em um commit, ao invés de dar cat nele?

[pauloborba]

@rafaelmotaalves

[rafaelmotaalves]

Vou investigar essas otimizações.

[rafaelmotaalves]

Sobre isso, eu percebi que um dos casos que são feitas muitas operações de IO, são quando são escritas a linhas da resposta. Vocês acham que seriam um boa abordagem adicionar um tipo genérico ou uma classe abstrata pra representar um estrutura de dados que poderia ser montada durante a análise?

[rafaelmotaalves]

Um vantagem dessa abordagem, seria que deixaria mais fácil utilizar o framework através de código, podendo ser útil pra análises futuras, além de diminuir a quantidade de operações de IO, que poderiam ser reduzidas a um escrita no fim da análise.

[rafaelmotaalves]

@pauloborba @jvcoutinho

[pauloborba]

Isso não é prioridade agora. Quando for, uma opção não seria simplesmente usar uma estrutura padrão (essencialmente um buffer string) que escreve para o arquivo em blocos de um determinado tamanho? Essa solução não seria satisfatória para praticamente todos os usuários?

…

On 3 Jul 2019 18:03 +0200, Rafael Mota Alves ***@***.***>, wrote: @pauloborba @jvcoutinho — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or mute the thread.

[rafaelmotaalves]

Talvez, mas não daria a possibilidade de criar estruturas de dados mais complexas, como uma árvore por exemplo, que poderia ser lida por código. Mas o problema de IO resolveria sim

[pauloborba]

melhor então, por enquanto, só atacar o problema de IO.