Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Support onnx #1

Merged
merged 12 commits into from
Dec 11, 2021
Merged

Support onnx #1

merged 12 commits into from
Dec 11, 2021

Conversation

Yosshi999
Copy link
Contributor

@Yosshi999 Yosshi999 commented Oct 17, 2021

related: https://github.com/Hiroshiba/voicevox_engine/issues/69

TODO

  • np.finfoとpositional encodingのmax_lenは固定してしまった。おそらく生成波形が50秒を超えるとクラッシュする。
    • なんとかする
  • Cython wrapperの変更

Description

  • python run.py --yukarin_s_model_dir "model/yukarin_s" --yukarin_sa_model_dir "model/yukarin_sa" --yukarin_sosoa_model_dir "model/yukarin_sosoa" --hifigan_model_dir "model/hifigan" --speaker_ids 5 --method=convert でonnxへの変換が可能。modelフォルダのyukarin_s, yukarin_sa, yukarin_sosoaにonnxが保存される

  • yukarin_sosoaにはhifi_ganと合わせたdecode.onnxが保存される

  • onnxで実行したい場合は--method=onnxとする; python run.py --yukarin_s_model_dir "model/yukarin_s" --yukarin_sa_model_dir "model/yukarin_sa" --yukarin_sosoa_model_dir "model/yukarin_sosoa" --hifigan_model_dir "model/hifigan" --speaker_ids 5 --method=onnx
    おそらくtorchをimportしていない

  • テストの結果波形の相対誤差が1e-3くらいになったがもっと小さくできるかは不明。decodeで何故か誤差が出てきてしまう
    実際の重みで聞いてみる必要がある

  • テストコマンド: python test.py --yukarin_s_model_dir "model/yukarin_s" --yukarin_sa_model_dir "model/yukarin_sa" --yukarin_sosoa_model_dir "model/yukarin_sosoa" --hifigan_model_dir "model/hifigan" --speaker_ids 6 --texts "おはようございます、こんにちは、こんばんは"

@Hiroshiba
Copy link
Owner

良いですね!! このリポジトリにプルリクエストを送る配慮もとてもありがたいです。

Cythonの動作確認はC++版実装ができてからになると思います。
ので、このプルリクエストでは、とりあえずpython版を実現するということにし、C++版に関しては別PRにするのもありなのかなと思いました。

@Yosshi999
Copy link
Contributor Author

Yosshi999 commented Oct 17, 2021

positional encodingは動的生成させました

Cythonの動作確認はC++版実装ができてからになると思います。

👍 Cythonの件はここではパスします

@Yosshi999
Copy link
Contributor Author

https://github.com/Hiroshiba/voicevox_core/pull/34 こちらのREADMEではあまり言及していませんがonnx変換方法がこっちで書かれていた方が良いのでマージお願いします。

Copy link
Owner

@Hiroshiba Hiroshiba left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM!!!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants