追加: 速度ベンチマーク

[tarepan]

内容

概要: 速度ベンチマークの追加

#1129 にて速度低下が問題視され、いくつかの解決方法が提案されている。
しかしその前提となる速度ベンチマークは各自に任されており、統一的測定がなされていない。
CI と同様に、benchmarking も as a code として実現すべきである。

このような背景から、コードによる速度ベンチマークの追加を提案します。

実装意図

より現実に近いベンチマークのために、2種類のエンジン起動法を用意した。
一方は TestClient を用いる方法であり、ネットワークを経由しないベンチマークである。これにより API 本体のベンチマークが可能になる。
他方は localhost を用いる方法であり、ネットワークを経由するベンチマークである。他プロセスで run.py を立ち上げる必要があるが、これで本番環境でのベンチマークが可能になる。
この 2つは use_localhost 引数で制御している。

実装詳細意図

(resolved type: ignore を client.get() で利用している。型推論がなぜか上手くいかないため（解決法募集中）。)

ベンチマーク結果例

scode ➜ /workspaces/voicevox_engine (master) $ python -m test.benchmark.speed.speaker
Warning: cpu_num_threads is set to 0. Setting it to half of the logical cores.
Info: Loading core 0.15.3.
`GET /speakers` fakeserve: 0.0237 sec
`GET /speakers` localhost: 0.0361 sec
Warning: cpu_num_threads is set to 0. Setting it to half of the logical cores.
Info: Loading core 0.15.3.
全話者 `GET /speaker_info` fakeserve: 0.569 sec
全話者 `GET /speaker_info` localhost: 1.118 sec
Warning: cpu_num_threads is set to 0. Setting it to half of the logical cores.
Info: Loading core 0.15.3.
全話者 `GET /` fakeserve: 0.076 sec
全話者 `GET /` localhost: 0.571 sec

関連 Issue

• ref Improve: spekaer_infoをasync化 #1073
• ref /speaker_infoと/singer_infoの高速化 #1129
• ref SpeakerInfoの画像や音声のデータをURLで返すようにする？ #1208

[Hiroshiba]

ほぼLGTMです！！
コードに関していくつかコメントしました！

あとtest/ディレクトリはテストファイルがある場所で、ベンチマークはテストではない気がちょっとしました。
かなり立派ですし、benchmarkディレクトリを作っちゃっても良いかも？
（本当にテストを書く予定とかでしたらこのままでも！）

ちょっと手元でも試してみます！

[tarepan]

あとtest/ディレクトリはテストファイルがある場所で、ベンチマークはテストではない

本チェックは「手動の速度テスト（speed test）」と解釈しています。ゆえに test/ 下がベストと考えます。
理想的には製品版の非機能テストの一環として実行速度を自動監視できればと考えています。

---

@Hiroshiba
全指摘箇所の反映・ベンチマーク変化無しを確認しました。Re-review よろしくお願いします。

[Hiroshiba]

ほぼ lgtm です！！

ちょっとコメントだけお願いできると！！

[tarepan]

@Hiroshiba
全指摘箇所の反映・テストパスを確認しました。Re²-review よろしくお願いします。

[Hiroshiba]

LGTM！！

もしかしたらより良いコードの形があるかもですが、主目的は計測テストだと思うのでとりあえずマージで･･･！

[Hiroshiba]

このフォールバックはほぼ100%の環境で意味をなさないので、無いほうが良いかもですね･･･。
root_dir無指定ならエラー、あるいはfakeを実行しない形が使いやすいかもとか思いました！

[Hiroshiba]

こちらも

[Hiroshiba]

これ関数の方の名前を良い感じにすればコメントなくせるかもですね！
target_process()とか･･･？

[tarepan]

@Hiroshiba
自動マージすり抜けのエラーが出たため、hotfix を出しました (#1338)。