辞書が壊れてエンジンが起動しなくなる #623 の解決

[Hiroshiba]

内容

辞書周りにLockを２つ導入します。
user_dict.jsonの排他制御と、pyopenjtalkによる読み込みの排他制御です。

関連 Issue

close #623

その他

テスト用コマンド

for i in {1..10}; do
    curl -s -X POST "localhost:50021/user_dict_word" \
        --get \
        --data-urlencode "surface=test$i" \
        --data-urlencode "pronunciation=テスト" \
        --data-urlencode "accent_type=1" &
done
wait

[Hiroshiba]

何回かバグ報告頂いてたので、ついでにrelease-0.14のhotfixとして導入したいと思います。rebaseします

[github-actions]

Coverage Result

Resultを開く

Name	Stmts	Miss	Cover
voicevox_engine/init.py	1	0
voicevox_engine/acoustic_feature_extractor.py	75	0
voicevox_engine/dev/synthesis_engine/init.py	2	0
voicevox_engine/dev/synthesis_engine/mock.py	36	2
voicevox_engine/full_context_label.py	162	3
voicevox_engine/kana_parser.py	86	1
voicevox_engine/metas/Metas.py	33	0
voicevox_engine/metas/MetasStore.py	29	14
voicevox_engine/metas/init.py	2	0
voicevox_engine/model.py	145	9
voicevox_engine/mora_list.py	4	0
voicevox_engine/part_of_speech_data.py	5	0
voicevox_engine/preset/Preset.py	12	0
voicevox_engine/preset/PresetError.py	2	0
voicevox_engine/preset/PresetManager.py	81	2
voicevox_engine/preset/init.py	4	0
voicevox_engine/synthesis_engine/init.py	5	0
voicevox_engine/synthesis_engine/core_wrapper.py	206	166
voicevox_engine/synthesis_engine/make_synthesis_engines.py	57	49
voicevox_engine/synthesis_engine/synthesis_engine.py	130	11
voicevox_engine/synthesis_engine/synthesis_engine_base.py	67	9
voicevox_engine/user_dict.py	135	6
voicevox_engine/utility/init.py	4	0
voicevox_engine/utility/connect_base64_waves.py	37	0
voicevox_engine/utility/mutex_utility.py	10	0
voicevox_engine/utility/path_utility.py	26	6
TOTAL	1356	278

[Hiroshiba]

うーん！
Linuxではうまく動いてたのですが、Windowsだとダメそうでした。

        with mutex_openjtalk_dict:
            shutil.move(tmp_dict_path, compiled_dict_path)

でパーミッションエラーが出ました。
おそらくmoveに時間がかかるかなにかなのかなと思っています。

関数全体をLockしてしまえば動作したのでとりあえず緊急的にそうしてみましたが、根本的解決ではない気がします。
まあでもとりあえず解決したのでマージしたいと思います！

[Hiroshiba]

windowsでのGit Bashで単語を同時登録するコマンドメモ

surface="test"
pronunciation="テスト"
accent_type="1"

echo -n $pronunciation >text.txt

for i in {1..10}; do
    curl -s -X POST "localhost:50021/user_dict_word" \
        --get \
        --data-urlencode "surface=$surface$1" \
        --data-urlencode "[email protected]" \
        --data-urlencode "accent_type=$accent_type" &

done
wait

[Hiroshiba]

うーん。。自信がないです。。
辞書周りお詳しそうな @takana-v さん、メンテナの @y-chan さんにもとりあえずお伝えだけ。。

mutex_wrapperというデコレータも作ってみたので、なにかに使えるかもです。