バイナリビルドCI: VVPPを圧縮しながら分割してCIストレージ容量を節約する

[aoirint]

内容

• 容量不足でCUDA版Linuxエンジンのビルドができない #734

の対策です。

リリースCI（バイナリビルドCI）において、VVPP作成時、7z版と同様に、7zコマンドのボリューム機能を使って、zipファイルとして圧縮しながら、同時に分割するように変更します。ボリューム機能で作成される分割ファイルは、splitコマンドと同じく、catコマンドなどでバイナリを結合すれば展開できます。

以前の実装では、バイナリビルド成果物を完全にzipファイルとして書き出してから、splitコマンドで分割していました。

このPRによって、CI実行環境のストレージを占有するビルド成果物のファイルは、「アーカイブ化前のディレクトリ・分割前のzip・分割後のvvpp/vvppp」の3つから、「アーカイブ化前のディレクトリ・分割後のvvpp/vvppp」の2つに減ります。

• 動作テスト用リリース: https://github.com/aoirint/voicevox_engine/releases/tag/0.15.0-aoirint.25
  • https://github.com/aoirint/voicevox_engine/actions/runs/6405247850

関連 Issue

• ref 容量不足でCUDA版Linuxエンジンのビルドができない #734
• ref バイナリビルドCI: 7zとVVPPが同時にCIストレージ容量を消費しないようにする #696

スクリーンショット・動画など

その他

[github-actions]

Coverage Result

Resultを開く

Name	Stmts	Miss	Cover
run.py	433	285
voicevox_engine/init.py	1	0
voicevox_engine/acoustic_feature_extractor.py	75	0
voicevox_engine/cancellable_engine.py	85	66
voicevox_engine/dev/core/init.py	2	0
voicevox_engine/dev/core/mock.py	27	12
voicevox_engine/dev/synthesis_engine/init.py	2	0
voicevox_engine/dev/synthesis_engine/mock.py	36	2
voicevox_engine/downloadable_library.py	93	5
voicevox_engine/engine_manifest/EngineManifest.py	34	0
voicevox_engine/engine_manifest/EngineManifestLoader.py	12	0
voicevox_engine/engine_manifest/init.py	3	0
voicevox_engine/full_context_label.py	162	3
voicevox_engine/kana_parser.py	86	1
voicevox_engine/metas/Metas.py	33	0
voicevox_engine/metas/MetasStore.py	29	12
voicevox_engine/metas/init.py	2	0
voicevox_engine/model.py	160	9
voicevox_engine/mora_list.py	4	0
voicevox_engine/morphing.py	70	46
voicevox_engine/part_of_speech_data.py	5	0
voicevox_engine/preset/Preset.py	12	0
voicevox_engine/preset/PresetError.py	2	0
voicevox_engine/preset/PresetManager.py	81	2
voicevox_engine/preset/init.py	4	0
voicevox_engine/setting/Setting.py	11	0
voicevox_engine/setting/SettingLoader.py	19	0
voicevox_engine/setting/init.py	3	0
voicevox_engine/synthesis_engine/init.py	5	0
voicevox_engine/synthesis_engine/core_wrapper.py	201	146
voicevox_engine/synthesis_engine/make_synthesis_engines.py	59	30
voicevox_engine/synthesis_engine/synthesis_engine.py	130	11
voicevox_engine/synthesis_engine/synthesis_engine_base.py	67	9
voicevox_engine/user_dict.py	144	11
voicevox_engine/utility/init.py	5	0
voicevox_engine/utility/connect_base64_waves.py	37	0
voicevox_engine/utility/core_version_utility.py	8	1
voicevox_engine/utility/mutex_utility.py	10	0
voicevox_engine/utility/path_utility.py	26	8
TOTAL	2178	659

[Hiroshiba]

LGTM！！！

そういえばなのですが、コアの方ではCUDAやDirectMLなどを配布するvoicevox_additional_librariesというリポジトリからリソースを取得するようになっています。
Rustでコンパイルされたダウンローダーを実行すると、コアdllと追加リソースが振ってくる形です。
エンジンもvoicevox_additional_librariesやコアのダウンローダーに依存すると共通化できて嬉しいかもとか思いました。

詳しくは↓のissueがありました。ご興味あれば！！

• ビルド時にコアのダウンローダーを使う？ #709