ENH: `speaker_info`のリソースをURLで返すようにする #1318

sabonerune · 2024-05-24T11:04:00Z

内容

/speaker_info /singer_infoの画像と音声ファイルをURLで返し、そのURLから取得できるように変更します。
評価・議論のため開発速度重視で雑に実装しています。
現時点ではマージするべきではない状態なのでDraftです。

その他

エディタ側の対応PR

ref: feat: speaker_infoをURLで受け取るようにする voicevox#2095

sabonerune

非常に雑なコードでテストも書いていません。
ここから問題点の洗い出しや設計方針の決定ができていければと思います。

build_util/file_map.py

speaker_info/filemap.json

voicevox_engine/app/routers/speaker.py

sabonerune · 2024-05-24T11:58:17Z

voicevox_engine/metas/MetasStore.py

@@ -78,6 +78,7 @@ def __init__(self, engine_speakers_path: Path) -> None:
                **json.loads((folder / "metas.json").read_text(encoding="utf-8"))
            )
            for folder in engine_speakers_path.iterdir()
+            if folder.is_dir()


speaker_infoにファイルがあるとエラーが発生する。

voicevox_engine/app/routers/speaker.py

Hiroshiba

プルリクエストありがとうございます！！

よりすっきりした設計できるなと感じました！！
ということで提案です･･･！（なんかどこか考慮漏れありそう）

たぶん、元のリソースファイル名にハッシュ値を足す形だと思うのですが、元のファイル名無視してハッシュ値だけのファイル名にすれば設計がかなり減る気がしました！
ルールが減るのと、ディレクトリ構造を意識しなくて済むのと、speakerUuidやfilemap.jsonの有無が関係なくなるので便利になるんじゃないかなと。

こんな感じをイメージしてます。
↓元

resources/speaker_infos/speakerA/icon.png
resources/speaker_infos/speakerA/potrtait.png
...

↓filemap作成後（ビルド時）

resources/HASH_A1
resources/HASH_A2
resources/filemap.json
...

↓resources/filemap.jsonの中身

{
  "speaker_infos/speakerA/icon.png": "HASH_A1.png",
  "speaker_infos/speakerA/potrtait.png": "HASH_A2.png",
  ...
}

実装手順はこんな感じ？

filemapUtilityみたいなクラスを作って、中でfilemap.jsonを読み込んでマッピングを持っておき、resourcePathを受け取ってハッシュ値を返す。ハッシュ化されてなかったらそのままのパスを返すようにする。
filemapUtilityを使うとこ（/speaker_info）で、アイコンなどのリソースパスをfilemapUtilityに渡してハッシュ値を返してもらい、URL を作って返す。
あとはdef staticAPIはresourcePath（ものによってはハッシュ値になってる）を受け取るようにし、ファイル名に従ったリソースファイルを返して終わり！たぶんなんならFastAPIのStaticFilesに置き換えられる。
ビルド時にfilemap.jsonを作る
（オプション）製品版はハッシュ値になったリソースファイルのみを使いたいので、ハッシュ値になってないファイルへのgetが来たらエラーを返しても良いかも。

ハッシュ値はただのファイル名になってるので、def staticはspeakerUuidなどを気にしなくて良くなってます。
あとfilemap.jsonを用意しなくても動くので、OSSでfilemap.jsonを更新し続けるメンテナンスをしなくて大丈夫になります。
あとspeaker_info以外がリソースパスのハッシュ化を使う時もそのまま流用できるはず！

Hiroshiba · 2024-05-24T16:34:15Z

voicevox_engine/engine_manifest/EngineManifest.py

@@ -50,6 +50,9 @@ class SupportedFeatures(BaseModel):
    manage_library: bool | None = Field(
        title="音声ライブラリのインストール・アンインストール"
    )
+    resource_url: bool | None = Field(


他が全部動詞始まりなので、return_resource_urlが良いかも。
まあでもこの値に関係なく古いエンジンでも新しいエンジンでもresource_url=Trueを引数に渡せば良い気もするので、もしかしたらいらないかも･･･？

FastAPIは大丈夫ですが他のフレームワークは大丈夫なのでしょうか？
それとも未知のクエリを受け取ったとき無視することが一般的なのでしょうか？

少なくともデフォルトで無視しないフレームワークは無いかもです。

気になってるのは、これを考慮することでエディタ側でのコードが複雑化しないかという点だけだったりします。
実装してみた感じ、どうでしたか･･･？（manifestへのアクセスが簡単だったらわりと簡単そう）

そもそもソングAPIの有無をマニフェストのsingで確認しているので簡単ですね。

たしかに問題なさそうでした！

まあ、マニフェストにreturn_resource_url的なの追加しますかー･･･！

というかよく考えたらこのフラグがないとresource_urlに対応しているかわからないから、返ってきたものがURLかどうかを判定するコードを書かないとかもですね。エディタ以外のサードパーティとかだと。
となるといろいろ不便なので、マニフェストにフラグあるべきな気がしてきました！！

voicevox_engine/app/routers/speaker.py

sabonerune · 2024-05-28T12:58:50Z

@Hiroshiba

filemapUtilityみたいなクラスを作って、中でfilemap.jsonを読み込んでマッピングを持っておき、resourcePathを受け取ってハッシュ値を返す。ハッシュ化されてなかったらそのままのパスを返すようにする。

speaker_info以外がリソースパスのハッシュ化を使う時もそのまま流用できるはず！

filemapUtilityクラスのようなもので管理するのはいいと思いますがハッシュ化されてなかったらそのままのパスを返すようにする、speaker_info以外がリソースパスのハッシュ化を使うのは意図しないファイルを公開してしまったりキャッシュ周りの問題を起こすリスクがあるので少なくともこのPRでは考慮するべきではないと思いました。
また、ライブラリの管理機能が実装された場合ハッシュ生成が動的に変化することになるので結局他のリソースとは分離しなければならないと思います。
(そのためエンドポイントを/character_resources/にしました)

またspeakerUuidがあるのはエンジンのポートが衝突したときハッシュだけだと偶然衝突が起きる可能性があるのではと思ったからです。
今考えるとエンジンIDの方がシンプルでいい気がしますが…

Hiroshiba · 2024-05-29T00:51:34Z

ilemapUtilityクラスのようなもので管理するのはいいと思いますがハッシュ化されてなかったらそのままのパスを返すようにする、speaker_info以外がリソースパスのハッシュ化を使うのは意図しないファイルを公開してしまったりキャッシュ周りの問題を起こすリスクがあるので少なくともこのPRでは考慮するべきではないと思いました。

ちゃんとわかってないかもなのですが、例えば製品版ではfile_map.jsonにあるものだけ公開する、とかにしておけば安全だと思います。
まあ製品版判定コードが必要になりますが、開発の快適さを捨てるのは結構リスク高いので結構避けたい気持ちがあります。
（まあもちろん、そういう実装が難しくなさそうだな〜という前提がありますが）

ハッシュだけだと偶然衝突

まあ少なくともSHA256にしておけばハッシュの衝突は考えなくて大丈夫です！

また、ライブラリの管理機能が実装された場合ハッシュ生成が動的に変化することになるので結局他のリソースとは分離しなければならないと思います。

これは完全に盲点でした･･･。だいぶ僕の中の前提が崩れました、ご指摘ありがとうございます！！！！！

ちょっと考え直してみたので書きます 🙏

Hiroshiba · 2024-05-29T01:40:52Z

リソースURL系APIは/resource/以下にまとめたいかもです！
FastAPIの都合上、routerを一括で扱えるので便利なんですよね。
将来的にはこの下に、例えばAPI /resource/library/とかつなげてく想定です。

file_map.jsonはやっぱりなくても動いてほしいかなぁと･･･。開発が楽なのは正義なので･･･。
考えたのですが、開発版ならresourcesディレクトリ以下全部が/resource/APIで見える形にして、製品版なら例えば_staticディレクトリが見える形にすれば安全かなとか思いました。
ファイル名がハッシュになったものが_staticディレクトリに配置されていく感じです。

あとファイルパスをハッシュ値.拡張子にするのはどっちでも良いかなと思い始めました！
ファイル数が30キャラ×7ずつくらいあるので、キャラごとにディレクトリ分けるのはやぶさかではない感じです。
あ、file_map.jsonの中身はキャラ名で区切らず{"元のパス": "移動先のパス"}のがデータ構造も引数も減ってらくだと思います！
･･･json.loadが重くない限り。

キャラクターリソースのAPIは/resource/character/{speakerUuid}/{hash}.{拡張子}でも良いかもですが、/character/はなくても良いかもな〜とちょっと思ってます。
今これしかないので･･･。

一旦こんなところで。。。 🙇

sabonerune · 2024-05-29T15:48:29Z

@Hiroshiba
色々考えていたのですがリソースのURLについては少なくとも現状は深く考える必要はないことに気づきました。
というのもspeaker_infoに関しては直接URLにアクセスすることを想定しないためURLを変更してしまっても破壊的変更にならないからです。ハッシュの衝突もなのでSHA256辺りにすれば気にしなくてもよさそうということなので/resourceでまとめてよさそうですね。
エンジンのポート衝突を考えると/resourceの前か後ろにエンジンIDを入れた方がよさそう。

とりあえず開発時にはfile_map.jsonは不要であることは必須にしようと思います。

ところでリソース系APIについてドキュメントの欠如やキャッシュ周り扱いにくさからポータルページ等が使用するリソースやスクリプト等を配置するくらいしか思い浮かばないのですが他にどのような用途を考えていますか？

`filemap.json`の構造変更ハッシュアルゴリズムをsha256へリソースの管理をクラスで行う

sabonerune · 2024-05-30T15:24:22Z

@Hiroshiba

クラスで管理するように変更しました。
また、filemap.jsonがなくても開発時は起動時にファイルのハッシュを生成することで対応するようにしました。
(現状はとりあえず常に開発中であることにしています)
filemap.jsonの保存場所はspeaker_infoと同じディレクトリです。
(resourcesへ移動するPRが入ることを見越して)

sevenc-nanashi · 2024-05-30T20:34:32Z

製品版検知、これが使えそう？：https://pyinstaller.org/en/stable/runtime-information.html

sabonerune · 2024-05-30T22:26:06Z

@sevenc-nanashi

voicevox_engine/voicevox_engine/utility/path_utility.py

Lines 33 to 46 in 9f0d403

    
           def _is_development() -> bool: 
        
               """ 
        
               動作環境が開発版であるか否かを返す。 
        
               Nuitka/Pyinstallerでコンパイルされていない場合は開発環境とする。 
        
               """ 
        
               # nuitkaビルドをした際はグローバルに__compiled__が含まれる 
        
               if "__compiled__" in globals(): 
        
                   return False 
        
               # pyinstallerでビルドをした際はsys.frozenが設定される 
        
               elif getattr(sys, "frozen", False): 
        
                   return False 
        
               return True

説明不足ですみません、これが使えることは気づいていますがマージまで時間がかかることは目に見えているのでコンフリクト解消の手間を減らすためにとりあえず固定値にしたという感じです。
(path_utilityの内部関数なので適切に切り出す必要がある)

Hiroshiba · 2024-06-02T17:12:37Z

ところでリソース系APIについてドキュメントの欠如やキャッシュ周り扱いにくさからポータルページ等が使用するリソースやスクリプト等を配置するくらいしか思い浮かばないのですが他にどのような用途を考えていますか？

意図がちょっとわかってないのですが、今後いくらでも増える可能性があるだろうな〜とは思います。サンプル音楽の配布とか。
どういう拡張があるか現時点では思いつかないかもですが、増えうるとは感じるので、とりあえず静的ファイルは１つのAPIにまとめときたかった感じです。

Hiroshiba · 2024-06-02T17:15:18Z

@sabonerune

エンジンのポート衝突を考えると/resourceの前か後ろにエンジンIDを入れた方がよさそう。

requestからURL取ってると思ってて、そこにport番号も付く感じだと思うので大丈夫な気がします。
それでもなお間違っちゃう可能性の考慮であれば、まあわからなくもないですが、他のAPIはそれを考慮してないので大丈夫な気がしました！

voicevox_engine/engine_manifest.py

engine_manifest.json

build_util/file_map.py

Hiroshiba · 2024-06-02T17:24:36Z

build_util/file_map.py

+
+def main() -> None:
+    parser = ArgumentParser()
+    parser.add_argument("--save", type=Path)


意味的にはoutput_pathかな
ファイルパスなら_file、ディレクトリパスなら_dirにしとくとわかりやすいかもです

Hiroshiba · 2024-06-02T17:27:08Z

build_util/file_map.py

+def main() -> None:
+    parser = ArgumentParser()
+    parser.add_argument("--save", type=Path)
+    parser.add_argument("--target", default=SPEAKER_INFO_DIR, type=Path)


こちらもtarget_dirにしとくとちょっとわかりやすいかもです
まあrun.pyと統一感があるかな、くらいですが。

Hiroshiba · 2024-06-02T17:29:24Z

build_util/file_map.py

+def mapping(target: Path) -> dict[str, str]:
+    return {
+        to_posix_str_path(filepath): filehash
+        for filepath, filehash in walk_character_files(target, ("wav", "png"))


("wav", "png")も与えられるようにしておくと使い回すときに便利＆コマンド実行時に対象がわかって便利かも。
まあ過剰かもなので、とりあえず定数としてファイルの一番上に定義する形でも良さそう。

一応--target_suffixで変更可能にしておきました。

build_util/file_map.py

Hiroshiba

すみません、まだだったかもなのですがドキュメントにコメントしました！！

docs/ResourceManagerの仕様について.md

sabonerune

指摘部分の修正完了しました。

docs/ResourceManagerの仕様について.md

Hiroshiba · 2024-06-21T23:01:59Z

再レビューOKになったら右上のReviewersのre-review requestなどで合図をいただけると！

Hiroshiba

ほぼLGTMです！！！

細かい部分だけコメントさせていただきました！！

docs/ファイルURLとfilemap.md

test/unit/resource_manager/test_resource_manager.py

voicevox_engine/app/routers/speaker.py

voicevox_engine/resource_manager.py

test/e2e/test_speakers.py

Co-authored-by: Hiroshiba <[email protected]>

Hiroshiba

LGTM！！！

こちらで少し変えさせていただきます！！

@tarepan
実装周りの共有です！

APIドキュメントには乗らないGET /_resources/APIで、キャラごとの画像・音声ファイルを返せる形になります。
/speaker_infoなどで引数でurlを指定するとURLが返ります。

キャッシュをなくすために、URLはリソースファイルのハッシュ値を含めています。
ハッシュはResourceManagerにて、パスとハッシュを対応付ける形で管理しています。
その対応マップをfilemapと呼んでいます。
filemapは事前にgenerate_filemap.pyで作成できます。

/_resources/APIは現状speakerrouterで行っています。
より良い設計が思いつかず、一旦この形の実装で落ち着いた感じです 🙇

test/e2e/test_characters.py

Hiroshiba · 2024-06-23T11:06:52Z

プレビュー版のビルドを開始しました！

https://github.com/VOICEVOX/voicevox_engine/releases/tag/0.20-preview.1

ENH: speaker_infoのリソースをURLで返すようにする

26f4800

sabonerune mentioned this pull request May 24, 2024

feat: speaker_infoをURLで受け取るようにする VOICEVOX/voicevox#2095

Merged

FIX: typo修正

8c58bab

sabonerune commented May 24, 2024

View reviewed changes

Hiroshiba reviewed May 24, 2024

View reviewed changes

sabonerune added 5 commits May 27, 2024 19:21

Merge branch 'master' into enh/url-infos

bacde64

FIX: コメント追加

c565ffd

FIX: resource_url to return_resource_url

4b3b916

FIX: snapshot-update

6b6da5f

Merge branch 'master' into enh/url-infos

32623b2

Hiroshiba mentioned this pull request May 29, 2024

整理: root_dir → speaker_info_dir へ generate_app() 引数を変更 #1340

Merged

sabonerune added 3 commits May 30, 2024 00:57

Merge branch 'master' into enh/url-infos

78fa22c

FIX: merge

5d23138

ENH: 開発時にfilemap.jsonを不要にした。

918c32d

`filemap.json`の構造変更ハッシュアルゴリズムをsha256へリソースの管理をクラスで行う

Hiroshiba reviewed Jun 2, 2024

View reviewed changes

voicevox_engine/engine_manifest.py Outdated Show resolved Hide resolved

Hiroshiba reviewed Jun 2, 2024

View reviewed changes

engine_manifest.json Outdated Show resolved Hide resolved

Hiroshiba reviewed Jun 2, 2024

View reviewed changes

build_util/file_map.py Outdated Show resolved Hide resolved

Hiroshiba reviewed Jun 2, 2024

View reviewed changes

build_util/file_map.py Outdated Show resolved Hide resolved

sabonerune added 3 commits June 20, 2024 08:03

TST: Update snapshot

28c4cdb

FIX: fix comments

87e49f7

DOC: ResourceManagerの仕様についてのドキュメントを追加

5e2c521

Hiroshiba reviewed Jun 20, 2024

View reviewed changes

sabonerune added 5 commits June 21, 2024 07:29

Merge branch 'master' into enh/url-infos

88a2a0c

FIX: 例のディレクトリツリーを変更

0a40b56

FIX: 不要な区切りを削除

1281341

DOC: ドキュメント修正

ae7e0f3

FIX: ファイル名変更

73710d0

sabonerune commented Jun 21, 2024

View reviewed changes

sabonerune requested a review from Hiroshiba June 22, 2024 02:32

Hiroshiba reviewed Jun 22, 2024

View reviewed changes

test/e2e/test_speakers.py Outdated Show resolved Hide resolved

sabonerune and others added 5 commits June 23, 2024 10:05

FIX: ドキュメント修正

726e630

Co-authored-by: Hiroshiba <[email protected]>

FIX: ドキュメント修正

555b6a6

Co-authored-by: Hiroshiba <[email protected]>

FIX: docstring修正

9e7623c

Co-authored-by: Hiroshiba <[email protected]>

FIX: Dependsの内部関数化

0b351e9

FIX: テストの内部関数化

62e3397

sabonerune requested a review from Hiroshiba June 23, 2024 01:56

Merge branch 'master' into enh/url-infos

4e946d1

tarepan mentioned this pull request Jun 23, 2024

整理: Speaker と Character を全面的に分離 #1414

Merged

Hiroshiba approved these changes Jun 23, 2024

View reviewed changes

test/e2e/test_characters.py Outdated Show resolved Hide resolved

Hiroshiba added 2 commits June 23, 2024 20:02

assert_resource_url追加

d64ac46

ファイル名変更

bff011e

Hiroshiba merged commit 3b90dcf into VOICEVOX:master Jun 23, 2024
4 checks passed

sabonerune deleted the enh/url-infos branch June 23, 2024 15:03

tarepan mentioned this pull request Jun 24, 2024

bug: ビルド系 CI が filemap 関係で失敗する #1423

Closed

sabonerune mentioned this pull request Jun 26, 2024

ENH: OpenAPIのドキュメントを改良 #1438

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

ENH: `speaker_info`のリソースをURLで返すようにする #1318

ENH: `speaker_info`のリソースをURLで返すようにする #1318

sabonerune commented May 24, 2024 •

edited by tarepan

Loading

sabonerune left a comment

sabonerune May 24, 2024

Hiroshiba left a comment •

edited

Loading

Hiroshiba May 24, 2024

sabonerune May 27, 2024

Hiroshiba May 27, 2024

sabonerune May 27, 2024

Hiroshiba May 28, 2024

sabonerune commented May 28, 2024

Hiroshiba commented May 29, 2024

Hiroshiba commented May 29, 2024 •

edited

Loading

sabonerune commented May 29, 2024 •

edited

Loading

sabonerune commented May 30, 2024 •

edited

Loading

sevenc-nanashi commented May 30, 2024

sabonerune commented May 30, 2024

Hiroshiba commented Jun 2, 2024

Hiroshiba commented Jun 2, 2024

Hiroshiba Jun 2, 2024 •

edited

Loading

Hiroshiba Jun 2, 2024

Hiroshiba Jun 2, 2024 •

edited

Loading

sabonerune Jun 4, 2024

Hiroshiba left a comment

sabonerune left a comment

Hiroshiba commented Jun 21, 2024 •

edited

Loading

Hiroshiba left a comment

Hiroshiba left a comment

Hiroshiba commented Jun 23, 2024

ENH: speaker_infoのリソースをURLで返すようにする #1318

ENH: speaker_infoのリソースをURLで返すようにする #1318

Conversation

sabonerune commented May 24, 2024 • edited by tarepan Loading

内容

関連 Issue

その他

sabonerune left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba left a comment • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

sabonerune commented May 28, 2024

Hiroshiba commented May 29, 2024

Hiroshiba commented May 29, 2024 • edited Loading

sabonerune commented May 29, 2024 • edited Loading

sabonerune commented May 30, 2024 • edited Loading

sevenc-nanashi commented May 30, 2024

sabonerune commented May 30, 2024

Hiroshiba commented Jun 2, 2024

Hiroshiba commented Jun 2, 2024

Hiroshiba Jun 2, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba Jun 2, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba left a comment

Choose a reason for hiding this comment

sabonerune left a comment

Choose a reason for hiding this comment

Hiroshiba commented Jun 21, 2024 • edited Loading

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba commented Jun 23, 2024

ENH: `speaker_info`のリソースをURLで返すようにする #1318

ENH: `speaker_info`のリソースをURLで返すようにする #1318

sabonerune commented May 24, 2024 •

edited by tarepan

Loading

Hiroshiba left a comment •

edited

Loading

Hiroshiba commented May 29, 2024 •

edited

Loading

sabonerune commented May 29, 2024 •

edited

Loading

sabonerune commented May 30, 2024 •

edited

Loading

Hiroshiba Jun 2, 2024 •

edited

Loading

Hiroshiba Jun 2, 2024 •

edited

Loading

Hiroshiba commented Jun 21, 2024 •

edited

Loading