選択した再生デバイスがソングでも適用されるようにする #2375

X-20A · 2024-11-22T03:52:44Z

内容

再生機器のソングへの適用自体はAudioContext.setSinkIdでデバイスIDを渡すだけでよかったのですが、デバイスの接続が切れるとかなり厄介ですね。AudioContext(たぶん)が「The AudioContext encountered an error from the audio device or the WebAudio renderer. localhost/:1」を投げて動かなくなります。
理想としては接続が切れたら、
再生中なら停止 → 再生デバイスがデフォルトに戻ったことをユーザーに通知 → 操作を続行できる
としたいかなと思いますが、特定の処理で起こるわけではない(接続が切れた時点でエラー発出)のでcatchが難しいのと、AudioContextを初期化すると関連オブジェクトも再生成しないといけないのとで、どうしようかなあという状況です。

関連 Issue

#2300

VOICEVOX#2355 の変更提案プルリクエスト

voicevox-preview-pages · 2024-11-22T03:56:19Z

🚀 プレビュー用ページを作成しました 🚀

更新時点でのコミットハッシュ：626505c

sigprogramming · 2024-11-22T12:33:31Z

特定の処理で起こるわけではない(接続が切れた時点でエラー発出)のでcatchが難しい

たぶんAudioContextの内部でエラーが出ているので、catchは難しそうですね…
（AudioContext.stateがsuspendedになるので、それで一応検知はできると思います）

AudioContextを初期化すると関連オブジェクトも再生成しないといけない

音声グラフを構築する処理がまだ全然整理できていないので、関連オブジェクトの再生成は難しいかもです。
ひとまずこのPRではソングで再生デバイスを変更できるようにするのみ行うのが良いかなと思います。

X-20A · 2024-11-22T13:46:41Z

そうですね。一旦接続解除のことは考えずに進めようと思います。

AudioContext.stateがsuspendedになるので、それで一応検知はできる

navigator.mediaDevices.addEventListener('devicechange', () => {
や
audioContext.onstatechange = () => {
でsetSinkIdしてみたのですが、タイミングが競合するのか、エラーの回避は安定しませんでした

X-20A · 2024-11-23T05:51:05Z

AudioContext.sinkIdについて処理ごとに設定していたのを、読込時と設定変更時に設定するようにしました。こちらのほうが設定漏れが起きづらいかなと。ただし接続解除については考慮していません。

Hiroshiba

シンプルなコードで良い感じの雰囲気ですね！
エラーメッセージもトーク側と揃えていただいててありがたいです！！

今設定時に変更する形になっていますが、再生時に設定する形にするとよりシンプルになりそうだなと感じました！！
（２箇所にあるapplyDeviceIdが１箇所になるはず）

あとInstrumentにあるaudioContextにsetSinkIdするのではなく、直接AudioContextにsetSinkIdするとシンプルになるかも･･････？
（別のAudioContextなんでしたっけ。。。）

再生関数はSING_PLAY_AUDIOかな。
ここでaudioContext.setSinkIdする感じのイメージです！！

Hiroshiba · 2024-11-23T09:02:27Z

src/store/singing.ts

@@ -551,6 +551,7 @@ let clipper: Clipper | undefined;
 // NOTE: テスト時はAudioContextが存在しない
 if (window.AudioContext) {
  audioContext = new AudioContext();
+  // 読込時にここでAudioContextにsetSinkIdできると簡単かつ確実だけど...


メモ消し忘れかも？

Suggested change

// 読込時にここでAudioContextにsetSinkIdできると簡単かつ確実だけど...

sigprogramming · 2024-11-23T12:52:35Z

navigator.mediaDevices.addEventListener('devicechange', () => {
や
audioContext.onstatechange = () => {
でsetSinkIdしてみたのですが、タイミングが競合するのか、エラーの回避は安定しませんでした

音声信号を定期的にバッファに書き込む処理がChromiumにあると思うのですが、たぶんそこでエラーが起こっているので、回避は難しいと思います…！
ユーザーに通知することはできると思うので、ひとまず再起動を促すメッセージを表示するようにするのが良いかもです。
（別プルリクで行っても良いと思います）

…nto selection-unify

X-20A · 2024-11-23T13:42:15Z

設定をコンポーネントからsinging.tsに移しました。ソング関連の音が出る操作で把握してるのは、
a.再生ボタンクリック
ToolBar.vue > play
singing.ts > SING_PLAY_AUDIO
audioRendering.ts > [Transport.start → Transport.schedule → AudioEventScheduler.schedule → AudioPlayer.play → AudioPlayerVoice.play]

b.再生中に最初に戻る
ToolBar.vue > goToZero
singing.ts > SET_PLAYHEAD_POSITION
audioRendering.ts > Transport.time(setter) → [Transport.start → Transport.schedule → AudioEventScheduler.schedule → AudioPlayer.play → AudioPlayerVoice.play]

c.再生中にクリックで再生位置指定
Container.vue > updatePlayheadTicks
singing.ts > SET_PLAYHEAD_POSITION
audioRendering.ts > Transport.time(setter) → [Transport.start → Transport.schedule → AudioEventScheduler.schedule → AudioPlayer.play → AudioPlayerVoice.play]

d.ノートを打ったときのシンセ音
SequencerKeys.vue > onMouseUp → endPreview
singing.ts > PLAY_PREVIEW_SOUND
audioRendering.ts > PolySynth.noteOn

e.(ノートを打って音声生成前に再生した場合はdから始まって、準備できたら自動でaに切り替わる？)

の5つです。audioRendering.tsでやろうとすると引数で運ぶのがややこしくなりそうなのでsinging.ts内の3箇所で設定しています。

Hiroshiba · 2024-11-23T17:03:19Z

src/store/singing.ts

+const applyDeviceId = (device: string) => {
+  if (transport && previewSynth) {
+    transport.sinkId = device;
+    previewSynth.sinkId = device;
+  }
+};


ちょっと頓珍漢なこと言ってるかもなのですが、ここでaudioContext.setSinkId()するのってできたりしますか？ 👀
これができればPolySynthとTransport側のset sinkIdをなくせるな～～～と思ってます！！

Hiroshiba

３箇所にコード実装なるほどです！！！

すみません、気づいてなかったのですが、もしかして再生中にsetSinkIdできるのでしょうか 👀
再生中に変更しても問題ないのであれば、設定をwatchする方法で今までの全問題を解決できるかもです！！

たぶんですが、App.vueにこんな感じのコードを書けば良いはず･･･！

useWatchEffect(()=> {
  applyDeviceId(state.savingSetting.audioOutputDevice);
})

（起動直後とstate.savingSetting.audioOutputDeviceが変更されるたびにapplyDeviceIdが呼ばれる････はず！）

X-20A · 2024-11-24T11:18:58Z

動きますね。盲点でした。
再生中の切り替えも問題ないようです。

src/store/singing.ts

Hiroshiba

ほぼLGTMです！！！
変更ありがとうございました！！

src/store/singing.ts

Hiroshiba · 2024-11-25T15:42:08Z

src/store/singing.ts

+// AudioContextに再生デバイスのIDを設定
+const applyDeviceId = async (device: string) => {


この関数自体をAPPLY_DEVICE_ID内に移してあげるとよりコンパクトかもと思いました！
トーク側はPLAY_AUDIO内に書かれていたので、雰囲気も揃ってメンテナンスしやすいかも。

Hiroshiba · 2024-11-25T15:42:31Z

src/store/singing.ts

@@ -1682,6 +1698,12 @@ export const singingStore = createPartialStore<SingingStoreTypes>({
    },
  },

+  APPLY_DEVICE_ID: {


ソング側であるということが若干分かりにくいので、後ろにTO_AUDIO_CONTEXTとか付けてあげるのどうでしょう？

Hiroshiba · 2024-11-25T15:43:45Z

src/components/App.vue

+watchEffect(() => {
+  store.actions
+    .APPLY_DEVICE_ID({ device: store.state.savingSetting.audioOutputDevice })
+    .catch((e) => {
+      console.error(e);
+    });
+});


ここはそのままエラーになって大丈夫です！
（そのエラーが最終的にログに吐き出されます）

なので単純にvoid store.actions.APPLY_DEVICE_ID({ device: store.state.savingSetting.audioOutputDevice })として良さそう？

src/store/singing.ts

Hiroshiba

LGTM！！！

とてもスリムな実装になりましたね！！！
お付き合いいただきありがとうございました！！！

あとちょっとだけメンテナ的に変更したいところがあるので、こちらで微調整させていただこうと思います！

またもしよかったらプルリクウェルカムです！！
こちらのコメントに書いた他のおすすめとかまだまだありますので、ぜひ･･･！！

src/components/App.vue

src/store/singing.ts

…-20A/2375

X-20A and others added 10 commits November 16, 2024 08:23

とりあえず動く

f743e45

型追記

093c6d2

修正

98ca600

watchEffectを使用してエディタの切り替えを監視し、ショートカットキーの設定を更新

0697dc6

Merge pull request #3 from Hiroshiba/hiho-counter-pr-0697dc64

0308c3e

VOICEVOX#2355 の変更提案プルリクエスト

Merge branch 'main' into tab-state

467c5a9

openedEditorをundefinedで初期化し、設定スキーマを更新

ed3d4ab

Merge pull request #4 from Hiroshiba/hiho-counter-pr-ed3d4ab6

8f41006

VOICEVOX#2355 の変更提案プルリクエスト

微修正

6f91632

wip

e9cfec3

X-20A requested a review from a team as a code owner November 22, 2024 03:52

X-20A requested review from Hiroshiba and removed request for a team November 22, 2024 03:52

X-20A added 2 commits November 23, 2024 13:22

設定タイミングの変更

31aac0f

修正

8c5dfae

Merge branch 'main' into selection-unify

8ae2f63

Hiroshiba reviewed Nov 23, 2024

View reviewed changes

X-20A added 2 commits November 23, 2024 22:30

設定場所変更

a5391e6

Merge branch 'selection-unify' of https://github.com/X-20A/voicevox i…

1f1e902

…nto selection-unify

Hiroshiba reviewed Nov 23, 2024

View reviewed changes

タイミング再調整

ded8c10

sigprogramming reviewed Nov 24, 2024

View reviewed changes

src/store/singing.ts Outdated Show resolved Hide resolved

vuexを経由するように

e6a8f62

Hiroshiba reviewed Nov 25, 2024

View reviewed changes

調整

78efdb5

sigprogramming reviewed Nov 28, 2024

View reviewed changes

src/store/singing.ts Outdated Show resolved Hide resolved

sigprogramming requested a review from Hiroshiba November 28, 2024 14:29

Hiroshiba approved these changes Nov 28, 2024

View reviewed changes

src/components/App.vue Outdated Show resolved Hide resolved

src/store/singing.ts Outdated Show resolved Hide resolved

Hiroshiba added 3 commits November 29, 2024 03:00

Update src/components/App.vue

5f35652

audioContextが未定義の場合のエラーハンドリングを追加

16a9869

Merge branch 'selection-unify' of github.com:X-20A/voicevox into pr/X…

626505c

…-20A/2375

Hiroshiba merged commit e0d3869 into VOICEVOX:main Nov 28, 2024
10 checks passed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

選択した再生デバイスがソングでも適用されるようにする #2375

選択した再生デバイスがソングでも適用されるようにする #2375

X-20A commented Nov 22, 2024

voicevox-preview-pages bot commented Nov 22, 2024 •

edited

Loading

sigprogramming commented Nov 22, 2024

X-20A commented Nov 22, 2024

X-20A commented Nov 23, 2024

Hiroshiba left a comment •

edited

Loading

Hiroshiba Nov 23, 2024

sigprogramming commented Nov 23, 2024 •

edited

Loading

X-20A commented Nov 23, 2024

Hiroshiba Nov 23, 2024

Hiroshiba left a comment •

edited

Loading

X-20A commented Nov 24, 2024

Hiroshiba left a comment

Hiroshiba Nov 25, 2024

Hiroshiba Nov 25, 2024

Hiroshiba Nov 25, 2024

Hiroshiba left a comment

		// AudioContextに再生デバイスのIDを設定
		const applyDeviceId = async (device: string) => {

選択した再生デバイスがソングでも適用されるようにする #2375

選択した再生デバイスがソングでも適用されるようにする #2375

Conversation

X-20A commented Nov 22, 2024

内容

関連 Issue

voicevox-preview-pages bot commented Nov 22, 2024 • edited Loading

sigprogramming commented Nov 22, 2024

X-20A commented Nov 22, 2024

X-20A commented Nov 23, 2024

Hiroshiba left a comment • edited Loading

Choose a reason for hiding this comment

Hiroshiba Nov 23, 2024

Choose a reason for hiding this comment

sigprogramming commented Nov 23, 2024 • edited Loading

X-20A commented Nov 23, 2024

Hiroshiba Nov 23, 2024

Choose a reason for hiding this comment

Hiroshiba left a comment • edited Loading

Choose a reason for hiding this comment

X-20A commented Nov 24, 2024

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba Nov 25, 2024

Choose a reason for hiding this comment

Hiroshiba Nov 25, 2024

Choose a reason for hiding this comment

Hiroshiba Nov 25, 2024

Choose a reason for hiding this comment

Hiroshiba left a comment

Choose a reason for hiding this comment

voicevox-preview-pages bot commented Nov 22, 2024 •

edited

Loading

Hiroshiba left a comment •

edited

Loading

sigprogramming commented Nov 23, 2024 •

edited

Loading

Hiroshiba left a comment •

edited

Loading