“语音转文本”可否支持其他语言？

[chixuchao]

目前软件层似乎将whisper模型仅用作“英语”的语音转文本。我将whisper模型，改为ggml-small.bin后，尝试解析韩语音频，发现语音文本仍然是英语。请问能否增加一个类似“您要学习的语种”之类的设定，以方便其他语言学习者使用。

如果工作量太大，能否单纯分享一下，如何在Enjoy中用whisper模型，将韩语音频解析成韩语文本？

[an-lee]

目前还是主要先支持英语，但是后续肯定会支持更多语言的。

至于 whisper 的转文本，确实可以简单支持一下。下一个版本，加个配置，选择不带 .en 模型的时候，可以自动识别语言。

[an-lee]

代码改好了，下次发新版就会支持多语言。

试了一下日语的。

Screencast.from.2024-04-19.20-12-07.webm

[lishan256]

请问能支持法语的吗？

[chixuchao]

你好，an-lee，感谢您的版本更新。目前新版本（0.2.5）的确能识别多语言，我用ggml-small.bin来识别日文音频，已经能成功解析。但解析韩语音频出现了报错（如下图）。韩语和日语音频是通过MS Edge TTS 生成的，理应比较好解析。可能是whisper本身不太支持韩语语料？
![微信图片_20240515171323] (https://github.com/xiaolai/everyone-can-use-english/assets/24364644/cdfc983f-9e77-453e-a648-83d7e5a54df6)

[chixuchao]

非常感谢，期待下次发版！

[an-lee]

你好，an-lee，感谢您的版本更新。目前新版本（0.2.5）的确能识别多语言，我用ggml-small.bin来识别日文音频，已经能成功解析。但解析韩语音频出现了报错（如下图）。韩语和日语音频是通过MS Edge TTS 生成的，理应比较好解析。可能是whisper本身不太支持韩语语料？ ![微信图片_20240515171323] (https://github.com/xiaolai/everyone-can-use-english/assets/24364644/cdfc983f-9e77-453e-a648-83d7e5a54df6)

这个不是 whisper 的识别问题，是对齐的时候报错了。多语言版本可能需要仔细逐个适配测试。

[chixuchao]

理解了，谢谢告知！

[an-lee]

#641

[chixuchao]

谢谢您帮忙升级！我升级到0.2.10后，按#641操作，学习语言设置成了“한국인”，但语音（.mp3格式）转文本时，无论使用本地非“.en”模型，还是使用Azure AI收费服务，依然会出现上述报错问题。语音文件如附件（github似乎无法上传.mp3，所以用.zip），如果您方便的话，应该可复现此问题。
0515_CHI_ko_3.zip

[an-lee]

我测试一下。

[an-lee]

我测试一下。

echogarden-project/echogarden#57

[chixuchao]

好像的确是您之前说的对齐问题。虽不太懂，但感觉不是很容易的事。给您添麻烦啦，非常感谢！

[an-lee]

这个问题需要等“上游”的一个依赖来修复。你试试看别的韩文音频，看看是偶发的，还是所有韩文音频都会出现这个问题。