onnxruntime-rsからortに乗り換える

[qryxip]

内容

関連 Issue

Resolves #718, resolves #307.

その他

[qryxip]

以下のAPI削除のため、warn未満のログを抑える役目をここに移動させる。

Environment-level logging configuration (i.e. EnvironmentBuilder::with_log_level) has been removed because it could cause unnecessary confusion with our tracing integration.

https://ort.pyke.io/migrating/v2#changes-to-logging

(言っていることは真っ当だと思う)

libonnxruntimeのWARNING未満のログだけ、ひとまずはortの中でせきとめる。ort自体のwarn以下のログについては、明示的に出すことができる分にはかまわないものしかないはず。

[qryxip]

ortはi16を要求するため、変換を入れる。

ortの実装はこうなっており、コメントを考慮すると意味がわからない。
https://github.com/pykeio/ort/blob/2fdba8f021924d40c6281427b4f8142e932d9bfb/src/session/mod.rs#L175-L177
(旧onnxruntime-rsの時点であちこちこんな感じだったらしい?)

[qryxip]

このPRですが、次のPRにブロックされている状態の認識です。

• onnxruntime 1.17に合わせてバージョン更新 voicevox_additional_libraries#3
• voicevox-ortとして開発する ort#2
  • v2.0.0-rc.1に追従する ort#3
    v2.0.0-rc.2に追従する ort#4
  • ONNX Runtimeをv1.17.1に onnxruntime-builder#37
    ONNX Runtimeをv1.17.3に onnxruntime-builder#40
  • CUDAをv12.2に onnxruntime-builder#38

[qryxip]

正しいバージョンのCUDAを入れずににCUDA版のセッションを開始しようとしたときの様子。 ortってこういうとこにも変化が入っているんですね。

Before (エラー):

[INFO] __main__: Loading `../../model/sample.vvm`
Exception: Failed to create session options: Error calling ONNX Runtime C function: /onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1103 onnxruntime::Provider& onnxruntime::ProviderLibrary::Get() [ONNXRuntimeError] : 1 : FAIL : Failed to load library libonnxruntime_providers_cuda.so with error: libcublasLt.so.11: cannot open shared object file: No such file or directory


The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "./run.py", line 98, in <module>
    main()
  File "./run.py", line 41, in main
    synthesizer.load_voice_model(model)
voicevox_core.InvalidModelDataError: `../../model/sample.vvm`の読み込みに失敗しました: モデルデータを読むことができませんでした

After (CPU版にフォールバックして継続):

[WARNING] ort.execution_providers: An error occurred when attempting to register `CUDAExecutionProvider`: /home/runner/work/onnxruntime-builder/onnxruntime-builder/onnxruntime/core/session/provider_bridge_ort.cc:1209 onnxruntime::Provider& onnxruntime::ProviderLibrary::Get() [ONNXRuntimeError] : 1 : FAIL : Failed to load library libonnxruntime_providers_cuda.so with error: libcublasLt.so.11: cannot open shared object file: No such file or directory

[WARNING] ort.execution_providers: No execution providers registered successfully. Falling back to CPU.

[tarepan]

正しいバージョンのCUDAを入れずににCUDA版のセッションを開始

こちら VOICEVOX/voicevox_engine#709 (comment) で議論されていた CUDA バージョン不一致に関して、実際に不一致が起きた場合に ort 版では CPU フォールバックになる、ということですね。
ユーザーがフォールバックに気づかず「GPU 版を使っているはずなのに遅い」という感想が出てきそうな予感もします。

[qryxip]

まあコア的にもAccelerationMode::Autoがあるわけですし良くはないですね。ドキュメント見たらこうあったので、EnvironmentBuilder::with_execution_provider SessionBuilder::with_execution_providerじゃなくてExecutionProvider::registerを使う方がよさそう。

To receive these registration errors, instead use ExecutionProvider::register to register an execution provider:

use ort::{CUDAExecutionProvider, ExecutionProvider, Session};

fn main() -> anyhow::Result<()> {
    let builder = Session::builder()?;

    let cuda = CUDAExecutionProvider::default();
    if cuda.register(&builder).is_err() {
        eprintln!("Failed to register CUDA!");
        std::process::exit(1);
    }

    let session = builder.commit_from_file("model.onnx")?;

    Ok(())
}

Fallback behavior - Execution providers - ort

[qryxip]

コアAPI的には、AccelerationMode::Autoのときに限ってフォールバック挙動(libonnxruntimeが対応してたらAccelerationMode::Gpuと同様にDML/CUDA版の開始を試み、駄目だったらエラーではなくCPU版)にしてもいいかもしれませんね。

[qryxip]

これでエラー挙動になるはず。
7e74743 (#725)

[sevenc-nanashi]

コアAPI的には、AccelerationMode::Autoのときに限ってフォールバック挙動(libonnxruntimeが対応してたらAccelerationMode::Gpuと同様にDML/CUDA版の開始を試み、駄目だったらエラーではなくCPU版)にしてもいいかもしれませんね。

Autoという単語からするとこれがかなり自然で良いと思います。

[qryxip]

#784

[Hiroshiba]

lgtm！！
ありがとうございます！！！

１箇所コメントしてますが、問題なさそうならそのままマージで！
リポジトリ変える場合も変えた後マージでお願いできれば！

[qryxip]

@tuna2134 (#693)
@takejohn (#758)

共有です。

• CUDA版への切り替えが$ORT_USE_CUDAではなく、DirectML版同様にCargo feature経由になりました。
• $ORT_OUT_DIRは廃止されました。libonnxruntimeはVOICEVOX/ortにより、target/{debug,release}/depsに自動でコピーされます。
• ONNX Runtimeのバージョンが1.14.0から1.17.3になりました。
• 手元へのマージ(追従)後、もしテストとかが壊れたりするのなら一度cargo cleanすると動くと思います。