Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

✨ feat: support other OpenAI APIs #165

Merged
merged 2 commits into from
Apr 23, 2024
Merged

✨ feat: support other OpenAI APIs #165

merged 2 commits into from
Apr 23, 2024

Conversation

MartialBE
Copy link
Owner

@MartialBE MartialBE commented Apr 23, 2024

支持OpenAI其他接口转发

  1. 支持fine-tuning/files/batches/assistants等接口
  2. 仅限超级管理员使用
  3. 无计费
  4. 必须是OpenAI或者Azure OpenAI渠道, 推荐OpenAI,因为Azure OpenAI支持不完整。

使用方法

必须在令牌中指定你需要使用的渠道 例如:sk-{your token}-{channel id}

因为指定渠道后,那么其他供应商的聊天模型是无法使用的,所以提供了ignore关键字的方法。
将令牌改为:sk-{your token}-{channel id}-ignore 即可开启。

开启ignore后,除了OpenAI特有的接口以外,其他接口都会忽略指定渠道ID,可以使用负载均衡,使用其他供应商的模型。

ignore 忽略指定渠道ID的接口:
  • /completions
  • /chat/completions
  • /images/generations
  • /images/edits
  • /images/variations
  • /embeddings
  • /audio/transcriptions
  • /audio/translations
  • /audio/speech
  • /moderations
必须指定渠道ID的接口
  • /files*
  • /fine_tuning*
  • /assistants*
  • /threads*
  • /batches*
  • /vector_stores*
  • DEL /models/*

@MartialBE MartialBE merged commit 628df97 into main Apr 23, 2024
3 checks passed
@MartialBE MartialBE deleted the feat/openai_other_api branch April 23, 2024 12:05
@Panweitong
Copy link

支持OpenAI其他接口转发

  1. 支持fine-tuning/files/batches/assistants等接口
  2. 仅限超级管理员使用
  3. 无计费
  4. 必须是OpenAI或者Azure OpenAI渠道, 推荐OpenAI,因为Azure OpenAI支持不完整。

使用方法

必须在令牌中指定你需要使用的渠道 例如:sk-{your token}-{channel id}

因为指定渠道后,那么其他供应商的聊天模型是无法使用的,所以提供了ignore关键字的方法。 将令牌改为:sk-{your token}-{channel id}-ignore 即可开启。

开启ignore后,除了OpenAI特有的接口以外,其他接口都会忽略指定渠道ID,可以使用负载均衡,使用其他供应商的模型。

ignore 忽略指定渠道ID的接口:
  • /completions
  • /chat/completions
  • /images/generations
  • /images/edits
  • /images/variations
  • /embeddings
  • /audio/transcriptions
  • /audio/translations
  • /audio/speech
  • /moderations
必须指定渠道ID的接口
  • /files*
  • /fine_tuning*
  • /assistants*
  • /threads*
  • /batches*
  • /vector_stores*
  • DEL /models/*

您好,我想问下这个之后是否计划支持计费呢?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants