カスタムプロバイダー
カスタムプロバイダー(BYOK - Bring Your Own Key)を使用すると、独自の API キーで OpenAI 互換の API エンドポイントに接続できます。Ollama などのローカルプロバイダーもサポートしています。ProviderConfig
ProviderConfig クラスは以下のプロパティを持ちます。
基本的な使い方
カスタムプロバイダーを使用する場合、model パラメータは必須です。
Ollama(ローカルプロバイダー)
Ollama などのローカルプロバイダーではapiKey は不要です。
Azure OpenAI
Azure OpenAI を使用する場合、以下の点に注意してください。typeは必ずazureを指定(openaiではなく)baseUrlにはホストのみを指定(/openai/v1などのパスは含めない)
重要な注意点
- Azureエンドポイント(
*.openai.azure.com)では、必ずtype: 'azure'を使用してください baseUrlはホストのみを指定し、パスの構築は SDK が自動的に行います
onListModels ハンドラー
BYOK モードでカスタムプロバイダーを使用している場合、client->listModels() が CLI サーバーではなくカスタムハンドラーを呼び出すように設定できます。
listModelsUsing() メソッドを使って設定します。client は初期化されやすいため、listModels() の前に常に listModelsUsing() を設定してください。
null を渡すとハンドラーを解除してデフォルトの CLI サーバー動作に戻ります。
listModelsUsing() が設定されている場合、listModels() は CLI サーバーへの接続を必要とせず、キャッシュも使用しません。
最新情報は GitHub リポジトリ を参照してください。