Provider personalizzati
Utilizzando un provider personalizzato (BYOK - Bring Your Own Key), puoi collegarti a endpoint API compatibili con OpenAI usando la tua chiave. Sono supportati anche provider locali come Ollama.ProviderConfig
La classeProviderConfig ha le seguenti proprietà.
Uso di base
Quando usi un provider personalizzato, il parametromodel è obbligatorio.
Ollama (provider locale)
Per provider locali come Ollama,apiKey non è necessaria.
Azure OpenAI
Quando usi Azure OpenAI, tieni presente quanto segue.- Specifica sempre
typecomeazure(nonopenai) - Indica in
baseUrlsolo l’host (non includere path come/openai/v1)
Considerazioni importanti
- Per gli endpoint Azure (
*.openai.azure.com) usa sempretype: 'azure' - Specifica in
baseUrlsolo l’host; la costruzione del path è gestita automaticamente dall’SDK
Handler onListModels
Se usi un provider personalizzato in modalità BYOK, puoi configurareclient->listModels() in modo che invochi un handler personalizzato invece del server CLI.
Configuralo con il metodo listModelsUsing(). Poiché il client tende a essere già inizializzato, imposta sempre listModelsUsing() prima di listModels().
null rimuovi l’handler e torni al comportamento predefinito del server CLI.
listModelsUsing() è impostato, listModels() non richiede una connessione al server CLI e non usa la cache.
Per le informazioni più recenti fai riferimento al repository GitHub.