---
title: "LiteLLM con un provider compatibile con OpenAI e api_base"
description: "Chiama BroadNet Inference tramite LiteLLM con il prefisso openai/ e api_base, nell’SDK Python o nel config.yaml del proxy, con rate limit allineati."
url: https://broadrouter.com/it/guides/litellm-proxy-custom-provider/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (aggiornato il 2026-11-16).

# Instradare LiteLLM verso BroadNet Inference (SDK e proxy)

Aggiornato 2026-11-16

In LiteLLM metti il prefisso openai/ davanti all’ID del modello BroadNet, come in openai/broadnet/glm-5.3, e imposta api\_base su https://inference.broadnet.ai/v1 con la tua chiave BroadNet come api\_key. Nel proxy inserisci gli stessi valori sotto litellm\_params in config.yaml e dai al modello un model\_name breve.

LiteLLM offre un’unica interfaccia verso molti provider di LLM, sia come SDK Python sia come server proxy. Per raggiungere un’API compatibile con OpenAI, la sua documentazione indica due cose: mettere `openai/` davanti al nome del modello e impostare `api_base`. BroadNet Inference usa questa route.

## 1\. SDK Python

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

`openai/` seleziona la route; LiteLLM invia `broadnet/glm-5.3` a BroadNet. Non aggiungere nulla al base URL: il client OpenAI di LiteLLM aggiunge da solo il percorso dell’endpoint. Come ricorda il commento nel codice, il ragionamento conta in `max_tokens`.

La documentazione di LiteLLM precisa che la route `openai` usa la libreria Python ufficiale di OpenAI, che richiede una chiave API a ogni richiesta. Passa `api_key` in modo esplicito, come sopra, così LiteLLM non ripiega mai su una `OPENAI_API_KEY` pensata per OpenAI. La risposta torna nel formato OpenAI, quindi il resto del tuo codice non cambia.

## Quando usare il proxy

Dentro una singola app Python basta l’SDK. Il proxy serve quando più app o linguaggi hanno bisogno degli stessi modelli: chiamano tutti un unico endpoint in stile OpenAI con nomi di modello brevi, e il proxy custodisce la chiave BroadNet, applica i rate limit e registra l’utilizzo. Le tue app, a quel punto, non hanno bisogno di alcuna impostazione specifica per BroadNet.

## 2\. Server proxy

Installa gli extra del proxy e scrivi `config.yaml`:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

Avvialo e chiamalo come qualsiasi endpoint OpenAI (il comando `curl` va eseguito in un secondo terminale):

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

`os.environ/BROADNET_API_KEY_GLM` dice a LiteLLM di leggere quella chiave dall’ambiente. Ogni voce usa una sua chiave BroadNet a consumo, quindi `rpm: 30`, il rate limit opzionale di LiteLLM per singolo deployment, corrisponde al limite di ciascuna chiave. Se più voci condividono la stessa chiave, condividono anche quell’unico limite, quindi dividi il numero tra loro. `master_key` fa sì che il proxy richieda una chiave a ogni chiamata; la documentazione di LiteLLM dice che deve iniziare con `sk-`. Esporta `LITELLM_MASTER_KEY` prima di avviare il proxy.

## Quale modello scegliere

| model\_name | Modello BroadNet | Uso |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/it/models/glm-5.3/) | Strumenti, output strutturato, contesto da 1M |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/it/models/deepseek-v4.1-flash/) | Contesto lungo; il modello del piano illimitato |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/it/models/qwen3.8-27b/) | Immagini, strumenti, arabo |
| (aggiungilo se serve) | [Gemma 4 VL 26B](https://broadrouter.com/it/models/gemma-4-vl-26b/) | Prezzo per token basso; funziona con il credito di $5 |

I prezzi sono nella [pagina dei prezzi](https://broadrouter.com/it/pricing/). Se arrivi da un altro gateway, la [checklist di migrazione](https://broadrouter.com/it/blog/openai-compatible-api-migration-checklist/) elenca cosa testare.

## Risoluzione dei problemi

-   **401.** La chiave BroadNet è sbagliata, scaduta o ha esaurito la quota a consumo. Se il 401 arriva dal proxy stesso, controlla invece la chiave LiteLLM che hai inviato.
-   **Not Found.** Verifica che `api_base` sia `https://inference.broadnet.ai/v1`, con `/v1`. Se il base URL è giusto, controlla che l’ID del modello dopo `openai/` corrisponda esattamente a quello di BroadNet.
-   **Modello rifiutato su un account nuovo.** GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash richiedono prima una ricarica; il credito di $5 copre solo `broadnet/gemma-4-26b-a4b` e i due modelli Transcribe.
-   **Contenuto vuoto.** Il ragionamento conta in `max_tokens`. Alzalo o invia `reasoning_effort="low"`. [Perché le risposte arrivano vuote](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/).
-   **429.** Una chiave a consumo consente 30 richieste al minuto e 4 in contemporanea. L’`rpm` di LiteLLM aiuta con il primo limite; per il secondo, tieni i chiamanti concorrenti a 4 o meno per chiave. Vedi [errori e retry](https://broadrouter.com/it/guides/errors-and-retries/).
-   **Agenti in parallelo con una chiave di piano.** Una [sessione del piano](https://broadrouter.com/it/guides/unlimited-llm-api-sessions/) esegue una richiesta alla volta. Se fai passare più agenti dal proxy sulla stessa sessione, finiscono in coda; acquista una sessione per ogni agente parallelo.

## Termini in questa guida

[Pagamento a consumo (pay-as-you-go)](https://broadrouter.com/it/glossary/pay-as-you-go/)

Il pagamento a consumo è un modello di prezzo in cui paghi solo ciò che usi, misurato per unità come token, richieste o minuti di audio, senza abbonamento né impegno minimo. La maggior parte delle API LLM fattura così, da un saldo prepagato o con una fattura periodica.

[Rate limit (limite di frequenza)](https://broadrouter.com/it/glossary/rate-limit/)

Un rate limit è un tetto che un’API pone a quanto un client può usarla in un intervallo di tempo, per esempio richieste al minuto o token al minuto. Le richieste oltre il limite vengono rifiutate, di solito con HTTP 429 Too Many Requests, finché l’uso non torna sotto la soglia.

[Base URL (URL di base)](https://broadrouter.com/it/glossary/base-url/)

La base URL è l’indirizzo radice fisso di un’API, come https://api.example.com/v1, che un client antepone a ogni percorso di endpoint, come /chat/completions. Negli SDK compatibili con OpenAI, cambiare la base URL, insieme alla chiave API e all’ID del modello, punta lo stesso codice verso un altro provider.

[Concorrenza (concurrency)](https://broadrouter.com/it/glossary/concurrency/)

La concorrenza è il numero di richieste che un client ha in corso nello stesso momento. Le API LLM spesso la limitano per chiave o per piano, separatamente dalle richieste al minuto, perché ogni richiesta aperta occupa capacità GPU finché la sua risposta non è terminata.

[Token](https://broadrouter.com/it/glossary/token/)

Un token è l’unità di testo che un modello linguistico legge e scrive: una parola, una parte di parola, un segno di punteggiatura o una sequenza di byte prodotta dal tokenizer del modello. Le API LLM contano, limitano e di solito fatturano l’uso in token.

[Tool calling (chiamata di strumenti)](https://broadrouter.com/it/glossary/tool-calling/)

Il tool calling, detto anche function calling, è una funzionalità delle API LLM in cui il modello restituisce una richiesta strutturata di eseguire una funzione definita dallo sviluppatore, con argomenti JSON. L’applicazione esegue la funzione e rimanda il risultato; il modello non esegue mai codice da solo.

[API compatibile con OpenAI](https://broadrouter.com/it/glossary/openai-compatible-api/)

Un’API compatibile con OpenAI è un’API HTTP che accetta gli stessi formati di richiesta e di risposta dell’API di OpenAI, come POST /v1/chat/completions, così SDK e strumenti di OpenAI possono usarla cambiando solo base URL, chiave API e nome del modello.

[Chiave API (API key)](https://broadrouter.com/it/glossary/api-key/)

Una chiave API è una stringa segreta che identifica e autorizza un client che chiama un’API. Le API LLM di solito la vogliono in un header Authorization: Bearer, e chiunque possieda la chiave può fare richieste fatturate all’account a cui appartiene.

## Domande frequenti

### Perché LiteLLM restituisce un errore Not Found?

La documentazione di LiteLLM dice di verificare che api\_base finisca con /v1. Usa https://inference.broadnet.ai/v1 e non aggiungere /chat/completions.

### Perché il nome del modello è openai/broadnet/glm-5.3?

Il prefisso openai/ dice a LiteLLM di chiamare un endpoint /chat/completions in stile OpenAI. LiteLLM usa il prefisso per scegliere la route e invia il resto, broadnet/glm-5.3, che è l’ID del modello BroadNet.

### Posso mettere una chiave del piano illimitato BroadNet dietro un proxy LiteLLM condiviso?

Le chiavi dei piani non si possono condividere né rivendere, e una sessione esegue una richiesta alla volta. Usale per i tuoi agenti. Per un proxy di team usa chiavi a consumo.

### LiteLLM ha bisogno di OPENAI\_API\_KEY per chiamare BroadNet?

La route openai richiede una chiave a ogni richiesta, da api\_key o da OPENAI\_API\_KEY. Passa la tua chiave BroadNet come api\_key, o os.environ/BROADNET\_API\_KEY nel proxy, così LiteLLM non invia a BroadNet una vera chiave OpenAI.

## Guide correlate

-   [Usare l’SDK Python di OpenAI con BroadNet Inference](https://broadrouter.com/it/guides/openai-python-sdk/)
-   [Codici di errore di BroadNet Inference e quando ritentare](https://broadrouter.com/it/guides/errors-and-retries/)
-   [Perché un modello di ragionamento restituisce una risposta vuota](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/)
-   [Usare LangChain con BroadNet Inference](https://broadrouter.com/it/guides/langchain-openai-base-url/)
-   [Tutti gli strumenti che funzionano con BroadNet Inference (in inglese)](https://broadrouter.com/integrations/): SDK, agenti di coding, interfacce di chat e strumenti di automazione, con le impostazioni esatte per ciascuno

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**Fonti**

-   [Documentazione di LiteLLM, endpoint compatibili con OpenAI (verificata il 2026-11-14)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [Documentazione di LiteLLM, config.yaml del proxy (verificata il 2026-11-14)](https://docs.litellm.ai/docs/proxy/configs)
-   [Riferimento API di BroadNet Inference (in inglese)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-guides-litellm-proxy-custom-provider&utm_content=sources)
