LiteLLM offre un’unica interfaccia verso molti provider di LLM, sia come SDK Python sia come server proxy. Per raggiungere un’API compatibile con OpenAI, la sua documentazione indica due cose: mettere openai/ davanti al nome del modello e impostare api_base. BroadNet Inference usa questa route.
1. SDK Python
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ seleziona la route; LiteLLM invia broadnet/glm-5.3 a BroadNet. Non aggiungere nulla al base URL: il client OpenAI di LiteLLM aggiunge da solo il percorso dell’endpoint. Come ricorda il commento nel codice, il ragionamento conta in max_tokens.
La documentazione di LiteLLM precisa che la route openai usa la libreria Python ufficiale di OpenAI, che richiede una chiave API a ogni richiesta. Passa api_key in modo esplicito, come sopra, così LiteLLM non ripiega mai su una OPENAI_API_KEY pensata per OpenAI. La risposta torna nel formato OpenAI, quindi il resto del tuo codice non cambia.
Quando usare il proxy
Dentro una singola app Python basta l’SDK. Il proxy serve quando più app o linguaggi hanno bisogno degli stessi modelli: chiamano tutti un unico endpoint in stile OpenAI con nomi di modello brevi, e il proxy custodisce la chiave BroadNet, applica i rate limit e registra l’utilizzo. Le tue app, a quel punto, non hanno bisogno di alcuna impostazione specifica per BroadNet.
2. Server proxy
Installa gli extra del proxy e scrivi config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Avvialo e chiamalo come qualsiasi endpoint OpenAI (il comando curl va eseguito in un secondo terminale):
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
os.environ/BROADNET_API_KEY_GLM dice a LiteLLM di leggere quella chiave dall’ambiente. Ogni voce usa una sua chiave BroadNet a consumo, quindi rpm: 30, il rate limit opzionale di LiteLLM per singolo deployment, corrisponde al limite di ciascuna chiave. Se più voci condividono la stessa chiave, condividono anche quell’unico limite, quindi dividi il numero tra loro. master_key fa sì che il proxy richieda una chiave a ogni chiamata; la documentazione di LiteLLM dice che deve iniziare con sk-. Esporta LITELLM_MASTER_KEY prima di avviare il proxy.
Quale modello scegliere
| model_name | Modello BroadNet | Uso |
|---|---|---|
glm |
GLM 5.3 | Strumenti, output strutturato, contesto da 1M |
deepseek-flash |
DeepSeek V4.1 Flash | Contesto lungo; il modello del piano illimitato |
qwen |
Qwen3.8 27B | Immagini, strumenti, arabo |
| (aggiungilo se serve) | Gemma 4 VL 26B | Prezzo per token basso; funziona con il credito di $5 |
I prezzi sono nella pagina dei prezzi. Se arrivi da un altro gateway, la checklist di migrazione elenca cosa testare.
Risoluzione dei problemi
- 401. La chiave BroadNet è sbagliata, scaduta o ha esaurito la quota a consumo. Se il 401 arriva dal proxy stesso, controlla invece la chiave LiteLLM che hai inviato.
- Not Found. Verifica che
api_basesiahttps://inference.broadnet.ai/v1, con/v1. Se il base URL è giusto, controlla che l’ID del modello dopoopenai/corrisponda esattamente a quello di BroadNet. - Modello rifiutato su un account nuovo. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash richiedono prima una ricarica; il credito di $5 copre solo
broadnet/gemma-4-26b-a4be i due modelli Transcribe. - Contenuto vuoto. Il ragionamento conta in
max_tokens. Alzalo o inviareasoning_effort="low". Perché le risposte arrivano vuote. - 429. Una chiave a consumo consente 30 richieste al minuto e 4 in contemporanea. L’
rpmdi LiteLLM aiuta con il primo limite; per il secondo, tieni i chiamanti concorrenti a 4 o meno per chiave. Vedi errori e retry. - Agenti in parallelo con una chiave di piano. Una sessione del piano esegue una richiesta alla volta. Se fai passare più agenti dal proxy sulla stessa sessione, finiscono in coda; acquista una sessione per ogni agente parallelo.
