O LiteLLM oferece uma interface única para muitos provedores de LLM, como SDK Python e como servidor proxy. Para acessar uma API compatível com a OpenAI, a documentação dele pede duas coisas: colocar openai/ antes do nome do modelo e definir api_base. A BroadNet Inference usa essa rota.
1. SDK Python
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ seleciona a rota; o LiteLLM envia broadnet/glm-5.3 para a BroadNet. Não acrescente nada à base URL: o client OpenAI do LiteLLM adiciona o caminho do endpoint. Como lembra o comentário no código, o raciocínio conta para max_tokens.
A documentação do LiteLLM observa que a rota openai usa a biblioteca Python oficial da OpenAI, que exige uma chave de API em toda requisição. Passe api_key explicitamente, como acima, para que o LiteLLM nunca recorra a uma OPENAI_API_KEY que é da própria OpenAI. A resposta volta no formato da OpenAI, então o resto do seu código não muda.
Quando usar o proxy
Dentro de um único app Python, o SDK basta. O proxy ajuda quando vários apps ou linguagens precisam dos mesmos modelos: todos chamam um único endpoint no estilo da OpenAI com nomes de modelo curtos, e o proxy guarda a chave da BroadNet, aplica rate limits e registra o uso. Seus apps passam a não precisar de nenhuma configuração específica da BroadNet.
2. Servidor proxy
Instale os extras do proxy e escreva o config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Inicie o proxy e chame-o como qualquer endpoint da OpenAI (rode o curl em um segundo terminal):
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
os.environ/BROADNET_API_KEY_GLM diz ao LiteLLM para ler essa chave do ambiente. Cada entrada usa a sua própria chave de pagamento por uso da BroadNet, então rpm: 30, o rate limit opcional do LiteLLM por deployment, corresponde ao limite de cada chave. Se várias entradas usam a mesma chave, elas dividem esse único limite, então reparta o número entre elas. O master_key faz o proxy exigir uma chave em toda chamada; a documentação do LiteLLM diz que ela precisa começar com sk-. Exporte LITELLM_MASTER_KEY antes de iniciar o proxy.
Qual modelo escolher
| model_name | Modelo da BroadNet | Uso |
|---|---|---|
glm |
GLM 5.3 | Ferramentas, saída estruturada, contexto de 1M |
deepseek-flash |
DeepSeek V4.1 Flash | Contexto longo; o modelo do plano ilimitado |
qwen |
Qwen3.8 27B | Imagens, ferramentas, árabe |
| (adicione se precisar) | Gemma 4 VL 26B | Preço por token baixo; funciona com o crédito de $5 |
Os preços estão na página de preços. Se você está migrando de outro gateway, o checklist de migração mostra o que testar.
Solução de problemas
- 401. A chave da BroadNet está errada, expirou ou ficou sem cota de pagamento por uso. Se o 401 vem do próprio proxy, confira a chave do LiteLLM que você enviou.
- Not Found. Garanta que
api_basesejahttps://inference.broadnet.ai/v1, com/v1. Se a base URL estiver certa, confira se o ID do modelo depois deopenai/é exatamente o da BroadNet. - Modelo recusado em uma conta nova. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash exigem uma recarga antes; o crédito de $5 cobre só
broadnet/gemma-4-26b-a4be os dois modelos Transcribe. - Conteúdo vazio. O raciocínio conta para
max_tokens. Aumente o valor ou enviereasoning_effort="low". Por que as respostas vêm vazias. - 429. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 ao mesmo tempo. O
rpmdo LiteLLM ajuda no primeiro limite; para o segundo, mantenha no máximo 4 chamadas simultâneas por chave. Veja erros e novas tentativas. - Agentes em paralelo com uma chave de plano. Uma sessão do plano roda uma requisição por vez. Vários agentes passando pelo proxy na mesma sessão ficam em fila; compre uma sessão por agente em paralelo.
