---
title: "LiteLLM com provedor compatível com a OpenAI e api_base"
description: "Chame a BroadNet Inference pelo LiteLLM com o prefixo openai/ e api_base, no SDK Python ou no config.yaml do proxy, com rate limits compatíveis com a sua chave."
url: https://broadrouter.com/pt/guides/litellm-proxy-custom-provider/
lang: pt-BR
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (atualizado em 2026-11-16).

# Como rotear o LiteLLM para a BroadNet Inference (SDK e proxy)

Atualizado em 2026-11-16

No LiteLLM, coloque o prefixo openai/ antes do ID do modelo da BroadNet, como em openai/broadnet/glm-5.3, e defina api\_base como https://inference.broadnet.ai/v1, com a sua chave da BroadNet em api\_key. No proxy, coloque os mesmos valores em litellm\_params no config.yaml e dê ao modelo um model\_name curto.

O LiteLLM oferece uma interface única para muitos provedores de LLM, como SDK Python e como servidor proxy. Para acessar uma API compatível com a OpenAI, a documentação dele pede duas coisas: colocar `openai/` antes do nome do modelo e definir `api_base`. A BroadNet Inference usa essa rota.

## 1\. SDK Python

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

`openai/` seleciona a rota; o LiteLLM envia `broadnet/glm-5.3` para a BroadNet. Não acrescente nada à base URL: o client OpenAI do LiteLLM adiciona o caminho do endpoint. Como lembra o comentário no código, o raciocínio conta para `max_tokens`.

A documentação do LiteLLM observa que a rota `openai` usa a biblioteca Python oficial da OpenAI, que exige uma chave de API em toda requisição. Passe `api_key` explicitamente, como acima, para que o LiteLLM nunca recorra a uma `OPENAI_API_KEY` que é da própria OpenAI. A resposta volta no formato da OpenAI, então o resto do seu código não muda.

## Quando usar o proxy

Dentro de um único app Python, o SDK basta. O proxy ajuda quando vários apps ou linguagens precisam dos mesmos modelos: todos chamam um único endpoint no estilo da OpenAI com nomes de modelo curtos, e o proxy guarda a chave da BroadNet, aplica rate limits e registra o uso. Seus apps passam a não precisar de nenhuma configuração específica da BroadNet.

## 2\. Servidor proxy

Instale os extras do proxy e escreva o `config.yaml`:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

Inicie o proxy e chame-o como qualquer endpoint da OpenAI (rode o `curl` em um segundo terminal):

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

`os.environ/BROADNET_API_KEY_GLM` diz ao LiteLLM para ler essa chave do ambiente. Cada entrada usa a sua própria chave de pagamento por uso da BroadNet, então `rpm: 30`, o rate limit opcional do LiteLLM por deployment, corresponde ao limite de cada chave. Se várias entradas usam a mesma chave, elas dividem esse único limite, então reparta o número entre elas. O `master_key` faz o proxy exigir uma chave em toda chamada; a documentação do LiteLLM diz que ela precisa começar com `sk-`. Exporte `LITELLM_MASTER_KEY` antes de iniciar o proxy.

## Qual modelo escolher

| model\_name | Modelo da BroadNet | Uso |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/pt/models/glm-5.3/) | Ferramentas, saída estruturada, contexto de 1M |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/pt/models/deepseek-v4.1-flash/) | Contexto longo; o modelo do plano ilimitado |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/pt/models/qwen3.8-27b/) | Imagens, ferramentas, árabe |
| (adicione se precisar) | [Gemma 4 VL 26B](https://broadrouter.com/pt/models/gemma-4-vl-26b/) | Preço por token baixo; funciona com o crédito de $5 |

Os preços estão na [página de preços](https://broadrouter.com/pt/pricing/). Se você está migrando de outro gateway, o [checklist de migração](https://broadrouter.com/pt/blog/openai-compatible-api-migration-checklist/) mostra o que testar.

## Solução de problemas

-   **401.** A chave da BroadNet está errada, expirou ou ficou sem cota de pagamento por uso. Se o 401 vem do próprio proxy, confira a chave do LiteLLM que você enviou.
-   **Not Found.** Garanta que `api_base` seja `https://inference.broadnet.ai/v1`, com `/v1`. Se a base URL estiver certa, confira se o ID do modelo depois de `openai/` é exatamente o da BroadNet.
-   **Modelo recusado em uma conta nova.** GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash exigem uma recarga antes; o crédito de $5 cobre só `broadnet/gemma-4-26b-a4b` e os dois modelos Transcribe.
-   **Conteúdo vazio.** O raciocínio conta para `max_tokens`. Aumente o valor ou envie `reasoning_effort="low"`. [Por que as respostas vêm vazias](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/).
-   **429.** Uma chave de pagamento por uso permite 30 requisições por minuto e 4 ao mesmo tempo. O `rpm` do LiteLLM ajuda no primeiro limite; para o segundo, mantenha no máximo 4 chamadas simultâneas por chave. Veja [erros e novas tentativas](https://broadrouter.com/pt/guides/errors-and-retries/).
-   **Agentes em paralelo com uma chave de plano.** Uma [sessão do plano](https://broadrouter.com/pt/guides/unlimited-llm-api-sessions/) roda uma requisição por vez. Vários agentes passando pelo proxy na mesma sessão ficam em fila; compre uma sessão por agente em paralelo.

## Termos neste guia

[Pagamento por uso (pay-as-you-go)](https://broadrouter.com/pt/glossary/pay-as-you-go/)

Pagamento por uso é um modelo de preço em que você paga só pelo que usa, medido por unidade, como tokens, requisições ou minutos de áudio, sem assinatura nem compromisso mínimo. A maioria das APIs de LLM cobra assim, a partir de um saldo pré-pago ou de uma fatura periódica.

[Rate limit (limite de taxa)](https://broadrouter.com/pt/glossary/rate-limit/)

Um rate limit é um teto que uma API impõe a quanto um cliente pode usá-la em um intervalo de tempo, como requisições por minuto ou tokens por minuto. As requisições acima do limite são recusadas, normalmente com HTTP 429 Too Many Requests, até que o uso volte a ficar abaixo dele.

[Base URL (URL base)](https://broadrouter.com/pt/glossary/base-url/)

A base URL é o endereço raiz fixo de uma API, como https://api.example.com/v1, que um cliente coloca antes de cada caminho de endpoint, como /chat/completions. Nos SDKs compatíveis com a OpenAI, trocar a base URL, junto com a chave de API e o ID do modelo, aponta o mesmo código para outro provedor.

[Concorrência (concurrency)](https://broadrouter.com/pt/glossary/concurrency/)

Concorrência é o número de requisições que um cliente tem em andamento ao mesmo tempo. APIs de LLM muitas vezes a limitam por chave ou por plano, separadamente das requisições por minuto, porque cada requisição aberta ocupa capacidade de GPU até a resposta terminar.

[Token](https://broadrouter.com/pt/glossary/token/)

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

[Tool calling (chamada de ferramentas)](https://broadrouter.com/pt/glossary/tool-calling/)

Tool calling, também chamado de function calling ou chamada de ferramentas, é um recurso de APIs de LLM em que o modelo devolve um pedido estruturado para executar uma função definida pelo desenvolvedor, com argumentos JSON. A aplicação executa a função e devolve o resultado; o modelo nunca executa código sozinho.

[API compatível com a OpenAI](https://broadrouter.com/pt/glossary/openai-compatible-api/)

Uma API compatível com a OpenAI é uma API HTTP que aceita os mesmos formatos de requisição e de resposta da API da OpenAI, como POST /v1/chat/completions, de modo que SDKs e ferramentas da OpenAI podem usá-la trocando só a base URL, a chave de API e o nome do modelo.

[Chave de API (API key)](https://broadrouter.com/pt/glossary/api-key/)

Uma chave de API é uma string secreta que identifica e autoriza um cliente que chama uma API. As APIs de LLM normalmente a esperam em um cabeçalho Authorization: Bearer, e qualquer pessoa que tenha a chave pode fazer requisições cobradas da conta dona dela.

## Perguntas frequentes

### Por que o LiteLLM retorna erro Not Found?

A documentação do LiteLLM diz para garantir que api\_base termine em /v1. Use https://inference.broadnet.ai/v1 e não acrescente /chat/completions.

### Por que o nome do modelo é openai/broadnet/glm-5.3?

O prefixo openai/ diz ao LiteLLM para chamar um endpoint /chat/completions no estilo da OpenAI. O LiteLLM usa o prefixo para escolher a rota e envia o resto, broadnet/glm-5.3, que é o ID do modelo na BroadNet.

### Posso colocar uma chave do plano ilimitado da BroadNet atrás de um proxy LiteLLM compartilhado?

Chaves de plano não podem ser compartilhadas nem revendidas, e uma sessão roda uma requisição por vez. Use essas chaves nos seus próprios agentes. Para um proxy de equipe, use chaves de pagamento por uso.

### O LiteLLM precisa de OPENAI\_API\_KEY para chamar a BroadNet?

A rota openai exige uma chave em toda requisição, vinda de api\_key ou de OPENAI\_API\_KEY. Passe a sua chave da BroadNet em api\_key, ou os.environ/BROADNET\_API\_KEY no proxy, para que o LiteLLM não envie uma chave real da OpenAI para a BroadNet.

## Guias relacionados

-   [Como usar o SDK Python da OpenAI com a BroadNet Inference](https://broadrouter.com/pt/guides/openai-python-sdk/)
-   [Códigos de erro da BroadNet Inference e quando tentar de novo](https://broadrouter.com/pt/guides/errors-and-retries/)
-   [Por que um modelo de raciocínio devolve uma resposta vazia](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/)
-   [Como usar o LangChain com a BroadNet Inference](https://broadrouter.com/pt/guides/langchain-openai-base-url/)
-   [Todas as ferramentas que funcionam com a BroadNet Inference (em inglês)](https://broadrouter.com/integrations/): SDKs, agentes de programação, interfaces de chat e ferramentas de automação, com as configurações exatas de cada uma

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**Fontes**

-   [Documentação do LiteLLM, endpoints compatíveis com a OpenAI (conferido em 2026-11-14)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [Documentação do LiteLLM, config.yaml do proxy (conferido em 2026-11-14)](https://docs.litellm.ai/docs/proxy/configs)
-   [Referência da API da BroadNet Inference (em inglês)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-guides-litellm-proxy-custom-provider&utm_content=sources)
