BroadRouter
Começar

Como usar o SDK Python da OpenAI com a BroadNet Inference

Atualizado em

Instale o pacote openai e crie o client com base_url definida como https://inference.broadnet.ai/v1 e sua chave da BroadNet como api_key. Todas as chamadas chat.completions funcionam sem mudanças; só o ID do modelo muda, por exemplo broadnet/deepseek-v4.1-flash. A BroadNet oferece chat completions e transcrições, não a Responses API.

Você precisa de uma conta na BroadNet Inference e de uma chave de inferência. Contas novas começam com $5 de crédito e sem cartão; crie a sua em inference.broadnet.ai. O console mostra a chave uma única vez e guarda apenas o hash dela, então copie-a direto para o seu ambiente.

1. Instale e defina a chave

O pacote openai atual (3.x) exige Python 3.10 ou mais recente.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Faça a primeira requisição

Salve isto como first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Rode com python first_request.py. O exemplo usa broadnet/gemma-4-26b-a4b porque ele funciona com o crédito gratuito. Os outros modelos de chat ficam disponíveis depois de uma recarga.

3. Troque para o modelo que você quer

Mude só model:

Você quer ID do modelo
Ilimitado em um plano de preço fixo, contexto de 1M broadnet/deepseek-v4.1-flash
Ferramentas e saída estruturada, contexto de 1M broadnet/glm-5.3
Texto e imagens em árabe broadnet/qwen3.8-27b
Preço baixo, funciona com o crédito gratuito broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder, e o raciocínio conta para max_tokens. Dê a eles 1.000 tokens ou mais. Veja por que um limite baixo retorna uma resposta vazia.

4. Receba a resposta em streaming

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Com include_usage, as contagens de tokens chegam no último chunk, que não tem choices. O guia de streaming explica como lidar com conexões que caem.

5. Guarde o ID da requisição

Toda resposta traz um cabeçalho X-Request-ID. Registre esse valor: o suporte da BroadNet pede por ele. As respostas já interpretadas o expõem como response._request_id. Para lê-lo junto com os outros cabeçalhos:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Chaves de pagamento por uso permitem 30 requisições por minuto e 4 simultâneas. O que cada código de erro significa e quando tentar de novo.

Solução de problemas

  • AuthenticationError (401). A chave está errada, expirou ou ficou sem cota de pagamento por uso. Confira se BROADNET_API_KEY está definida no processo que roda o seu código.
  • NotFoundError (404). Confira se base_url termina em /v1 e se você chama chat.completions, não responses. Depois confira o ID do modelo, com o prefixo broadnet/.
  • Modelo pago falha em uma conta nova. O crédito inicial de $5 cobre o BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) e os dois modelos BroadNet Transcribe. Faça uma recarga para usar os outros modelos de chat: DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B.
  • content vazio. O raciocínio conta para max_tokens. Aumente para 1.000 ou mais. Por que as respostas vêm vazias.
  • RateLimitError (429). Você passou do limite por minuto ou do limite de simultaneidade. Por padrão, o SDK tenta de novo duas vezes; defina max_retries no client para mudar isso.
  • Erros no client HTTP personalizado depois de atualizar. O SDK 3.x usa HTTPX2. Se você passa o seu próprio http_client, siga o guia de migração para HTTPX2 do SDK.

Perguntas frequentes

Preciso de outro SDK?

Não. A BroadNet Inference fala os formatos de chat completions e audio transcriptions da OpenAI, então o pacote oficial openai funciona com outra base_url.

Posso continuar usando OPENAI_API_KEY?

Pode, mas uma variável separada BROADNET_API_KEY evita mandar, por engano, a chave de um provedor para outro.

O SDK lê OPENAI_BASE_URL?

Sim. Se você não passar base_url, o client usa OPENAI_BASE_URL. Defina essa variável como https://inference.broadnet.ai/v1, defina OPENAI_API_KEY com a sua chave da BroadNet, e OpenAI() não precisa de argumentos.

Posso usar client.responses.create com a BroadNet?

Não. O README do SDK começa pela Responses API, mas a documentação da BroadNet lista apenas chat completions e audio transcriptions. Use client.chat.completions.create.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity