A maior parte do código de LLM por aí fala um único dialeto: uma lista de mensagens entra, uma mensagem sai. Esse dialeto é a Chat Completions API.
Como funciona
Você faz um POST de JSON para /v1/chat/completions com um model e um array messages. Cada mensagem tem um role (system, user, assistant ou tool) e um content. A resposta traz um array choices; cada choice tem uma message e um finish_reason que diz por que a geração terminou, além de um bloco usage com a contagem de tokens.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
No SDK Python da OpenAI, a mesma chamada é client.chat.completions.create(...). Campos opcionais moldam a saída: max_tokens, temperature, stream, tools, response_format e outros.
A API é stateless. O guia de migração da OpenAI diz que, na Chat Completions, “conversation state must be managed manually” (tradução: o estado da conversa precisa ser gerenciado manualmente): o seu código guarda o histórico e o envia de novo a cada turno. A Responses API, mais nova, usa itens tipados e pode manter o estado no servidor, e a OpenAI a recomenda para projetos novos na própria plataforma, mas diz que a Chat Completions “remains supported” (continua com suporte).
Por que isso importa
- Portabilidade. Uma API compatível com a OpenAI normalmente significa este endpoint. Trocar de provedor muitas vezes é só uma nova base URL, uma nova chave e um novo nome de modelo.
- Custo. Como o histórico inteiro é reenviado, os tokens de entrada crescem a cada turno. Corte ou resuma conversas longas.
- Campos que divergem. Nem todo provedor compatível aceita todos os campos da OpenAI. Campos desconhecidos podem ser ignorados ou rejeitados, então teste os que você usa.
Na BroadNet Inference
A BroadNet oferece chat em POST /v1/chat/completions em https://inference.broadnet.ai/v1, para DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B e Gemma 4 VL 26B. O streaming usa stream=true e termina com data: [DONE]. Tool calling e saída estruturada estão documentados apenas para GLM 5.3 e Qwen3.8 27B. A referência da API da BroadNet não documenta um endpoint Responses, então use a Chat Completions. Comece pelo quickstart com curl ou pelo guia do SDK Python.
Erros comuns
- Enviar só a última mensagem do usuário e esperar que o modelo lembre da conversa.
- Copiar campos exclusivos da OpenAI para outro provedor sem conferir a referência dele.