BroadRouter

Usar o LlamaIndex com a BroadNet Inference via OpenAILike

Atualizado em

Instale llama-index-llms-openai-like e crie o OpenAILike com model definido como um ID da BroadNet, como broadnet/glm-5.3, api_base como https://inference.broadnet.ai/v1, a sua chave da BroadNet, context_window igual ao contexto real do modelo, is_chat_model=True e is_function_calling_model=True só para GLM 5.3 ou Qwen3.8 27B. Atribua-o a Settings.llm para usá-lo em todo lugar.

O LlamaIndex é um framework Python para RAG e agentes. Para qualquer API compatível com a OpenAI que não seja a própria OpenAI, ele oferece a classe OpenAILike. A BroadNet Inference serve chat completions padrão em https://inference.broadnet.ai/v1. O BroadRouter é o site da própria BroadNet; este guia segue a referência da API do LlamaIndex para o llama-index-llms-openai-like 0.9.0.

Instalação

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Conectar e testar

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Se uma resposta for impressa, a chave, a URL e o ID do modelo funcionam. O comentário no código lembra que o raciocínio conta para esse limite.

As quatro configurações que importam

Parâmetro Defina como Padrão se você não definir
is_chat_model True False, que usa o endpoint legado de completions; a BroadNet serve chat completions
context_window O contexto real do modelo 3.900 tokens
is_function_calling_model True só para GLM 5.3 ou Qwen3.8 27B False
max_tokens 1.000 ou mais None (não é enviado, então o servidor decide)

is_chat_model é o mais importante. A referência da API diz que ele “controls whether the model uses the chat or completion endpoint” (tradução: controla se o modelo usa o endpoint de chat ou o de completion) e que o padrão é false. A documentação da BroadNet lista /v1/chat/completions, não o endpoint de completions antigo.

Usar no app inteiro

from llama_index.core import Settings

Settings.llm = llm

Query engines, chat engines e agentes passam então a usar a BroadNet. Embeddings ficam à parte: a referência da API da BroadNet não lista um endpoint de embeddings, então mantenha outro modelo de embeddings para a indexação.

Janelas de contexto

Modelo ID context_window Ferramentas
GLM 5.3 broadnet/glm-5.3 1048576 Sim
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Não listado
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Sim
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Não listado

Um contexto de 1M de tokens deixa um query engine passar muito mais chunks recuperados por chamada. Isso nem sempre é melhor; veja contexto longo ou RAG.

Solução de problemas

  • 401. A chave está errada, expirou ou ficou sem cota.
  • 404. O api_base precisa terminar em /v1, e is_chat_model precisa ser True. Depois confira o ID do modelo. Modelos pagos exigem uma recarga; o crédito de $5 cobre só broadnet/gemma-4-26b-a4b e os dois modelos Transcribe.
  • Respostas vazias. O raciocínio consumiu o orçamento de saída. Aumente max_tokens. Por que as respostas vêm vazias.
  • O agente nunca chama ferramentas. Defina is_function_calling_model=True e use broadnet/glm-5.3 ou broadnet/qwen3.8-27b.
  • 429 durante a ingestão ou consultas em lote. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. O OpenAILike tenta de novo 3 vezes por padrão (max_retries). Veja erros e novas tentativas.

Perguntas frequentes

Por que não usar a classe OpenAI do LlamaIndex com outro api_base?

A própria página OpenAI do LlamaIndex diz para usar a integração OpenAILike com qualquer API compatível com a OpenAI que não seja a API oficial da OpenAI. O OpenAILike também permite que você mesmo declare a janela de contexto e o suporte a ferramentas.

O que acontece se eu não definir context_window?

O OpenAILike usa 3.900 tokens por padrão, então o LlamaIndex corta prompts e chunks recuperados muito abaixo do que os modelos da BroadNet aceitam. Defina 1048576 para GLM 5.3 e DeepSeek V4.1 Flash, ou 262144 para Qwen3.8 27B.

Um FunctionAgent do LlamaIndex pode usar a BroadNet?

Sim, com is_function_calling_model=True em um modelo que a BroadNet lista com ferramentas, GLM 5.3 ou Qwen3.8 27B. Deixe False no DeepSeek V4.1 Flash, para o qual a documentação da BroadNet não lista function calling.

A BroadNet oferece embeddings para um índice do LlamaIndex?

A referência da API da BroadNet lista chat completions e transcrições de áudio, não embeddings. Use um modelo de embeddings separado para o índice e a BroadNet para o LLM.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity