O Haystack é o framework open source da deepset para pipelines de RAG e agentes. O OpenAIChatGenerator dele conversa com qualquer servidor compatível com a OpenAI por meio de api_base_url. A BroadNet Inference oferece chat completions padrão em https://inference.broadnet.ai/v1, então esse é o componente a usar. O BroadRouter é o site da própria BroadNet; este guia segue a documentação do Haystack 3.5.
Instalação
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Conexão
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelé enviado sem alteração. Use o ID da BroadNet com o prefixobroadnet/.api_keyé umSecretdo Haystack. Sem ele, o Haystack procuraOPENAI_API_KEY.generation_kwargsvão para a requisição de chat completion. Definamax_tokensalto o bastante para o raciocínio (veja abaixo).
Resposta em streaming
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Aí o Haystack envia stream: true com stream_options.include_usage, e a contagem de tokens chega no último chunk. A documentação da BroadNet descreve a mesma opção.
Ferramentas e agentes
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
A documentação da BroadNet lista ferramentas e saída estruturada só para broadnet/glm-5.3 e broadnet/qwen3.8-27b. Deixe tools_strict no padrão, False, a menos que você tenha testado schemas strict.
Qual modelo escolher
| Pipeline | Modelo |
|---|---|
| Agentes e chamadas de ferramenta | broadnet/glm-5.3 |
| RAG sobre páginas digitalizadas ou texto em árabe, com ferramentas | broadnet/qwen3.8-27b |
| Respostas com contexto longo em um plano de preço fixo | broadnet/deepseek-v4.1-flash |
| Testar com o crédito inicial gratuito | broadnet/gemma-4-26b-a4b (contexto de 32.768 tokens) |
O contexto recuperado pode ser grande. GLM 5.3 e DeepSeek V4.1 Flash aceitam 1.048.576 tokens de contexto; os 32.768 do Gemma enchem rápido. Preços de todos os modelos.
Como testamos
Em 2026-11-15 instalamos o haystack-ai 3.5.0 em um ambiente virtual limpo e rodamos os exemplos acima (simples, streaming, ferramentas e Agent) contra um servidor mock local que imita o formato de chat completions da BroadNet. Lemos as requisições registradas. Todas foram para /v1/chat/completions com o ID do modelo sem alteração, uma chave Bearer, max_tokens vindo de generation_kwargs e, no caso das ferramentas, o schema da função. O Haystack também envia n: 1. Não tínhamos uma chave da BroadNet, então não testamos a saída real dos modelos.
Solução de problemas
- 401. A chave está errada, expirou ou ficou sem cota, ou
BROADNET_API_KEYnão está definida no processo que roda o pipeline. - 404.
api_base_urlprecisa terminar em/v1, e o ID do modelo precisa ser exatamente o da BroadNet. Os modelos pagos exigem uma recarga; o crédito de $5 cobre sóbroadnet/gemma-4-26b-a4be os dois modelos Transcribe. - Respostas vazias. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder, e o raciocínio conta para
max_tokens. Aumente o valor. Por que as respostas vêm vazias. - 429 em indexação ou avaliação em lote. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. Use o
max_retriesdo generator e veja erros e novas tentativas.
