BroadRouter
Começar

Usar pipelines e agentes do Haystack com a BroadNet Inference

Atualizado em

Instale o haystack-ai e crie um OpenAIChatGenerator com api_base_url em https://inference.broadnet.ai/v1, api_key como um Secret lido de BROADNET_API_KEY e model com um ID da BroadNet como broadnet/glm-5.3. Use-o em pipelines ou em um Agent do Haystack. Passe max_tokens em generation_kwargs e, quando o generator tiver ferramentas, use GLM 5.3 ou Qwen3.8 27B.

O Haystack é o framework open source da deepset para pipelines de RAG e agentes. O OpenAIChatGenerator dele conversa com qualquer servidor compatível com a OpenAI por meio de api_base_url. A BroadNet Inference oferece chat completions padrão em https://inference.broadnet.ai/v1, então esse é o componente a usar. O BroadRouter é o site da própria BroadNet; este guia segue a documentação do Haystack 3.5.

Instalação

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Conexão

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model é enviado sem alteração. Use o ID da BroadNet com o prefixo broadnet/.
  • api_key é um Secret do Haystack. Sem ele, o Haystack procura OPENAI_API_KEY.
  • generation_kwargs vão para a requisição de chat completion. Defina max_tokens alto o bastante para o raciocínio (veja abaixo).

Resposta em streaming

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

Aí o Haystack envia stream: true com stream_options.include_usage, e a contagem de tokens chega no último chunk. A documentação da BroadNet descreve a mesma opção.

Ferramentas e agentes

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

A documentação da BroadNet lista ferramentas e saída estruturada só para broadnet/glm-5.3 e broadnet/qwen3.8-27b. Deixe tools_strict no padrão, False, a menos que você tenha testado schemas strict.

Qual modelo escolher

Pipeline Modelo
Agentes e chamadas de ferramenta broadnet/glm-5.3
RAG sobre páginas digitalizadas ou texto em árabe, com ferramentas broadnet/qwen3.8-27b
Respostas com contexto longo em um plano de preço fixo broadnet/deepseek-v4.1-flash
Testar com o crédito inicial gratuito broadnet/gemma-4-26b-a4b (contexto de 32.768 tokens)

O contexto recuperado pode ser grande. GLM 5.3 e DeepSeek V4.1 Flash aceitam 1.048.576 tokens de contexto; os 32.768 do Gemma enchem rápido. Preços de todos os modelos.

Como testamos

Em 2026-11-15 instalamos o haystack-ai 3.5.0 em um ambiente virtual limpo e rodamos os exemplos acima (simples, streaming, ferramentas e Agent) contra um servidor mock local que imita o formato de chat completions da BroadNet. Lemos as requisições registradas. Todas foram para /v1/chat/completions com o ID do modelo sem alteração, uma chave Bearer, max_tokens vindo de generation_kwargs e, no caso das ferramentas, o schema da função. O Haystack também envia n: 1. Não tínhamos uma chave da BroadNet, então não testamos a saída real dos modelos.

Solução de problemas

  • 401. A chave está errada, expirou ou ficou sem cota, ou BROADNET_API_KEY não está definida no processo que roda o pipeline.
  • 404. api_base_url precisa terminar em /v1, e o ID do modelo precisa ser exatamente o da BroadNet. Os modelos pagos exigem uma recarga; o crédito de $5 cobre só broadnet/gemma-4-26b-a4b e os dois modelos Transcribe.
  • Respostas vazias. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder, e o raciocínio conta para max_tokens. Aumente o valor. Por que as respostas vêm vazias.
  • 429 em indexação ou avaliação em lote. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. Use o max_retries do generator e veja erros e novas tentativas.

Perguntas frequentes

Qual parâmetro do Haystack define a URL da BroadNet?

O api_base_url do OpenAIChatGenerator. A documentação do Haystack o apresenta como a forma de acessar deployments personalizados. Defina como https://inference.broadnet.ai/v1.

Devo usar o OpenAIResponsesChatGenerator com a BroadNet?

Não. Esse componente chama a Responses API da OpenAI, que a BroadNet não lista. Use o OpenAIChatGenerator, que chama chat completions.

Por que o Haystack falha dizendo que falta OPENAI_API_KEY?

O padrão de api_key é Secret.from_env_var("OPENAI_API_KEY"). Passe api_key=Secret.from_env_var("BROADNET_API_KEY") para o Haystack ler a sua chave da BroadNet.

Um Agent do Haystack consegue chamar ferramentas na BroadNet?

Sim, com um modelo que a BroadNet lista com ferramentas: GLM 5.3 ou Qwen3.8 27B. No nosso teste com servidor mock, o Agent enviou o schema da ferramenta via chat completions e recebeu a chamada de ferramenta de volta.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity