Haystack es el framework de código abierto de deepset para pipelines RAG y agentes. Su componente OpenAIChatGenerator se comunica con cualquier servidor compatible con OpenAI mediante api_base_url. BroadNet Inference sirve chat completions estándar en https://inference.broadnet.ai/v1, así que ese es el componente que debe usar. BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación de Haystack 3.5.
Instalación
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Conexión
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelse envía sin cambios. Use el ID de BroadNet con su prefijobroadnet/.api_keyes unSecretde Haystack. Sin él, Haystack buscaOPENAI_API_KEY.generation_kwargsse pasan a la solicitud de chat completion. Pongamax_tokenslo bastante alto para el razonamiento (vea más abajo).
Respuesta en streaming
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Así Haystack envía stream: true con stream_options.include_usage, de modo que el conteo de tokens llega en el último fragmento. La documentación de BroadNet describe la misma opción.
Herramientas y agentes
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
La documentación de BroadNet indica herramientas y salida estructurada solo para broadnet/glm-5.3 y broadnet/qwen3.8-27b. Deje tools_strict en su valor predeterminado, False, salvo que haya probado esquemas estrictos.
Qué modelo elegir
| Pipeline | Modelo |
|---|---|
| Agentes y llamadas a herramientas | broadnet/glm-5.3 |
| RAG sobre páginas escaneadas o texto en árabe, con herramientas | broadnet/qwen3.8-27b |
| Respuestas con contexto largo en un plan de tarifa plana | broadnet/deepseek-v4.1-flash |
| Probarlo con el crédito inicial gratuito | broadnet/gemma-4-26b-a4b (contexto de 32,768 tokens) |
El contexto recuperado puede ser grande. GLM 5.3 y DeepSeek V4.1 Flash admiten 1,048,576 tokens de contexto; los 32,768 de Gemma se llenan rápido. Precios de todos los modelos.
Cómo lo probamos
El 2026-11-15 instalamos haystack-ai 3.5.0 en un entorno virtual limpio y ejecutamos los ejemplos de arriba (básico, streaming, herramientas y Agent) contra un servidor simulado (mock) local que habla el formato de chat completions de BroadNet. Revisamos las solicitudes registradas. Todas fueron a /v1/chat/completions con el ID de modelo sin cambios, una clave Bearer, max_tokens tomado de generation_kwargs y, con herramientas, el esquema de la función. Haystack también envía n: 1. No teníamos una clave de BroadNet, así que no probamos la salida real de un modelo.
Solución de problemas
- 401. La clave es incorrecta, caducó o se quedó sin saldo, o
BROADNET_API_KEYno está definida en el proceso que ejecuta el pipeline. - 404.
api_base_urldebe terminar en/v1, y el ID del modelo debe coincidir exactamente con el de BroadNet. Los modelos de pago requieren una recarga; el crédito de $5 cubre solobroadnet/gemma-4-26b-a4by los dos modelos Transcribe. - Respuestas vacías. DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, y el razonamiento cuenta dentro de
max_tokens. Auméntelo. Por qué las respuestas llegan vacías. - 429 al indexar por lotes o al evaluar. Una clave de pago por uso permite 30 solicitudes por minuto y 4 simultáneas. Use
max_retriesdel generador y consulte errores y reintentos.
