Haystack ist das quelloffene Framework von deepset für RAG-Pipelines und Agenten. Sein OpenAIChatGenerator spricht über api_base_url mit jedem OpenAI-kompatiblen Server. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Standard-Chat-Completions bereit, also ist das die passende Komponente. BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der Dokumentation von Haystack 3.5.
Installation
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Verbinden
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelwird unverändert gesendet. Nutzen Sie die BroadNet-ID mit dem Präfixbroadnet/.api_keyist ein Haystack-Secret. Ohne ihn sucht Haystack nachOPENAI_API_KEY.generation_kwargswerden in die Chat-Completion-Anfrage übernommen. Setzen Siemax_tokenshoch genug für Reasoning (siehe unten).
Die Antwort streamen
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Haystack sendet dann stream: true mit stream_options.include_usage, sodass die Token-Zahlen im letzten Chunk ankommen. Die BroadNet-Dokumentation beschreibt dieselbe Option.
Tools und Agenten
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
Die BroadNet-Dokumentation nennt Tools und strukturierte Ausgabe nur für broadnet/glm-5.3 und broadnet/qwen3.8-27b. Lassen Sie tools_strict auf dem Standardwert False, solange Sie strikte Schemas nicht getestet haben.
Welches Modell passt?
| Pipeline | Modell |
|---|---|
| Agenten und Tool-Calls | broadnet/glm-5.3 |
| RAG über gescannte Seiten oder arabischen Text, mit Tools | broadnet/qwen3.8-27b |
| Antworten mit langem Kontext im Flatrate-Plan | broadnet/deepseek-v4.1-flash |
| Ausprobieren mit dem kostenlosen Startguthaben | broadnet/gemma-4-26b-a4b (Kontext von 32.768 Token) |
Abgerufener Kontext kann groß werden. GLM 5.3 und DeepSeek V4.1 Flash nehmen 1.048.576 Token Kontext an; die 32.768 von Gemma sind schnell gefüllt. Preise aller Modelle.
So haben wir das getestet
Am 15. November 2026 haben wir haystack-ai 3.5.0 in einer frischen virtuellen Umgebung installiert und die Beispiele oben – einfach, Streaming, Tools und Agent – gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht. Wir haben die protokollierten Anfragen gelesen. Alle gingen an /v1/chat/completions, mit unveränderter Modell-ID, einem Bearer-Schlüssel, max_tokens aus generation_kwargs und, bei Tools, dem Funktionsschema. Haystack sendet außerdem n: 1. Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet.
Fehlerbehebung
- 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht, oder
BROADNET_API_KEYist im Prozess, der die Pipeline ausführt, nicht gesetzt. - 404.
api_base_urlmuss auf/v1enden, und die Modell-ID muss exakt der von BroadNet entsprechen. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nurbroadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. - Leere Antworten. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, und das Reasoning zählt zu
max_tokens. Erhöhen Sie den Wert. Warum Antworten leer zurückkommen. - 429 bei Batch-Indexierung oder Evaluation. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Nutzen Sie
max_retriesdes Generators und lesen Sie Fehlercodes und Retries.
