BroadRouter
Loslegen

Haystack-Pipelines und -Agenten mit BroadNet Inference nutzen

Aktualisiert

Installieren Sie haystack-ai und erstellen Sie einen OpenAIChatGenerator mit api_base_url https://inference.broadnet.ai/v1, api_key als Secret aus BROADNET_API_KEY und model als BroadNet-ID wie broadnet/glm-5.3. Nutzen Sie ihn in Pipelines oder einem Haystack-Agent. Übergeben Sie max_tokens in generation_kwargs, und nehmen Sie GLM 5.3 oder Qwen3.8 27B, wenn der Generator Tools hat.

Haystack ist das quelloffene Framework von deepset für RAG-Pipelines und Agenten. Sein OpenAIChatGenerator spricht über api_base_url mit jedem OpenAI-kompatiblen Server. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Standard-Chat-Completions bereit, also ist das die passende Komponente. BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der Dokumentation von Haystack 3.5.

Installation

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Verbinden

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model wird unverändert gesendet. Nutzen Sie die BroadNet-ID mit dem Präfix broadnet/.
  • api_key ist ein Haystack-Secret. Ohne ihn sucht Haystack nach OPENAI_API_KEY.
  • generation_kwargs werden in die Chat-Completion-Anfrage übernommen. Setzen Sie max_tokens hoch genug für Reasoning (siehe unten).

Die Antwort streamen

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

Haystack sendet dann stream: true mit stream_options.include_usage, sodass die Token-Zahlen im letzten Chunk ankommen. Die BroadNet-Dokumentation beschreibt dieselbe Option.

Tools und Agenten

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

Die BroadNet-Dokumentation nennt Tools und strukturierte Ausgabe nur für broadnet/glm-5.3 und broadnet/qwen3.8-27b. Lassen Sie tools_strict auf dem Standardwert False, solange Sie strikte Schemas nicht getestet haben.

Welches Modell passt?

Pipeline Modell
Agenten und Tool-Calls broadnet/glm-5.3
RAG über gescannte Seiten oder arabischen Text, mit Tools broadnet/qwen3.8-27b
Antworten mit langem Kontext im Flatrate-Plan broadnet/deepseek-v4.1-flash
Ausprobieren mit dem kostenlosen Startguthaben broadnet/gemma-4-26b-a4b (Kontext von 32.768 Token)

Abgerufener Kontext kann groß werden. GLM 5.3 und DeepSeek V4.1 Flash nehmen 1.048.576 Token Kontext an; die 32.768 von Gemma sind schnell gefüllt. Preise aller Modelle.

So haben wir das getestet

Am 15. November 2026 haben wir haystack-ai 3.5.0 in einer frischen virtuellen Umgebung installiert und die Beispiele oben – einfach, Streaming, Tools und Agent – gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht. Wir haben die protokollierten Anfragen gelesen. Alle gingen an /v1/chat/completions, mit unveränderter Modell-ID, einem Bearer-Schlüssel, max_tokens aus generation_kwargs und, bei Tools, dem Funktionsschema. Haystack sendet außerdem n: 1. Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht, oder BROADNET_API_KEY ist im Prozess, der die Pipeline ausführt, nicht gesetzt.
  • 404. api_base_url muss auf /v1 enden, und die Modell-ID muss exakt der von BroadNet entsprechen. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Leere Antworten. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, und das Reasoning zählt zu max_tokens. Erhöhen Sie den Wert. Warum Antworten leer zurückkommen.
  • 429 bei Batch-Indexierung oder Evaluation. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Nutzen Sie max_retries des Generators und lesen Sie Fehlercodes und Retries.

Häufige Fragen

Welcher Haystack-Parameter setzt die BroadNet-URL?

api_base_url am OpenAIChatGenerator. Die Haystack-Dokumentation beschreibt ihn als Weg zu eigenen Deployments. Setzen Sie ihn auf https://inference.broadnet.ai/v1.

Soll ich OpenAIResponsesChatGenerator mit BroadNet nutzen?

Nein. Diese Komponente ruft die Responses API von OpenAI auf, die BroadNet nicht listet. Nutzen Sie OpenAIChatGenerator, der Chat Completions aufruft.

Warum meldet Haystack einen fehlenden OPENAI_API_KEY?

Der Standardwert für api_key ist Secret.from_env_var("OPENAI_API_KEY"). Übergeben Sie api_key=Secret.from_env_var("BROADNET_API_KEY"), damit Haystack stattdessen Ihren BroadNet-Schlüssel liest.

Kann ein Haystack-Agent bei BroadNet Tools aufrufen?

Ja, mit einem Modell, für das BroadNet Tools angibt: GLM 5.3 oder Qwen3.8 27B. In unserem Test mit einem Mock-Server hat der Agent das Tool-Schema über Chat Completions gesendet und den Tool-Call zurückbekommen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen