---
title: "Haystack: OpenAIChatGenerator mit eigener api_base_url"
description: "Richten Sie Haystacks OpenAIChatGenerator per api_base_url, BroadNet-Modell-ID und Secret auf BroadNet Inference aus: für Pipelines, Tools, Streaming und Agenten."
url: https://broadrouter.com/de/guides/haystack-openai-compatible/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/guides/haystack-openai-compatible/) (aktualisiert am 2026-11-16).

# Haystack-Pipelines und -Agenten mit BroadNet Inference nutzen

Aktualisiert 2026-11-16

Installieren Sie haystack-ai und erstellen Sie einen OpenAIChatGenerator mit api\_base\_url https://inference.broadnet.ai/v1, api\_key als Secret aus BROADNET\_API\_KEY und model als BroadNet-ID wie broadnet/glm-5.3. Nutzen Sie ihn in Pipelines oder einem Haystack-Agent. Übergeben Sie max\_tokens in generation\_kwargs, und nehmen Sie GLM 5.3 oder Qwen3.8 27B, wenn der Generator Tools hat.

Haystack ist das quelloffene Framework von deepset für RAG-Pipelines und Agenten. Sein `OpenAIChatGenerator` spricht über `api_base_url` mit jedem OpenAI-kompatiblen Server. BroadNet Inference stellt unter `https://inference.broadnet.ai/v1` Standard-Chat-Completions bereit, also ist das die passende Komponente. BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der Dokumentation von Haystack 3.5.

## Installation

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## Verbinden

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** wird unverändert gesendet. Nutzen Sie die BroadNet-ID mit dem Präfix `broadnet/`.
-   **`api_key`** ist ein Haystack-`Secret`. Ohne ihn sucht Haystack nach `OPENAI_API_KEY`.
-   **`generation_kwargs`** werden in die Chat-Completion-Anfrage übernommen. Setzen Sie `max_tokens` hoch genug für Reasoning (siehe unten).

## Die Antwort streamen

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

Haystack sendet dann `stream: true` mit `stream_options.include_usage`, sodass die Token-Zahlen im letzten Chunk ankommen. Die BroadNet-Dokumentation beschreibt dieselbe Option.

## Tools und Agenten

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

Die BroadNet-Dokumentation nennt Tools und strukturierte Ausgabe nur für `broadnet/glm-5.3` und `broadnet/qwen3.8-27b`. Lassen Sie `tools_strict` auf dem Standardwert `False`, solange Sie strikte Schemas nicht getestet haben.

## Welches Modell passt?

| Pipeline | Modell |
| --- | --- |
| Agenten und Tool-Calls | `broadnet/glm-5.3` |
| RAG über gescannte Seiten oder arabischen Text, mit Tools | `broadnet/qwen3.8-27b` |
| Antworten mit langem Kontext im Flatrate-Plan | `broadnet/deepseek-v4.1-flash` |
| Ausprobieren mit dem kostenlosen Startguthaben | `broadnet/gemma-4-26b-a4b` (Kontext von 32.768 Token) |

Abgerufener Kontext kann groß werden. GLM 5.3 und DeepSeek V4.1 Flash nehmen 1.048.576 Token Kontext an; die 32.768 von Gemma sind schnell gefüllt. [Preise aller Modelle](https://broadrouter.com/de/pricing/).

## So haben wir das getestet

Am 15. November 2026 haben wir haystack-ai 3.5.0 in einer frischen virtuellen Umgebung installiert und die Beispiele oben – einfach, Streaming, Tools und Agent – gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht. Wir haben die protokollierten Anfragen gelesen. Alle gingen an `/v1/chat/completions`, mit unveränderter Modell-ID, einem Bearer-Schlüssel, `max_tokens` aus `generation_kwargs` und, bei Tools, dem Funktionsschema. Haystack sendet außerdem `n: 1`. Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet.

## Fehlerbehebung

-   **401.** Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht, oder `BROADNET_API_KEY` ist im Prozess, der die Pipeline ausführt, nicht gesetzt.
-   **404.** `api_base_url` muss auf `/v1` enden, und die Modell-ID muss exakt der von BroadNet entsprechen. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur `broadnet/gemma-4-26b-a4b` und die beiden Transcribe-Modelle ab.
-   **Leere Antworten.** DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, und das Reasoning zählt zu `max_tokens`. Erhöhen Sie den Wert. [Warum Antworten leer zurückkommen](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/).
-   **429 bei Batch-Indexierung oder Evaluation.** Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Nutzen Sie `max_retries` des Generators und lesen Sie [Fehlercodes und Retries](https://broadrouter.com/de/guides/errors-and-retries/).

## Begriffe in dieser Anleitung

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[RAG (Retrieval-Augmented Generation)](https://broadrouter.com/de/glossary/rag/)

RAG (Retrieval-Augmented Generation) ist ein Muster, bei dem eine Anwendung zuerst zur Frage passende Abschnitte aus einem externen Speicher abruft, etwa einem Such- oder Vektorindex, und sie dann in den Prompt einfügt, damit ein Sprachmodell aus diesem Text antwortet statt nur aus seinem Gedächtnis.

[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

[LLM-Flatrate (Flat-rate LLM plan)](https://broadrouter.com/de/glossary/flat-rate-llm-plan/)

Eine LLM-Flatrate ist ein Plan, der für den Zugang zu einer Sprachmodell-API einen Festpreis pro Zeitraum, etwa pro Monat, berechnet statt pro Token. Solche Pläne begrenzen meist etwas anderes, etwa Parallelität, Geschwindigkeit, Modelle oder Nutzungsfenster. Die Limits zählen also so viel wie der Preis.

[Prepaid-Guthaben (Prepaid Credit)](https://broadrouter.com/de/glossary/prepaid-credit/)

Prepaid-Guthaben ist Geld, das vor der Nutzung auf ein API-Konto eingezahlt wird. Jede Anfrage zieht ihre Kosten vom Guthaben ab, und wenn es aufgebraucht ist, stoppen abgerechnete Anfragen, bis Sie aufladen. So sind die Ausgaben auf das eingezahlte Geld begrenzt.

## Häufige Fragen

### Welcher Haystack-Parameter setzt die BroadNet-URL?

api\_base\_url am OpenAIChatGenerator. Die Haystack-Dokumentation beschreibt ihn als Weg zu eigenen Deployments. Setzen Sie ihn auf https://inference.broadnet.ai/v1.

### Soll ich OpenAIResponsesChatGenerator mit BroadNet nutzen?

Nein. Diese Komponente ruft die Responses API von OpenAI auf, die BroadNet nicht listet. Nutzen Sie OpenAIChatGenerator, der Chat Completions aufruft.

### Warum meldet Haystack einen fehlenden OPENAI\_API\_KEY?

Der Standardwert für api\_key ist Secret.from\_env\_var("OPENAI\_API\_KEY"). Übergeben Sie api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY"), damit Haystack stattdessen Ihren BroadNet-Schlüssel liest.

### Kann ein Haystack-Agent bei BroadNet Tools aufrufen?

Ja, mit einem Modell, für das BroadNet Tools angibt: GLM 5.3 oder Qwen3.8 27B. In unserem Test mit einem Mock-Server hat der Agent das Tool-Schema über Chat Completions gesendet und den Tool-Call zurückbekommen.

## Verwandte Anleitungen

-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/)
-   [LlamaIndex über OpenAILike mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/llamaindex-openailike/)
-   [Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/)
-   [Alle Tools, die mit BroadNet Inference funktionieren (auf Englisch)](https://broadrouter.com/integrations/): SDKs, Coding-Agenten, Chat-Oberflächen und Automatisierungstools, jeweils mit den genauen Einstellungen

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-haystack-openai-compatible&utm_content=page-cta) ·

**Quellen**

-   [Haystack-Dokumentation 3.5, OpenAIChatGenerator (geprüft am 2026-11-15)](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI, haystack-ai 3.5.0, Python 3.11+ (geprüft am 2026-11-15)](https://pypi.org/project/haystack-ai/)
-   [API-Referenz von BroadNet Inference (geprüft am 2026-11-15) (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-haystack-openai-compatible&utm_content=sources)
