Haystack est le framework open source de deepset pour les pipelines RAG et les agents. Son OpenAIChatGenerator dialogue avec n’importe quel serveur compatible OpenAI via api_base_url. BroadNet Inference sert des chat completions standard à https://inference.broadnet.ai/v1 : c’est donc le composant à utiliser. BroadRouter est le site de BroadNet ; ce guide suit la documentation de Haystack 3.5.
Installation
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Connexion
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelest envoyé tel quel. Utilisez l’ID BroadNet avec son préfixebroadnet/.api_keyest unSecretHaystack. Sans lui, Haystack chercheOPENAI_API_KEY.generation_kwargsest transmis dans la requête chat completion. Réglezmax_tokensassez haut pour le raisonnement (voir plus bas).
Streamer la réponse
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Haystack envoie alors stream: true avec stream_options.include_usage, si bien que le décompte des tokens arrive dans le dernier chunk. La documentation de BroadNet décrit la même option.
Outils et agents
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
La documentation de BroadNet indique les outils et la sortie structurée pour broadnet/glm-5.3 et broadnet/qwen3.8-27b uniquement. Laissez tools_strict à sa valeur par défaut, False, tant que vous n’avez pas testé les schémas stricts.
Quel modèle choisir ?
| Pipeline | Modèle |
|---|---|
| Agents et appels d’outils | broadnet/glm-5.3 |
| RAG sur des pages scannées ou du texte arabe, avec outils | broadnet/qwen3.8-27b |
| Réponses sur long contexte avec un forfait à prix fixe | broadnet/deepseek-v4.1-flash |
| Essai avec le crédit de départ gratuit | broadnet/gemma-4-26b-a4b (contexte de 32 768 tokens) |
Le contexte récupéré peut être volumineux. GLM 5.3 et DeepSeek V4.1 Flash acceptent 1 048 576 tokens de contexte ; les 32 768 de Gemma se remplissent vite. Les prix de chaque modèle.
Comment nous l’avons testé
Le 15 novembre 2026, nous avons installé haystack-ai 3.5.0 dans un environnement virtuel vierge et exécuté les exemples ci-dessus (simple, streaming, outils et Agent) contre un serveur fictif local qui parle le format chat completions de BroadNet. Nous avons lu les requêtes journalisées. Toutes sont arrivées sur /v1/chat/completions avec l’ID de modèle inchangé, une clé Bearer, le max_tokens issu de generation_kwargs et, pour les outils, le schéma de la fonction. Haystack envoie aussi n: 1. Faute de clé BroadNet, nous n’avons pas testé de vraie sortie de modèle.
Dépannage
- 401. La clé est erronée, a expiré ou a épuisé son allocation, ou
BROADNET_API_KEYn’est pas défini dans le processus qui exécute le pipeline. - 404.
api_base_urldoit se terminer par/v1, et l’ID de modèle doit correspondre exactement à celui de BroadNet. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre quebroadnet/gemma-4-26b-a4bet les deux modèles Transcribe. - Réponses vides. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre, et ce raisonnement est décompté de
max_tokens. Augmentez-le. Pourquoi les réponses reviennent vides. - 429 pendant une indexation par lots ou une évaluation. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Utilisez le
max_retriesdu générateur et consultez codes d’erreur et nouvelles tentatives.
