BroadRouter
Commencer

Utiliser les pipelines et agents Haystack avec BroadNet Inference

Mis à jour

Installez haystack-ai et créez un OpenAIChatGenerator avec api_base_url réglé sur https://inference.broadnet.ai/v1, api_key sur un Secret lu dans BROADNET_API_KEY et model sur un ID BroadNet comme broadnet/glm-5.3. Utilisez-le dans des pipelines ou un Agent Haystack. Passez max_tokens dans generation_kwargs, et prenez GLM 5.3 ou Qwen3.8 27B quand le générateur a des outils.

Haystack est le framework open source de deepset pour les pipelines RAG et les agents. Son OpenAIChatGenerator dialogue avec n’importe quel serveur compatible OpenAI via api_base_url. BroadNet Inference sert des chat completions standard à https://inference.broadnet.ai/v1 : c’est donc le composant à utiliser. BroadRouter est le site de BroadNet ; ce guide suit la documentation de Haystack 3.5.

Installation

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Connexion

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model est envoyé tel quel. Utilisez l’ID BroadNet avec son préfixe broadnet/.
  • api_key est un Secret Haystack. Sans lui, Haystack cherche OPENAI_API_KEY.
  • generation_kwargs est transmis dans la requête chat completion. Réglez max_tokens assez haut pour le raisonnement (voir plus bas).

Streamer la réponse

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

Haystack envoie alors stream: true avec stream_options.include_usage, si bien que le décompte des tokens arrive dans le dernier chunk. La documentation de BroadNet décrit la même option.

Outils et agents

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

La documentation de BroadNet indique les outils et la sortie structurée pour broadnet/glm-5.3 et broadnet/qwen3.8-27b uniquement. Laissez tools_strict à sa valeur par défaut, False, tant que vous n’avez pas testé les schémas stricts.

Quel modèle choisir ?

Pipeline Modèle
Agents et appels d’outils broadnet/glm-5.3
RAG sur des pages scannées ou du texte arabe, avec outils broadnet/qwen3.8-27b
Réponses sur long contexte avec un forfait à prix fixe broadnet/deepseek-v4.1-flash
Essai avec le crédit de départ gratuit broadnet/gemma-4-26b-a4b (contexte de 32 768 tokens)

Le contexte récupéré peut être volumineux. GLM 5.3 et DeepSeek V4.1 Flash acceptent 1 048 576 tokens de contexte ; les 32 768 de Gemma se remplissent vite. Les prix de chaque modèle.

Comment nous l’avons testé

Le 15 novembre 2026, nous avons installé haystack-ai 3.5.0 dans un environnement virtuel vierge et exécuté les exemples ci-dessus (simple, streaming, outils et Agent) contre un serveur fictif local qui parle le format chat completions de BroadNet. Nous avons lu les requêtes journalisées. Toutes sont arrivées sur /v1/chat/completions avec l’ID de modèle inchangé, une clé Bearer, le max_tokens issu de generation_kwargs et, pour les outils, le schéma de la fonction. Haystack envoie aussi n: 1. Faute de clé BroadNet, nous n’avons pas testé de vraie sortie de modèle.

Dépannage

  • 401. La clé est erronée, a expiré ou a épuisé son allocation, ou BROADNET_API_KEY n’est pas défini dans le processus qui exécute le pipeline.
  • 404. api_base_url doit se terminer par /v1, et l’ID de modèle doit correspondre exactement à celui de BroadNet. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre que broadnet/gemma-4-26b-a4b et les deux modèles Transcribe.
  • Réponses vides. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre, et ce raisonnement est décompté de max_tokens. Augmentez-le. Pourquoi les réponses reviennent vides.
  • 429 pendant une indexation par lots ou une évaluation. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Utilisez le max_retries du générateur et consultez codes d’erreur et nouvelles tentatives.

Questions fréquentes

Quel paramètre de Haystack définit l’URL de BroadNet ?

api_base_url sur OpenAIChatGenerator. La documentation de Haystack le présente comme le moyen d’atteindre des déploiements personnalisés. Réglez-le sur https://inference.broadnet.ai/v1.

Faut-il utiliser OpenAIResponsesChatGenerator avec BroadNet ?

Non. Ce composant appelle l’API Responses d’OpenAI, que BroadNet ne liste pas. Utilisez OpenAIChatGenerator, qui appelle chat completions.

Pourquoi Haystack échoue-t-il faute d’OPENAI_API_KEY ?

La valeur par défaut d’api_key est Secret.from_env_var("OPENAI_API_KEY"). Passez api_key=Secret.from_env_var("BROADNET_API_KEY") pour que Haystack lise votre clé BroadNet à la place.

Un Agent Haystack peut-il appeler des outils sur BroadNet ?

Oui, avec un modèle que BroadNet liste avec les outils : GLM 5.3 ou Qwen3.8 27B. Lors de notre test sur serveur fictif, l’Agent a envoyé le schéma de l’outil via chat completions et a reçu l’appel d’outil en retour.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity