Haystack è il framework open source di deepset per pipeline RAG e agenti. Il suo OpenAIChatGenerator comunica con qualsiasi server compatibile con OpenAI tramite api_base_url. BroadNet Inference serve chat completions standard su https://inference.broadnet.ai/v1, quindi è questo il componente da usare. BroadRouter è il sito di BroadNet; la guida segue la documentazione di Haystack 3.5.
Installazione
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Connessione
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelviene inviato invariato. Usa l’ID BroadNet con il prefissobroadnet/.api_keyè unSecretdi Haystack. Senza, Haystack cercaOPENAI_API_KEY.generation_kwargsvengono passati nella richiesta di chat completion. Impostamax_tokensabbastanza alto da lasciare spazio al ragionamento (vedi sotto).
Risposta in streaming
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Haystack invia allora stream: true con stream_options.include_usage, così il conteggio dei token arriva nell’ultimo chunk. La documentazione di BroadNet descrive la stessa opzione.
Strumenti e agenti
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
La documentazione di BroadNet indica strumenti e output strutturato solo per broadnet/glm-5.3 e broadnet/qwen3.8-27b. Lascia tools_strict al valore predefinito False, a meno che tu non abbia testato gli schemi strict.
Quale modello scegliere
| Pipeline | Modello |
|---|---|
| Agenti e chiamate a strumenti | broadnet/glm-5.3 |
| RAG su pagine scansionate o testo in arabo, con strumenti | broadnet/qwen3.8-27b |
| Risposte su contesti lunghi con un piano a prezzo fisso | broadnet/deepseek-v4.1-flash |
| Provarlo con il credito iniziale gratuito | broadnet/gemma-4-26b-a4b (contesto da 32.768 token) |
Il contesto recuperato può essere grande. GLM 5.3 e DeepSeek V4.1 Flash accettano 1.048.576 token di contesto; i 32.768 di Gemma si riempiono in fretta. Prezzi di tutti i modelli.
Come l’abbiamo testato
Il 2026-11-15 abbiamo installato haystack-ai 3.5.0 in un ambiente virtuale pulito ed eseguito gli esempi qui sopra (base, streaming, strumenti e Agent) contro un mock server locale che riproduce il formato chat completions di BroadNet. Abbiamo letto le richieste registrate. Sono arrivate tutte a /v1/chat/completions con l’ID del modello invariato, una chiave Bearer, max_tokens preso da generation_kwargs e, per gli strumenti, lo schema della funzione. Haystack invia anche n: 1. Non avevamo una chiave BroadNet, quindi non abbiamo testato l’output reale dei modelli.
Risoluzione dei problemi
- 401. La chiave è sbagliata, scaduta o ha esaurito la quota, oppure
BROADNET_API_KEYnon è impostata nel processo che esegue la pipeline. - 404.
api_base_urldeve finire con/v1e l’ID del modello deve corrispondere esattamente a quello di BroadNet. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solobroadnet/gemma-4-26b-a4be i due modelli Transcribe. - Risposte vuote. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere e il ragionamento conta in
max_tokens. Alzalo. Perché le risposte arrivano vuote. - 429 durante indicizzazione o valutazione in batch. Una chiave a consumo consente 30 richieste al minuto e 4 in corso contemporaneamente. Usa
max_retriesdel generator e vedi errori e retry.
