BroadRouter
Inizia

Usare pipeline e agenti Haystack con BroadNet Inference

Aggiornato

Installa haystack-ai e crea un OpenAIChatGenerator con api_base_url impostato su https://inference.broadnet.ai/v1, api_key come Secret letto da BROADNET_API_KEY e model con un ID BroadNet come broadnet/glm-5.3. Usalo nelle pipeline o in un Agent di Haystack. Passa max_tokens in generation_kwargs e, se il generator ha strumenti, usa GLM 5.3 o Qwen3.8 27B.

Haystack è il framework open source di deepset per pipeline RAG e agenti. Il suo OpenAIChatGenerator comunica con qualsiasi server compatibile con OpenAI tramite api_base_url. BroadNet Inference serve chat completions standard su https://inference.broadnet.ai/v1, quindi è questo il componente da usare. BroadRouter è il sito di BroadNet; la guida segue la documentazione di Haystack 3.5.

Installazione

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Connessione

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model viene inviato invariato. Usa l’ID BroadNet con il prefisso broadnet/.
  • api_key è un Secret di Haystack. Senza, Haystack cerca OPENAI_API_KEY.
  • generation_kwargs vengono passati nella richiesta di chat completion. Imposta max_tokens abbastanza alto da lasciare spazio al ragionamento (vedi sotto).

Risposta in streaming

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

Haystack invia allora stream: true con stream_options.include_usage, così il conteggio dei token arriva nell’ultimo chunk. La documentazione di BroadNet descrive la stessa opzione.

Strumenti e agenti

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

La documentazione di BroadNet indica strumenti e output strutturato solo per broadnet/glm-5.3 e broadnet/qwen3.8-27b. Lascia tools_strict al valore predefinito False, a meno che tu non abbia testato gli schemi strict.

Quale modello scegliere

Pipeline Modello
Agenti e chiamate a strumenti broadnet/glm-5.3
RAG su pagine scansionate o testo in arabo, con strumenti broadnet/qwen3.8-27b
Risposte su contesti lunghi con un piano a prezzo fisso broadnet/deepseek-v4.1-flash
Provarlo con il credito iniziale gratuito broadnet/gemma-4-26b-a4b (contesto da 32.768 token)

Il contesto recuperato può essere grande. GLM 5.3 e DeepSeek V4.1 Flash accettano 1.048.576 token di contesto; i 32.768 di Gemma si riempiono in fretta. Prezzi di tutti i modelli.

Come l’abbiamo testato

Il 2026-11-15 abbiamo installato haystack-ai 3.5.0 in un ambiente virtuale pulito ed eseguito gli esempi qui sopra (base, streaming, strumenti e Agent) contro un mock server locale che riproduce il formato chat completions di BroadNet. Abbiamo letto le richieste registrate. Sono arrivate tutte a /v1/chat/completions con l’ID del modello invariato, una chiave Bearer, max_tokens preso da generation_kwargs e, per gli strumenti, lo schema della funzione. Haystack invia anche n: 1. Non avevamo una chiave BroadNet, quindi non abbiamo testato l’output reale dei modelli.

Risoluzione dei problemi

  • 401. La chiave è sbagliata, scaduta o ha esaurito la quota, oppure BROADNET_API_KEY non è impostata nel processo che esegue la pipeline.
  • 404. api_base_url deve finire con /v1 e l’ID del modello deve corrispondere esattamente a quello di BroadNet. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • Risposte vuote. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere e il ragionamento conta in max_tokens. Alzalo. Perché le risposte arrivano vuote.
  • 429 durante indicizzazione o valutazione in batch. Una chiave a consumo consente 30 richieste al minuto e 4 in corso contemporaneamente. Usa max_retries del generator e vedi errori e retry.

Domande frequenti

Quale parametro di Haystack imposta l’URL di BroadNet?

api_base_url di OpenAIChatGenerator. La documentazione di Haystack lo presenta come il modo per raggiungere deployment personalizzati. Impostalo su https://inference.broadnet.ai/v1.

Devo usare OpenAIResponsesChatGenerator con BroadNet?

No. Quel componente chiama la Responses API di OpenAI, che BroadNet non elenca. Usa OpenAIChatGenerator, che chiama le chat completions.

Perché Haystack fallisce dicendo che manca OPENAI_API_KEY?

Il default di api_key è Secret.from_env_var("OPENAI_API_KEY"). Passa api_key=Secret.from_env_var("BROADNET_API_KEY") così Haystack legge la tua chiave BroadNet.

Un Agent di Haystack può chiamare strumenti su BroadNet?

Sì, con un modello per cui BroadNet indica gli strumenti: GLM 5.3 o Qwen3.8 27B. Nel nostro test con un mock server, l’Agent ha inviato lo schema dello strumento tramite chat completions e ha ricevuto indietro la chiamata allo strumento.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity