---
title: "Haystack OpenAIChatGenerator con api_base_url personalizzato"
description: "Punta OpenAIChatGenerator di Haystack su BroadNet Inference con api_base_url, un ID di modello BroadNet e una chiave Secret: pipeline, strumenti, streaming, agenti."
url: https://broadrouter.com/it/guides/haystack-openai-compatible/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/guides/haystack-openai-compatible/) (aggiornato il 2026-11-16).

# Usare pipeline e agenti Haystack con BroadNet Inference

Aggiornato 2026-11-16

Installa haystack-ai e crea un OpenAIChatGenerator con api\_base\_url impostato su https://inference.broadnet.ai/v1, api\_key come Secret letto da BROADNET\_API\_KEY e model con un ID BroadNet come broadnet/glm-5.3. Usalo nelle pipeline o in un Agent di Haystack. Passa max\_tokens in generation\_kwargs e, se il generator ha strumenti, usa GLM 5.3 o Qwen3.8 27B.

Haystack è il framework open source di deepset per pipeline RAG e agenti. Il suo `OpenAIChatGenerator` comunica con qualsiasi server compatibile con OpenAI tramite `api_base_url`. BroadNet Inference serve chat completions standard su `https://inference.broadnet.ai/v1`, quindi è questo il componente da usare. BroadRouter è il sito di BroadNet; la guida segue la documentazione di Haystack 3.5.

## Installazione

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## Connessione

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** viene inviato invariato. Usa l’ID BroadNet con il prefisso `broadnet/`.
-   **`api_key`** è un `Secret` di Haystack. Senza, Haystack cerca `OPENAI_API_KEY`.
-   **`generation_kwargs`** vengono passati nella richiesta di chat completion. Imposta `max_tokens` abbastanza alto da lasciare spazio al ragionamento (vedi sotto).

## Risposta in streaming

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

Haystack invia allora `stream: true` con `stream_options.include_usage`, così il conteggio dei token arriva nell’ultimo chunk. La documentazione di BroadNet descrive la stessa opzione.

## Strumenti e agenti

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

La documentazione di BroadNet indica strumenti e output strutturato solo per `broadnet/glm-5.3` e `broadnet/qwen3.8-27b`. Lascia `tools_strict` al valore predefinito `False`, a meno che tu non abbia testato gli schemi strict.

## Quale modello scegliere

| Pipeline | Modello |
| --- | --- |
| Agenti e chiamate a strumenti | `broadnet/glm-5.3` |
| RAG su pagine scansionate o testo in arabo, con strumenti | `broadnet/qwen3.8-27b` |
| Risposte su contesti lunghi con un piano a prezzo fisso | `broadnet/deepseek-v4.1-flash` |
| Provarlo con il credito iniziale gratuito | `broadnet/gemma-4-26b-a4b` (contesto da 32.768 token) |

Il contesto recuperato può essere grande. GLM 5.3 e DeepSeek V4.1 Flash accettano 1.048.576 token di contesto; i 32.768 di Gemma si riempiono in fretta. [Prezzi di tutti i modelli](https://broadrouter.com/it/pricing/).

## Come l’abbiamo testato

Il 2026-11-15 abbiamo installato haystack-ai 3.5.0 in un ambiente virtuale pulito ed eseguito gli esempi qui sopra (base, streaming, strumenti e Agent) contro un mock server locale che riproduce il formato chat completions di BroadNet. Abbiamo letto le richieste registrate. Sono arrivate tutte a `/v1/chat/completions` con l’ID del modello invariato, una chiave Bearer, `max_tokens` preso da `generation_kwargs` e, per gli strumenti, lo schema della funzione. Haystack invia anche `n: 1`. Non avevamo una chiave BroadNet, quindi non abbiamo testato l’output reale dei modelli.

## Risoluzione dei problemi

-   **401.** La chiave è sbagliata, scaduta o ha esaurito la quota, oppure `BROADNET_API_KEY` non è impostata nel processo che esegue la pipeline.
-   **404.** `api_base_url` deve finire con `/v1` e l’ID del modello deve corrispondere esattamente a quello di BroadNet. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo `broadnet/gemma-4-26b-a4b` e i due modelli Transcribe.
-   **Risposte vuote.** DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere e il ragionamento conta in `max_tokens`. Alzalo. [Perché le risposte arrivano vuote](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/).
-   **429 durante indicizzazione o valutazione in batch.** Una chiave a consumo consente 30 richieste al minuto e 4 in corso contemporaneamente. Usa `max_retries` del generator e vedi [errori e retry](https://broadrouter.com/it/guides/errors-and-retries/).

## Termini in questa guida

[Token](https://broadrouter.com/it/glossary/token/)

Un token è l’unità di testo che un modello linguistico legge e scrive: una parola, una parte di parola, un segno di punteggiatura o una sequenza di byte prodotta dal tokenizer del modello. Le API LLM contano, limitano e di solito fatturano l’uso in token.

[Tool calling (chiamata di strumenti)](https://broadrouter.com/it/glossary/tool-calling/)

Il tool calling, detto anche function calling, è una funzionalità delle API LLM in cui il modello restituisce una richiesta strutturata di eseguire una funzione definita dallo sviluppatore, con argomenti JSON. L’applicazione esegue la funzione e rimanda il risultato; il modello non esegue mai codice da solo.

[Streaming](https://broadrouter.com/it/glossary/streaming/)

Lo streaming è un modo di restituire la risposta di un modello linguistico in piccoli pezzi mentre viene ancora generata, invece che in un’unica risposta alla fine. Le API compatibili con OpenAI trasmettono in streaming tramite server-sent event quando la richiesta imposta stream a true.

[Pagamento a consumo (pay-as-you-go)](https://broadrouter.com/it/glossary/pay-as-you-go/)

Il pagamento a consumo è un modello di prezzo in cui paghi solo ciò che usi, misurato per unità come token, richieste o minuti di audio, senza abbonamento né impegno minimo. La maggior parte delle API LLM fattura così, da un saldo prepagato o con una fattura periodica.

[Chat Completions API](https://broadrouter.com/it/glossary/chat-completions-api/)

La Chat Completions API è l’endpoint HTTP di OpenAI, POST /v1/chat/completions, che riceve il nome di un modello e una lista di messaggi con un ruolo e restituisce il messaggio successivo del modello. La forma della sua richiesta e risposta è diventata il formato comune che riusano provider e SDK compatibili con OpenAI.

[Concorrenza (concurrency)](https://broadrouter.com/it/glossary/concurrency/)

La concorrenza è il numero di richieste che un client ha in corso nello stesso momento. Le API LLM spesso la limitano per chiave o per piano, separatamente dalle richieste al minuto, perché ogni richiesta aperta occupa capacità GPU finché la sua risposta non è terminata.

[Rate limit (limite di frequenza)](https://broadrouter.com/it/glossary/rate-limit/)

Un rate limit è un tetto che un’API pone a quanto un client può usarla in un intervallo di tempo, per esempio richieste al minuto o token al minuto. Le richieste oltre il limite vengono rifiutate, di solito con HTTP 429 Too Many Requests, finché l’uso non torna sotto la soglia.

[Credito prepagato (prepaid credit)](https://broadrouter.com/it/glossary/prepaid-credit/)

Il credito prepagato è denaro aggiunto a un account API prima dell’uso. Ogni richiesta scala il proprio costo dal saldo e, quando il saldo si esaurisce, le richieste a consumo si fermano finché non ricarichi. Limita la spesa a quanto hai versato.

## Domande frequenti

### Quale parametro di Haystack imposta l’URL di BroadNet?

api\_base\_url di OpenAIChatGenerator. La documentazione di Haystack lo presenta come il modo per raggiungere deployment personalizzati. Impostalo su https://inference.broadnet.ai/v1.

### Devo usare OpenAIResponsesChatGenerator con BroadNet?

No. Quel componente chiama la Responses API di OpenAI, che BroadNet non elenca. Usa OpenAIChatGenerator, che chiama le chat completions.

### Perché Haystack fallisce dicendo che manca OPENAI\_API\_KEY?

Il default di api\_key è Secret.from\_env\_var("OPENAI\_API\_KEY"). Passa api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY") così Haystack legge la tua chiave BroadNet.

### Un Agent di Haystack può chiamare strumenti su BroadNet?

Sì, con un modello per cui BroadNet indica gli strumenti: GLM 5.3 o Qwen3.8 27B. Nel nostro test con un mock server, l’Agent ha inviato lo schema dello strumento tramite chat completions e ha ricevuto indietro la chiamata allo strumento.

## Guide correlate

-   [Usare l’SDK Python di OpenAI con BroadNet Inference](https://broadrouter.com/it/guides/openai-python-sdk/)
-   [Usare LlamaIndex con BroadNet Inference tramite OpenAILike](https://broadrouter.com/it/guides/llamaindex-openailike/)
-   [Perché un modello di ragionamento restituisce una risposta vuota](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/)
-   [Codici di errore di BroadNet Inference e quando ritentare](https://broadrouter.com/it/guides/errors-and-retries/)
-   [Tutti gli strumenti che funzionano con BroadNet Inference (in inglese)](https://broadrouter.com/integrations/): SDK, agenti di coding, interfacce di chat e strumenti di automazione, con le impostazioni esatte per ciascuno

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-guides-haystack-openai-compatible&utm_content=page-cta) ·

**Fonti**

-   [Documentazione di Haystack 3.5, OpenAIChatGenerator (verificata il 2026-11-15)](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI, haystack-ai 3.5.0, Python 3.11+ (verificato il 2026-11-15)](https://pypi.org/project/haystack-ai/)
-   [Riferimento API di BroadNet Inference (verificato il 2026-11-15) (in inglese)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-guides-haystack-openai-compatible&utm_content=sources)
