---
title: "promptfoo: provider openai:chat e apiBaseUrl personalizzato"
description: "Esegui eval con promptfoo e confronti affiancati tra modelli su BroadNet Inference con il provider openai:chat, apiBaseUrl e apiKeyEnvar, più i grader."
url: https://broadrouter.com/it/guides/promptfoo-openai-compatible/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/guides/promptfoo-openai-compatible/) (aggiornato il 2026-11-16).

# Valutare i modelli BroadNet con promptfoo

Aggiornato 2026-11-16

In promptfooconfig.yaml aggiungi un provider con id openai:chat:broadnet/glm-5.3 e una config che imposta apiBaseUrl su https://inference.broadnet.ai/v1 e apiKeyEnvar su BROADNET\_API\_KEY. Usa il prefisso openai:chat, così promptfoo chiama sempre Chat Completions, l’endpoint servito da BroadNet. Imposta tu max\_tokens, perché il limite di output predefinito di promptfoo è di 1.024 token.

promptfoo è una CLI open source per testare prompt, confrontare modelli e fare red teaming delle app LLM. Il suo provider OpenAI funziona con i gateway compatibili con OpenAI tramite `apiBaseUrl`. BroadNet Inference serve chat completions su `https://inference.broadnet.ai/v1`, quindi puoi confrontare i modelli di BroadNet tra loro, o con i modelli che usi già, da un unico file YAML. BroadRouter è il sito di BroadNet; questa guida segue la documentazione del provider OpenAI di promptfoo alla release 0.125.1.

## Installazione

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

Le configurazioni reali di solito mettono gli input dei test in `tests.vars` e li richiamano nel prompt con la sintassi di template a doppie graffe di promptfoo. Qui li abbiamo lasciati fissi, così il file funziona così com’è.

Eseguilo:

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## Cosa fa ogni impostazione

-   **`openai:chat:` più l’ID di BroadNet.** Tutto ciò che segue `openai:chat:` è l’ID del modello inviato, quindi mantieni il prefisso `broadnet/`. La parte `chat` esplicita fissa l’endpoint Chat Completions; BroadNet non serve la Responses API.
-   **`apiBaseUrl`** è la base URL con `/v1`, ma senza `/chat/completions`. Il percorso lo aggiunge promptfoo.
-   **`apiKeyEnvar`** indica la variabile che contiene la tua chiave BroadNet. Se manca, promptfoo non ripiega su `OPENAI_API_KEY`.
-   **`max_tokens`**. Per le richieste senza ragionamento promptfoo usa di default `temperature: 0` e un limite di 1.024 token. I modelli DeepSeek, GLM e Qwen di BroadNet ragionano prima di rispondere, quindi 1.024 può produrre risposte vuote. Imposta un limite più alto, come nel primo provider.
-   **`omitDefaults: true`** elimina la temperatura e il limite predefiniti di promptfoo, come nel secondo provider. La richiesta quindi non ha alcun limite di output impostato da promptfoo.

## Asserzioni valutate da un modello

Le impostazioni del provider non valgono per i grader come `llm-rubric`. Per valutare con un modello BroadNet, aggiungilo di nuovo per il grader:

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## Quali modelli confrontare

| Modello | Adatto a |
| --- | --- |
| `broadnet/glm-5.3` | Test di tool calling e output strutturato |
| `broadnet/qwen3.8-27b` | Test con immagini, testo arabo o strumenti |
| `broadnet/deepseek-v4.1-flash` | Test con contesto lungo e attenti ai costi |
| `broadnet/gemma-4-26b-a4b` | Test gratuiti con il credito iniziale di $5 |

La documentazione di BroadNet indica strumenti e output strutturato solo per GLM 5.3 e Qwen3.8 27B. [Prezzi di tutti i modelli](https://broadrouter.com/it/pricing/).

## Come lo abbiamo testato

Il 2026-11-15 abbiamo installato promptfoo 0.125.1 con Node 24 e lanciato `promptfoo eval` su una configurazione simile a quella sopra, puntata su un server mock locale che risponde nel formato chat completions di BroadNet. I test sono passati. Le richieste registrate sono andate a `/v1/chat/completions` con l’ID del modello BroadNet invariato e una chiave Bearer. Il primo provider ha inviato `max_tokens: 4000` e `temperature: 0`; il provider con `omitDefaults: true` ha inviato solo il modello e i messaggi. Con `BROADNET_API_KEY` non impostata, promptfoo si è fermato con “Missing BROADNET\_API\_KEY”. Non abbiamo testato i grader e non avevamo una chiave BroadNet, quindi non abbiamo testato l’output reale dei modelli.

## Risoluzione dei problemi

-   **Output vuoti o troncati.** Alza `max_tokens`. [Perché le risposte arrivano vuote](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/).
-   **404.** Controlla che `apiBaseUrl` termini con `/v1` e che l’ID del modello dopo `openai:chat:` mantenga il prefisso `broadnet/`. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo `broadnet/gemma-4-26b-a4b` e i due modelli Transcribe.
-   **429 durante eval grandi.** promptfoo ha eseguito il nostro eval con una concorrenza di 4. Una chiave a consumo consente 30 richieste al minuto e 4 in corso, quindi abbassala con `promptfoo eval -j 1` per i set di test grandi. Vedi [errori e nuovi tentativi](https://broadrouter.com/it/guides/errors-and-retries/).

## Termini in questa guida

[Chat Completions API](https://broadrouter.com/it/glossary/chat-completions-api/)

La Chat Completions API è l’endpoint HTTP di OpenAI, POST /v1/chat/completions, che riceve il nome di un modello e una lista di messaggi con un ruolo e restituisce il messaggio successivo del modello. La forma della sua richiesta e risposta è diventata il formato comune che riusano provider e SDK compatibili con OpenAI.

[Tool calling (chiamata di strumenti)](https://broadrouter.com/it/glossary/tool-calling/)

Il tool calling, detto anche function calling, è una funzionalità delle API LLM in cui il modello restituisce una richiesta strutturata di eseguire una funzione definita dallo sviluppatore, con argomenti JSON. L’applicazione esegue la funzione e rimanda il risultato; il modello non esegue mai codice da solo.

[Concorrenza (concurrency)](https://broadrouter.com/it/glossary/concurrency/)

La concorrenza è il numero di richieste che un client ha in corso nello stesso momento. Le API LLM spesso la limitano per chiave o per piano, separatamente dalle richieste al minuto, perché ogni richiesta aperta occupa capacità GPU finché la sua risposta non è terminata.

[Pagamento a consumo (pay-as-you-go)](https://broadrouter.com/it/glossary/pay-as-you-go/)

Il pagamento a consumo è un modello di prezzo in cui paghi solo ciò che usi, misurato per unità come token, richieste o minuti di audio, senza abbonamento né impegno minimo. La maggior parte delle API LLM fattura così, da un saldo prepagato o con una fattura periodica.

[Base URL (URL di base)](https://broadrouter.com/it/glossary/base-url/)

La base URL è l’indirizzo radice fisso di un’API, come https://api.example.com/v1, che un client antepone a ogni percorso di endpoint, come /chat/completions. Negli SDK compatibili con OpenAI, cambiare la base URL, insieme alla chiave API e all’ID del modello, punta lo stesso codice verso un altro provider.

[Eval (valutazione degli LLM)](https://broadrouter.com/it/glossary/eval/)

Una eval (abbreviazione di evaluation, valutazione) è un test ripetibile di un modello linguistico o di un prompt: un insieme fisso di input, una descrizione di come deve essere un buon output e un valutatore (codice, una persona o un altro modello) che assegna un punteggio a ogni output, così da poter confrontare le versioni.

[Output strutturato (structured output)](https://broadrouter.com/it/glossary/structured-output/)

L’output strutturato è una funzionalità delle API LLM che vincola la risposta di un modello a un formato indicato dallo sviluppatore, di solito un JSON Schema, così il codice può interpretarla in modo affidabile. È più rigoroso della JSON mode, che garantisce un JSON valido ma non una struttura precisa.

[Rate limit (limite di frequenza)](https://broadrouter.com/it/glossary/rate-limit/)

Un rate limit è un tetto che un’API pone a quanto un client può usarla in un intervallo di tempo, per esempio richieste al minuto o token al minuto. Le richieste oltre il limite vengono rifiutate, di solito con HTTP 429 Too Many Requests, finché l’uso non torna sotto la soglia.

## Domande frequenti

### Come prefisso del provider in promptfoo devo usare openai:chat o openai?

openai:chat. Con openai:chat:broadnet/glm-5.3, promptfoo chiama /v1/chat/completions, cioè ciò che BroadNet serve. La documentazione di promptfoo dice che anche un nome di modello non riconosciuto dopo il semplice prefisso openai ripiega su Chat Completions, ma il prefisso chat esplicito non dipende da quella regola.

### Perché in promptfoo le risposte di BroadNet vengono troncate?

promptfoo imposta di default un limite di output di 1.024 token per le richieste senza ragionamento, e i modelli DeepSeek, GLM e Qwen di BroadNet spendono parte del budget di output nel ragionamento. Imposta max\_tokens nella config del provider, oppure imposta omitDefaults a true.

### apiKeyEnvar ripiega su OPENAI\_API\_KEY?

No. La documentazione di promptfoo dice che, se la variabile indicata manca, non ripiega su OPENAI\_API\_KEY. Nel nostro test si è fermato con "Missing BROADNET\_API\_KEY".

### Un modello BroadNet può valutare le asserzioni llm-rubric?

Sì, ma la documentazione di promptfoo dice che le impostazioni del provider non valgono per i grader. Configura il grader a parte sotto defaultTest.options.provider con lo stesso id e la stessa config.

## Guide correlate

-   [Prima richiesta a BroadNet Inference con curl](https://broadrouter.com/it/guides/curl-quickstart/)
-   [Usare l’SDK Node.js di OpenAI con BroadNet Inference](https://broadrouter.com/it/guides/openai-node-sdk/)
-   [Perché un modello di ragionamento restituisce una risposta vuota](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/)
-   [Codici di errore di BroadNet Inference e quando ritentare](https://broadrouter.com/it/guides/errors-and-retries/)
-   [Tutti gli strumenti che funzionano con BroadNet Inference (in inglese)](https://broadrouter.com/integrations/): SDK, agenti di coding, interfacce di chat e strumenti di automazione, con le impostazioni esatte per ciascuno

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**Fonti**

-   [Documentazione di promptfoo, provider OpenAI (gateway compatibili con OpenAI) (verificata il 2026-11-15)](https://www.promptfoo.dev/docs/providers/openai/)
-   [promptfoo su GitHub, release 0.125.1 del 2026-10-25 (verificata il 2026-11-15)](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [Riferimento API di BroadNet Inference (verificato il 2026-11-15) (in inglese)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-guides-promptfoo-openai-compatible&utm_content=sources)
