BroadRouter

Valutare i modelli BroadNet con promptfoo

Aggiornato

In promptfooconfig.yaml aggiungi un provider con id openai:chat:broadnet/glm-5.3 e una config che imposta apiBaseUrl su https://inference.broadnet.ai/v1 e apiKeyEnvar su BROADNET_API_KEY. Usa il prefisso openai:chat, così promptfoo chiama sempre Chat Completions, l’endpoint servito da BroadNet. Imposta tu max_tokens, perché il limite di output predefinito di promptfoo è di 1.024 token.

promptfoo è una CLI open source per testare prompt, confrontare modelli e fare red teaming delle app LLM. Il suo provider OpenAI funziona con i gateway compatibili con OpenAI tramite apiBaseUrl. BroadNet Inference serve chat completions su https://inference.broadnet.ai/v1, quindi puoi confrontare i modelli di BroadNet tra loro, o con i modelli che usi già, da un unico file YAML. BroadRouter è il sito di BroadNet; questa guida segue la documentazione del provider OpenAI di promptfoo alla release 0.125.1.

Installazione

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Le configurazioni reali di solito mettono gli input dei test in tests.vars e li richiamano nel prompt con la sintassi di template a doppie graffe di promptfoo. Qui li abbiamo lasciati fissi, così il file funziona così com’è.

Eseguilo:

promptfoo eval
promptfoo view   # side-by-side results in the browser

Cosa fa ogni impostazione

  • openai:chat: più l’ID di BroadNet. Tutto ciò che segue openai:chat: è l’ID del modello inviato, quindi mantieni il prefisso broadnet/. La parte chat esplicita fissa l’endpoint Chat Completions; BroadNet non serve la Responses API.
  • apiBaseUrl è la base URL con /v1, ma senza /chat/completions. Il percorso lo aggiunge promptfoo.
  • apiKeyEnvar indica la variabile che contiene la tua chiave BroadNet. Se manca, promptfoo non ripiega su OPENAI_API_KEY.
  • max_tokens. Per le richieste senza ragionamento promptfoo usa di default temperature: 0 e un limite di 1.024 token. I modelli DeepSeek, GLM e Qwen di BroadNet ragionano prima di rispondere, quindi 1.024 può produrre risposte vuote. Imposta un limite più alto, come nel primo provider.
  • omitDefaults: true elimina la temperatura e il limite predefiniti di promptfoo, come nel secondo provider. La richiesta quindi non ha alcun limite di output impostato da promptfoo.

Asserzioni valutate da un modello

Le impostazioni del provider non valgono per i grader come llm-rubric. Per valutare con un modello BroadNet, aggiungilo di nuovo per il grader:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Quali modelli confrontare

Modello Adatto a
broadnet/glm-5.3 Test di tool calling e output strutturato
broadnet/qwen3.8-27b Test con immagini, testo arabo o strumenti
broadnet/deepseek-v4.1-flash Test con contesto lungo e attenti ai costi
broadnet/gemma-4-26b-a4b Test gratuiti con il credito iniziale di $5

La documentazione di BroadNet indica strumenti e output strutturato solo per GLM 5.3 e Qwen3.8 27B. Prezzi di tutti i modelli.

Come lo abbiamo testato

Il 2026-11-15 abbiamo installato promptfoo 0.125.1 con Node 24 e lanciato promptfoo eval su una configurazione simile a quella sopra, puntata su un server mock locale che risponde nel formato chat completions di BroadNet. I test sono passati. Le richieste registrate sono andate a /v1/chat/completions con l’ID del modello BroadNet invariato e una chiave Bearer. Il primo provider ha inviato max_tokens: 4000 e temperature: 0; il provider con omitDefaults: true ha inviato solo il modello e i messaggi. Con BROADNET_API_KEY non impostata, promptfoo si è fermato con “Missing BROADNET_API_KEY”. Non abbiamo testato i grader e non avevamo una chiave BroadNet, quindi non abbiamo testato l’output reale dei modelli.

Risoluzione dei problemi

  • Output vuoti o troncati. Alza max_tokens. Perché le risposte arrivano vuote.
  • 404. Controlla che apiBaseUrl termini con /v1 e che l’ID del modello dopo openai:chat: mantenga il prefisso broadnet/. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • 429 durante eval grandi. promptfoo ha eseguito il nostro eval con una concorrenza di 4. Una chiave a consumo consente 30 richieste al minuto e 4 in corso, quindi abbassala con promptfoo eval -j 1 per i set di test grandi. Vedi errori e nuovi tentativi.

Domande frequenti

Come prefisso del provider in promptfoo devo usare openai:chat o openai?

openai:chat. Con openai:chat:broadnet/glm-5.3, promptfoo chiama /v1/chat/completions, cioè ciò che BroadNet serve. La documentazione di promptfoo dice che anche un nome di modello non riconosciuto dopo il semplice prefisso openai ripiega su Chat Completions, ma il prefisso chat esplicito non dipende da quella regola.

Perché in promptfoo le risposte di BroadNet vengono troncate?

promptfoo imposta di default un limite di output di 1.024 token per le richieste senza ragionamento, e i modelli DeepSeek, GLM e Qwen di BroadNet spendono parte del budget di output nel ragionamento. Imposta max_tokens nella config del provider, oppure imposta omitDefaults a true.

apiKeyEnvar ripiega su OPENAI_API_KEY?

No. La documentazione di promptfoo dice che, se la variabile indicata manca, non ripiega su OPENAI_API_KEY. Nel nostro test si è fermato con "Missing BROADNET_API_KEY".

Un modello BroadNet può valutare le asserzioni llm-rubric?

Sì, ma la documentazione di promptfoo dice che le impostazioni del provider non valgono per i grader. Configura il grader a parte sotto defaultTest.options.provider con lo stesso id e la stessa config.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity