---
title: "promptfoo: provider openai:chat com apiBaseUrl próprio"
description: "Rode evals do promptfoo e comparações lado a lado de modelos na BroadNet Inference com o provider openai:chat, apiBaseUrl e apiKeyEnvar, além de graders."
url: https://broadrouter.com/pt/guides/promptfoo-openai-compatible/
lang: pt-BR
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/guides/promptfoo-openai-compatible/) (atualizado em 2026-11-16).

# Avaliar os modelos da BroadNet com o promptfoo

Atualizado em 2026-11-16

No promptfooconfig.yaml, adicione um provider com id openai:chat:broadnet/glm-5.3 e uma config que define apiBaseUrl como https://inference.broadnet.ai/v1 e apiKeyEnvar como BROADNET\_API\_KEY. Use o prefixo openai:chat para que o promptfoo sempre chame Chat Completions, o endpoint que a BroadNet serve. Defina max\_tokens você mesmo, porque o limite de saída padrão do promptfoo é de 1.024 tokens.

O promptfoo é uma CLI open source para testar prompts, comparar modelos e fazer red teaming de apps com LLM. O provider OpenAI dele funciona com gateways compatíveis com a OpenAI por meio de `apiBaseUrl`. A BroadNet Inference serve chat completions em `https://inference.broadnet.ai/v1`, então você pode comparar os modelos da BroadNet entre si, ou com modelos que já usa, a partir de um único arquivo YAML. O BroadRouter é o site da própria BroadNet; este guia segue a documentação do provider OpenAI do promptfoo na release 0.125.1.

## Instalação

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

Configurações reais costumam colocar as entradas dos testes em `tests.vars` e referenciá-las no prompt com a sintaxe de template de chaves duplas do promptfoo. Deixamos esta fixa para que rode do jeito que está.

Rode:

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## O que cada configuração faz

-   **`openai:chat:` mais o ID da BroadNet.** Tudo depois de `openai:chat:` é o ID do modelo enviado, então mantenha o prefixo `broadnet/`. A parte `chat` explícita fixa o endpoint de Chat Completions; a BroadNet não serve a Responses API.
-   **`apiBaseUrl`** é a base URL com `/v1`, mas sem `/chat/completions`. O promptfoo acrescenta o caminho.
-   **`apiKeyEnvar`** indica a variável que guarda a sua chave da BroadNet. Se ela estiver faltando, o promptfoo não recorre a `OPENAI_API_KEY`.
-   **`max_tokens`**. Para requisições sem raciocínio, os padrões do promptfoo são `temperature: 0` e um limite de 1.024 tokens. Os modelos DeepSeek, GLM e Qwen da BroadNet raciocinam antes de responder, então 1.024 pode gerar respostas vazias. Defina um limite maior, como no primeiro provider.
-   **`omitDefaults: true`** remove a temperatura e o limite padrão do promptfoo, como no segundo provider. A requisição então não leva nenhum limite de saída do promptfoo.

## Asserções avaliadas por modelo

As configurações do provider não valem para graders como `llm-rubric`. Para avaliar com um modelo da BroadNet, adicione-o de novo para o grader:

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## Quais modelos comparar

| Modelo | Bom para |
| --- | --- |
| `broadnet/glm-5.3` | Testes de tool calling e saída estruturada |
| `broadnet/qwen3.8-27b` | Testes com imagens, texto em árabe ou ferramentas |
| `broadnet/deepseek-v4.1-flash` | Testes de contexto longo e sensíveis a custo |
| `broadnet/gemma-4-26b-a4b` | Testes gratuitos com o crédito inicial de $5 |

A documentação da BroadNet lista ferramentas e saída estruturada só para GLM 5.3 e Qwen3.8 27B. [Preços de todos os modelos](https://broadrouter.com/pt/pricing/).

## Como testamos

Em 2026-11-15, instalamos o promptfoo 0.125.1 com Node 24 e rodamos `promptfoo eval` com uma configuração parecida com a de cima, apontada para um servidor mock local que responde no formato chat completions da BroadNet. Os testes passaram. As requisições registradas foram para `/v1/chat/completions` com o ID do modelo da BroadNet sem alteração e uma chave Bearer. O primeiro provider enviou `max_tokens: 4000` e `temperature: 0`; o provider com `omitDefaults: true` enviou só o modelo e as mensagens. Com `BROADNET_API_KEY` não definida, o promptfoo parou com “Missing BROADNET\_API\_KEY”. Não testamos graders e não tínhamos uma chave da BroadNet, então não testamos a saída real dos modelos.

## Solução de problemas

-   **Saídas vazias ou cortadas.** Aumente `max_tokens`. [Por que as respostas voltam vazias](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/).
-   **404.** Confira se `apiBaseUrl` termina em `/v1` e se o ID do modelo depois de `openai:chat:` mantém o prefixo `broadnet/`. Os modelos pagos exigem uma recarga; o crédito de $5 cobre só `broadnet/gemma-4-26b-a4b` e os dois modelos Transcribe.
-   **429 em evals grandes.** O promptfoo rodou o nosso eval com concorrência 4. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento, então reduza com `promptfoo eval -j 1` em conjuntos de teste grandes. Veja [erros e novas tentativas](https://broadrouter.com/pt/guides/errors-and-retries/).

## Termos neste guia

[Chat Completions API](https://broadrouter.com/pt/glossary/chat-completions-api/)

A Chat Completions API é o endpoint HTTP da OpenAI, POST /v1/chat/completions, que recebe o nome de um modelo e uma lista de mensagens marcadas com papéis e devolve a próxima mensagem do modelo. O formato da requisição e da resposta virou o padrão comum que provedores e SDKs compatíveis com a OpenAI reutilizam.

[Tool calling (chamada de ferramentas)](https://broadrouter.com/pt/glossary/tool-calling/)

Tool calling, também chamado de function calling ou chamada de ferramentas, é um recurso de APIs de LLM em que o modelo devolve um pedido estruturado para executar uma função definida pelo desenvolvedor, com argumentos JSON. A aplicação executa a função e devolve o resultado; o modelo nunca executa código sozinho.

[Concorrência (concurrency)](https://broadrouter.com/pt/glossary/concurrency/)

Concorrência é o número de requisições que um cliente tem em andamento ao mesmo tempo. APIs de LLM muitas vezes a limitam por chave ou por plano, separadamente das requisições por minuto, porque cada requisição aberta ocupa capacidade de GPU até a resposta terminar.

[Eval (avaliação de LLM)](https://broadrouter.com/pt/glossary/eval/)

Uma eval (abreviação de evaluation, avaliação) é um teste repetível de um modelo de linguagem ou de um prompt: um conjunto fixo de entradas, uma descrição de como é uma boa saída e um avaliador (código, uma pessoa ou outro modelo) que pontua cada saída, para que versões possam ser comparadas.

[Pagamento por uso (pay-as-you-go)](https://broadrouter.com/pt/glossary/pay-as-you-go/)

Pagamento por uso é um modelo de preço em que você paga só pelo que usa, medido por unidade, como tokens, requisições ou minutos de áudio, sem assinatura nem compromisso mínimo. A maioria das APIs de LLM cobra assim, a partir de um saldo pré-pago ou de uma fatura periódica.

[Token](https://broadrouter.com/pt/glossary/token/)

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

[Base URL (URL base)](https://broadrouter.com/pt/glossary/base-url/)

A base URL é o endereço raiz fixo de uma API, como https://api.example.com/v1, que um cliente coloca antes de cada caminho de endpoint, como /chat/completions. Nos SDKs compatíveis com a OpenAI, trocar a base URL, junto com a chave de API e o ID do modelo, aponta o mesmo código para outro provedor.

[Rate limit (limite de taxa)](https://broadrouter.com/pt/glossary/rate-limit/)

Um rate limit é um teto que uma API impõe a quanto um cliente pode usá-la em um intervalo de tempo, como requisições por minuto ou tokens por minuto. As requisições acima do limite são recusadas, normalmente com HTTP 429 Too Many Requests, até que o uso volte a ficar abaixo dele.

## Perguntas frequentes

### No promptfoo, uso o prefixo de provider openai:chat ou openai?

openai:chat. Com openai:chat:broadnet/glm-5.3, o promptfoo chama /v1/chat/completions, que é o que a BroadNet serve. A documentação do promptfoo diz que um nome de modelo não reconhecido depois do prefixo openai puro também cai em Chat Completions, mas o prefixo chat explícito não depende dessa regra.

### Por que as respostas da BroadNet saem cortadas no promptfoo?

O promptfoo define por padrão um limite de saída de 1.024 tokens para requisições sem raciocínio, e os modelos DeepSeek, GLM e Qwen da BroadNet gastam parte do orçamento de saída com raciocínio. Defina max\_tokens na config do provider, ou defina omitDefaults como true.

### O apiKeyEnvar recorre a OPENAI\_API\_KEY?

Não. A documentação do promptfoo diz que, se a variável indicada estiver faltando, ele não recorre a OPENAI\_API\_KEY. No nosso teste, ele parou com "Missing BROADNET\_API\_KEY".

### Um modelo da BroadNet pode avaliar asserções llm-rubric?

Sim, mas a documentação do promptfoo diz que as configurações do provider não valem para os graders. Configure o grader à parte em defaultTest.options.provider, com o mesmo id e a mesma config.

## Guias relacionados

-   [Primeira requisição à BroadNet Inference com curl](https://broadrouter.com/pt/guides/curl-quickstart/)
-   [Como usar o SDK Node.js da OpenAI com a BroadNet Inference](https://broadrouter.com/pt/guides/openai-node-sdk/)
-   [Por que um modelo de raciocínio devolve uma resposta vazia](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/)
-   [Códigos de erro da BroadNet Inference e quando tentar de novo](https://broadrouter.com/pt/guides/errors-and-retries/)
-   [Todas as ferramentas que funcionam com a BroadNet Inference (em inglês)](https://broadrouter.com/integrations/): SDKs, agentes de programação, interfaces de chat e ferramentas de automação, com as configurações exatas de cada uma

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**Fontes**

-   [Documentação do promptfoo, provider OpenAI (gateways compatíveis com a OpenAI) (conferido em 2026-11-15)](https://www.promptfoo.dev/docs/providers/openai/)
-   [promptfoo no GitHub, release 0.125.1 de 2026-10-25 (conferido em 2026-11-15)](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [Referência da API da BroadNet Inference (conferido em 2026-11-15) (em inglês)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-guides-promptfoo-openai-compatible&utm_content=sources)
