promptfoo es una CLI de código abierto para probar prompts, comparar modelos y hacer red teaming de aplicaciones con LLM. Su proveedor de OpenAI funciona con gateways compatibles con OpenAI mediante apiBaseUrl. BroadNet Inference ofrece chat completions en https://inference.broadnet.ai/v1, así que puede comparar los modelos de BroadNet entre sí, o con los modelos que ya usa, desde un solo archivo YAML. BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación del proveedor de OpenAI de promptfoo según la versión 0.125.1.
Configuración
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Las configuraciones reales suelen poner las entradas de prueba en tests.vars y referenciarlas en el prompt con la sintaxis de plantillas de doble llave de promptfoo. Aquí dejamos este ejemplo fijo para que funcione tal como está.
Ejecútelo:
promptfoo eval
promptfoo view # side-by-side results in the browser
Qué hace cada ajuste
openai:chat:más el ID de BroadNet. Todo lo que va después deopenai:chat:es el ID del modelo que se envía, así que conserve el prefijobroadnet/. La partechatexplícita fija el endpoint de Chat Completions; BroadNet no ofrece la Responses API.apiBaseUrles la base URL con/v1, pero sin/chat/completions. promptfoo agrega la ruta.apiKeyEnvarindica la variable que contiene su clave de BroadNet. promptfoo no recurre aOPENAI_API_KEYsi falta.max_tokens. Los valores por defecto de promptfoo para solicitudes sin razonamiento sontemperature: 0y un límite de 1,024 tokens. Los modelos DeepSeek, GLM y Qwen de BroadNet razonan antes de responder, así que 1,024 puede producir respuestas vacías. Defina un límite mayor, como en el primer proveedor.omitDefaults: trueelimina la temperatura y el límite por defecto de promptfoo, como en el segundo proveedor. La solicitud ya no lleva ningún límite de salida de promptfoo.
Aserciones calificadas por un modelo
La configuración del proveedor no se aplica a graders como llm-rubric. Para calificar con un modelo de BroadNet, agréguelo de nuevo para el grader:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Qué modelos comparar
| Modelo | Útil para |
|---|---|
broadnet/glm-5.3 |
Pruebas de llamadas a herramientas y salida estructurada |
broadnet/qwen3.8-27b |
Pruebas con imágenes, texto en árabe o herramientas |
broadnet/deepseek-v4.1-flash |
Pruebas de contexto largo y sensibles al costo |
broadnet/gemma-4-26b-a4b |
Pruebas gratuitas con el crédito inicial de $5 |
La documentación de BroadNet indica herramientas y salida estructurada solo para GLM 5.3 y Qwen3.8 27B. Precios de todos los modelos.
Cómo lo probamos
El 2026-11-15 instalamos promptfoo 0.125.1 con Node 24 y ejecutamos promptfoo eval con una configuración como la de arriba, apuntando a un servidor mock local que habla el formato de chat completions de BroadNet. Las pruebas pasaron. Las solicitudes registradas fueron a /v1/chat/completions, con el ID de modelo de BroadNet sin cambios y una clave Bearer. El primer proveedor envió max_tokens: 4000 y temperature: 0; el proveedor con omitDefaults: true envió solo el modelo y los mensajes. Sin BROADNET_API_KEY definida, promptfoo se detuvo con “Missing BROADNET_API_KEY”. No probamos los graders y no teníamos una clave de BroadNet, así que no probamos la salida real de los modelos.
Solución de problemas
- Salidas vacías o cortadas. Aumente
max_tokens. Por qué las respuestas llegan vacías. - 404. Compruebe que
apiBaseUrltermine en/v1y que el ID del modelo trasopenai:chat:conserve el prefijobroadnet/. Los modelos de pago requieren una recarga; el crédito de $5 cubre solobroadnet/gemma-4-26b-a4by los dos modelos Transcribe. - 429 en evals grandes. promptfoo ejecutó nuestra eval con una concurrencia de 4. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso, así que redúzcala con
promptfoo eval -j 1para conjuntos de pruebas grandes. Consulte errores y reintentos.
