---
title: "promptfoo: провайдер openai:chat со своим apiBaseUrl"
description: "Как запускать evals в promptfoo и сравнивать модели BroadNet Inference бок о бок через провайдер openai:chat, apiBaseUrl и apiKeyEnvar, а также с грейдерами."
url: https://broadrouter.com/ru/guides/promptfoo-openai-compatible/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/guides/promptfoo-openai-compatible/) (обновлён 2026-11-16).

# Оценка моделей BroadNet в promptfoo

Обновлено 2026-11-16

В promptfooconfig.yaml добавьте провайдер с id openai:chat:broadnet/glm-5.3 и config, где apiBaseUrl равен https://inference.broadnet.ai/v1, а apiKeyEnvar — BROADNET\_API\_KEY. Префикс openai:chat гарантирует, что promptfoo всегда вызывает Chat Completions — эндпоинт, который обслуживает BroadNet. Задайте max\_tokens сами: по умолчанию promptfoo ограничивает выход 1024 токенами.

promptfoo — CLI с открытым исходным кодом для тестирования промптов, сравнения моделей и red-teaming LLM-приложений. Его провайдер OpenAI работает с OpenAI-совместимыми шлюзами через `apiBaseUrl`. BroadNet Inference обслуживает chat completions по адресу `https://inference.broadnet.ai/v1`, так что из одного YAML-файла можно сравнивать модели BroadNet между собой или с моделями, которыми вы уже пользуетесь. BroadRouter — собственный сайт BroadNet; руководство следует документации promptfoo по провайдеру OpenAI на момент релиза 0.125.1.

## Установка

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

В этом конфиге промпт спрашивает, какая столица у Саудовской Аравии, а проверка ищет в ответе слово Riyadh без учёта регистра.

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

В реальных конфигах входные данные тестов обычно лежат в `tests.vars`, а в промпте на них ссылаются через шаблонный синтаксис promptfoo с двойными фигурными скобками. Здесь мы оставили промпт фиксированным, чтобы конфиг запускался как есть.

Запустите (комментарий в коде: результаты бок о бок в браузере):

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## Что делает каждая настройка

-   **`openai:chat:` и ID BroadNet.** Всё после `openai:chat:` отправляется как ID модели, поэтому сохраняйте префикс `broadnet/`. Явная часть `chat` закрепляет эндпоинт Chat Completions; Responses API BroadNet не обслуживает.
-   **`apiBaseUrl`** — базовый URL с `/v1`, но без `/chat/completions`. Путь promptfoo добавит сам.
-   **`apiKeyEnvar`** — имя переменной, в которой лежит ключ BroadNet. Если её нет, promptfoo не переключается на `OPENAI_API_KEY`.
-   **`max_tokens`**. Для запросов без рассуждений promptfoo по умолчанию ставит `temperature: 0` и лимит 1024 токена. Модели DeepSeek, GLM и Qwen в BroadNet рассуждают перед ответом, поэтому при 1024 ответы могут приходить пустыми. Задайте лимит побольше, как у первого провайдера.
-   **`omitDefaults: true`** убирает температуру и лимит по умолчанию из promptfoo, как у второго провайдера. Тогда promptfoo не добавляет в запрос лимит выхода.

## Проверки с оценкой моделью

Настройки провайдера не распространяются на грейдеры вроде `llm-rubric`. Чтобы оценивать моделью BroadNet, укажите её ещё раз для грейдера:

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## Какие модели сравнивать

| Модель | Для чего подходит |
| --- | --- |
| `broadnet/glm-5.3` | Тесты вызова инструментов и структурированного вывода |
| `broadnet/qwen3.8-27b` | Тесты с изображениями, арабским текстом или инструментами |
| `broadnet/deepseek-v4.1-flash` | Тесты с длинным контекстом и чувствительные к стоимости |
| `broadnet/gemma-4-26b-a4b` | Бесплатные тесты на стартовом гранте $5 |

Документация BroadNet заявляет инструменты и структурированный вывод только для GLM 5.3 и Qwen3.8 27B. [Цены на все модели](https://broadrouter.com/ru/pricing/).

## Как мы это проверяли

2026-11-15 мы установили promptfoo 0.125.1 на Node 24 и запустили `promptfoo eval` с конфигом, похожим на приведённый выше, направив его на локальный mock-сервер, который отвечает в формате chat completions BroadNet. Тесты прошли. Запросы в логе шли на `/v1/chat/completions` с неизменённым ID модели BroadNet и ключом Bearer. Первый провайдер отправил `max_tokens: 4000` и `temperature: 0`; провайдер с `omitDefaults: true` отправил только модель и сообщения. Без `BROADNET_API_KEY` promptfoo остановился с сообщением “Missing BROADNET\_API\_KEY” (перевод: «нет BROADNET\_API\_KEY»). Грейдеры мы не тестировали, а ключа BroadNet у нас не было, поэтому реальный вывод моделей мы не проверяли.

## Решение проблем

-   **Пустой или обрезанный вывод.** Увеличьте `max_tokens`. [Почему ответы приходят пустыми](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).
-   **404.** Проверьте, что `apiBaseUrl` заканчивается на `/v1`, а ID модели после `openai:chat:` сохраняет префикс `broadnet/`. Для платных моделей нужно пополнить баланс; грант $5 покрывает только `broadnet/gemma-4-26b-a4b` и обе модели Transcribe.
-   **429 на больших прогонах.** promptfoo выполнял наш прогон с параллельностью 4. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно, поэтому для больших наборов тестов снижайте её через `promptfoo eval -j 1`. См. [ошибки и повторные запросы](https://broadrouter.com/ru/guides/errors-and-retries/).

## Термины в этом руководстве

[Chat Completions API](https://broadrouter.com/ru/glossary/chat-completions-api/)

Chat Completions API — это HTTP-эндпоинт OpenAI, POST /v1/chat/completions, который принимает имя модели и список сообщений с ролями и возвращает следующее сообщение модели. Формат его запроса и ответа стал общим стандартом, который повторяют OpenAI-совместимые провайдеры и SDK.

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

## Вопросы и ответы

### Какой префикс провайдера выбрать в promptfoo: openai:chat или openai?

openai:chat. С openai:chat:broadnet/glm-5.3 promptfoo вызывает /v1/chat/completions — именно его обслуживает BroadNet. Документация promptfoo говорит, что незнакомое имя модели после голого префикса openai тоже откатывается на Chat Completions, но явный префикс chat от этого правила не зависит.

### Почему ответы BroadNet в promptfoo обрезаются?

Для запросов без рассуждений promptfoo по умолчанию ставит лимит выхода 1024 токена, а модели DeepSeek, GLM и Qwen в BroadNet тратят часть бюджета на выход на рассуждения. Задайте max\_tokens в config провайдера или установите omitDefaults в true.

### Откатывается ли apiKeyEnvar на OPENAI\_API\_KEY?

Нет. Документация promptfoo говорит, что если указанной переменной нет, OPENAI\_API\_KEY не используется. В нашем тесте promptfoo остановился с сообщением "Missing BROADNET\_API\_KEY".

### Может ли модель BroadNet оценивать проверки llm-rubric?

Да, но документация promptfoo говорит, что настройки провайдера на грейдеры не распространяются. Задайте грейдер отдельно в defaultTest.options.provider с теми же id и config.

## Похожие руководства

-   [Первый запрос к BroadNet Inference через curl](https://broadrouter.com/ru/guides/curl-quickstart/)
-   [OpenAI Node.js SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-node-sdk/)
-   [Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)
-   [Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)
-   [Все инструменты, которые работают с BroadNet Inference (на английском)](https://broadrouter.com/integrations/): SDK, агенты для программирования, чат-интерфейсы и инструменты автоматизации с точными настройками для каждого

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**Источники**

-   [Документация promptfoo, провайдер OpenAI (OpenAI-совместимые шлюзы) (дата обращения 2026-11-15)](https://www.promptfoo.dev/docs/providers/openai/)
-   [promptfoo на GitHub, релиз 0.125.1 от 2026-10-25 (дата обращения 2026-11-15)](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [Справочник API BroadNet Inference (дата обращения 2026-11-15) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-promptfoo-openai-compatible&utm_content=sources)
