BroadRouter

Оценка моделей BroadNet в promptfoo

Обновлено

В promptfooconfig.yaml добавьте провайдер с id openai:chat:broadnet/glm-5.3 и config, где apiBaseUrl равен https://inference.broadnet.ai/v1, а apiKeyEnvar — BROADNET_API_KEY. Префикс openai:chat гарантирует, что promptfoo всегда вызывает Chat Completions — эндпоинт, который обслуживает BroadNet. Задайте max_tokens сами: по умолчанию promptfoo ограничивает выход 1024 токенами.

promptfoo — CLI с открытым исходным кодом для тестирования промптов, сравнения моделей и red-teaming LLM-приложений. Его провайдер OpenAI работает с OpenAI-совместимыми шлюзами через apiBaseUrl. BroadNet Inference обслуживает chat completions по адресу https://inference.broadnet.ai/v1, так что из одного YAML-файла можно сравнивать модели BroadNet между собой или с моделями, которыми вы уже пользуетесь. BroadRouter — собственный сайт BroadNet; руководство следует документации promptfoo по провайдеру OpenAI на момент релиза 0.125.1.

Установка

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

В этом конфиге промпт спрашивает, какая столица у Саудовской Аравии, а проверка ищет в ответе слово Riyadh без учёта регистра.

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

В реальных конфигах входные данные тестов обычно лежат в tests.vars, а в промпте на них ссылаются через шаблонный синтаксис promptfoo с двойными фигурными скобками. Здесь мы оставили промпт фиксированным, чтобы конфиг запускался как есть.

Запустите (комментарий в коде: результаты бок о бок в браузере):

promptfoo eval
promptfoo view   # side-by-side results in the browser

Что делает каждая настройка

  • openai:chat: и ID BroadNet. Всё после openai:chat: отправляется как ID модели, поэтому сохраняйте префикс broadnet/. Явная часть chat закрепляет эндпоинт Chat Completions; Responses API BroadNet не обслуживает.
  • apiBaseUrl — базовый URL с /v1, но без /chat/completions. Путь promptfoo добавит сам.
  • apiKeyEnvar — имя переменной, в которой лежит ключ BroadNet. Если её нет, promptfoo не переключается на OPENAI_API_KEY.
  • max_tokens. Для запросов без рассуждений promptfoo по умолчанию ставит temperature: 0 и лимит 1024 токена. Модели DeepSeek, GLM и Qwen в BroadNet рассуждают перед ответом, поэтому при 1024 ответы могут приходить пустыми. Задайте лимит побольше, как у первого провайдера.
  • omitDefaults: true убирает температуру и лимит по умолчанию из promptfoo, как у второго провайдера. Тогда promptfoo не добавляет в запрос лимит выхода.

Проверки с оценкой моделью

Настройки провайдера не распространяются на грейдеры вроде llm-rubric. Чтобы оценивать моделью BroadNet, укажите её ещё раз для грейдера:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Какие модели сравнивать

Модель Для чего подходит
broadnet/glm-5.3 Тесты вызова инструментов и структурированного вывода
broadnet/qwen3.8-27b Тесты с изображениями, арабским текстом или инструментами
broadnet/deepseek-v4.1-flash Тесты с длинным контекстом и чувствительные к стоимости
broadnet/gemma-4-26b-a4b Бесплатные тесты на стартовом гранте $5

Документация BroadNet заявляет инструменты и структурированный вывод только для GLM 5.3 и Qwen3.8 27B. Цены на все модели.

Как мы это проверяли

2026-11-15 мы установили promptfoo 0.125.1 на Node 24 и запустили promptfoo eval с конфигом, похожим на приведённый выше, направив его на локальный mock-сервер, который отвечает в формате chat completions BroadNet. Тесты прошли. Запросы в логе шли на /v1/chat/completions с неизменённым ID модели BroadNet и ключом Bearer. Первый провайдер отправил max_tokens: 4000 и temperature: 0; провайдер с omitDefaults: true отправил только модель и сообщения. Без BROADNET_API_KEY promptfoo остановился с сообщением “Missing BROADNET_API_KEY” (перевод: «нет BROADNET_API_KEY»). Грейдеры мы не тестировали, а ключа BroadNet у нас не было, поэтому реальный вывод моделей мы не проверяли.

Решение проблем

  • Пустой или обрезанный вывод. Увеличьте max_tokens. Почему ответы приходят пустыми.
  • 404. Проверьте, что apiBaseUrl заканчивается на /v1, а ID модели после openai:chat: сохраняет префикс broadnet/. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b и обе модели Transcribe.
  • 429 на больших прогонах. promptfoo выполнял наш прогон с параллельностью 4. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно, поэтому для больших наборов тестов снижайте её через promptfoo eval -j 1. См. ошибки и повторные запросы.

Вопросы и ответы

Какой префикс провайдера выбрать в promptfoo: openai:chat или openai?

openai:chat. С openai:chat:broadnet/glm-5.3 promptfoo вызывает /v1/chat/completions — именно его обслуживает BroadNet. Документация promptfoo говорит, что незнакомое имя модели после голого префикса openai тоже откатывается на Chat Completions, но явный префикс chat от этого правила не зависит.

Почему ответы BroadNet в promptfoo обрезаются?

Для запросов без рассуждений promptfoo по умолчанию ставит лимит выхода 1024 токена, а модели DeepSeek, GLM и Qwen в BroadNet тратят часть бюджета на выход на рассуждения. Задайте max_tokens в config провайдера или установите omitDefaults в true.

Откатывается ли apiKeyEnvar на OPENAI_API_KEY?

Нет. Документация promptfoo говорит, что если указанной переменной нет, OPENAI_API_KEY не используется. В нашем тесте promptfoo остановился с сообщением "Missing BROADNET_API_KEY".

Может ли модель BroadNet оценивать проверки llm-rubric?

Да, но документация promptfoo говорит, что настройки провайдера на грейдеры не распространяются. Задайте грейдер отдельно в defaultTest.options.provider с теми же id и config.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity