BroadRouter

BroadNet Inference в LibreChat как custom endpoint

Обновлено

В librechat.yaml добавьте запись в endpoints.custom: name BroadNet, в apiKey — ссылку на переменную окружения, например BROADNET_API_KEY, baseURL https://inference.broadnet.ai/v1, а в models.default — ID моделей BroadNet, например broadnet/glm-5.3. Ключ положите в .env, в Docker смонтируйте файл в контейнер и перезапустите LibreChat. /chat/completions к базовому URL LibreChat добавит сам.

LibreChat — open-source чат-приложение, которое подключает OpenAI-совместимые сервисы как custom endpoints (пользовательские эндпоинты). Они описываются в librechat.yaml, ключи хранятся в .env, а в Docker YAML-файл монтируется в контейнер. BroadRouter — собственный сайт BroadNet; шаги ниже следуют руководству LibreChat по custom endpoints.

Настройка

  1. Смонтируйте librechat.yaml (только для Docker). Скопируйте docker-compose.override.yml.example в docker-compose.override.yml и убедитесь, что volume активен:
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
  1. Добавьте эндпоинт в librechat.yaml в корне проекта, в раздел endpoints.custom:
endpoints:
  custom:
    - name: 'BroadNet'
      apiKey: '${BROADNET_API_KEY}'
      baseURL: 'https://inference.broadnet.ai/v1'
      models:
        default:
          - 'broadnet/glm-5.3'
          - 'broadnet/qwen3.8-27b'
          - 'broadnet/deepseek-v4.1-flash'
          - 'broadnet/gemma-4-26b-a4b'
        fetch: false
      titleConvo: true
      titleModel: 'broadnet/gemma-4-26b-a4b'
      modelDisplayLabel: 'BroadNet'

Ключи верхнего уровня, которые уже есть в файле (например, version), оставьте.

  1. Задайте ключ в .env:
BROADNET_API_KEY=your-broadnet-key
  1. Перезапустите LibreChat. В Docker: docker compose down && docker compose up -d. При локальной установке перезапустите через npm run backend. После этого BroadNet появится в списке эндпоинтов.

Пояснения к полям

  • baseURL. LibreChat сам добавляет /chat/completions, поэтому укажите корень /v1, как выше. Не задавайте directEndpoint: true: этот параметр нужен, когда baseURL уже является полным адресом completions.
  • fetch: false. Это значение по умолчанию в LibreChat; мы указали его явно, чтобы выбор был виден. Документация BroadNet описывает GET /v1/models как публичные метаданные каталога для мониторинга, так что перечислить модели в default надёжнее.
  • titleModel. LibreChat придумывает заголовок для каждого чата отдельным запросом. Небольшая недорогая модель без рассуждений делает этот вызов коротким. Документация BroadNet не указывает рассуждения для Gemma 4 VL 26B.
  • user_provided. Задайте apiKey: 'user_provided', если каждый пользователь должен вводить свой ключ BroadNet в интерфейсе. LibreChat хранит ключ каждого пользователя в зашифрованном виде и запрашивает его при первом выборе эндпоинта.
  • Уникальное имя. Второй эндпоинт с тем же именем (без учёта регистра) молча заменяет первый. Если у вас уже есть запись с именем BroadNet, переименуйте одну из них.
  • Без ключей открытым текстом. Документация LibreChat рекомендует ссылку ${VAR}, а не ключ, вписанный прямо в librechat.yaml: там он лежал бы открытым текстом.

Какую модель выбрать

Задача Модель
Чат по умолчанию, инструменты, JSON GLM 5.3
Изображения и арабский Qwen3.8 27B
Длинные документы, контекст 1M DeepSeek V4.1 Flash
Заголовки и быстрые ответы BroadNet Gemma 4 VL 26B

Из этих моделей только Gemma 4 VL 26B работает на стартовом гранте $5, который также покрывает две модели Transcribe. Сравните цены на странице цен.

Решение проблем

  • Эндпоинт не появляется. Проверьте, что name, baseURL, apiKey и models.default написаны правильно и вложены в endpoints.custom с нужным отступом. LibreChat отбрасывает неполные записи, ничего не записывая в лог. В Docker убедитесь, что bind mount в docker-compose.override.yml раскомментирован.
  • «Missing API Key for BroadNet». BROADNET_API_KEY нет в .env, или LibreChat не перезапускали. Эндпоинт при этом виден, а ошибка появляется только при отправке сообщения.
  • 401 от провайдера. Ключ неверный, истёк, или лимит оплаты по факту исчерпан.
  • Ошибки модели. Каждый ID должен точно совпадать с ID BroadNet, с префиксом broadnet/. Для GLM 5.3, Qwen3.8 27B и DeepSeek V4.1 Flash нужно пополнить баланс.
  • Пустые ответы. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B сначала рассуждают, а рассуждения учитываются в max_tokens. Если в параметрах LibreChat задан маленький лимит вывода, увеличьте его. Почему ответы приходят пустыми.
  • 429 при большом числе пользователей. Один ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно — на всех пользователей эндпоинта. Запросы заголовков тоже считаются. Ключи user_provided распределяют нагрузку. См. ошибки и повторные запросы.
  • Ключи тарифа. Сессия безлимитного тарифа обрабатывает один запрос за раз и не делится между пользователями, поэтому для многопользовательского LibreChat она не подходит.

Вопросы и ответы

Почему эндпоинт BroadNet не появляется в LibreChat?

Если в custom endpoint нет name, baseURL, apiKey или models.default или в них опечатка, LibreChat отбрасывает его без ошибки и без записи в логе. В Docker также проверьте, что librechat.yaml смонтирован в /app/librechat.yaml и что вы сделали перезапуск.

Может ли каждый пользователь указать свой ключ BroadNet?

Да. Задайте apiKey: user_provided. Тогда LibreChat при первом выборе эндпоинта попросит у каждого пользователя ключ и сохранит его в зашифрованном виде.

Почему LibreChat пишет «Missing API Key for BroadNet»?

Переменная, на которую ссылается apiKey, не задана в .env. Эндпоинт при этом виден в списке, а ошибка появляется только при отправке сообщения. Добавьте переменную и перезапустите LibreChat.

Нужно ли добавлять /chat/completions в baseURL LibreChat?

Нет. По умолчанию LibreChat сам добавляет /chat/completions к baseURL. Укажите https://inference.broadnet.ai/v1. directEndpoint: true ставьте, только если введённый URL уже является полным адресом эндпоинта completions.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity