BroadRouter
Начать

Как подключить Open WebUI к BroadNet Inference

Обновлено

В Open WebUI откройте Settings > Connections в разделе администратора, в блоке Manage OpenAI API Connections нажмите Add Connection, в URL укажите https://inference.broadnet.ai/v1, в API Key — ключ BroadNet. Затем добавьте ID моделей, например broadnet/glm-5.3, в список Model IDs и сохраните.

Open WebUI — чат-интерфейс, который вы разворачиваете у себя. Он подключается к любому провайдеру, реализующему протокол chat completions от OpenAI, и BroadNet Inference — один из них. Шаги ниже следуют руководству Open WebUI по OpenAI-совместимым провайдерам.

Настройка

  1. Получите ключ BroadNet. Для чат-интерфейса, которым пользуются несколько человек, подходит ключ с оплатой по факту. См. API-ключи и списки разрешённых IP.

  2. Откройте страницу подключений. Перейдите в Settings > Connections в разделе администратора и найдите раздел Manage OpenAI API Connections.

  3. Нажмите Add Connection и заполните:

    Поле Значение
    URL https://inference.broadnet.ai/v1 (без слеша в конце)
    API Key ваш ключ BroadNet
    Model IDs добавьте каждый ID из списка ниже по одному, значком +
  4. Добавьте ID моделей вручную. Введите broadnet/glm-5.3, нажмите + и повторите для остальных нужных моделей. Документация BroadNet описывает GET /v1/models как публичные метаданные каталога для мониторинга, поэтому не рассчитывайте, что он заполнит список моделей.

  5. Нажмите Save. В документации Open WebUI отмечено, что при сохранении подключение не проверяется.

  6. Начните чат и выберите модель в селекторе моделей.

Через переменные окружения

Если Open WebUI работает в Docker, подключение можно задать при запуске:

OPENAI_API_BASE_URL=https://inference.broadnet.ai/v1
OPENAI_API_KEY=your-broadnet-key

Чтобы добавить BroadNet рядом с уже настроенным подключением к OpenAI, используйте формы во множественном числе, разделяя значения точкой с запятой: OPENAI_API_BASE_URLS и OPENAI_API_KEYS. OPENAI_API_CONFIGS задаёт параметры отдельных подключений, например model_ids; ключ — индекс подключения в этом списке:

OPENAI_API_CONFIGS='{"0": {"enable": true, "model_ids": ["broadnet/glm-5.3", "broadnet/qwen3.8-27b"]}}'

В справочнике переменных окружения Open WebUI эти настройки помечены как ConfigVar. Они читаются при первом запуске и сохраняются в базе данных, а дальше приоритет у панели администратора. Меняйте подключение в Settings > Connections в разделе администратора или задайте ENABLE_PERSISTENT_CONFIG=False, если хотите, чтобы окружение применялось при каждом запуске.

Какую модель выбрать

Сценарий Модель Контекст
Обычный чат, инструменты, JSON broadnet/glm-5.3 1 048 576
Вопросы по изображениям, арабский broadnet/qwen3.8-27b 262 144
Длинные документы, изображения broadnet/deepseek-v4.1-flash 1 048 576
Низкая цена, бесплатный грант broadnet/gemma-4-26b-a4b 32 768

BroadNet протестировала Qwen3.8 27B на арабском, включая диалекты Персидского залива и египетский; см. выбор LLM для арабского языка. Gemma 4 VL 26B — единственная чат-модель, которая работает на стартовом гранте $5; грант также покрывает две модели Transcribe. Цены на каждую — на странице цен.

Open WebUI передаёт стандартные параметры, например temperature и max_tokens, и поддерживает инструменты, если их (tools) поддерживают модель и сервер. BroadNet указывает инструменты для GLM 5.3 и Qwen3.8 27B.

Решение проблем

  • Verify Connection выдаёт 400, 401 или 403. Кнопка проверки в Open WebUI вызывает /models. Документация Open WebUI говорит, что chat completions при этом могут работать. Добавьте ID в список и проверьте чат. Если и чат возвращает 401, ключ неверен, истёк или исчерпан лимит оплаты по факту.
  • Модель есть в списке, но первое сообщение не проходит. Проверьте, что ID точно совпадает с ID BroadNet, вместе с префиксом broadnet/. Для GLM 5.3, Qwen3.8 27B и DeepSeek V4.1 Flash нужно пополнить баланс.
  • Пустые ответы. Модели с рассуждениями (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) сначала тратят выходные токены на рассуждения. Если вы задали max_tokens в Advanced Params модели, увеличьте значение или очистите поле. Почему ответы приходят пустыми.
  • 429, когда в чате несколько человек. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Кроме того, Open WebUI делает фоновые вызовы, например для заголовков чатов, с тем же ключом. См. ошибки и повторные запросы.
  • Изменённые переменные окружения ни на что не влияют. Старые значения сохранились при первом запуске. Измените подключение в панели администратора или см. раздел о переменных окружения выше.
  • Ключ тарифа. Сессия безлимитного тарифа обрабатывает один запрос за раз, а ключами нельзя делиться. Такой ключ подходит для личного экземпляра; запросы других пользователей встанут в очередь.

Вопросы и ответы

Почему Verify Connection выдаёт ошибку, а чат работает?

Кнопка проверки в Open WebUI вызывает эндпоинт /models провайдера. В документации Open WebUI сказано, что неудачная проверка не означает, что чат не работает. Добавьте ID моделей BroadNet в список Model IDs вручную.

Можно ли задать подключение через переменные окружения?

Да. Задайте OPENAI_API_BASE_URL=https://inference.broadnet.ai/v1 и OPENAI_API_KEY с вашим ключом BroadNet. Open WebUI сохраняет эти значения при первом запуске, поэтому их последующие изменения игнорируются, если только ENABLE_PERSISTENT_CONFIG не равен False.

Почему новое значение OPENAI_API_BASE_URL не применилось?

Open WebUI считает эту переменную ConfigVar. После первого запуска он берёт значение, сохранённое в базе данных. Измените URL в Settings > Connections в разделе администратора или задайте ENABLE_PERSISTENT_CONFIG=False, чтобы окружение читалось при каждом запуске.

Может ли вся команда пользоваться одним ключом безлимитного тарифа в Open WebUI?

Нет. Тарифы BroadNet не разрешают делиться ключом, а одна сессия тарифа обрабатывает один запрос за раз. Для общего Open WebUI используйте ключ с оплатой по факту.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity