BroadRouter

SillyTavern и BroadNet Inference: Custom (OpenAI-compatible)

Обновлено

В панели API Connections в SillyTavern выберите Chat Completion, а в Chat Completion Source — Custom (OpenAI-compatible). В Custom Endpoint укажите https://inference.broadnet.ai/v1, вставьте ключ BroadNet, впишите ID модели, например broadnet/qwen3.8-27b, в поле Enter a Model ID, нажмите Connect, затем Test Message. Max Response Length задайте от 1000 токенов.

SillyTavern — чат-интерфейс с открытым исходным кодом, популярный для общения с персонажами и ролевых игр. Его источник Custom (OpenAI-compatible) подключает тип API Chat Completion к любому серверу с общей схемой OpenAI. BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1. BroadRouter — собственный сайт BroadNet; шаги повторяют документацию SillyTavern и её релиз 1.19.0.

Настройка

  1. Получите ключ. Создайте ключ с оплатой по факту в консоли BroadNet, купите почасовой ключ или безлимитный тариф.

  2. Откройте панель API Connections.

  3. В API выберите Chat Completion.

  4. В Chat Completion Source выберите Custom (OpenAI-compatible).

  5. Заполните форму:

    Поле Значение
    Custom Endpoint (Base URL) https://inference.broadnet.ai/v1
    Custom API Key ваш ключ BroadNet
    Enter a Model ID broadnet/qwen3.8-27b
  6. Нажмите Connect.

  7. Проверьте. Нажмите Test Message. SillyTavern отправит модели простой промпт; если пришёл ответ, подключение работает.

Не добавляйте к URL /chat/completions. В форме SillyTavern сказано, что этот суффикс добавляется автоматически.

Впишите ID модели вручную, а не выбирайте его из Available Models. Этот список берётся из /v1/models, который документация BroadNet описывает как метаданные каталога для мониторинга. Когда мы проверяли его 15 ноября 2026 года, там были только две модели транскрибации, а они не умеют вести чат.

Какую модель выбрать

Модель ID Контекст Примечания
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1 048 576 Долгие чаты; модель безлимитных тарифов
Qwen3.8 27B broadnet/qwen3.8-27b 262 144 Изображения; BroadNet тестировал на арабском
GLM 5.3 broadnet/glm-5.3 1 048 576 Только текст; инструменты
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32 768 Работает на бесплатном гранте $5 и почасовом ключе

Безлимитный тариф удобен для долгих сессий, потому что вы не платите за токены: час Meteor стоит $1, неделя Orbit — $15, месяц Full Moon — $60. Каждая сессия тарифа обрабатывает один запрос за раз.

Какие настройки стоит изменить

  • Max Response Length (tokens). DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения учитываются в этом лимите. Задайте 1000 или больше, иначе ответы могут приходить пустыми.
  • Context Size (tokens). Укажите значение для модели из таблицы. Из BroadNet SillyTavern его прочитать не может.
  • Prompt Post-Processing. Если модель отклоняет промпт из-за нескольких системных сообщений или порядка ролей, сначала попробуйте Merge consecutive roles, затем Semi-strict. Документация SillyTavern отмечает, что эти варианты отбрасывают вызовы инструментов, если не выбрать вариант «with tools».
  • Bypass status check. Если SillyTavern предупреждает, что API не работает, а Test Message проходит, поставьте эту галочку.

Решение проблем

  • 401. Ключ неверен, истёк или на нём закончился лимит. Вставьте его снова и нажмите Connect.
  • 404 или “model not found”. URL должен заканчиваться на /v1, а ID — содержать префикс broadnet/. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • Пустые ответы. Увеличьте длину ответа. Почему ответы приходят пустыми.
  • 429. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно выполняемых, а почасовой ключ и сессии тарифа обрабатывают один поток. См. ошибки и повторные запросы.

Вопросы и ответы

Почему список Available Models для BroadNet неверный или пустой?

SillyTavern заполняет его из /v1/models. Когда мы проверяли 15 ноября 2026 года, публичный /v1/models BroadNet показывал только две модели транскрибации. Вместо этого впишите ID чат-модели в Enter a Model ID.

Какая модель BroadNet лучше для долгих ролевых чатов?

У DeepSeek V4.1 Flash контекст 1 048 576 токенов, и это модель безлимитных тарифов BroadNet с фиксированной ценой. Qwen3.8 27B — та модель, которую BroadNet тестировал на арабском, включая диалекты Залива и египетский.

Почему в SillyTavern приходят пустые ответы?

Чат-модели BroadNet, кроме Gemma 4 VL 26B, рассуждают перед ответом, и рассуждения учитываются в max_tokens. Этот лимит задаёт Max Response Length в SillyTavern, поэтому увеличьте его до 1000 токенов или больше.

Есть ли правила по содержанию?

Да. Политика допустимого использования BroadNet распространяется на всё, что отправляется через API, и её запрет на сексуальный контент с участием несовершеннолетних прямо охватывает вымышленный и синтетический контент.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity