BroadRouter

LLM-роутер (LLM router)

Обновлено

LLM-роутер — это программа или сервис между приложением и одним или несколькими API языковых моделей, который для каждого запроса решает, какая модель или какой провайдер его обработает, по правилам вроде стоимости, задержки, доступности или типа задачи.

Также называют: LLM-роутер, роутер LLM, маршрутизатор LLM, маршрутизация запросов к LLM, ИИ-шлюз, LLM-шлюз, агрегатор LLM, LLM router, AI gateway, LLM gateway, model router, LLM aggregator

Приложению, которое работает с одной моделью, роутер не нужен. Роутеры появляются, когда команда использует несколько моделей или провайдеров и хочет выбирать между ними в одном месте.

Как это работает

Приложение отправляет роутеру запрос в формате OpenAI. Роутер применяет свои правила, пересылает запрос бэкенду и возвращает ответ в том же формате. Распространены три вида:

  • Облачные агрегаторы. OpenRouter, например, предлагает “hundreds of AI models through a single API endpoint” (перевод: «сотни моделей ИИ через один эндпоинт API») по адресу https://openrouter.ai/api/v1 с автоматическим переключением на резерв. У вас один ключ и один счёт, а аккаунты у провайдеров держит агрегатор.
  • Собственные шлюзы. LiteLLM Router работает в вашей инфраструктуре. Он распределяет трафик между развёртываниями (по умолчанию простым случайным перемешиванием или с учётом задержки, нагрузки либо стоимости), повторяет ошибки лимитов с экспоненциальной задержкой и отправляет развёртывание на паузу (cooldown) после 429 или высокой доли сбоев.
  • Роутеры выбора модели. Исследования вроде RouteLLM обучают классификатор, который отправляет простые промпты более дешёвой модели, а сложные — более сильной, чтобы снизить затраты без потери качества.

Собственный шлюз настраивается как список бэкендов. Эта запись LiteLLM добавляет одного OpenAI-совместимого провайдера:

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

Почему это важно

  • Надёжность. Роутер может переключиться на другого провайдера, когда один возвращает 429 или ошибки 5xx. Смотрите лимиты запросов.
  • Стоимость. Отправка простых промптов более дешёвой модели может уменьшить счёт.
  • Одна интеграция. Код работает с одним базовым URL и одним форматом ключа.

Компромиссы вполне реальны. Роутер добавляет сетевой переход. Облачный роутер — ещё одна сторона, которая видит ваши промпты, поэтому хранение данных зависит и от роутера, и от выбранного им провайдера. Кроме того, модели различаются токенизаторами, поведением рассуждений и поддержкой параметров, так что незаметное переключение на резерв может изменить ответы.

В BroadNet Inference

BroadNet Inference — не роутер. Это один провайдер с коротким списком моделей по адресу https://inference.broadnet.ai/v1; по Условиям обслуживания BroadNet, её модели работают на собственном или арендованном BroadNet оборудовании в США или у инференс-партнёров в США. Автоматической маршрутизации или переключения между провайдерами нет. Модель вы выбираете в каждом запросе, например broadnet/deepseek-v4.1-flash или broadnet/glm-5.3.

Поскольку API OpenAI-совместим, его можно поставить за роутер как один из бэкендов. Настройку показывает руководство по прокси LiteLLM. Как соотносятся роутер и провайдер с фиксированной ценой, читайте в статье альтернатива OpenRouter для агентов. BroadNet не хранит промпты и ответы; если вы ставите перед ней облачный роутер, проверьте и его политику хранения данных.

Частые ошибки

  • Повторять 401 или 403 у другого провайдера. Это ошибки ключа или политики; сначала исправьте их. Смотрите ошибки и повторы.
  • Считать названия моделей взаимозаменяемыми. Проверяйте каждую резервную модель на своих промптах.

Вопросы и ответы

LLM-роутер — это то же самое, что балансировщик нагрузки?

Балансировщик нагрузки — лишь одна из частей роутера. Роутер также может выбрать для задачи другую модель, переключиться на другого провайдера после ошибки и переводить запросы между форматами API. Обычный балансировщик только распределяет трафик между одинаковыми серверами.

Добавляет ли роутер задержку?

Обычно немного: у запроса появляется лишний сетевой переход, а роутер может его анализировать. Резервное переключение может добавить больше, поскольку неудачная попытка выполняется до повтора. Измерьте время до первого токена с роутером и без него.

BroadNet Inference — это LLM-роутер?

Нет. Несмотря на название этого сайта, BroadNet Inference — один провайдер; по Условиям обслуживания BroadNet, её модели работают на собственном или арендованном BroadNet оборудовании в США или у инференс-партнёров в США. Модель вы выбираете в каждом запросе. Этого провайдера можно поставить за роутер наряду с другими.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity