BroadRouter

Текст, речь или изображения? Начните с задачи

Команда BroadNet Inference · 7 мин чтения · Опубликовано

Начните со входа и выхода. Текст на входе и текст на выходе — это чат. Фото или скан на входе и текст на выходе — чат с изображением на модели, которая принимает изображения. Записанная речь на входе и текст на выходе — транскрибация; от речи к ответу — транскрибация, затем чат. Синтеза речи, генерации изображений и эмбеддингов у BroadNet нет.

«Какую модель нам взять?» — это второй вопрос. Первый — «что подаётся на вход и что должно получиться на выходе?» Фото счёта, голосовое сообщение от клиента и набранный вопрос уходят на разные виды эндпоинтов, и у каждого эндпоинта свои модели, лимиты и типичные сбои. Выберите сначала задачу — и список моделей сократится до двух-трёх.

Это руководство сопоставляет типичные задачи с типами входных данных, а затем с тем, что BroadNet Inference документирует для каждого из них. BroadRouter — собственный сайт BroadNet; факты о моделях ниже взяты из прайс-фида и справочника API BroadNet и проверены 15 ноября 2026 года.

Какой тип входных данных нужен вашей задаче?

Ваша задача Вход Выход Эндпоинт Модели BroadNet
Ответить на вопрос, сделать сводку, классифицировать или перевести текст Текст Текст Chat completions Любая из четырёх чат-моделей
Вызывать свои функции или инструменты Текст Вызовы инструментов Chat completions GLM 5.3, Qwen3.8 27B (задокументировано)
Прочитать фото, скан, скриншот или форму Изображение + текст Текст или JSON Chat completions с изображением DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B
Превратить запись или голосовое в текст Аудиофайл Текст Транскрибация аудио Transcribe Arabic, Transcribe (14 языков)
Сделать сводку звонка или ответить на голосовое Аудиофайл Текст Транскрибация, затем чат По одной из каждой группы
Произнести ответ вслух Текст Аудио Синтез речи Не предлагается
Вести живой голосовой разговор Аудиопоток Аудио Голос в реальном времени Не предлагается
Создать изображение Текст Изображение Генерация изображений Не предлагается
Семантический поиск по документам Текст Векторы Эмбеддинги Не предлагается

«Vision» в этой таблице означает понимание изображений: модель читает присланное вами изображение. Генерацию изображений это не означает. Разница объяснена в статье глоссария vision-language модель.

Чем чат отличается от транскрибации?

Это разные эндпоинты с разной формой запроса, единицами оплаты и моделями.

Чат (POST /v1/chat/completions) принимает список сообщений в JSON и возвращает текст. Оплата идёт за токены, отдельно за вход и выход, и у каждой модели есть контекстное окно, в которое помещаются промпт и ответ вместе. У BroadNet три из четырёх чат-моделей рассуждают перед ответом, и эти рассуждения засчитываются в max_tokens, так что оставляйте запас (токены рассуждений и пустые ответы).

Транскрибация (POST /v1/audio/transcriptions) принимает аудиофайл как multipart-загрузку и возвращает расшифровку. Оплата идёт за минуту аудио. Документация BroadNet указывает WAV или MP3 до 26 214 400 байт на файл и требует всегда передавать language, потому что иначе арабский может вернуться транслитерированным латиницей.

Модель Языки Цена
BroadNet Transcribe Arabic Арабский: диалекты Залива, египетский, левантийский, магрибский и современный стандартный, по данным BroadNet $0.0042 за минуту (около $0.25 за час)
BroadNet Transcribe 14, включая английский, испанский, французский, китайский (путунхуа) и арабский $0.002 за минуту (около $0.12 за час)

Чат-модель BroadNet не принимает аудио, а модель распознавания речи не отвечает на вопросы. Голосовой ассистент, отвечающий текстом, — это два вызова: транскрибация, затем чат. Именно такую цепочку строит статья протоколы совещаний на арабском из записей.

Какие модели принимают изображения?

Те, у которых в записи фида в modalities указано image. На 15 ноября 2026 года:

Модель Вход Контекст Вход / выход за 1 млн токенов Доступ
DeepSeek V4.1 Flash Текст, изображение 1 048 576 $0.175 / $0.52 Нужно пополнение баланса
Qwen3.8 27B Текст, изображение 262 144 $0.175 / $2.17 Нужно пополнение баланса
Gemma 4 VL 26B Текст, изображение 32 768 $0.10 / $0.22 Стартовый грант $5
GLM 5.3 Только текст 1 048 576 $0.78 / $3.46 Нужно пополнение баланса

Передавайте изображение как data: URL внутри содержимого сообщения с правильным MIME-типом. Документация BroadNet говорит, что vision предлагается «only where the model row explicitly says images or vision» (перевод: «только там, где в строке модели явно указаны изображения или vision»). Принимаемые форматы изображений в документации не перечислены, так что проверьте каждый формат, который собираетесь принимать. На ключе с оплатой по факту изображение тарифицируется как входные токены, и большое изображение расходует больше; уменьшайте его перед отправкой и оценивайте в калькуляторе токенов изображений. Извлечение данных из документов от начала до конца описано в статье извлечение данных из документов с помощью vision LLM.

Как маршрутизировать каждый тип входа в коде?

Эта функция выбирает эндпоинт по типу файла, проверяет задокументированные лимиты перед отправкой и берёт список моделей с поддержкой изображений из живого фида, а не из жёстко прописанного списка. Она использует OpenAI Python SDK, который работает с BroadNet после смены базового URL (руководство по настройке).

import base64, json, mimetypes, os, urllib.request
from pathlib import Path
from openai import OpenAI

client = OpenAI(base_url=os.environ.get("BROADNET_BASE_URL", "https://inference.broadnet.ai/v1"),
                api_key=os.environ["BROADNET_API_KEY"])
feed = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json", timeout=30))
live = [m for m in feed["models"] if m.get("status", "live") == "live"]
VISION = {m["id"] for m in live if "image" in m.get("modalities", [])}
AUDIO_TYPES = {"audio/wav", "audio/x-wav", "audio/mpeg"}       # WAV or MP3, per the docs
AUDIO_MAX = 26_214_400                                         # bytes per file, per the docs
IMAGE_TYPES = {"image/jpeg", "image/png", "image/webp"}        # your allow-list; test each one

def run(task: str, path: str | None = None, *, chat_model="broadnet/gemma-4-26b-a4b",
        stt_model="broadnet/cohere-transcribe-arabic", language="ar") -> str:
    kind = mimetypes.guess_type(path)[0] if path else None
    if kind is None:                                           # text only
        r = client.chat.completions.create(model=chat_model, max_tokens=1500,
                                           messages=[{"role": "user", "content": task}])
        return r.choices[0].message.content
    if kind in AUDIO_TYPES or kind.startswith("audio/"):
        if kind not in AUDIO_TYPES:
            raise ValueError(f"{kind}: convert first, e.g. ffmpeg -i in.ogg -ar 16000 -ac 1 out.wav")
        if Path(path).stat().st_size > AUDIO_MAX:
            raise ValueError("over 26,214,400 bytes: split the audio before sending")
        with open(path, "rb") as f:                            # step 1: speech to text
            text = client.audio.transcriptions.create(model=stt_model, file=f, language=language).text
        return run(f"{task}\n\nTranscript:\n{text}", chat_model=chat_model) if task else text
    if kind in IMAGE_TYPES:
        if chat_model not in VISION:
            raise ValueError(f"{chat_model} takes no images here; pick one of {sorted(VISION)}")
        data = base64.b64encode(Path(path).read_bytes()).decode()
        r = client.chat.completions.create(model=chat_model, max_tokens=1500, messages=[{"role": "user",
            "content": [{"type": "text", "text": task},
                        {"type": "image_url", "image_url": {"url": f"data:{kind};base64,{data}"}}]}])
        return r.choices[0].message.content
    raise ValueError(f"unsupported input type {kind}")

Мы проверили её, направив BROADNET_BASE_URL на локальный мок-сервер (без вызовов живого API) и используя живой прайс-фид. Текст, WAV-файл, WAV-файл с последующей задачей и PNG — каждый дошёл до нужного мок-эндпоинта. Отправка PNG с chat_model="broadnet/glm-5.3" была отклонена ещё до запроса со списком трёх ID моделей с поддержкой изображений из фида. Файл .ogg был отклонён с командой ffmpeg для конвертации; этот шаг описан в руководстве транскрибация голосовых WhatsApp. Записи больше лимита нужно разрезать; команды ffmpeg для этого составит нарезчик аудио.

А если документ уже в текстовом виде?

Тогда не отправляйте его картинку. У PDF, выгруженного из учётной системы или текстового редактора, обычно есть текстовый слой; извлеките его библиотекой для PDF и отправьте текст в чат-модель. На ключе с оплатой по факту это дешевле изображения, избавляет от ошибок чтения и работает и на GLM 5.3. Оставьте vision для сканов, фото с телефона, рукописного текста, печатей и скриншотов, где текстового слоя нет.

Полезное правило для конвейера документов: сначала пробуйте извлечь текст, проверяйте, вернулся ли настоящий текст (а не пустые страницы или искажённые символы), и переходите к изображению только если нет. Для арабских PDF прочитайте выборку извлечённого текста, прежде чем ему доверять: в зависимости от того, как создавался PDF, извлечение может вернуть арабские буквы в неправильном порядке или в несоединённых формах представления. Случаи, когда изображение — лучший источник, разобраны в статье арабский OCR с помощью vision LLM.

Как соотносятся затраты?

Каждый тип входа оплачивается в своих единицах, так что сравнивайте по задаче, а не по запросу:

  • Текст оплачивается за входные и выходные токены. Арабскому для того же содержания часто нужно больше токенов, чем английскому; это измеряет счётчик токенов для арабского.
  • Изображения при оплате по факту — это входные токены по цене входа модели, так что большое фото может стоить дороже страницы текста. В тарифе с сессиями DeepSeek изображения входят в фиксированную цену.
  • Аудио оплачивается за минуту записи, что бы в ней ни говорилось. У BroadNet 10 000 арабских голосовых по 30 секунд обходятся примерно в $21.00 с арабской моделью. Другие объёмы посчитает калькулятор стоимости распознавания речи.

Стоимость цепочки складывается из частей: голосовое, на которое отвечает чат-модель, стоит минут транскрибации плюс токенов чата для расшифровки и ответа. Чатовую часть посчитает калькулятор стоимости LLM API.

Чего нет и что делать вместо этого?

Справочник API BroadNet описывает два эндпоинта инференса: chat completions и транскрибацию аудио. Поэтому нет:

  • Синтеза речи. Нет /v1/audio/speech. Если ваш продукт должен отвечать голосом, сочетайте транскрибацию и чат BroadNet с отдельным сервисом TTS.
  • Живого голоса. Транскрибация принимает загруженный файл, а не живой аудиопоток. Для телефонного агента, который должен отвечать посреди звонка, нужен стек голоса в реальном времени где-то ещё. Вариант на основе файлов показан в статье запись аудио в браузере для транскрибации.
  • Генерации изображений. Vision здесь читает изображения, а не создаёт их.
  • Эмбеддингов. Нет /v1/embeddings. Для поиска нужна модель эмбеддингов от другого провайдера или своя; цены сравнивает калькулятор стоимости эмбеддингов.

В исследовательском каталоге BroadNet модели синтеза речи, генерации изображений и эмбеддингов действительно есть — с пометкой, что они протестированы в её лаборатории. Это запись о том, что BroadNet тестировала, а не о том, что продаёт её API; разница объяснена в статье как читать каталог моделей.

Зачем отдельный набор для оценки под каждый тип входа?

Потому что каждый тип входа ломается по-своему, а среднее по всем скрывает сбои.

  • Текст: оценивайте на реальных сообщениях пользователей, по возможности с проверками в коде. Метод описан в статье оценка LLM перед переходом.
  • Изображения: используйте реальные фото реального качества: снимки с телефона под углом, выцветшие чеки, печати поверх текста. Оценивайте каждое поле отдельно. Чистый рендер PDF получает гораздо более высокие оценки, чем фото, которые будут присылать ваши пользователи.
  • Речь: измеряйте долю ошибок по словам (WER) на своих записях с разбивкой по диалекту, говорящему и качеству линии и отдельно проверяйте важные слова (имена, числа, суммы). См. статью WER в распознавании арабской речи.
  • Цепочки: когда речь передаётся в чат-модель, оценивайте оба шага и конечный результат. Неверно расслышанное число превращается в уверенный неверный ответ, и как часто это происходит, покажет только сквозной тест.

Держите наборы раздельно, версионируйте их и перезапускайте соответствующий набор при каждой смене модели или промпта.

Где здесь BroadNet Inference

BroadNet Inference закрывает первые пять строк таблицы задач одним ключом и одним базовым URL: текстовый чат, вызов инструментов на GLM 5.3 и Qwen3.8 27B, понимание изображений на трёх моделях и транскрибацию арабской или многоязычной речи. Gemma 4 VL 26B и обе модели распознавания речи работают на стартовом гранте $5; для DeepSeek, GLM и Qwen нужно пополнение баланса. Содержимое запросов к инференсу не хранится; необходимые метаданные аккаунта, оплаты и безопасности хранятся, как описано в заявлении о конфиденциальности BroadNet. Для синтеза речи, генерации изображений, живого голоса или эмбеддингов используйте другой сервис. Цены на всё перечисленное — на странице цен.

Вопросы и ответы

Какую модель ИИ использовать для работы с изображениями?

Ту, что принимает изображения в используемом вами API. В BroadNet Inference, по данным её прайс-фида, это DeepSeek V4.1 Flash, Qwen3.8 27B или Gemma 4 VL 26B; GLM 5.3 принимает только текст. Передавайте изображение как data URL в сообщении чата.

Может ли чат-модель транскрибировать аудио?

В BroadNet Inference — нет. Аудио отправляется на эндпоинт транскрибации, /v1/audio/transcriptions, с моделью распознавания речи. Если потом нужна сводка или ответ, отправьте расшифровку в чат-модель вторым шагом.

Есть ли в BroadNet Inference синтез речи или генерация изображений?

Нет. Её справочник API описывает только chat completions и транскрибацию аудио. Модели синтеза речи и генерации изображений есть в исследовательском каталоге BroadNet со статусом «протестирована», а это не то же самое, что «предлагается».

Какие аудиоформаты принимает BroadNet?

WAV (audio/wav) или MP3 (audio/mpeg), до 26 214 400 байт на файл. Другие форматы, например голосовое WhatsApp в .ogg, сначала конвертируйте с помощью ffmpeg и всегда передавайте параметр language.

Как тарифицируется изображение?

На ключе с оплатой по факту BroadNet считает изображение входными токенами по цене входа модели, и чем больше изображение, тем больше токенов. В тарифе с сессиями DeepSeek изображения входят в фиксированную цену.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity