BroadRouter

Как посчитать токены до отправки запроса к LLM

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

Считайте токены токенизатором той модели, которую вызываете, если он опубликован. Если нет — откалибруйте соотношение «символов на токен» по полю usage реальных запросов, отдельно для каждого языка и типа контента. Добавьте запас 10–20 процентов и проверьте, что токены промпта плюс max_tokens помещаются в контекстное окно, оставив место для токенов рассуждений у думающих моделей.

Число токенов нужно знать до отправки запроса по трём причинам: чтобы уложиться в контекстное окно, выбрать разумный max_tokens и оценить стоимость. Точный счёт даёт только собственный токенизатор модели. Хорошую оценку даёт калибровка. В этой статье — оба способа и реальные замеры.

Почему у разных моделей разное число токенов?

Токенизатор разбивает текст на фрагменты из фиксированного словаря. Каждое семейство моделей обучает свой. Чем больше словарь или чем больше в обучении было текста на данном языке, тем меньше токенов получается на этом языке. Поэтому на вопрос «сколько токенов в этом промпте» у каждой модели свой ответ.

Мы измерили одно и то же короткое сообщение службы поддержки, переведённое на четыре языка, а также небольшую функцию на Python и JSON-объект счёта. Счёт для OpenAI получен через tiktoken (cl100k_base — эпоха GPT-4, и o200k_base — эпоха GPT-4o). Счёт для открытых моделей получен по файлам токенизаторов, которые каждое семейство публикует на Hugging Face, без шаблона чата, 14 ноября 2026 года.

Текст (одинаковый смысл) Символов cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
Английский, 31 слово 173 37 37 37 38 39 39
Испанский 160 47 40 50 45 43 42
Арабский 142 102 46 55 58 48 49
Китайский 54 51 37 34 35 36 38
Функция на Python 94 33 33 35 33 35 38
JSON счёта 140 59 60 63 60 72 72

В каждой строке один образец, так что это иллюстрация, а не бенчмарк. Но три вывода всё равно верны. Поколение токенизатора важно: арабский текст при переходе с cl100k_base на o200k_base сократился больше чем вдвое. Открытые модели тоже отличаются друг от друга: тот же арабский текст занял от 48 до 58 токенов, а JSON — от 60 до 72. И структурированный контент плотен по токенам везде: JSON давал около 2 символов на токен во всех токенизаторах.

Повторить замер на своём тексте можно в бесплатном счётчике токенов или в счётчиках для отдельных семейств: DeepSeek, Qwen и GPT. Чтобы увидеть, сколько экономит правка промпта, сравните обе версии в сравнении токенов промпта. Почему именно арабский обходится дороже по токенам, с замерами на более длинных текстах, разобрано в статье токены на слово: арабский и английский.

Как посчитать токены точно?

Если токенизатор модели опубликован, загрузите его и считайте локально. Для моделей OpenAI:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

У семейств с открытыми весами токенизатор обычно лежит вместе с моделью на Hugging Face и загружается через AutoTokenizer.from_pretrained(...). Две оговорки: шаблон чата добавляет токены для ролей и разделителей, а версия, развёрнутая у API-провайдера, может отличаться от публичных файлов. В справочнике API BroadNet нет ни эндпоинта для подсчёта токенов, ни описания токенизатора каждой модели, поэтому публичный токенизатор даёт близкую оценку, а точное число — это usage.prompt_tokens после вызова.

Как оценить токены, если токенизатор не опубликован?

Откалибруйте один раз для каждой модели, а дальше оценивайте локально:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

Берите 20 и больше реальных образцов на каждый тип контента (ваши настоящие промпты, а не lorem ipsum). Базовый запрос из одного слова убирает фиксированные накладные расходы шаблона чата, а estimate добавляет их обратно как overhead; подставьте туда свой измеренный базовый уровень. Калибруйте на самой дешёвой модели BroadNet, только если именно её вы и будете вызывать: соотношения Gemma 4 VL 26B не переносятся на DeepSeek V4.1 Flash. Изображения тоже тарифицируются как входные токены, и крупные изображения расходуют больше, поэтому калибруйте их отдельно по разрешению.

Какой запас закладывать в max_tokens и контекст?

Окно вмещает промпт и ответ. У моделей с рассуждениями ответ включает скрытые размышления, которые отображаются как токены рассуждений. Бюджет считайте так:

  1. Оценка промпта = откалиброванный счёт × 1,15 (запас прочности 15 процентов).
  2. Бюджет ответа = самый длинный ответ, который вы готовы принять.
  3. Бюджет рассуждений = для думающих моделей не меньше 1000 токенов; документация BroadNet рекомендует не меньше 1000 или reasoning_effort: "low", потому что при маленьком лимите ответ может прийти пустым.
  4. max_tokens = бюджет ответа + бюджет рассуждений.
  5. Проверка: оценка промпта + max_tokens ≤ контекстное окно. Если не сходится, сокращайте промпт, а не ответ.

Контекстные окна в BroadNet Inference по опубликованному файлу цен:

Модель Контекстное окно Практический потолок промпта при 16K на ответ и запасе 15%
DeepSeek V4.1 Flash 1 048 576 около 897 000
GLM 5.3 1 048 576 около 897 000
Qwen3.8 27B 262 144 около 213 000
Gemma 4 VL 26B 32 768 около 14 000

Столбец потолка — это (окно − 16 384) ÷ 1,15 с округлением вниз. Замените 16 384 на свой max_tokens.

Где ошибаются оценки токенов?

  • Счёт слов вместо токенов. Правило «0,75 слова на токен» — для английского. Наш арабский образец из 29 слов занял от 46 до 102 токенов в зависимости от токенизатора.
  • Забытые инструменты и системный промпт. Схемы инструментов — это JSON, а он плотен по токенам. Считайте их частью промпта.
  • Расчёт на тихую обрезку. Некоторые инструменты отбрасывают старые сообщения, ничего не сообщая. BroadNet заявляет, что не обрезает ваш контекст, поэтому проверяйте размер до отправки, а не надейтесь, что сервер его подрежет. Калькулятор контекстного окна сделает эту проверку за вас.
  • Неучтённый рост истории. В чате или цикле агента промпт растёт с каждым ходом. Перепроверяйте бюджет при каждом вызове, а не раз за сессию. Стабильная история к тому же лучше кэшируется; см. структура промпта для кэширования.

Если вы работаете с арабским, токенизатор — ещё одна причина тестировать модели на своём тексте; остальное — в статье как выбрать LLM для арабского. Чтобы превратить счёт токенов в месячный счёт, см. как оценить стоимость LLM API до запуска.

Место BroadNet Inference

BroadNet Inference в каждом ответе возвращает prompt_tokens, completion_tokens и, если модель их сообщает, число кэшированных токенов и токенов рассуждений — этого достаточно для калибровки. Эндпоинта для подсчёта и токенизаторов по моделям BroadNet не публикует, поэтому счёт до отправки — это оценка. Работа с длинным контекстом на моделях с окном 1 млн токенов разобрана в руководстве по контекстному окну, а цены за 1 млн токенов — на странице цен.

Вопросы и ответы

Сколько токенов в одном слове?

По датасету токенизаторов BroadRouter, объединяющему пять токенизаторов (четырёх чат-моделей BroadNet и o200k_base от OpenAI; в таблице примеров в статье добавлен ещё cl100k_base), 1000 английских слов — это около 1,290 токенов, то есть примерно 1.29 токена на слово. Популярное правило «0,75 слова на токен» для английского текста близко к истине. Арабский, другие нелатинские письменности и код расходуют больше токенов на слово. Измерьте свой текст на той модели, которую вызываете.

Можно ли считать токены для DeepSeek, Qwen или Gemma через tiktoken?

Только как грубую оценку. tiktoken реализует кодировки OpenAI. У других семейств моделей свои токенизаторы, часто опубликованные на Hugging Face, и счёт отличается. Калибруйте по полю usage.

Есть ли бесплатный счётчик токенов для DeepSeek, Qwen, GLM или Gemma?

Да. Бесплатный счётчик токенов BroadRouter запускает опубликованные токенизаторы этих семейств прямо в браузере, так что текст не покидает ваш компьютер. Считайте результат оценкой того, что вернёт API: шаблон чата добавляет несколько токенов.

Что будет, если промпт длиннее контекстного окна?

Большинство API возвращают ошибку. Некоторые инструменты молча обрезают старые сообщения. BroadNet не обрезает ваш контекст, поэтому проверяйте сумму промпта и max_tokens относительно окна до отправки.

Какой запас оставлять для max_tokens?

Оцените самый длинный ожидаемый ответ, добавьте бюджет на рассуждения для думающих моделей и оставьте свободными 10–20 процентов окна на погрешность оценки.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity