Число токенов нужно знать до отправки запроса по трём причинам: чтобы уложиться в контекстное окно, выбрать разумный max_tokens и оценить стоимость. Точный счёт даёт только собственный токенизатор модели. Хорошую оценку даёт калибровка. В этой статье — оба способа и реальные замеры.
Почему у разных моделей разное число токенов?
Токенизатор разбивает текст на фрагменты из фиксированного словаря. Каждое семейство моделей обучает свой. Чем больше словарь или чем больше в обучении было текста на данном языке, тем меньше токенов получается на этом языке. Поэтому на вопрос «сколько токенов в этом промпте» у каждой модели свой ответ.
Мы измерили одно и то же короткое сообщение службы поддержки, переведённое на четыре языка, а также небольшую функцию на Python и JSON-объект счёта. Счёт для OpenAI получен через tiktoken (cl100k_base — эпоха GPT-4, и o200k_base — эпоха GPT-4o). Счёт для открытых моделей получен по файлам токенизаторов, которые каждое семейство публикует на Hugging Face, без шаблона чата, 14 ноября 2026 года.
| Текст (одинаковый смысл) | Символов | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| Английский, 31 слово | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Испанский | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Арабский | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Китайский | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Функция на Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| JSON счёта | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
В каждой строке один образец, так что это иллюстрация, а не бенчмарк. Но три вывода всё равно верны. Поколение токенизатора важно: арабский текст при переходе с cl100k_base на o200k_base сократился больше чем вдвое. Открытые модели тоже отличаются друг от друга: тот же арабский текст занял от 48 до 58 токенов, а JSON — от 60 до 72. И структурированный контент плотен по токенам везде: JSON давал около 2 символов на токен во всех токенизаторах.
Повторить замер на своём тексте можно в бесплатном счётчике токенов или в счётчиках для отдельных семейств: DeepSeek, Qwen и GPT. Чтобы увидеть, сколько экономит правка промпта, сравните обе версии в сравнении токенов промпта. Почему именно арабский обходится дороже по токенам, с замерами на более длинных текстах, разобрано в статье токены на слово: арабский и английский.
Как посчитать токены точно?
Если токенизатор модели опубликован, загрузите его и считайте локально. Для моделей OpenAI:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
У семейств с открытыми весами токенизатор обычно лежит вместе с моделью на Hugging Face и загружается через AutoTokenizer.from_pretrained(...). Две оговорки: шаблон чата добавляет токены для ролей и разделителей, а версия, развёрнутая у API-провайдера, может отличаться от публичных файлов. В справочнике API BroadNet нет ни эндпоинта для подсчёта токенов, ни описания токенизатора каждой модели, поэтому публичный токенизатор даёт близкую оценку, а точное число — это usage.prompt_tokens после вызова.
Как оценить токены, если токенизатор не опубликован?
Откалибруйте один раз для каждой модели, а дальше оценивайте локально:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
Берите 20 и больше реальных образцов на каждый тип контента (ваши настоящие промпты, а не lorem ipsum). Базовый запрос из одного слова убирает фиксированные накладные расходы шаблона чата, а estimate добавляет их обратно как overhead; подставьте туда свой измеренный базовый уровень. Калибруйте на самой дешёвой модели BroadNet, только если именно её вы и будете вызывать: соотношения Gemma 4 VL 26B не переносятся на DeepSeek V4.1 Flash. Изображения тоже тарифицируются как входные токены, и крупные изображения расходуют больше, поэтому калибруйте их отдельно по разрешению.
Какой запас закладывать в max_tokens и контекст?
Окно вмещает промпт и ответ. У моделей с рассуждениями ответ включает скрытые размышления, которые отображаются как токены рассуждений. Бюджет считайте так:
- Оценка промпта = откалиброванный счёт × 1,15 (запас прочности 15 процентов).
- Бюджет ответа = самый длинный ответ, который вы готовы принять.
- Бюджет рассуждений = для думающих моделей не меньше 1000 токенов; документация BroadNet рекомендует не меньше 1000 или
reasoning_effort: "low", потому что при маленьком лимите ответ может прийти пустым. - max_tokens = бюджет ответа + бюджет рассуждений.
- Проверка: оценка промпта + max_tokens ≤ контекстное окно. Если не сходится, сокращайте промпт, а не ответ.
Контекстные окна в BroadNet Inference по опубликованному файлу цен:
| Модель | Контекстное окно | Практический потолок промпта при 16K на ответ и запасе 15% |
|---|---|---|
| DeepSeek V4.1 Flash | 1 048 576 | около 897 000 |
| GLM 5.3 | 1 048 576 | около 897 000 |
| Qwen3.8 27B | 262 144 | около 213 000 |
| Gemma 4 VL 26B | 32 768 | около 14 000 |
Столбец потолка — это (окно − 16 384) ÷ 1,15 с округлением вниз. Замените 16 384 на свой max_tokens.
Где ошибаются оценки токенов?
- Счёт слов вместо токенов. Правило «0,75 слова на токен» — для английского. Наш арабский образец из 29 слов занял от 46 до 102 токенов в зависимости от токенизатора.
- Забытые инструменты и системный промпт. Схемы инструментов — это JSON, а он плотен по токенам. Считайте их частью промпта.
- Расчёт на тихую обрезку. Некоторые инструменты отбрасывают старые сообщения, ничего не сообщая. BroadNet заявляет, что не обрезает ваш контекст, поэтому проверяйте размер до отправки, а не надейтесь, что сервер его подрежет. Калькулятор контекстного окна сделает эту проверку за вас.
- Неучтённый рост истории. В чате или цикле агента промпт растёт с каждым ходом. Перепроверяйте бюджет при каждом вызове, а не раз за сессию. Стабильная история к тому же лучше кэшируется; см. структура промпта для кэширования.
Если вы работаете с арабским, токенизатор — ещё одна причина тестировать модели на своём тексте; остальное — в статье как выбрать LLM для арабского. Чтобы превратить счёт токенов в месячный счёт, см. как оценить стоимость LLM API до запуска.
Место BroadNet Inference
BroadNet Inference в каждом ответе возвращает prompt_tokens, completion_tokens и, если модель их сообщает, число кэшированных токенов и токенов рассуждений — этого достаточно для калибровки. Эндпоинта для подсчёта и токенизаторов по моделям BroadNet не публикует, поэтому счёт до отправки — это оценка. Работа с длинным контекстом на моделях с окном 1 млн токенов разобрана в руководстве по контекстному окну, а цены за 1 млн токенов — на странице цен.
