---
title: "Как посчитать токены промпта: оценка, запас, языки | BroadRouter"
description: "Как оценить число токенов в промпте до вызова LLM API: почему токенизаторы считают по-разному, замеры на пяти языках и безопасный запас для max_tokens."
url: https://broadrouter.com/ru/blog/count-tokens-before-sending/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/count-tokens-before-sending/) (обновлён 2026-11-16).

# Как посчитать токены до отправки запроса к LLM

Команда BroadNet Inference · 5 мин чтения · Опубликовано 2026-11-14 · Обновлено 2026-11-16

Считайте токены токенизатором той модели, которую вызываете, если он опубликован. Если нет — откалибруйте соотношение «символов на токен» по полю usage реальных запросов, отдельно для каждого языка и типа контента. Добавьте запас 10–20 процентов и проверьте, что токены промпта плюс max\_tokens помещаются в контекстное окно, оставив место для токенов рассуждений у думающих моделей.

## Главное

-   Токенизаторы у моделей разные. Одно и то же предложение на арабском в нашем тесте заняло 102 токена в cl100k\_base, 46 в o200k\_base и от 48 до 58 в токенизаторах открытых моделей.
-   Английский текст в этом коротком тесте давал около 4,5 символа на токен во всех токенизаторах; код, JSON и большинство нелатинских письменностей расходуют больше токенов на символ.
-   Если токенизатор модели не опубликован, откалибруйте: отправьте образцы, прочитайте usage.prompt\_tokens и сохраните соотношение для каждого языка и типа контента.
-   Контекстное окно вмещает и промпт, и ответ. Закладывайте промпт + max\_tokens + запас, а не только промпт.
-   У моделей с рассуждениями размышления входят в max\_tokens; BroadNet рекомендует не меньше 1000 или reasoning\_effort low.

**На этой странице**

1.  Почему у разных моделей разное число токенов?
2.  Как посчитать токены точно?
3.  Как оценить токены, если токенизатор не опубликован?
4.  Какой запас закладывать в max\_tokens и контекст?
5.  Где ошибаются оценки токенов?
6.  Место BroadNet Inference

Число [токенов](https://broadrouter.com/ru/glossary/token/) нужно знать до отправки запроса по трём причинам: чтобы уложиться в [контекстное окно](https://broadrouter.com/ru/glossary/context-window/), выбрать разумный [max\_tokens](https://broadrouter.com/ru/glossary/max-tokens/) и оценить стоимость. Точный счёт даёт только собственный токенизатор модели. Хорошую оценку даёт калибровка. В этой статье — оба способа и реальные замеры.

## Почему у разных моделей разное число токенов?

Токенизатор разбивает текст на фрагменты из фиксированного словаря. Каждое семейство моделей обучает свой. Чем больше словарь или чем больше в обучении было текста на данном языке, тем меньше токенов получается на этом языке. Поэтому на вопрос «сколько токенов в этом промпте» у каждой модели свой ответ.

Мы измерили одно и то же короткое сообщение службы поддержки, переведённое на четыре языка, а также небольшую функцию на Python и JSON-объект счёта. Счёт для OpenAI получен через [tiktoken](https://github.com/openai/tiktoken) (`cl100k_base` — эпоха GPT-4, и `o200k_base` — эпоха GPT-4o). Счёт для открытых моделей получен по файлам токенизаторов, которые каждое семейство публикует на Hugging Face, без шаблона чата, 14 ноября 2026 года.

| Текст (одинаковый смысл) | Символов | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| Английский, 31 слово | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Испанский | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Арабский | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Китайский | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Функция на Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| JSON счёта | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

В каждой строке один образец, так что это иллюстрация, а не бенчмарк. Но три вывода всё равно верны. Поколение токенизатора важно: арабский текст при переходе с `cl100k_base` на `o200k_base` сократился больше чем вдвое. Открытые модели тоже отличаются друг от друга: тот же арабский текст занял от 48 до 58 токенов, а JSON — от 60 до 72. И структурированный контент плотен по токенам везде: JSON давал около 2 символов на токен во всех токенизаторах.

Повторить замер на своём тексте можно в бесплатном [счётчике токенов](https://broadrouter.com/tools/token-counter/) или в счётчиках для отдельных семейств: [DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/), [Qwen](https://broadrouter.com/tools/qwen-token-counter/) и [GPT](https://broadrouter.com/tools/gpt-token-counter/). Чтобы увидеть, сколько экономит правка промпта, сравните обе версии в [сравнении токенов промпта](https://broadrouter.com/tools/prompt-token-diff/). Почему именно арабский обходится дороже по токенам, с замерами на более длинных текстах, разобрано в статье [токены на слово: арабский и английский](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/).

## Как посчитать токены точно?

Если токенизатор модели опубликован, загрузите его и считайте локально. Для моделей OpenAI:

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

У семейств с открытыми весами токенизатор обычно лежит вместе с моделью на Hugging Face и загружается через `AutoTokenizer.from_pretrained(...)`. Две оговорки: шаблон чата добавляет токены для ролей и разделителей, а версия, развёрнутая у API-провайдера, может отличаться от публичных файлов. В справочнике API BroadNet нет ни эндпоинта для подсчёта токенов, ни описания токенизатора каждой модели, поэтому публичный токенизатор даёт близкую оценку, а точное число — это `usage.prompt_tokens` после вызова.

## Как оценить токены, если токенизатор не опубликован?

Откалибруйте один раз для каждой модели, а дальше оценивайте локально:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

Берите 20 и больше реальных образцов на каждый тип контента (ваши настоящие промпты, а не lorem ipsum). Базовый запрос из одного слова убирает фиксированные накладные расходы шаблона чата, а `estimate` добавляет их обратно как `overhead`; подставьте туда свой измеренный базовый уровень. Калибруйте на самой дешёвой модели BroadNet, только если именно её вы и будете вызывать: соотношения [Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/) не переносятся на [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/). Изображения тоже тарифицируются как входные токены, и крупные изображения расходуют больше, поэтому калибруйте их отдельно по разрешению.

## Какой запас закладывать в max\_tokens и контекст?

Окно вмещает промпт **и** ответ. У моделей с рассуждениями ответ включает скрытые размышления, которые отображаются как [токены рассуждений](https://broadrouter.com/ru/glossary/reasoning-tokens/). Бюджет считайте так:

1.  **Оценка промпта** = откалиброванный счёт × 1,15 (запас прочности 15 процентов).
2.  **Бюджет ответа** = самый длинный ответ, который вы готовы принять.
3.  **Бюджет рассуждений** = для думающих моделей не меньше 1000 токенов; документация BroadNet рекомендует не меньше 1000 или `reasoning_effort: "low"`, потому что при маленьком лимите ответ может прийти пустым.
4.  **max\_tokens** = бюджет ответа + бюджет рассуждений.
5.  **Проверка**: оценка промпта + max\_tokens ≤ контекстное окно. Если не сходится, сокращайте промпт, а не ответ.

Контекстные окна в BroadNet Inference по опубликованному файлу цен:

| Модель | Контекстное окно | Практический потолок промпта при 16K на ответ и запасе 15% |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1 048 576 | около 897 000 |
| [GLM 5.3](https://broadrouter.com/ru/models/glm-5.3/) | 1 048 576 | около 897 000 |
| [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) | 262 144 | около 213 000 |
| Gemma 4 VL 26B | 32 768 | около 14 000 |

Столбец потолка — это (окно − 16 384) ÷ 1,15 с округлением вниз. Замените 16 384 на свой max\_tokens.

## Где ошибаются оценки токенов?

-   **Счёт слов вместо токенов.** Правило «0,75 слова на токен» — для английского. Наш арабский образец из 29 слов занял от 46 до 102 токенов в зависимости от токенизатора.
-   **Забытые инструменты и системный промпт.** Схемы инструментов — это JSON, а он плотен по токенам. Считайте их частью промпта.
-   **Расчёт на тихую обрезку.** Некоторые инструменты отбрасывают старые сообщения, ничего не сообщая. BroadNet заявляет, что не обрезает ваш контекст, поэтому проверяйте размер до отправки, а не надейтесь, что сервер его подрежет. [Калькулятор контекстного окна](https://broadrouter.com/tools/context-window-calculator/) сделает эту проверку за вас.
-   **Неучтённый рост истории.** В чате или цикле агента промпт растёт с каждым ходом. Перепроверяйте бюджет при каждом вызове, а не раз за сессию. Стабильная история к тому же лучше кэшируется; см. [структура промпта для кэширования](https://broadrouter.com/ru/blog/prompt-structure-for-caching/).

Если вы работаете с арабским, токенизатор — ещё одна причина тестировать модели на своём тексте; остальное — в статье [как выбрать LLM для арабского](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/). Чтобы превратить счёт токенов в месячный счёт, см. [как оценить стоимость LLM API до запуска](https://broadrouter.com/ru/blog/estimate-llm-api-cost-before-launch/).

## Место BroadNet Inference

BroadNet Inference в каждом ответе возвращает `prompt_tokens`, `completion_tokens` и, если модель их сообщает, число кэшированных токенов и токенов рассуждений — этого достаточно для калибровки. Эндпоинта для подсчёта и токенизаторов по моделям BroadNet не публикует, поэтому счёт до отправки — это оценка. Работа с длинным контекстом на моделях с окном 1 млн токенов разобрана в [руководстве по контекстному окну](https://broadrouter.com/ru/blog/million-token-context-window-guide/), а цены за 1 млн токенов — на [странице цен](https://broadrouter.com/ru/pricing/).

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[Токенизатор (tokenizer)](https://broadrouter.com/ru/glossary/tokenizer/)

Токенизатор — это компонент, который преобразует текст в последовательность целочисленных ID токенов, которую читает языковая модель, и превращает сгенерированные ID обратно в текст. У каждой модели свой токенизатор, поэтому один и тот же текст может дать разное число токенов на разных моделях.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[max\_tokens](https://broadrouter.com/ru/glossary/max-tokens/)

max\_tokens — это параметр LLM API, который задаёт максимальное число токенов, которое модель может сгенерировать в одном ответе. Когда генерация доходит до лимита, она останавливается, а ответ помечается как обрезанный, например значением finish\_reason "length".

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

[Входные и выходные токены (input and output tokens)](https://broadrouter.com/ru/glossary/input-and-output-tokens/)

Входные токены — это токены, которые языковая модель читает в запросе: системный промпт, история диалога, описания инструментов и изображения. Выходные токены — это токены, которые она генерирует в ответ, включая рассуждения. LLM API обычно тарифицируют их по отдельности, и выход, как правило, дороже.

[Шаблон чата (chat template)](https://broadrouter.com/ru/glossary/chat-template/)

Шаблон чата — это правило форматирования, обычно написанное на Jinja и поставляемое вместе с токенизатором модели, которое превращает список сообщений чата с ролями в единую последовательность токенов, ожидаемую моделью, включая её специальные управляющие токены. Неверный шаблон может резко ухудшить ответы модели.

## Вопросы и ответы

### Сколько токенов в одном слове?

По датасету токенизаторов BroadRouter, объединяющему пять токенизаторов (четырёх чат-моделей BroadNet и o200k\_base от OpenAI; в таблице примеров в статье добавлен ещё cl100k\_base), 1000 английских слов — это около 1,290 токенов, то есть примерно 1.29 токена на слово. Популярное правило «0,75 слова на токен» для английского текста близко к истине. Арабский, другие нелатинские письменности и код расходуют больше токенов на слово. Измерьте свой текст на той модели, которую вызываете.

### Можно ли считать токены для DeepSeek, Qwen или Gemma через tiktoken?

Только как грубую оценку. tiktoken реализует кодировки OpenAI. У других семейств моделей свои токенизаторы, часто опубликованные на Hugging Face, и счёт отличается. Калибруйте по полю usage.

### Есть ли бесплатный счётчик токенов для DeepSeek, Qwen, GLM или Gemma?

Да. Бесплатный счётчик токенов BroadRouter запускает опубликованные токенизаторы этих семейств прямо в браузере, так что текст не покидает ваш компьютер. Считайте результат оценкой того, что вернёт API: шаблон чата добавляет несколько токенов.

### Что будет, если промпт длиннее контекстного окна?

Большинство API возвращают ошибку. Некоторые инструменты молча обрезают старые сообщения. BroadNet не обрезает ваш контекст, поэтому проверяйте сумму промпта и max\_tokens относительно окна до отправки.

### Какой запас оставлять для max\_tokens?

Оцените самый длинный ожидаемый ответ, добавьте бюджет на рассуждения для думающих моделей и оставьте свободными 10–20 процентов окна на погрешность оценки.

## Читайте также

-   [Токены на слово: арабский и английский — почему арабский дороже](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/)
-   [Когда контекстное окно на 1 млн токенов оправдано (а когда нет)](https://broadrouter.com/ru/blog/million-token-context-window-guide/)
-   [Как рассчитать стоимость LLM API до запуска функции](https://broadrouter.com/ru/blog/estimate-llm-api-cost-before-launch/)
-   [Как структурировать промпты, чтобы префикс кэшировался](https://broadrouter.com/ru/blog/prompt-structure-for-caching/)
-   [Сокращаем токены промпта: замеры для инструкций, инструментов, данных](https://broadrouter.com/ru/blog/reduce-prompt-tokens/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Руководство: Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-count-tokens-before-sending&utm_content=page-cta) ·

**Источники**

-   [README tiktoken, кодировки и около 4 байт на токен (проверено 2026-11-14)](https://github.com/openai/tiktoken)
-   [Справочник API BroadNet Inference, max\_tokens и рассуждения (проверено 2026-11-14) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-count-tokens-before-sending&utm_content=sources)
-   [Машиночитаемые цены и длины контекста BroadNet Inference (pricing.json, проверено 2026-11-14) (на английском)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers, документация по токенизаторам (проверено 2026-11-14)](https://huggingface.co/docs/transformers/main_classes/tokenizer)
