Токенизатор решает, во сколько токенов превратится ваш текст, а значит, сколько он займёт в контекстном окне и в счёте.
Как это работает
У токенизатора две части: фиксированный словарь, который сопоставляет фрагментам текста целочисленные ID, и правила разбиения текста на эти фрагменты. Документация Hugging Face описывает распространённые алгоритмы как подсловные: частые слова остаются целыми, а редкие делятся на известные части поменьше, так что “annoyingly” может стать “annoying” + “ly”. Большинство современных LLM используют кодирование пар байтов (BPE) или его вариант.
Кодирование идёт в три шага:
- Претокенизация. Разбиение по пробелам, пунктуации и цифрам.
- Сопоставление фрагментов с ID. Применяются выученные слияния, и каждый фрагмент ищется в словаре.
- Добавление специальных токенов. Шаблон чата оборачивает сообщения в маркеры ролей, и они тоже считаются.
Декодирование обращает шаг 2. У open-weight моделей всё это хранится в файле tokenizer.json в репозитории модели.
Почему это важно
Разные токенизаторы дают разное число токенов для одного и того же текста. Мы прогнали тексты датасета через зафиксированный токенизатор каждой модели (английский: проза из Википедии и Project Gutenberg; арабский: 2,009 предложений FLORES-200 и три вводных абзаца из Википедии; замер 2026-11-15; токенов на 100 слов = токены / слова × 100):
| Текст | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Английская проза, слов: 1,183 | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Арабский MSA, слов: 39,037 | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
С английским везде примерно одинаково. С арабским — нет: GLM 5.3 нужно в 95,230 / 71,424 = 1.33 раза больше токенов, чем Qwen3.8 27B, на тот же текст. При цене за токен эта разница становится разницей в стоимости, а ещё она меняет, сколько арабского текста помещается в контекстное окно. В столбце Gemma используется базовый токенизатор Gemma 4 от Google; сборка BroadNet основана на этой модели, и мы исходим из того, что токенизатор в ней тот же. Полные цифры по каждой модели, с выгрузкой в CSV и JSON, — в датасете эффективности токенизаторов.
В BroadNet Inference
Чат с оплатой по факту BroadNet тарифицирует по входным и выходным токенам и сообщает их число в объекте usage каждого ответа, так что авторитетна именно цифра, которую возвращает API. Чтобы оценить заранее, вставьте текст в счётчик токенов или счётчик токенов для арабского: они загружают те же зафиксированные файлы токенизаторов. Полный замер — в статье о числе токенов на слово в арабском и английском.
Частые ошибки
- Считать токены токенизатором одной модели, а платить за другую. Используйте токенизатор той модели, которую вызываете.
- Забывать о шаблоне чата. Маркеры ролей и системные промпты добавляют токены, которых нет в подсчёте по простому тексту.