BroadRouter
Начать

Токенизатор (tokenizer)

Обновлено

Токенизатор — это компонент, который преобразует текст в последовательность целочисленных ID токенов, которую читает языковая модель, и превращает сгенерированные ID обратно в текст. У каждой модели свой токенизатор, поэтому один и тот же текст может дать разное число токенов на разных моделях.

Также называют: токенизатор, токенизация, токенизатор LLM, подсловный токенизатор, tokenizer.json, LLM tokenizer, subword tokenizer, text tokenizer

Токенизатор решает, во сколько токенов превратится ваш текст, а значит, сколько он займёт в контекстном окне и в счёте.

Как это работает

У токенизатора две части: фиксированный словарь, который сопоставляет фрагментам текста целочисленные ID, и правила разбиения текста на эти фрагменты. Документация Hugging Face описывает распространённые алгоритмы как подсловные: частые слова остаются целыми, а редкие делятся на известные части поменьше, так что “annoyingly” может стать “annoying” + “ly”. Большинство современных LLM используют кодирование пар байтов (BPE) или его вариант.

Кодирование идёт в три шага:

  1. Претокенизация. Разбиение по пробелам, пунктуации и цифрам.
  2. Сопоставление фрагментов с ID. Применяются выученные слияния, и каждый фрагмент ищется в словаре.
  3. Добавление специальных токенов. Шаблон чата оборачивает сообщения в маркеры ролей, и они тоже считаются.

Декодирование обращает шаг 2. У open-weight моделей всё это хранится в файле tokenizer.json в репозитории модели.

Почему это важно

Разные токенизаторы дают разное число токенов для одного и того же текста. Мы прогнали тексты датасета через зафиксированный токенизатор каждой модели (английский: проза из Википедии и Project Gutenberg; арабский: 2,009 предложений FLORES-200 и три вводных абзаца из Википедии; замер 2026-11-15; токенов на 100 слов = токены / слова × 100):

Текст DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Английская проза, слов: 1,183 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
Арабский MSA, слов: 39,037 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

С английским везде примерно одинаково. С арабским — нет: GLM 5.3 нужно в 95,230 / 71,424 = 1.33 раза больше токенов, чем Qwen3.8 27B, на тот же текст. При цене за токен эта разница становится разницей в стоимости, а ещё она меняет, сколько арабского текста помещается в контекстное окно. В столбце Gemma используется базовый токенизатор Gemma 4 от Google; сборка BroadNet основана на этой модели, и мы исходим из того, что токенизатор в ней тот же. Полные цифры по каждой модели, с выгрузкой в CSV и JSON, — в датасете эффективности токенизаторов.

В BroadNet Inference

Чат с оплатой по факту BroadNet тарифицирует по входным и выходным токенам и сообщает их число в объекте usage каждого ответа, так что авторитетна именно цифра, которую возвращает API. Чтобы оценить заранее, вставьте текст в счётчик токенов или счётчик токенов для арабского: они загружают те же зафиксированные файлы токенизаторов. Полный замер — в статье о числе токенов на слово в арабском и английском.

Частые ошибки

  • Считать токены токенизатором одной модели, а платить за другую. Используйте токенизатор той модели, которую вызываете.
  • Забывать о шаблоне чата. Маркеры ролей и системные промпты добавляют токены, которых нет в подсчёте по простому тексту.

Вопросы и ответы

У всех LLM один и тот же токенизатор?

Нет. Каждое семейство моделей обучает свой, со своим словарём. В нашем датасете по токенизаторам одни и те же арабские слова (всего 39,037) дали 71,424 токенов на Qwen3.8 27B и 95,230 на GLM 5.3.

Где найти токенизатор модели?

У open-weight моделей это файл tokenizer.json в репозитории модели на Hugging Face. Загрузите его библиотекой Hugging Face tokenizers, чтобы точно посчитать токены.

Токенизатор и токенизация — это одно и то же?

Токенизация — это процесс разбиения текста на токены. Токенизатор — это файл и код, которые делают это для одной конкретной модели.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity