---
title: "Что такое токенизатор? Как LLM разбивает текст на токены"
description: "Токенизатор превращает текст в ID токенов для LLM. Как он работает и почему один текст даёт разное число токенов у разных моделей, с замерами на арабском."
url: https://broadrouter.com/ru/glossary/tokenizer/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/tokenizer/) (обновлён 2026-11-16).

# Токенизатор (tokenizer)

Обновлено 2026-11-16

Токенизатор — это компонент, который преобразует текст в последовательность целочисленных ID токенов, которую читает языковая модель, и превращает сгенерированные ID обратно в текст. У каждой модели свой токенизатор, поэтому один и тот же текст может дать разное число токенов на разных моделях.

Также называют: токенизатор, токенизация, токенизатор LLM, подсловный токенизатор, tokenizer.json, LLM tokenizer, subword tokenizer, text tokenizer

Токенизатор решает, во сколько [токенов](https://broadrouter.com/ru/glossary/token/) превратится ваш текст, а значит, сколько он займёт в контекстном окне и в счёте.

## Как это работает

У токенизатора две части: фиксированный словарь, который сопоставляет фрагментам текста целочисленные ID, и правила разбиения текста на эти фрагменты. Документация Hugging Face описывает распространённые алгоритмы как подсловные: частые слова остаются целыми, а редкие делятся на известные части поменьше, так что “annoyingly” может стать “annoying” + “ly”. Большинство современных LLM используют [кодирование пар байтов (BPE)](https://broadrouter.com/ru/glossary/bpe/) или его вариант.

Кодирование идёт в три шага:

1.  **Претокенизация.** Разбиение по пробелам, пунктуации и цифрам.
2.  **Сопоставление фрагментов с ID.** Применяются выученные слияния, и каждый фрагмент ищется в словаре.
3.  **Добавление специальных токенов.** Шаблон чата оборачивает сообщения в маркеры ролей, и они тоже считаются.

Декодирование обращает шаг 2. У open-weight моделей всё это хранится в файле `tokenizer.json` в репозитории модели.

## Почему это важно

Разные токенизаторы дают разное число токенов для одного и того же текста. Мы прогнали тексты датасета через зафиксированный токенизатор каждой модели (английский: проза из Википедии и Project Gutenberg; арабский: 2,009 предложений FLORES-200 и три вводных абзаца из Википедии; замер 2026-11-15; токенов на 100 слов = токены / слова × 100):

| Текст | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| Английская проза, слов: 1,183 | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Арабский MSA, слов: 39,037 | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

С английским везде примерно одинаково. С арабским — нет: GLM 5.3 нужно в 95,230 / 71,424 = 1.33 раза больше токенов, чем Qwen3.8 27B, на тот же текст. При цене за токен эта разница становится разницей в стоимости, а ещё она меняет, сколько арабского текста помещается в [контекстное окно](https://broadrouter.com/ru/glossary/context-window/). В столбце Gemma используется базовый токенизатор Gemma 4 от Google; сборка BroadNet основана на этой модели, и мы исходим из того, что токенизатор в ней тот же. Полные цифры по каждой модели, с выгрузкой в CSV и JSON, — в [датасете эффективности токенизаторов](https://broadrouter.com/data/tokenizer-efficiency/).

## В BroadNet Inference

Чат с оплатой по факту BroadNet тарифицирует по [входным и выходным токенам](https://broadrouter.com/ru/glossary/input-and-output-tokens/) и сообщает их число в объекте `usage` каждого ответа, так что авторитетна именно цифра, которую возвращает API. Чтобы оценить заранее, вставьте текст в [счётчик токенов](https://broadrouter.com/tools/token-counter/) или [счётчик токенов для арабского](https://broadrouter.com/tools/arabic-token-counter/): они загружают те же зафиксированные файлы токенизаторов. Полный замер — в статье [о числе токенов на слово в арабском и английском](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/).

## Частые ошибки

-   Считать токены токенизатором одной модели, а платить за другую. Используйте токенизатор той модели, которую вызываете.
-   Забывать о шаблоне чата. Маркеры ролей и системные промпты добавляют токены, которых нет в подсчёте по простому тексту.

## Вопросы и ответы

### У всех LLM один и тот же токенизатор?

Нет. Каждое семейство моделей обучает свой, со своим словарём. В нашем датасете по токенизаторам одни и те же арабские слова (всего 39,037) дали 71,424 токенов на Qwen3.8 27B и 95,230 на GLM 5.3.

### Где найти токенизатор модели?

У open-weight моделей это файл tokenizer.json в репозитории модели на Hugging Face. Загрузите его библиотекой Hugging Face tokenizers, чтобы точно посчитать токены.

### Токенизатор и токенизация — это одно и то же?

Токенизация — это процесс разбиения текста на токены. Токенизатор — это файл и код, которые делают это для одной конкретной модели.

## См. также

-   [Токен (token)](https://broadrouter.com/ru/glossary/token/) (термин)
-   [Кодирование пар байтов (byte pair encoding, BPE)](https://broadrouter.com/ru/glossary/bpe/) (термин)
-   [Размер словаря (vocabulary size)](https://broadrouter.com/ru/glossary/vocabulary-size/) (термин)
-   [Входные и выходные токены (input and output tokens)](https://broadrouter.com/ru/glossary/input-and-output-tokens/) (термин)
-   [Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/) (термин)
-   [Шаблон чата (chat template)](https://broadrouter.com/ru/glossary/chat-template/) (термин)
-   [Нормализация Unicode (Unicode normalization)](https://broadrouter.com/ru/glossary/unicode-normalization/) (термин)
-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/) (руководство)
-   [Токены на слово: арабский и английский — почему арабский дороже](https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/) (статья)
-   [Как посчитать токены до отправки запроса к LLM](https://broadrouter.com/ru/blog/count-tokens-before-sending/) (статья)
-   [Промпт-инжиниринг для арабского: регистр, RTL, цифры и смешанный текст](https://broadrouter.com/ru/blog/arabic-prompt-engineering/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-tokenizer&utm_content=page-cta) ·

**Источники**

-   [Hugging Face Transformers, алгоритмы токенизации (проверено 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Репозиторий модели на Hugging Face, Qwen/Qwen3.8-27B (проверено 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Репозиторий модели на Hugging Face, deepseek-ai/DeepSeek-V4.1-Flash (проверено 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Репозиторий модели на Hugging Face, google/gemma-4-26B-A4B-it (проверено 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
