Размер словаря показывает, сколько разных фрагментов текста модель может представить одним токеном.
Как это работает
Словарь BPE-токенизатора — это его базовые символы плюс все выученные слияния. Документация Hugging Face приводит в пример оригинальную GPT: 478 базовых токенов + 40 000 слияний = 40 478. Целевой размер выбирают до обучения.
Мы прочитали словари из зафиксированных файлов tokenizer.json каждой модели на Hugging Face 2026-11-14:
| Токенизатор | Записей в словаре | Всего ID, включая специальные токены |
|---|---|---|
| DeepSeek V4.1 Flash | 128 000 | 129 280 |
| GLM 5.3 | 154 820 | 154 856 |
| Qwen3.8 27B | 248 044 | 248 077 |
| Gemma 4 26B A4B (базовая модель Google) | 262 144 | 262 144 |
| OpenAI o200k_base (для сравнения) | 199 998 | 200 019 |
Карточка модели Gemma 4 указывает словарь 262K, и это совпадает. Карточка Qwen3.8 указывает размер эмбеддинга 248 320 “padded” (перевод: «с паддингом»), больше, чем 248 077 реально используемых ID.
Почему это важно
Для пользователя API размер словаря — лишь косвенный намёк на стоимость слова. Важно, на каком тексте обучали слияния. Сравните число токенов на 100 слов для одного и того же текста на современном стандартном арабском (слов: 39,037) из нашего датасета по токенизаторам:
- DeepSeek V4.1 Flash, 128 000 записей: 86,690 / 39,037 × 100 = 222.1
- GLM 5.3, 154 820 записей: 95,230 / 39,037 × 100 = 243.9
- Qwen3.8 27B, 248 044 записи: 71,424 / 39,037 × 100 = 183.0
- Gemma 4, 262 144 записи: 79,120 / 39,037 × 100 = 202.7
У GLM 5.3 записей больше, чем у DeepSeek, но на этом тексте она тратит больше токенов. У Gemma записей больше всех, но она не самая компактная. Для английской прозы все пять дают от 127 до 132 токенов на 100 слов, так что там размер словаря почти ни на что не влияет.
Правило: измеряйте свой текст токенизатором модели, а не выводите стоимость из размера словаря.
В BroadNet Inference
BroadNet не публикует размеры словарей; цифры выше взяты из публичных репозиториев моделей. Строка Gemma основана на базовом токенизаторе Google, который, как мы предполагаем, сохраняется в сборке BroadNet Gemma 4 VL 26B. Чтобы увидеть эффект на своих промптах, используйте счётчик токенов, а для выбора модели под арабский прочитайте выбор LLM для арабского вместе с исследованием числа токенов на слово.