BroadRouter

Размер словаря (vocabulary size)

Обновлено

Размер словаря — это число различных токенов в токенизаторе языковой модели, у каждого из которых свой ID и свой эмбеддинг. Больший словарь может кодировать распространённый текст меньшим числом токенов, но увеличивает слои эмбеддингов и выхода и помогает только для текста, на котором словарь обучали.

Также называют: размер словаря, словарь токенизатора, размер словаря LLM, словарь токенов, vocabulary size, vocab size, vocab_size, tokenizer vocabulary, token vocabulary

Размер словаря показывает, сколько разных фрагментов текста модель может представить одним токеном.

Как это работает

Словарь BPE-токенизатора — это его базовые символы плюс все выученные слияния. Документация Hugging Face приводит в пример оригинальную GPT: 478 базовых токенов + 40 000 слияний = 40 478. Целевой размер выбирают до обучения.

Мы прочитали словари из зафиксированных файлов tokenizer.json каждой модели на Hugging Face 2026-11-14:

Токенизатор Записей в словаре Всего ID, включая специальные токены
DeepSeek V4.1 Flash 128 000 129 280
GLM 5.3 154 820 154 856
Qwen3.8 27B 248 044 248 077
Gemma 4 26B A4B (базовая модель Google) 262 144 262 144
OpenAI o200k_base (для сравнения) 199 998 200 019

Карточка модели Gemma 4 указывает словарь 262K, и это совпадает. Карточка Qwen3.8 указывает размер эмбеддинга 248 320 “padded” (перевод: «с паддингом»), больше, чем 248 077 реально используемых ID.

Почему это важно

Для пользователя API размер словаря — лишь косвенный намёк на стоимость слова. Важно, на каком тексте обучали слияния. Сравните число токенов на 100 слов для одного и того же текста на современном стандартном арабском (слов: 39,037) из нашего датасета по токенизаторам:

  • DeepSeek V4.1 Flash, 128 000 записей: 86,690 / 39,037 × 100 = 222.1
  • GLM 5.3, 154 820 записей: 95,230 / 39,037 × 100 = 243.9
  • Qwen3.8 27B, 248 044 записи: 71,424 / 39,037 × 100 = 183.0
  • Gemma 4, 262 144 записи: 79,120 / 39,037 × 100 = 202.7

У GLM 5.3 записей больше, чем у DeepSeek, но на этом тексте она тратит больше токенов. У Gemma записей больше всех, но она не самая компактная. Для английской прозы все пять дают от 127 до 132 токенов на 100 слов, так что там размер словаря почти ни на что не влияет.

Правило: измеряйте свой текст токенизатором модели, а не выводите стоимость из размера словаря.

В BroadNet Inference

BroadNet не публикует размеры словарей; цифры выше взяты из публичных репозиториев моделей. Строка Gemma основана на базовом токенизаторе Google, который, как мы предполагаем, сохраняется в сборке BroadNet Gemma 4 VL 26B. Чтобы увидеть эффект на своих промптах, используйте счётчик токенов, а для выбора модели под арабский прочитайте выбор LLM для арабского вместе с исследованием числа токенов на слово.

Вопросы и ответы

Больший словарь значит меньше токенов?

Часто, но не всегда. В нашем тесте от 2026-11-14 у Gemma 4 самый большой словарь (262 144), но на арабский текст она потратила 347 токенов, а Qwen3.8 27B со словарём в 248 044 записи закодировала его в 316.

Почему vocab_size не совпадает с файлом токенизатора?

В конфигах моделей таблицу эмбеддингов часто дополняют до круглого числа и резервируют ID под специальные токены. У Qwen3.8 27B указан размер с паддингом 248 320, а её tokenizer.json использует ID от 0 до 248 076 (нумерация начинается с 0), то есть всего 248 077.

Где узнать размер словаря модели?

В config.json модели, в поле vocab_size, или загрузив её tokenizer.json и посчитав записи. Значение в конфиге часто дополнено, поэтому точное число используемых токенов даёт файл токенизатора.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity