O tamanho do vocabulário diz quantos pedaços de texto diferentes um modelo consegue representar com um único token.
Como funciona
O vocabulário de um tokenizer BPE é formado pelos símbolos base mais cada merge que ele aprendeu. A documentação do Hugging Face dá o GPT original como exemplo: 478 tokens base + 40.000 merges = 40.478. Quem constrói o tokenizer escolhe o tamanho-alvo antes do treinamento.
Lemos os vocabulários do tokenizer.json fixado de cada modelo no Hugging Face em 2026-11-14:
| Tokenizer | Entradas do vocabulário | Total de IDs, incluindo tokens especiais |
|---|---|---|
| DeepSeek V4.1 Flash | 128.000 | 129.280 |
| GLM 5.3 | 154.820 | 154.856 |
| Qwen3.8 27B | 248.044 | 248.077 |
| Gemma 4 26B A4B (base do Google) | 262.144 | 262.144 |
| OpenAI o200k_base (referência) | 199.998 | 200.019 |
O model card do Gemma 4 informa um vocabulário de 262K, o que bate. O card do Qwen3.8 lista um tamanho de embedding de 248.320 “padded” (tradução: com padding), maior que os 248.077 IDs realmente usados.
Por que isso importa
Para quem usa uma API, o tamanho do vocabulário é uma pista indireta do custo por palavra. O que conta é em qual texto os merges foram treinados. Compare os tokens por 100 palavras para as mesmas 39,037 palavras de árabe padrão moderno no nosso dataset de tokenizers:
- DeepSeek V4.1 Flash, 128.000 entradas: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154.820 entradas: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248.044 entradas: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262.144 entradas: 79,120 / 39,037 x 100 = 202.7
O GLM 5.3 tem mais entradas que o DeepSeek, mas usa mais tokens neste texto. O Gemma tem mais entradas que todos, mas não é o mais compacto. Para prosa em inglês, os cinco ficam entre 127 e 132 tokens por 100 palavras, então ali o tamanho do vocabulário quase não importa.
A regra: meça o seu próprio texto com o tokenizer do modelo, em vez de deduzir o custo pelo número do vocabulário.
Na BroadNet Inference
A BroadNet não publica tamanhos de vocabulário; os números acima vêm dos repositórios públicos dos modelos. A linha do Gemma usa o tokenizer base do Google, que supomos ser mantido no build Gemma 4 VL 26B da BroadNet. Para ver o efeito nos seus próprios prompts, use o contador de tokens e, para escolher um modelo para árabe, leia como escolher um LLM para árabe junto com o estudo de tokens por palavra.