BroadRouter

Tamanho do vocabulário (vocabulary size)

Atualizado em

Tamanho do vocabulário é o número de tokens distintos no tokenizer de um modelo de linguagem, cada um com o seu ID e o seu embedding. Um vocabulário maior pode codificar texto comum em menos tokens, mas aumenta as camadas de embedding e de saída, e só ajuda no tipo de texto com que foi treinado.

Também chamado de: tamanho do vocabulário, vocabulário do tokenizer, vocabulário de tokens, quantidade de tokens do vocabulário, vocab size, vocab_size, tokenizer vocabulary, token vocabulary, vocabulary size

O tamanho do vocabulário diz quantos pedaços de texto diferentes um modelo consegue representar com um único token.

Como funciona

O vocabulário de um tokenizer BPE é formado pelos símbolos base mais cada merge que ele aprendeu. A documentação do Hugging Face dá o GPT original como exemplo: 478 tokens base + 40.000 merges = 40.478. Quem constrói o tokenizer escolhe o tamanho-alvo antes do treinamento.

Lemos os vocabulários do tokenizer.json fixado de cada modelo no Hugging Face em 2026-11-14:

Tokenizer Entradas do vocabulário Total de IDs, incluindo tokens especiais
DeepSeek V4.1 Flash 128.000 129.280
GLM 5.3 154.820 154.856
Qwen3.8 27B 248.044 248.077
Gemma 4 26B A4B (base do Google) 262.144 262.144
OpenAI o200k_base (referência) 199.998 200.019

O model card do Gemma 4 informa um vocabulário de 262K, o que bate. O card do Qwen3.8 lista um tamanho de embedding de 248.320 “padded” (tradução: com padding), maior que os 248.077 IDs realmente usados.

Por que isso importa

Para quem usa uma API, o tamanho do vocabulário é uma pista indireta do custo por palavra. O que conta é em qual texto os merges foram treinados. Compare os tokens por 100 palavras para as mesmas 39,037 palavras de árabe padrão moderno no nosso dataset de tokenizers:

  • DeepSeek V4.1 Flash, 128.000 entradas: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154.820 entradas: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248.044 entradas: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262.144 entradas: 79,120 / 39,037 x 100 = 202.7

O GLM 5.3 tem mais entradas que o DeepSeek, mas usa mais tokens neste texto. O Gemma tem mais entradas que todos, mas não é o mais compacto. Para prosa em inglês, os cinco ficam entre 127 e 132 tokens por 100 palavras, então ali o tamanho do vocabulário quase não importa.

A regra: meça o seu próprio texto com o tokenizer do modelo, em vez de deduzir o custo pelo número do vocabulário.

Na BroadNet Inference

A BroadNet não publica tamanhos de vocabulário; os números acima vêm dos repositórios públicos dos modelos. A linha do Gemma usa o tokenizer base do Google, que supomos ser mantido no build Gemma 4 VL 26B da BroadNet. Para ver o efeito nos seus próprios prompts, use o contador de tokens e, para escolher um modelo para árabe, leia como escolher um LLM para árabe junto com o estudo de tokens por palavra.

Perguntas frequentes

Vocabulário maior significa menos tokens?

Muitas vezes, mas nem sempre. No nosso teste de 2026-11-14, o Gemma 4 tem o maior vocabulário (262.144) e mesmo assim usou 347 tokens para um texto em árabe que o Qwen3.8 27B, com 248.044 entradas, codificou em 316.

Por que vocab_size e o arquivo do tokenizer não batem?

As configurações dos modelos muitas vezes completam a tabela de embeddings com padding até um número redondo e reservam IDs para tokens especiais. O Qwen3.8 27B informa um tamanho com padding de 248.320, enquanto o tokenizer.json dele usa IDs de 0 a 248.076 (os IDs começam em 0), ou seja, 248.077 no total.

Onde encontro o tamanho do vocabulário de um modelo?

No config.json do modelo, como vocab_size, ou carregando o tokenizer.json dele e contando as entradas. O valor do config costuma ter padding, então o arquivo do tokenizer dá a contagem exata de tokens em uso.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity