---
title: "O que é o tamanho do vocabulário de um tokenizer de LLM?"
description: "Quantos tokens distintos um modelo conhece: valores medidos para DeepSeek, GLM, Qwen e Gemma, e por que maior nem sempre significa menos tokens."
url: https://broadrouter.com/pt/glossary/vocabulary-size/
lang: pt-BR
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/vocabulary-size/) (atualizado em 2026-11-16).

# Tamanho do vocabulário (vocabulary size)

Atualizado em 2026-11-16

Tamanho do vocabulário é o número de tokens distintos no tokenizer de um modelo de linguagem, cada um com o seu ID e o seu embedding. Um vocabulário maior pode codificar texto comum em menos tokens, mas aumenta as camadas de embedding e de saída, e só ajuda no tipo de texto com que foi treinado.

Também chamado de: tamanho do vocabulário, vocabulário do tokenizer, vocabulário de tokens, quantidade de tokens do vocabulário, vocab size, vocab\_size, tokenizer vocabulary, token vocabulary, vocabulary size

O tamanho do vocabulário diz quantos pedaços de texto diferentes um modelo consegue representar com um único [token](https://broadrouter.com/pt/glossary/token/).

## Como funciona

O vocabulário de um tokenizer [BPE](https://broadrouter.com/pt/glossary/bpe/) é formado pelos símbolos base mais cada merge que ele aprendeu. A documentação do Hugging Face dá o GPT original como exemplo: 478 tokens base + 40.000 merges = 40.478. Quem constrói o tokenizer escolhe o tamanho-alvo antes do treinamento.

Lemos os vocabulários do `tokenizer.json` fixado de cada modelo no Hugging Face em 2026-11-14:

| Tokenizer | Entradas do vocabulário | Total de IDs, incluindo tokens especiais |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 128.000 | 129.280 |
| GLM 5.3 | 154.820 | 154.856 |
| Qwen3.8 27B | 248.044 | 248.077 |
| Gemma 4 26B A4B (base do Google) | 262.144 | 262.144 |
| OpenAI o200k\_base (referência) | 199.998 | 200.019 |

O model card do Gemma 4 informa um vocabulário de 262K, o que bate. O card do Qwen3.8 lista um tamanho de embedding de 248.320 “padded” (tradução: com padding), maior que os 248.077 IDs realmente usados.

## Por que isso importa

Para quem usa uma API, o tamanho do vocabulário é uma pista indireta do custo por palavra. O que conta é em qual texto os merges foram treinados. Compare os tokens por 100 palavras para as mesmas 39,037 palavras de árabe padrão moderno no nosso [dataset de tokenizers](https://broadrouter.com/data/tokenizer-efficiency/):

-   DeepSeek V4.1 Flash, 128.000 entradas: 86,690 / 39,037 x 100 = 222.1
-   GLM 5.3, 154.820 entradas: 95,230 / 39,037 x 100 = 243.9
-   Qwen3.8 27B, 248.044 entradas: 71,424 / 39,037 x 100 = 183.0
-   Gemma 4, 262.144 entradas: 79,120 / 39,037 x 100 = 202.7

O GLM 5.3 tem mais entradas que o DeepSeek, mas usa mais tokens neste texto. O Gemma tem mais entradas que todos, mas não é o mais compacto. Para prosa em inglês, os cinco ficam entre 127 e 132 tokens por 100 palavras, então ali o tamanho do vocabulário quase não importa.

A regra: meça o seu próprio texto com o [tokenizer](https://broadrouter.com/pt/glossary/tokenizer/) do modelo, em vez de deduzir o custo pelo número do vocabulário.

## Na BroadNet Inference

A BroadNet não publica tamanhos de vocabulário; os números acima vêm dos repositórios públicos dos modelos. A linha do Gemma usa o tokenizer base do Google, que supomos ser mantido no build Gemma 4 VL 26B da BroadNet. Para ver o efeito nos seus próprios prompts, use o [contador de tokens](https://broadrouter.com/tools/token-counter/) e, para escolher um modelo para árabe, leia [como escolher um LLM para árabe](https://broadrouter.com/pt/blog/choosing-an-llm-for-arabic/) junto com o [estudo de tokens por palavra](https://broadrouter.com/pt/blog/tokens-per-word-arabic-english/).

## Perguntas frequentes

### Vocabulário maior significa menos tokens?

Muitas vezes, mas nem sempre. No nosso teste de 2026-11-14, o Gemma 4 tem o maior vocabulário (262.144) e mesmo assim usou 347 tokens para um texto em árabe que o Qwen3.8 27B, com 248.044 entradas, codificou em 316.

### Por que vocab\_size e o arquivo do tokenizer não batem?

As configurações dos modelos muitas vezes completam a tabela de embeddings com padding até um número redondo e reservam IDs para tokens especiais. O Qwen3.8 27B informa um tamanho com padding de 248.320, enquanto o tokenizer.json dele usa IDs de 0 a 248.076 (os IDs começam em 0), ou seja, 248.077 no total.

### Onde encontro o tamanho do vocabulário de um modelo?

No config.json do modelo, como vocab\_size, ou carregando o tokenizer.json dele e contando as entradas. O valor do config costuma ter padding, então o arquivo do tokenizer dá a contagem exata de tokens em uso.

## Veja também

-   [Tokenizer (tokenizador)](https://broadrouter.com/pt/glossary/tokenizer/) (termo)
-   [Byte pair encoding (BPE)](https://broadrouter.com/pt/glossary/bpe/) (termo)
-   [Token](https://broadrouter.com/pt/glossary/token/) (termo)
-   [Janela de contexto (context window)](https://broadrouter.com/pt/glossary/context-window/) (termo)
-   [Tokens por palavra em árabe vs inglês: por que o árabe custa mais](https://broadrouter.com/pt/blog/tokens-per-word-arabic-english/) (artigo)
-   [Como escolher uma API de LLM para árabe: o que testar](https://broadrouter.com/pt/blog/choosing-an-llm-for-arabic/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-vocabulary-size&utm_content=page-cta) ·

**Fontes**

-   [Hugging Face Transformers, algoritmos de tokenização (tamanho do vocabulário como símbolos base mais merges)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Model card no Hugging Face, google/gemma-4-26B-A4B-it (vocabulário de 262K)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Model card no Hugging Face, Qwen/Qwen3.8-27B (embedding com padding de 248.320)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Repositório do modelo no Hugging Face, zai-org/GLM-5.3 (origem do tokenizer.json do GLM)](https://huggingface.co/zai-org/GLM-5.3)
