Um tokenizer decide em quantos tokens o seu texto vira e, portanto, quanto da janela de contexto e da fatura ele consome.
Como funciona
Um tokenizer tem duas partes: um vocabulário fixo que associa pedaços de texto a IDs inteiros, e regras para dividir o texto nesses pedaços. A documentação da Hugging Face descreve os algoritmos comuns como métodos de subpalavras: palavras frequentes ficam inteiras e palavras raras se dividem em pedaços conhecidos menores, então “annoyingly” pode virar “annoying” + “ly”. A maioria dos LLMs atuais usa byte pair encoding ou uma variante.
A codificação roda em três etapas:
- Pré-tokenização. Divide por espaços, pontuação e dígitos.
- Pedaços em IDs. Aplica os merges aprendidos e procura cada pedaço no vocabulário.
- Tokens especiais. O chat template envolve as mensagens em marcadores de papel, que também contam.
A decodificação inverte a etapa 2. Em modelos open-weight, tudo isso fica em um arquivo tokenizer.json no repositório do modelo.
Por que isso importa
Tokenizers diferentes dão contagens diferentes para o mesmo texto. Codificamos os textos do dataset com o tokenizer fixado de cada modelo (inglês: prosa da Wikipédia e do Project Gutenberg; árabe: 2,009 frases do FLORES-200 mais três introduções da Wikipédia; medido em 2026-11-15; tokens por 100 palavras = tokens / palavras x 100):
| Texto | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Prosa em inglês, 1,183 palavras | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Árabe MSA, 39,037 palavras | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
O inglês fica parecido em todos. O árabe não: o GLM 5.3 precisa de 95,230 / 71,424 = 1.33 vezes os tokens que o Qwen3.8 27B usa para o mesmo texto. Com preço por token, essa diferença vira diferença de custo, e também muda quanto árabe cabe na janela de contexto. A coluna do Gemma usa o tokenizer do modelo base Gemma 4 do Google; o build da BroadNet é baseado nesse modelo, e supomos que mantém o tokenizer. Os números completos por modelo, com downloads em CSV e JSON, estão no dataset de eficiência de tokenizers.
Na BroadNet Inference
A BroadNet cobra o chat no pagamento por uso por tokens de entrada e de saída e informa as contagens no objeto usage de cada resposta, então o número que vale é o que a API devolve. Para estimar antes de enviar, cole o texto no contador de tokens ou no contador de tokens em árabe, que carregam os mesmos arquivos de tokenizer fixados. A medição completa está em tokens por palavra em árabe e inglês.
Erros comuns
- Contar com o tokenizer de um modelo e ser cobrado em outro. Use o tokenizer do modelo que você chama.
- Esquecer o chat template. Marcadores de papel e system prompts acrescentam tokens que contagens de texto puro não pegam.