BroadRouter
Começar

Tokenizer (tokenizador)

Atualizado em

Tokenizer (tokenizador) é o componente que converte texto na sequência de IDs inteiros de tokens que um modelo de linguagem lê, e converte os IDs gerados de volta em texto. Cada modelo vem com o próprio tokenizer, então o mesmo texto pode gerar um número diferente de tokens em modelos diferentes.

Também chamado de: tokenizador, tokenizer de LLM, tokenização, tokenizer de subpalavras, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Um tokenizer decide em quantos tokens o seu texto vira e, portanto, quanto da janela de contexto e da fatura ele consome.

Como funciona

Um tokenizer tem duas partes: um vocabulário fixo que associa pedaços de texto a IDs inteiros, e regras para dividir o texto nesses pedaços. A documentação da Hugging Face descreve os algoritmos comuns como métodos de subpalavras: palavras frequentes ficam inteiras e palavras raras se dividem em pedaços conhecidos menores, então “annoyingly” pode virar “annoying” + “ly”. A maioria dos LLMs atuais usa byte pair encoding ou uma variante.

A codificação roda em três etapas:

  1. Pré-tokenização. Divide por espaços, pontuação e dígitos.
  2. Pedaços em IDs. Aplica os merges aprendidos e procura cada pedaço no vocabulário.
  3. Tokens especiais. O chat template envolve as mensagens em marcadores de papel, que também contam.

A decodificação inverte a etapa 2. Em modelos open-weight, tudo isso fica em um arquivo tokenizer.json no repositório do modelo.

Por que isso importa

Tokenizers diferentes dão contagens diferentes para o mesmo texto. Codificamos os textos do dataset com o tokenizer fixado de cada modelo (inglês: prosa da Wikipédia e do Project Gutenberg; árabe: 2,009 frases do FLORES-200 mais três introduções da Wikipédia; medido em 2026-11-15; tokens por 100 palavras = tokens / palavras x 100):

Texto DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Prosa em inglês, 1,183 palavras 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
Árabe MSA, 39,037 palavras 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

O inglês fica parecido em todos. O árabe não: o GLM 5.3 precisa de 95,230 / 71,424 = 1.33 vezes os tokens que o Qwen3.8 27B usa para o mesmo texto. Com preço por token, essa diferença vira diferença de custo, e também muda quanto árabe cabe na janela de contexto. A coluna do Gemma usa o tokenizer do modelo base Gemma 4 do Google; o build da BroadNet é baseado nesse modelo, e supomos que mantém o tokenizer. Os números completos por modelo, com downloads em CSV e JSON, estão no dataset de eficiência de tokenizers.

Na BroadNet Inference

A BroadNet cobra o chat no pagamento por uso por tokens de entrada e de saída e informa as contagens no objeto usage de cada resposta, então o número que vale é o que a API devolve. Para estimar antes de enviar, cole o texto no contador de tokens ou no contador de tokens em árabe, que carregam os mesmos arquivos de tokenizer fixados. A medição completa está em tokens por palavra em árabe e inglês.

Erros comuns

  • Contar com o tokenizer de um modelo e ser cobrado em outro. Use o tokenizer do modelo que você chama.
  • Esquecer o chat template. Marcadores de papel e system prompts acrescentam tokens que contagens de texto puro não pegam.

Perguntas frequentes

Todos os LLMs usam o mesmo tokenizer?

Não. Cada família de modelos treina o seu, com vocabulário próprio. No nosso dataset de tokenizers, as mesmas 39,037 palavras em árabe deram 71,424 tokens no Qwen3.8 27B e 95,230 no GLM 5.3.

Onde encontro o tokenizer de um modelo?

Em modelos open-weight, é o arquivo tokenizer.json no repositório do modelo no Hugging Face. Carregue-o com a biblioteca tokenizers do Hugging Face para contar tokens com exatidão.

Tokenizer e tokenização são a mesma coisa?

Tokenização é o processo de dividir o texto em tokens. O tokenizer é o arquivo e o código que fazem isso para um modelo específico.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity