---
title: "O que é um tokenizer? Como LLMs dividem o texto em tokens"
description: "Um tokenizer transforma texto nos IDs de token que um LLM lê. Como funciona e por que o mesmo texto dá contagens diferentes por modelo, com dados de árabe."
url: https://broadrouter.com/pt/glossary/tokenizer/
lang: pt-BR
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/tokenizer/) (atualizado em 2026-11-16).

# Tokenizer (tokenizador)

Atualizado em 2026-11-16

Tokenizer (tokenizador) é o componente que converte texto na sequência de IDs inteiros de tokens que um modelo de linguagem lê, e converte os IDs gerados de volta em texto. Cada modelo vem com o próprio tokenizer, então o mesmo texto pode gerar um número diferente de tokens em modelos diferentes.

Também chamado de: tokenizador, tokenizer de LLM, tokenização, tokenizer de subpalavras, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Um tokenizer decide em quantos [tokens](https://broadrouter.com/pt/glossary/token/) o seu texto vira e, portanto, quanto da janela de contexto e da fatura ele consome.

## Como funciona

Um tokenizer tem duas partes: um vocabulário fixo que associa pedaços de texto a IDs inteiros, e regras para dividir o texto nesses pedaços. A documentação da Hugging Face descreve os algoritmos comuns como métodos de subpalavras: palavras frequentes ficam inteiras e palavras raras se dividem em pedaços conhecidos menores, então “annoyingly” pode virar “annoying” + “ly”. A maioria dos LLMs atuais usa [byte pair encoding](https://broadrouter.com/pt/glossary/bpe/) ou uma variante.

A codificação roda em três etapas:

1.  **Pré-tokenização.** Divide por espaços, pontuação e dígitos.
2.  **Pedaços em IDs.** Aplica os merges aprendidos e procura cada pedaço no vocabulário.
3.  **Tokens especiais.** O chat template envolve as mensagens em marcadores de papel, que também contam.

A decodificação inverte a etapa 2. Em modelos open-weight, tudo isso fica em um arquivo `tokenizer.json` no repositório do modelo.

## Por que isso importa

Tokenizers diferentes dão contagens diferentes para o mesmo texto. Codificamos os textos do dataset com o tokenizer fixado de cada modelo (inglês: prosa da Wikipédia e do Project Gutenberg; árabe: 2,009 frases do FLORES-200 mais três introduções da Wikipédia; medido em 2026-11-15; tokens por 100 palavras = tokens / palavras x 100):

| Texto | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| Prosa em inglês, 1,183 palavras | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Árabe MSA, 39,037 palavras | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

O inglês fica parecido em todos. O árabe não: o GLM 5.3 precisa de 95,230 / 71,424 = 1.33 vezes os tokens que o Qwen3.8 27B usa para o mesmo texto. Com preço por token, essa diferença vira diferença de custo, e também muda quanto árabe cabe na [janela de contexto](https://broadrouter.com/pt/glossary/context-window/). A coluna do Gemma usa o tokenizer do modelo base Gemma 4 do Google; o build da BroadNet é baseado nesse modelo, e supomos que mantém o tokenizer. Os números completos por modelo, com downloads em CSV e JSON, estão no [dataset de eficiência de tokenizers](https://broadrouter.com/data/tokenizer-efficiency/).

## Na BroadNet Inference

A BroadNet cobra o chat no pagamento por uso por [tokens de entrada e de saída](https://broadrouter.com/pt/glossary/input-and-output-tokens/) e informa as contagens no objeto `usage` de cada resposta, então o número que vale é o que a API devolve. Para estimar antes de enviar, cole o texto no [contador de tokens](https://broadrouter.com/tools/token-counter/) ou no [contador de tokens em árabe](https://broadrouter.com/tools/arabic-token-counter/), que carregam os mesmos arquivos de tokenizer fixados. A medição completa está em [tokens por palavra em árabe e inglês](https://broadrouter.com/pt/blog/tokens-per-word-arabic-english/).

## Erros comuns

-   Contar com o tokenizer de um modelo e ser cobrado em outro. Use o tokenizer do modelo que você chama.
-   Esquecer o chat template. Marcadores de papel e system prompts acrescentam tokens que contagens de texto puro não pegam.

## Perguntas frequentes

### Todos os LLMs usam o mesmo tokenizer?

Não. Cada família de modelos treina o seu, com vocabulário próprio. No nosso dataset de tokenizers, as mesmas 39,037 palavras em árabe deram 71,424 tokens no Qwen3.8 27B e 95,230 no GLM 5.3.

### Onde encontro o tokenizer de um modelo?

Em modelos open-weight, é o arquivo tokenizer.json no repositório do modelo no Hugging Face. Carregue-o com a biblioteca tokenizers do Hugging Face para contar tokens com exatidão.

### Tokenizer e tokenização são a mesma coisa?

Tokenização é o processo de dividir o texto em tokens. O tokenizer é o arquivo e o código que fazem isso para um modelo específico.

## Veja também

-   [Token](https://broadrouter.com/pt/glossary/token/) (termo)
-   [Byte pair encoding (BPE)](https://broadrouter.com/pt/glossary/bpe/) (termo)
-   [Tamanho do vocabulário (vocabulary size)](https://broadrouter.com/pt/glossary/vocabulary-size/) (termo)
-   [Tokens de entrada e de saída](https://broadrouter.com/pt/glossary/input-and-output-tokens/) (termo)
-   [Janela de contexto (context window)](https://broadrouter.com/pt/glossary/context-window/) (termo)
-   [Chat template (template de chat)](https://broadrouter.com/pt/glossary/chat-template/) (termo)
-   [Normalização Unicode (Unicode normalization)](https://broadrouter.com/pt/glossary/unicode-normalization/) (termo)
-   [Como usar o SDK Python da OpenAI com a BroadNet Inference](https://broadrouter.com/pt/guides/openai-python-sdk/) (guia)
-   [Tokens por palavra em árabe vs inglês: por que o árabe custa mais](https://broadrouter.com/pt/blog/tokens-per-word-arabic-english/) (artigo)
-   [Como contar tokens antes de enviar uma requisição a um LLM](https://broadrouter.com/pt/blog/count-tokens-before-sending/) (artigo)
-   [Engenharia de prompt em árabe: registro, RTL, números e texto misto](https://broadrouter.com/pt/blog/arabic-prompt-engineering/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-tokenizer&utm_content=page-cta) ·

**Fontes**

-   [Hugging Face Transformers, algoritmos de tokenização (verificado em 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Repositório do modelo no Hugging Face, Qwen/Qwen3.8-27B (verificado em 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Repositório do modelo no Hugging Face, deepseek-ai/DeepSeek-V4.1-Flash (verificado em 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Repositório do modelo no Hugging Face, google/gemma-4-26B-A4B-it (verificado em 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
