BroadRouter
Começar

Token

Atualizado em

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

Também chamado de: token, tokens, token de LLM, tokenização, LLM token, tokenization

Modelos não veem letras nem palavras. Eles veem uma sequência de números inteiros, e cada um representa um pedaço de texto de um vocabulário fixo. Esses pedaços são os tokens.

Como funciona

Um tokenizador divide o texto antes que o modelo o leia. A maioria dos modelos modernos usa métodos de subpalavras, como o byte pair encoding (BPE). Palavras comuns ficam inteiras; palavras raras são quebradas em partes. O exemplo da Hugging Face: annoyingly pode virar annoying e ly.

O BPE em nível de byte parte dos 256 valores possíveis de um byte, então consegue codificar qualquer entrada, incluindo emoji e qualquer sistema de escrita.

Para o inglês, a regra prática da OpenAI é de cerca de 4 caracteres ou 0,75 palavra por token, então 100 tokens são mais ou menos 75 palavras. A nossa própria medição de prosa em inglês em cinco tokenizadores atuais deu cerca de 129 tokens a cada 100 palavras, ou 1,290 tokens a cada 1.000 palavras, perto da regra prática. As duas proporções são só estimativas:

  • outros idiomas, incluindo o árabe, costumam gerar mais tokens por palavra em tokenizadores treinados principalmente em inglês;
  • código, números e espaços em branco são tokenizados de forma diferente da prosa;
  • cada família de modelos tem seu próprio vocabulário.

Para estimar antes de enviar, cole o texto no contador de tokens. A API informa a contagem real no bloco usage de cada resposta:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Por que importa

Os tokens são a unidade por trás de quase todos os números de uma API de LLM:

O mesmo texto pode virar um número diferente de tokens em modelos diferentes, principalmente em árabe. O dataset de eficiência de tokenizadores mede os tokens a cada 100 palavras de cada modelo em inglês, em árabe e em código.

Na BroadNet Inference

Os modelos de chat são cobrados por 1M de tokens. No DeepSeek V4.1 Flash, a entrada nova custa $0.175, a entrada em cache custa $0.0055 e a saída custa $0.52. O BroadNet Gemma 4 VL 26B custa $0.10 de entrada e $0.22 de saída. As tarifas de todos os modelos estão na página de preços.

Em um plano de preço fixo, os tokens nem são medidos: uma sessão de DeepSeek V4.1 Flash não tem medidor de tokens, e o limite prático é a velocidade, cerca de 100 tokens por segundo. Os modelos de fala para texto cobram por minuto de áudio, não por token.

Erros comuns

  • Estimar o custo pela contagem de palavras em textos que não estão em inglês. Meça com o usage em amostras reais.
  • Esquecer que modelos de raciocínio também gastam tokens de saída pensando. Veja tokens de raciocínio.

Perguntas frequentes

Quantas palavras são 1.000 tokens?

Em prosa em inglês, cerca de 775 palavras, pela medição do próprio BroadRouter em cinco tokenizadores (1.000 palavras em inglês deram cerca de 1,290 tokens). A regra prática da OpenAI, de que um token é cerca de três quartos de uma palavra, dá 750. Outros idiomas, código e os tokenizadores de outros modelos dão proporções diferentes, então, quando isso importar, conte com o tokenizador do próprio modelo.

Imagens e áudio contam como tokens?

Imagens enviadas a um modelo de visão são convertidas em tokens de entrada, e imagens maiores costumam usar mais. Já as APIs de fala para texto costumam cobrar por minuto de áudio, e não por token.

Por que o mesmo texto usa uma quantidade diferente de tokens em dois modelos?

Cada família de modelos tem seu próprio tokenizador e vocabulário, então a mesma frase pode ser dividida em um número diferente de pedaços.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity