Modelos não veem letras nem palavras. Eles veem uma sequência de números inteiros, e cada um representa um pedaço de texto de um vocabulário fixo. Esses pedaços são os tokens.
Como funciona
Um tokenizador divide o texto antes que o modelo o leia. A maioria dos modelos modernos usa métodos de subpalavras, como o byte pair encoding (BPE). Palavras comuns ficam inteiras; palavras raras são quebradas em partes. O exemplo da Hugging Face: annoyingly pode virar annoying e ly.
O BPE em nível de byte parte dos 256 valores possíveis de um byte, então consegue codificar qualquer entrada, incluindo emoji e qualquer sistema de escrita.
Para o inglês, a regra prática da OpenAI é de cerca de 4 caracteres ou 0,75 palavra por token, então 100 tokens são mais ou menos 75 palavras. A nossa própria medição de prosa em inglês em cinco tokenizadores atuais deu cerca de 129 tokens a cada 100 palavras, ou 1,290 tokens a cada 1.000 palavras, perto da regra prática. As duas proporções são só estimativas:
- outros idiomas, incluindo o árabe, costumam gerar mais tokens por palavra em tokenizadores treinados principalmente em inglês;
- código, números e espaços em branco são tokenizados de forma diferente da prosa;
- cada família de modelos tem seu próprio vocabulário.
Para estimar antes de enviar, cole o texto no contador de tokens. A API informa a contagem real no bloco usage de cada resposta:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Por que importa
Os tokens são a unidade por trás de quase todos os números de uma API de LLM:
- Preço. APIs cobradas por token cobram por 1M de tokens de entrada e de saída, muitas vezes com tarifas diferentes.
- Limites. A janela de contexto e o
max_tokenssão medidos em tokens, e muitos limites de taxa contam tokens por minuto. - Velocidade. A velocidade de geração é informada em tokens por segundo.
O mesmo texto pode virar um número diferente de tokens em modelos diferentes, principalmente em árabe. O dataset de eficiência de tokenizadores mede os tokens a cada 100 palavras de cada modelo em inglês, em árabe e em código.
Na BroadNet Inference
Os modelos de chat são cobrados por 1M de tokens. No DeepSeek V4.1 Flash, a entrada nova custa $0.175, a entrada em cache custa $0.0055 e a saída custa $0.52. O BroadNet Gemma 4 VL 26B custa $0.10 de entrada e $0.22 de saída. As tarifas de todos os modelos estão na página de preços.
Em um plano de preço fixo, os tokens nem são medidos: uma sessão de DeepSeek V4.1 Flash não tem medidor de tokens, e o limite prático é a velocidade, cerca de 100 tokens por segundo. Os modelos de fala para texto cobram por minuto de áudio, não por token.
Erros comuns
- Estimar o custo pela contagem de palavras em textos que não estão em inglês. Meça com o
usageem amostras reais. - Esquecer que modelos de raciocínio também gastam tokens de saída pensando. Veja tokens de raciocínio.