O byte pair encoding é a receita por trás da maioria dos tokenizers de LLM: aprender quais pedaços de texto aparecem juntos com frequência e dar a cada pedaço frequente um token próprio.
Como funciona
Sennrich, Haddow e Birch (2015) aplicaram à tradução o BPE, originalmente um método de compressão. A ideia era que nomes, palavras compostas e palavras raras podem ser montados com unidades menores, então o modelo não precisa de uma entrada de dicionário para cada palavra.
Treinar um vocabulário BPE segue um ciclo simples, mostrado passo a passo na documentação do Hugging Face:
- Conte a frequência das palavras em um corpus de treinamento, por exemplo
hug10,pug5,pun12,bun4,hugs5. - Comece com os caracteres individuais:
b g h n p s u. - Ache o par adjacente mais frequente.
u+gaparece 20 vezes, então adicioneug. - Repita.
u+n(16 vezes) viraun. - Pare no tamanho de vocabulário desejado, que é igual aos símbolos base mais o número de junções.
Para codificar um texto novo, o tokenizer aplica as junções aprendidas na mesma ordem. A codificação é determinística: o mesmo texto sempre gera os mesmos tokens.
O BPE em nível de byte parte dos 256 valores de byte em vez de caracteres. Assim, qualquer string possível pode ser codificada. O vocabulário do GPT-2 era de 256 bytes + 50.000 junções + 1 token de fim de texto = 50.257.
Por que isso importa
O BPE explica várias coisas que você vê na fatura de uma API:
- Palavras comuns em inglês são um token só, porque os pares delas foram juntados cedo.
- Palavras raras, erros de digitação e escritas não latinas se quebram em mais tokens. Em UTF-8, uma letra árabe ocupa 2 bytes, então um tokenizer em nível de byte que aprendeu poucas junções em árabe gasta mais tokens por palavra.
- As contagens mudam de modelo para modelo. Cada modelo aprende as próprias junções a partir dos próprios dados.
Nossa medição de 2026-11-14 mostra o efeito. O mesmo chat em dialeto do Golfo, com 117 palavras, deu 276 tokens no GLM 5.3 e 229 no Qwen3.8 27B. Isso é 276 / 117 x 100 = 235,9 contra 229 / 117 x 100 = 195,7 tokens a cada 100 palavras. A tradução em inglês desse chat custou 202 e 208 tokens, quase o mesmo.
Na BroadNet Inference
Na BroadNet você não escolhe o tokenizer; cada modelo usa o seu. Compare as contagens do seu texto real no contador de tokens em árabe antes de escolher um modelo para tráfego em árabe, e leia tokens por palavra em árabe e inglês para a tabela completa. Lembre que o preço é definido pela contagem de tokens, não pela contagem de palavras.