---
title: "O que é byte pair encoding (BPE) nos tokenizers de LLM?"
description: "O byte pair encoding monta o vocabulário de um tokenizer juntando os pares de símbolos mais frequentes. Como funciona o BPE e por que o árabe gera mais tokens."
url: https://broadrouter.com/pt/glossary/bpe/
lang: pt-BR
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/bpe/) (atualizado em 2026-11-16).

# Byte pair encoding (BPE)

Atualizado em 2026-11-16

Byte pair encoding (BPE) é um algoritmo de tokenização em subpalavras que parte de caracteres ou bytes individuais e junta repetidamente o par adjacente mais frequente em uma nova entrada do vocabulário, até chegar ao tamanho de vocabulário desejado. A maioria dos tokenizers de LLM atuais usa BPE ou uma variante em nível de byte.

Também chamado de: codificação BPE, tokenização BPE, BPE em nível de byte, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

O byte pair encoding é a receita por trás da maioria dos [tokenizers](https://broadrouter.com/pt/glossary/tokenizer/) de LLM: aprender quais pedaços de texto aparecem juntos com frequência e dar a cada pedaço frequente um token próprio.

## Como funciona

Sennrich, Haddow e Birch (2015) aplicaram à tradução o BPE, originalmente um método de compressão. A ideia era que nomes, palavras compostas e palavras raras podem ser montados com unidades menores, então o modelo não precisa de uma entrada de dicionário para cada palavra.

Treinar um vocabulário BPE segue um ciclo simples, mostrado passo a passo na documentação do Hugging Face:

1.  Conte a frequência das palavras em um corpus de treinamento, por exemplo `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  Comece com os caracteres individuais: `b g h n p s u`.
3.  Ache o par adjacente mais frequente. `u` + `g` aparece 20 vezes, então adicione `ug`.
4.  Repita. `u` + `n` (16 vezes) vira `un`.
5.  Pare no [tamanho de vocabulário](https://broadrouter.com/pt/glossary/vocabulary-size/) desejado, que é igual aos símbolos base mais o número de junções.

Para codificar um texto novo, o tokenizer aplica as junções aprendidas na mesma ordem. A codificação é determinística: o mesmo texto sempre gera os mesmos tokens.

**O BPE em nível de byte** parte dos 256 valores de byte em vez de caracteres. Assim, qualquer string possível pode ser codificada. O vocabulário do GPT-2 era de 256 bytes + 50.000 junções + 1 token de fim de texto = 50.257.

## Por que isso importa

O BPE explica várias coisas que você vê na fatura de uma API:

-   **Palavras comuns em inglês são um token só**, porque os pares delas foram juntados cedo.
-   **Palavras raras, erros de digitação e escritas não latinas se quebram em mais tokens.** Em UTF-8, uma letra árabe ocupa 2 bytes, então um tokenizer em nível de byte que aprendeu poucas junções em árabe gasta mais tokens por palavra.
-   **As contagens mudam de modelo para modelo.** Cada modelo aprende as próprias junções a partir dos próprios dados.

Nossa medição de 2026-11-14 mostra o efeito. O mesmo chat em dialeto do Golfo, com 117 palavras, deu 276 tokens no GLM 5.3 e 229 no Qwen3.8 27B. Isso é 276 / 117 x 100 = 235,9 contra 229 / 117 x 100 = 195,7 tokens a cada 100 palavras. A tradução em inglês desse chat custou 202 e 208 tokens, quase o mesmo.

## Na BroadNet Inference

Na BroadNet você não escolhe o tokenizer; cada modelo usa o seu. Compare as contagens do seu texto real no [contador de tokens em árabe](https://broadrouter.com/tools/arabic-token-counter/) antes de escolher um modelo para tráfego em árabe, e leia [tokens por palavra em árabe e inglês](https://broadrouter.com/pt/blog/tokens-per-word-arabic-english/) para a tabela completa. Lembre que o preço é definido pela contagem de [tokens](https://broadrouter.com/pt/glossary/token/), não pela contagem de palavras.

## Perguntas frequentes

### Quem inventou o BPE para modelos de linguagem?

O BPE começou como um algoritmo de compressão de dados. Sennrich, Haddow e Birch o adaptaram em 2015 para dividir palavras raras em subpalavras na tradução automática neural, e os tokenizers de LLM nasceram desse trabalho.

### O que é BPE em nível de byte?

Um tokenizer BPE cujo vocabulário base são os 256 valores possíveis de um byte, em vez de caracteres, de modo que qualquer texto, em qualquer escrita, pode ser codificado sem token desconhecido. O GPT-2 usava isso com 50.257 entradas.

### Por que o BPE gera mais tokens para árabe do que para inglês?

As junções são aprendidas com os dados de treinamento. Se um tokenizer viu menos árabe, menos pares em árabe foram juntados, e as palavras árabes se quebram em mais pedaços.

## Veja também

-   [Tokenizer (tokenizador)](https://broadrouter.com/pt/glossary/tokenizer/) (termo)
-   [Tamanho do vocabulário (vocabulary size)](https://broadrouter.com/pt/glossary/vocabulary-size/) (termo)
-   [Token](https://broadrouter.com/pt/glossary/token/) (termo)
-   [Janela de contexto (context window)](https://broadrouter.com/pt/glossary/context-window/) (termo)
-   [Tokens por palavra em árabe vs inglês: por que o árabe custa mais](https://broadrouter.com/pt/blog/tokens-per-word-arabic-english/) (artigo)
-   [Como contar tokens antes de enviar uma requisição a um LLM](https://broadrouter.com/pt/blog/count-tokens-before-sending/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-bpe&utm_content=page-cta) ·

**Fontes**

-   [Sennrich, Haddow e Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (verificado em 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, algoritmos de tokenização (BPE e BPE em nível de byte) (verificado em 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
