BroadRouter
Comenzar

Byte pair encoding (BPE)

Actualizado

Byte pair encoding (BPE) es un algoritmo de tokenización en subpalabras que parte de caracteres o bytes individuales y fusiona repetidamente el par adyacente más frecuente en una nueva entrada del vocabulario, hasta alcanzar un tamaño de vocabulario objetivo. La mayoría de los tokenizadores de LLM actuales usan BPE o una variante a nivel de byte.

También llamado: byte pair encoding, codificación por pares de bytes, BPE a nivel de byte, tokenización BPE, BPE, byte-pair encoding, byte-level BPE, BPE tokenization

Byte pair encoding es la receta detrás de la mayoría de los tokenizadores de LLM: aprender qué fragmentos de texto aparecen juntos a menudo y dar a cada fragmento frecuente su propio token.

Cómo funciona

Sennrich, Haddow y Birch (2015) aplicaron BPE, originalmente un método de compresión, a la traducción. Su idea era que los nombres, las palabras compuestas y las palabras raras pueden construirse con unidades más pequeñas, así que un modelo no necesita una entrada de diccionario para cada palabra.

Entrenar un vocabulario BPE sigue un ciclo sencillo, que la documentación de Hugging Face muestra paso a paso:

  1. Cuente la frecuencia de las palabras en un corpus de entrenamiento, por ejemplo hug 10, pug 5, pun 12, bun 4, hugs 5.
  2. Empiece con caracteres individuales: b g h n p s u.
  3. Busque el par adyacente más frecuente. u + g aparece 20 veces, así que añada ug.
  4. Repita. u + n (16 veces) se convierte en un.
  5. Deténgase en el tamaño de vocabulario objetivo, que es igual a los símbolos base más el número de fusiones.

Para codificar texto nuevo, el tokenizador aplica las fusiones aprendidas en el mismo orden. La codificación es determinista: el mismo texto siempre da los mismos tokens.

BPE a nivel de byte parte de los 256 valores de byte en lugar de caracteres. Así, cualquier cadena posible se puede codificar. El vocabulario de GPT-2 era de 256 bytes + 50,000 fusiones + 1 token de fin de texto = 50,257.

Por qué importa

BPE explica varias cosas que se ven en una factura de API:

  • Las palabras comunes en inglés son un solo token, porque sus pares se fusionaron pronto.
  • Las palabras raras, las erratas y los alfabetos no latinos se dividen en más tokens. En UTF-8 una letra árabe ocupa 2 bytes, así que un tokenizador a nivel de byte que aprendió pocas fusiones árabes gasta más tokens por palabra.
  • Los conteos cambian según el modelo. Cada modelo aprende sus propias fusiones a partir de sus propios datos.

Nuestra medición del 2026-11-14 muestra el efecto. El mismo chat en dialecto del Golfo, de 117 palabras, ocupó 276 tokens en GLM 5.3 y 229 en Qwen3.8 27B. Es decir, 276 / 117 x 100 = 235.9 frente a 229 / 117 x 100 = 195.7 tokens por cada 100 palabras. La traducción al inglés de ese chat costó 202 y 208 tokens, casi lo mismo.

En BroadNet Inference

En BroadNet no se elige el tokenizador; cada modelo usa el suyo. Compare los conteos de su texto real en el contador de tokens en árabe antes de elegir un modelo para tráfico en árabe, y lea tokens por palabra en árabe e inglés para ver la tabla completa. Recuerde que el precio lo fija el número de tokens, no el número de palabras.

Preguntas frecuentes

¿Quién inventó BPE para los modelos de lenguaje?

BPE nació como algoritmo de compresión de datos. Sennrich, Haddow y Birch lo adaptaron en 2015 para dividir palabras raras en subpalabras en la traducción automática neuronal, y de ese trabajo surgieron los tokenizadores de LLM.

¿Qué es BPE a nivel de byte?

Un tokenizador BPE cuyo vocabulario base son los 256 valores posibles de un byte en lugar de caracteres, de modo que cualquier texto, en cualquier sistema de escritura, puede codificarse sin un token desconocido. GPT-2 lo usó con 50,257 entradas.

¿Por qué BPE produce más tokens en árabe que en inglés?

Las fusiones se aprenden de los datos de entrenamiento. Si un tokenizador vio menos árabe, fusionó menos pares árabes, y las palabras árabes se dividen en más piezas.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity