Byte pair encoding es la receta detrás de la mayoría de los tokenizadores de LLM: aprender qué fragmentos de texto aparecen juntos a menudo y dar a cada fragmento frecuente su propio token.
Cómo funciona
Sennrich, Haddow y Birch (2015) aplicaron BPE, originalmente un método de compresión, a la traducción. Su idea era que los nombres, las palabras compuestas y las palabras raras pueden construirse con unidades más pequeñas, así que un modelo no necesita una entrada de diccionario para cada palabra.
Entrenar un vocabulario BPE sigue un ciclo sencillo, que la documentación de Hugging Face muestra paso a paso:
- Cuente la frecuencia de las palabras en un corpus de entrenamiento, por ejemplo
hug10,pug5,pun12,bun4,hugs5. - Empiece con caracteres individuales:
b g h n p s u. - Busque el par adyacente más frecuente.
u+gaparece 20 veces, así que añadaug. - Repita.
u+n(16 veces) se convierte enun. - Deténgase en el tamaño de vocabulario objetivo, que es igual a los símbolos base más el número de fusiones.
Para codificar texto nuevo, el tokenizador aplica las fusiones aprendidas en el mismo orden. La codificación es determinista: el mismo texto siempre da los mismos tokens.
BPE a nivel de byte parte de los 256 valores de byte en lugar de caracteres. Así, cualquier cadena posible se puede codificar. El vocabulario de GPT-2 era de 256 bytes + 50,000 fusiones + 1 token de fin de texto = 50,257.
Por qué importa
BPE explica varias cosas que se ven en una factura de API:
- Las palabras comunes en inglés son un solo token, porque sus pares se fusionaron pronto.
- Las palabras raras, las erratas y los alfabetos no latinos se dividen en más tokens. En UTF-8 una letra árabe ocupa 2 bytes, así que un tokenizador a nivel de byte que aprendió pocas fusiones árabes gasta más tokens por palabra.
- Los conteos cambian según el modelo. Cada modelo aprende sus propias fusiones a partir de sus propios datos.
Nuestra medición del 2026-11-14 muestra el efecto. El mismo chat en dialecto del Golfo, de 117 palabras, ocupó 276 tokens en GLM 5.3 y 229 en Qwen3.8 27B. Es decir, 276 / 117 x 100 = 235.9 frente a 229 / 117 x 100 = 195.7 tokens por cada 100 palabras. La traducción al inglés de ese chat costó 202 y 208 tokens, casi lo mismo.
En BroadNet Inference
En BroadNet no se elige el tokenizador; cada modelo usa el suyo. Compare los conteos de su texto real en el contador de tokens en árabe antes de elegir un modelo para tráfico en árabe, y lea tokens por palabra en árabe e inglés para ver la tabla completa. Recuerde que el precio lo fija el número de tokens, no el número de palabras.