---
title: "¿Qué es byte pair encoding (BPE) en los tokenizadores LLM?"
description: "BPE construye el vocabulario de un tokenizador fusionando los pares de símbolos más frecuentes. Cómo funciona BPE a nivel de byte y por qué el árabe usa más tokens."
url: https://broadrouter.com/es/glossary/bpe/
lang: es
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/glossary/bpe/) (actualizado el 2026-11-16).

# Byte pair encoding (BPE)

Actualizado 2026-11-16

Byte pair encoding (BPE) es un algoritmo de tokenización en subpalabras que parte de caracteres o bytes individuales y fusiona repetidamente el par adyacente más frecuente en una nueva entrada del vocabulario, hasta alcanzar un tamaño de vocabulario objetivo. La mayoría de los tokenizadores de LLM actuales usan BPE o una variante a nivel de byte.

También llamado: byte pair encoding, codificación por pares de bytes, BPE a nivel de byte, tokenización BPE, BPE, byte-pair encoding, byte-level BPE, BPE tokenization

Byte pair encoding es la receta detrás de la mayoría de los [tokenizadores](https://broadrouter.com/es/glossary/tokenizer/) de LLM: aprender qué fragmentos de texto aparecen juntos a menudo y dar a cada fragmento frecuente su propio token.

## Cómo funciona

Sennrich, Haddow y Birch (2015) aplicaron BPE, originalmente un método de compresión, a la traducción. Su idea era que los nombres, las palabras compuestas y las palabras raras pueden construirse con unidades más pequeñas, así que un modelo no necesita una entrada de diccionario para cada palabra.

Entrenar un vocabulario BPE sigue un ciclo sencillo, que la documentación de Hugging Face muestra paso a paso:

1.  Cuente la frecuencia de las palabras en un corpus de entrenamiento, por ejemplo `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  Empiece con caracteres individuales: `b g h n p s u`.
3.  Busque el par adyacente más frecuente. `u` + `g` aparece 20 veces, así que añada `ug`.
4.  Repita. `u` + `n` (16 veces) se convierte en `un`.
5.  Deténgase en el [tamaño de vocabulario](https://broadrouter.com/es/glossary/vocabulary-size/) objetivo, que es igual a los símbolos base más el número de fusiones.

Para codificar texto nuevo, el tokenizador aplica las fusiones aprendidas en el mismo orden. La codificación es determinista: el mismo texto siempre da los mismos tokens.

**BPE a nivel de byte** parte de los 256 valores de byte en lugar de caracteres. Así, cualquier cadena posible se puede codificar. El vocabulario de GPT-2 era de 256 bytes + 50,000 fusiones + 1 token de fin de texto = 50,257.

## Por qué importa

BPE explica varias cosas que se ven en una factura de API:

-   **Las palabras comunes en inglés son un solo token**, porque sus pares se fusionaron pronto.
-   **Las palabras raras, las erratas y los alfabetos no latinos se dividen en más tokens.** En UTF-8 una letra árabe ocupa 2 bytes, así que un tokenizador a nivel de byte que aprendió pocas fusiones árabes gasta más tokens por palabra.
-   **Los conteos cambian según el modelo.** Cada modelo aprende sus propias fusiones a partir de sus propios datos.

Nuestra medición del 2026-11-14 muestra el efecto. El mismo chat en dialecto del Golfo, de 117 palabras, ocupó 276 tokens en GLM 5.3 y 229 en Qwen3.8 27B. Es decir, 276 / 117 x 100 = 235.9 frente a 229 / 117 x 100 = 195.7 tokens por cada 100 palabras. La traducción al inglés de ese chat costó 202 y 208 tokens, casi lo mismo.

## En BroadNet Inference

En BroadNet no se elige el tokenizador; cada modelo usa el suyo. Compare los conteos de su texto real en el [contador de tokens en árabe](https://broadrouter.com/tools/arabic-token-counter/) antes de elegir un modelo para tráfico en árabe, y lea [tokens por palabra en árabe e inglés](https://broadrouter.com/es/blog/tokens-per-word-arabic-english/) para ver la tabla completa. Recuerde que el precio lo fija el número de [tokens](https://broadrouter.com/es/glossary/token/), no el número de palabras.

## Preguntas frecuentes

### ¿Quién inventó BPE para los modelos de lenguaje?

BPE nació como algoritmo de compresión de datos. Sennrich, Haddow y Birch lo adaptaron en 2015 para dividir palabras raras en subpalabras en la traducción automática neuronal, y de ese trabajo surgieron los tokenizadores de LLM.

### ¿Qué es BPE a nivel de byte?

Un tokenizador BPE cuyo vocabulario base son los 256 valores posibles de un byte en lugar de caracteres, de modo que cualquier texto, en cualquier sistema de escritura, puede codificarse sin un token desconocido. GPT-2 lo usó con 50,257 entradas.

### ¿Por qué BPE produce más tokens en árabe que en inglés?

Las fusiones se aprenden de los datos de entrenamiento. Si un tokenizador vio menos árabe, fusionó menos pares árabes, y las palabras árabes se dividen en más piezas.

## Vea también

-   [Tokenizador (tokenizer)](https://broadrouter.com/es/glossary/tokenizer/) (término)
-   [Tamaño de vocabulario (vocabulary size)](https://broadrouter.com/es/glossary/vocabulary-size/) (término)
-   [Token](https://broadrouter.com/es/glossary/token/) (término)
-   [Ventana de contexto (context window)](https://broadrouter.com/es/glossary/context-window/) (término)
-   [Tokens por palabra en árabe vs inglés: por qué el árabe cuesta más](https://broadrouter.com/es/blog/tokens-per-word-arabic-english/) (artículo)
-   [Cómo contar tokens antes de enviar una petición a un LLM](https://broadrouter.com/es/blog/count-tokens-before-sending/) (artículo)

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-bpe&utm_content=page-cta) ·

**Fuentes**

-   [Sennrich, Haddow y Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (consultado el 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, algoritmos de tokenización (BPE y BPE a nivel de byte) (consultado el 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
