BroadRouter
Comenzar

Tokenizador (tokenizer)

Actualizado

Un tokenizador es el componente que convierte texto en la secuencia de IDs de token enteros que lee un modelo de lenguaje, y que vuelve a convertir en texto los IDs generados. Cada modelo trae su propio tokenizador, así que el mismo texto puede producir un número distinto de tokens en modelos distintos.

También llamado: tokenizador, tokenizer, tokenización, tokenizador de LLM, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Un tokenizador decide en cuántos tokens se convierte su texto y, por lo tanto, cuánto ocupa de la ventana de contexto y de la factura.

Cómo funciona

Un tokenizador tiene dos partes: un vocabulario fijo que asigna fragmentos de texto a IDs enteros, y reglas para dividir el texto en esos fragmentos. La documentación de Hugging Face describe los algoritmos comunes como métodos de subpalabras: las palabras frecuentes se mantienen enteras y las raras se dividen en fragmentos conocidos más pequeños, así que “annoyingly” puede convertirse en “annoying” + “ly”. La mayoría de los LLM actuales usan byte pair encoding o una variante.

La codificación sigue tres pasos:

  1. Pretokenizar. Dividir por espacios, puntuación y dígitos.
  2. Asignar IDs a los fragmentos. Aplicar las fusiones aprendidas y buscar cada fragmento en el vocabulario.
  3. Añadir tokens especiales. La plantilla de chat envuelve los mensajes en marcadores de rol, que también cuentan.

La decodificación invierte el paso 2. En los modelos de pesos abiertos, todo esto vive en un archivo tokenizer.json del repositorio del modelo.

Por qué importa

Tokenizadores distintos dan conteos distintos para el mismo texto. Codificamos los textos del conjunto de datos con el tokenizador fijado de cada modelo (inglés: prosa de Wikipedia y Project Gutenberg; árabe: 2,009 oraciones de FLORES-200 más tres introducciones de Wikipedia; medido el 2026-11-15; tokens por 100 palabras = tokens / palabras x 100):

Texto DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Prosa en inglés, 1,183 palabras 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
Árabe estándar, 39,037 palabras 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

En inglés los valores son parecidos en todos. En árabe no: GLM 5.3 necesita 95,230 / 71,424 = 1.33 veces los tokens que necesita Qwen3.8 27B para el mismo texto. Con un precio por token, esa brecha es una brecha de costo, y además cambia cuánto árabe cabe en la ventana de contexto. La columna de Gemma usa el tokenizador base de Gemma 4 de Google; la build de BroadNet se basa en ese modelo, y suponemos que conserva el tokenizador. Las cifras completas por modelo, con descargas en CSV y JSON, están en el conjunto de datos de eficiencia de tokenizadores.

En BroadNet Inference

BroadNet factura el chat de pago por uso por tokens de entrada y de salida e informa los conteos en el objeto usage de cada respuesta, así que la cifra que manda es la que devuelve la API. Para estimar antes de enviar, pegue el texto en el contador de tokens o en el contador de tokens para árabe, que cargan los mismos archivos de tokenizador fijados. La medición completa está en tokens por palabra en árabe e inglés.

Errores comunes

  • Contar con el tokenizador de un modelo y facturar con otro. Use el tokenizador del modelo al que llama.
  • Olvidar la plantilla de chat. Los marcadores de rol y los prompts de sistema añaden tokens que el conteo de texto plano no ve.

Preguntas frecuentes

¿Todos los LLM usan el mismo tokenizador?

No. Cada familia de modelos entrena el suyo, con su propio vocabulario. En nuestro conjunto de datos de tokenizadores, las mismas 39,037 palabras en árabe fueron 71,424 tokens en Qwen3.8 27B y 95,230 en GLM 5.3.

¿Dónde encuentro el tokenizador de un modelo?

En los modelos de pesos abiertos es el archivo tokenizer.json del repositorio del modelo en Hugging Face. Cárguelo con la biblioteca tokenizers de Hugging Face para contar tokens con exactitud.

¿Tokenizador y tokenización son lo mismo?

La tokenización es el proceso de dividir el texto en tokens. El tokenizador es el archivo y el código que lo hacen para un modelo concreto.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity