Un tokenizador decide en cuántos tokens se convierte su texto y, por lo tanto, cuánto ocupa de la ventana de contexto y de la factura.
Cómo funciona
Un tokenizador tiene dos partes: un vocabulario fijo que asigna fragmentos de texto a IDs enteros, y reglas para dividir el texto en esos fragmentos. La documentación de Hugging Face describe los algoritmos comunes como métodos de subpalabras: las palabras frecuentes se mantienen enteras y las raras se dividen en fragmentos conocidos más pequeños, así que “annoyingly” puede convertirse en “annoying” + “ly”. La mayoría de los LLM actuales usan byte pair encoding o una variante.
La codificación sigue tres pasos:
- Pretokenizar. Dividir por espacios, puntuación y dígitos.
- Asignar IDs a los fragmentos. Aplicar las fusiones aprendidas y buscar cada fragmento en el vocabulario.
- Añadir tokens especiales. La plantilla de chat envuelve los mensajes en marcadores de rol, que también cuentan.
La decodificación invierte el paso 2. En los modelos de pesos abiertos, todo esto vive en un archivo tokenizer.json del repositorio del modelo.
Por qué importa
Tokenizadores distintos dan conteos distintos para el mismo texto. Codificamos los textos del conjunto de datos con el tokenizador fijado de cada modelo (inglés: prosa de Wikipedia y Project Gutenberg; árabe: 2,009 oraciones de FLORES-200 más tres introducciones de Wikipedia; medido el 2026-11-15; tokens por 100 palabras = tokens / palabras x 100):
| Texto | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Prosa en inglés, 1,183 palabras | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Árabe estándar, 39,037 palabras | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
En inglés los valores son parecidos en todos. En árabe no: GLM 5.3 necesita 95,230 / 71,424 = 1.33 veces los tokens que necesita Qwen3.8 27B para el mismo texto. Con un precio por token, esa brecha es una brecha de costo, y además cambia cuánto árabe cabe en la ventana de contexto. La columna de Gemma usa el tokenizador base de Gemma 4 de Google; la build de BroadNet se basa en ese modelo, y suponemos que conserva el tokenizador. Las cifras completas por modelo, con descargas en CSV y JSON, están en el conjunto de datos de eficiencia de tokenizadores.
En BroadNet Inference
BroadNet factura el chat de pago por uso por tokens de entrada y de salida e informa los conteos en el objeto usage de cada respuesta, así que la cifra que manda es la que devuelve la API. Para estimar antes de enviar, pegue el texto en el contador de tokens o en el contador de tokens para árabe, que cargan los mismos archivos de tokenizador fijados. La medición completa está en tokens por palabra en árabe e inglés.
Errores comunes
- Contar con el tokenizador de un modelo y facturar con otro. Use el tokenizador del modelo al que llama.
- Olvidar la plantilla de chat. Los marcadores de rol y los prompts de sistema añaden tokens que el conteo de texto plano no ve.