---
title: "¿Qué es un tokenizador? Cómo un LLM divide texto en tokens"
description: "Un tokenizador convierte texto en los IDs de token que lee un LLM. Cómo funciona y por qué el mismo texto da otro conteo en cada modelo, con datos en árabe."
url: https://broadrouter.com/es/glossary/tokenizer/
lang: es
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/glossary/tokenizer/) (actualizado el 2026-11-16).

# Tokenizador (tokenizer)

Actualizado 2026-11-16

Un tokenizador es el componente que convierte texto en la secuencia de IDs de token enteros que lee un modelo de lenguaje, y que vuelve a convertir en texto los IDs generados. Cada modelo trae su propio tokenizador, así que el mismo texto puede producir un número distinto de tokens en modelos distintos.

También llamado: tokenizador, tokenizer, tokenización, tokenizador de LLM, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Un tokenizador decide en cuántos [tokens](https://broadrouter.com/es/glossary/token/) se convierte su texto y, por lo tanto, cuánto ocupa de la ventana de contexto y de la factura.

## Cómo funciona

Un tokenizador tiene dos partes: un vocabulario fijo que asigna fragmentos de texto a IDs enteros, y reglas para dividir el texto en esos fragmentos. La documentación de Hugging Face describe los algoritmos comunes como métodos de subpalabras: las palabras frecuentes se mantienen enteras y las raras se dividen en fragmentos conocidos más pequeños, así que “annoyingly” puede convertirse en “annoying” + “ly”. La mayoría de los LLM actuales usan [byte pair encoding](https://broadrouter.com/es/glossary/bpe/) o una variante.

La codificación sigue tres pasos:

1.  **Pretokenizar.** Dividir por espacios, puntuación y dígitos.
2.  **Asignar IDs a los fragmentos.** Aplicar las fusiones aprendidas y buscar cada fragmento en el vocabulario.
3.  **Añadir tokens especiales.** La plantilla de chat envuelve los mensajes en marcadores de rol, que también cuentan.

La decodificación invierte el paso 2. En los modelos de pesos abiertos, todo esto vive en un archivo `tokenizer.json` del repositorio del modelo.

## Por qué importa

Tokenizadores distintos dan conteos distintos para el mismo texto. Codificamos los textos del conjunto de datos con el tokenizador fijado de cada modelo (inglés: prosa de Wikipedia y Project Gutenberg; árabe: 2,009 oraciones de FLORES-200 más tres introducciones de Wikipedia; medido el 2026-11-15; tokens por 100 palabras = tokens / palabras x 100):

| Texto | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| Prosa en inglés, 1,183 palabras | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Árabe estándar, 39,037 palabras | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

En inglés los valores son parecidos en todos. En árabe no: GLM 5.3 necesita 95,230 / 71,424 = 1.33 veces los tokens que necesita Qwen3.8 27B para el mismo texto. Con un precio por token, esa brecha es una brecha de costo, y además cambia cuánto árabe cabe en la [ventana de contexto](https://broadrouter.com/es/glossary/context-window/). La columna de Gemma usa el tokenizador base de Gemma 4 de Google; la build de BroadNet se basa en ese modelo, y suponemos que conserva el tokenizador. Las cifras completas por modelo, con descargas en CSV y JSON, están en el [conjunto de datos de eficiencia de tokenizadores](https://broadrouter.com/data/tokenizer-efficiency/).

## En BroadNet Inference

BroadNet factura el chat de pago por uso por [tokens de entrada y de salida](https://broadrouter.com/es/glossary/input-and-output-tokens/) e informa los conteos en el objeto `usage` de cada respuesta, así que la cifra que manda es la que devuelve la API. Para estimar antes de enviar, pegue el texto en el [contador de tokens](https://broadrouter.com/tools/token-counter/) o en el [contador de tokens para árabe](https://broadrouter.com/tools/arabic-token-counter/), que cargan los mismos archivos de tokenizador fijados. La medición completa está en [tokens por palabra en árabe e inglés](https://broadrouter.com/es/blog/tokens-per-word-arabic-english/).

## Errores comunes

-   Contar con el tokenizador de un modelo y facturar con otro. Use el tokenizador del modelo al que llama.
-   Olvidar la plantilla de chat. Los marcadores de rol y los prompts de sistema añaden tokens que el conteo de texto plano no ve.

## Preguntas frecuentes

### ¿Todos los LLM usan el mismo tokenizador?

No. Cada familia de modelos entrena el suyo, con su propio vocabulario. En nuestro conjunto de datos de tokenizadores, las mismas 39,037 palabras en árabe fueron 71,424 tokens en Qwen3.8 27B y 95,230 en GLM 5.3.

### ¿Dónde encuentro el tokenizador de un modelo?

En los modelos de pesos abiertos es el archivo tokenizer.json del repositorio del modelo en Hugging Face. Cárguelo con la biblioteca tokenizers de Hugging Face para contar tokens con exactitud.

### ¿Tokenizador y tokenización son lo mismo?

La tokenización es el proceso de dividir el texto en tokens. El tokenizador es el archivo y el código que lo hacen para un modelo concreto.

## Vea también

-   [Token](https://broadrouter.com/es/glossary/token/) (término)
-   [Byte pair encoding (BPE)](https://broadrouter.com/es/glossary/bpe/) (término)
-   [Tamaño de vocabulario (vocabulary size)](https://broadrouter.com/es/glossary/vocabulary-size/) (término)
-   [Tokens de entrada y de salida (input and output tokens)](https://broadrouter.com/es/glossary/input-and-output-tokens/) (término)
-   [Ventana de contexto (context window)](https://broadrouter.com/es/glossary/context-window/) (término)
-   [Plantilla de chat (chat template)](https://broadrouter.com/es/glossary/chat-template/) (término)
-   [Normalización Unicode (Unicode normalization)](https://broadrouter.com/es/glossary/unicode-normalization/) (término)
-   [Usar el SDK de OpenAI para Python con BroadNet Inference](https://broadrouter.com/es/guides/openai-python-sdk/) (guía)
-   [Tokens por palabra en árabe vs inglés: por qué el árabe cuesta más](https://broadrouter.com/es/blog/tokens-per-word-arabic-english/) (artículo)
-   [Cómo contar tokens antes de enviar una petición a un LLM](https://broadrouter.com/es/blog/count-tokens-before-sending/) (artículo)
-   [Ingeniería de prompts en árabe: registro, RTL, cifras y texto mixto](https://broadrouter.com/es/blog/arabic-prompt-engineering/) (artículo)

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-tokenizer&utm_content=page-cta) ·

**Fuentes**

-   [Hugging Face Transformers, algoritmos de tokenización (consultado el 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Repositorio del modelo en Hugging Face, Qwen/Qwen3.8-27B (consultado el 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Repositorio del modelo en Hugging Face, deepseek-ai/DeepSeek-V4.1-Flash (consultado el 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Repositorio del modelo en Hugging Face, google/gemma-4-26B-A4B-it (consultado el 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
