El tamaño de vocabulario le dice cuántos fragmentos de texto distintos puede representar un modelo con un solo token.
Cómo funciona
El vocabulario de un tokenizador BPE son sus símbolos base más cada fusión que aprendió. La documentación de Hugging Face pone como ejemplo el GPT original: 478 tokens base + 40,000 fusiones = 40,478. Quien construye el tokenizador elige el tamaño objetivo antes del entrenamiento.
Leímos los vocabularios del tokenizer.json fijado de cada modelo en Hugging Face el 2026-11-14:
| Tokenizador | Entradas del vocabulario | IDs totales incl. tokens especiales |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (base de Google) | 262,144 | 262,144 |
| OpenAI o200k_base (referencia) | 199,998 | 200,019 |
La ficha del modelo Gemma 4 indica un vocabulario de 262K, lo que coincide. La ficha de Qwen3.8 lista un tamaño de embedding de 248,320 “padded” (traducción: con relleno), mayor que los 248,077 IDs que realmente se usan.
Por qué importa
Para quien usa una API, el tamaño de vocabulario es una pista indirecta del costo por palabra. Lo que cuenta es con qué texto se entrenaron las fusiones. Compare los tokens por cada 100 palabras para las mismas 39,037 palabras de árabe estándar moderno en nuestro conjunto de datos de tokenizadores:
- DeepSeek V4.1 Flash, 128,000 entradas: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154,820 entradas: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248,044 entradas: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262,144 entradas: 79,120 / 39,037 x 100 = 202.7
GLM 5.3 tiene más entradas que DeepSeek, pero usa más tokens con este texto. Gemma tiene la mayor cantidad de entradas, pero no es el más compacto. Para prosa en inglés, los cinco quedan entre 127 y 132 tokens por cada 100 palabras, así que ahí el tamaño de vocabulario apenas importa.
La regla: mida su propio texto con el tokenizador del modelo en lugar de deducir el costo a partir del número del vocabulario.
En BroadNet Inference
BroadNet no publica tamaños de vocabulario; las cifras anteriores vienen de los repositorios públicos de los modelos. La fila de Gemma usa el tokenizador base de Google, que suponemos que conserva la versión Gemma 4 VL 26B de BroadNet. Para ver el efecto en sus propios prompts, use el contador de tokens, y para elegir modelo en árabe lea cómo elegir un LLM para árabe junto con el estudio de tokens por palabra.