BroadRouter

Cómo contar tokens antes de enviar una petición a un LLM

Por el equipo de BroadNet Inference · 5 min de lectura · Publicado · Actualizado

Cuente los tokens con el tokenizador del modelo que llama cuando sea público; si no, calibre una proporción de caracteres por token a partir del campo usage de peticiones reales, por idioma y tipo de contenido. Añada un margen del 10 al 20 por ciento y compruebe que los tokens del prompt más max_tokens caben en la ventana de contexto, dejando espacio a los tokens de razonamiento.

Necesita contar los tokens antes de enviar una petición por tres motivos: para no salirse de la ventana de contexto, para elegir un max_tokens razonable y para estimar el costo. Los recuentos exactos solo salen del tokenizador del propio modelo; las buenas estimaciones salen de la calibración. Este artículo muestra ambas cosas con mediciones reales.

¿Por qué cambia el número de tokens entre modelos?

Un tokenizador divide el texto en piezas de un vocabulario fijo, y cada familia de modelos entrena el suyo. Un vocabulario más grande, o entrenado con más texto de un idioma concreto, produce menos tokens para ese idioma. Por eso «¿cuántos tokens tiene este prompt?» tiene una respuesta distinta para cada modelo.

Medimos el mismo mensaje breve de atención al cliente, traducido a cuatro idiomas, además de una pequeña función de Python y un objeto JSON de factura. Los recuentos de OpenAI salen de tiktoken (cl100k_base, de la época de GPT-4, y o200k_base, de la época de GPT-4o). Los de los modelos abiertos salen de los archivos de tokenizador que cada familia publica en Hugging Face, contados sin la plantilla de chat, el 14 de noviembre de 2026.

Texto (mismo significado) Caracteres cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
Inglés, 31 palabras 173 37 37 37 38 39 39
Español 160 47 40 50 45 43 42
Árabe 142 102 46 55 58 48 49
Chino 54 51 37 34 35 36 38
Función de Python 94 33 33 35 33 35 38
JSON de factura 140 59 60 63 60 72 72

Hay una sola muestra por fila, así que tome las cifras como ilustración, no como benchmark. Aun así, se sostienen tres lecciones. La generación del tokenizador importa: el texto árabe se redujo a menos de la mitad de cl100k_base a o200k_base. Los modelos abiertos también difieren entre sí: el mismo texto árabe fue de 48 a 58 tokens, y el JSON de 60 a 72. Y el contenido estructurado es denso en tokens en todas partes: el JSON rondó los 2 caracteres por token en todos los tokenizadores.

Puede repetirlo con su propio texto en el contador de tokens gratuito, o con los contadores por familia para DeepSeek, Qwen y GPT. Para ver cuánto ahorra un cambio en un prompt, compare ambas versiones en el comparador de tokens de prompts. Por qué el árabe en concreto cuesta más tokens, medido con textos más largos, se explica en tokens por palabra en árabe frente a inglés.

¿Cómo se cuentan los tokens con exactitud?

Si el tokenizador del modelo es público, cárguelo y cuente en local. Para los modelos de OpenAI:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

En las familias de pesos abiertos, el tokenizador suele publicarse junto al modelo en Hugging Face y se carga con AutoTokenizer.from_pretrained(...). Dos salvedades: la plantilla de chat añade tokens para los roles y separadores, y la versión desplegada por un proveedor de API puede diferir de los archivos públicos. La referencia de la API de BroadNet no documenta un endpoint para contar tokens ni el tokenizador de cada modelo, así que el tokenizador público da una estimación cercana y la cifra exacta es usage.prompt_tokens después de la llamada.

¿Cómo se estiman los tokens si el tokenizador no es público?

Calibre una vez por modelo y luego estime en local:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

Use 20 muestras reales o más por tipo de contenido (sus prompts reales, no lorem ipsum). La petición base de una sola palabra descuenta la sobrecarga fija de la plantilla de chat, que estimate vuelve a sumar como overhead; ajústela a la base que haya medido. Calibre con el modelo más barato de BroadNet solo si es el que va a llamar: las proporciones de Gemma 4 VL 26B no se trasladan a DeepSeek V4.1 Flash. Las imágenes también se facturan como tokens de entrada, y las más grandes usan más, así que calíbrelas aparte según la resolución.

¿Qué márgenes usar para max_tokens y el contexto?

La ventana cubre el prompt y la salida. En los modelos de razonamiento, la salida incluye el pensamiento oculto, que se informa como tokens de razonamiento. Presupueste así:

  1. Estimación del prompt = recuento calibrado × 1.15 (un margen de seguridad del 15 por ciento).
  2. Presupuesto de respuesta = la respuesta más larga que acepte.
  3. Presupuesto de razonamiento = en los modelos que piensan, al menos 1,000 tokens; la documentación de BroadNet recomienda al menos 1,000 o reasoning_effort: "low", porque un límite pequeño puede devolver una respuesta vacía.
  4. max_tokens = presupuesto de respuesta + presupuesto de razonamiento.
  5. Comprobación: estimación del prompt + max_tokens ≤ ventana de contexto. Si no se cumple, recorte el prompt, no la respuesta.

Ventanas de contexto en BroadNet Inference, según el archivo de precios publicado:

Modelo Ventana de contexto Techo práctico del prompt con 16K de salida y 15% de margen
DeepSeek V4.1 Flash 1,048,576 unos 897,000
GLM 5.3 1,048,576 unos 897,000
Qwen3.8 27B 262,144 unos 213,000
Gemma 4 VL 26B 32,768 unos 14,000

La columna del techo es (ventana − 16,384) ÷ 1.15, redondeado hacia abajo. Cambie 16,384 por su propio max_tokens.

¿Qué falla en las estimaciones de tokens?

  • Contar palabras en lugar de tokens. La regla de 0.75 palabras por token es para el inglés. Nuestra muestra árabe de 29 palabras ocupó entre 46 y 102 tokens según el tokenizador.
  • Olvidar las herramientas y el prompt de sistema. Los esquemas de herramientas son JSON, que es denso en tokens. Cuéntelos como parte del prompt.
  • Suponer un truncado silencioso. Algunas herramientas descartan mensajes antiguos sin avisarle. BroadNet afirma que no recorta su contexto, así que compruebe el tamaño antes de enviar en lugar de confiar en que el servidor lo corte. La calculadora de ventana de contexto hace la comprobación por usted.
  • Ignorar el crecimiento del historial. En un chat o un bucle de agente, el prompt crece en cada turno. Vuelva a comprobar el presupuesto en cada llamada, no una vez por sesión. Un historial estable además se cachea mejor; vea estructura del prompt para la caché.

Si trabaja en árabe, el tokenizador es un motivo más para probar los modelos con su propio texto; cómo elegir un LLM para árabe cubre el resto. Para convertir recuentos de tokens en una factura mensual, vea cómo estimar el costo de una API de LLM antes del lanzamiento.

Dónde encaja BroadNet Inference

BroadNet Inference devuelve en cada respuesta prompt_tokens, completion_tokens y, cuando el modelo los informa, los recuentos de tokens en caché y de razonamiento: todo lo que necesita para calibrar. No publica un endpoint de recuento ni tokenizadores por modelo, así que los recuentos previos al envío son estimaciones. El trabajo con contexto largo en los modelos de 1M de tokens se trata en la guía de la ventana de contexto, y los precios por 1M de tokens están en la página de precios.

Preguntas frecuentes

¿Cuántos tokens tiene una palabra?

En el conjunto de datos de tokenizadores de BroadRouter, que agrupa cinco tokenizadores (los de los cuatro modelos de chat de BroadNet y o200k_base de OpenAI; la tabla de ejemplo del artículo añade cl100k_base), 1,000 palabras en inglés son unos 1,290 tokens, es decir, unos 1.29 tokens por palabra. La regla habitual de 0.75 palabras por token se acerca bastante para la prosa en inglés. El árabe, otras escrituras no latinas y el código usan más tokens por palabra. Mida su propio texto con el modelo que llama.

¿Puedo usar tiktoken para contar tokens de DeepSeek, Qwen o Gemma?

Solo como estimación aproximada. tiktoken implementa las codificaciones de OpenAI. Las demás familias de modelos traen sus propios tokenizadores, a menudo en Hugging Face, y los recuentos difieren. Calibre con el campo usage.

¿Hay una herramienta gratuita para contar tokens de DeepSeek, Qwen, GLM o Gemma?

Sí. El contador de tokens gratuito de BroadRouter ejecuta en su navegador los tokenizadores publicados de estas familias, así que el texto no sale de su equipo. Tome el recuento como una estimación de lo que informará la API, porque las plantillas de chat añaden algunos tokens.

¿Qué pasa si mi prompt es más largo que la ventana de contexto?

La mayoría de las APIs devuelven un error. Algunas herramientas recortan los mensajes antiguos sin avisar. BroadNet no recorta su contexto, así que compruebe prompt más max_tokens frente a la ventana antes de enviar.

¿Cuánto margen debo dejar en max_tokens?

Estime la respuesta más larga que espera, sume el presupuesto de razonamiento en los modelos que piensan y deje libre entre el 10 y el 20 por ciento de la ventana para el error de estimación.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity