BroadRouter
Comenzar

Token

Actualizado

Un token es la unidad de texto que un modelo de lenguaje lee y escribe: una palabra, parte de una palabra, un signo de puntuación o una secuencia de bytes producida por el tokenizador del modelo. Las APIs de LLM cuentan, limitan y normalmente facturan el uso en tokens.

También llamado: tokens, token de LLM, tokenización, qué es un token, LLM token, tokenization

Los modelos no ven letras ni palabras. Ven una secuencia de números enteros, cada uno de los cuales representa una pieza de texto de un vocabulario fijo. Esas piezas son los tokens.

Cómo funciona

Un tokenizador divide el texto antes de que el modelo lo lea. La mayoría de los modelos modernos usa métodos de subpalabras, como byte pair encoding (BPE). Las palabras comunes quedan enteras; las poco frecuentes se dividen en partes. El ejemplo de Hugging Face: annoyingly puede convertirse en annoying y ly.

El BPE a nivel de bytes parte de 256 valores de byte, así que puede codificar cualquier entrada, incluidos emojis y todos los sistemas de escritura.

Para el inglés, la regla práctica de OpenAI es de unos 4 caracteres o 0.75 palabras por token, así que 100 tokens son aproximadamente 75 palabras. Nuestra propia medición de prosa en inglés con cinco tokenizadores actuales dio unos 129 tokens por cada 100 palabras, o 1,290 tokens por cada 1,000 palabras, cerca de la regla práctica. Ambas proporciones son solo estimaciones:

  • otros idiomas, incluido el árabe, suelen dividirse en más tokens por palabra en tokenizadores entrenados sobre todo con inglés;
  • el código, los números y los espacios se tokenizan de forma distinta a la prosa;
  • cada familia de modelos tiene su propio vocabulario.

Para estimar antes de enviar, pegue el texto en el contador de tokens. La API informa el conteo real en el bloque usage de cada respuesta:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Por qué importa

Los tokens son la unidad detrás de casi todos los números de una API de LLM:

El mismo texto puede ser una cantidad distinta de tokens en modelos distintos, sobre todo en árabe. El conjunto de datos de eficiencia de tokenizadores mide los tokens por cada 100 palabras de cada modelo en inglés, árabe y código.

En BroadNet Inference

Los modelos de chat tienen precio por millón de tokens. En DeepSeek V4.1 Flash, la entrada nueva cuesta $0.175, la entrada en caché cuesta $0.0055 y la salida cuesta $0.52. BroadNet Gemma 4 VL 26B cuesta $0.10 de entrada y $0.22 de salida. Las tarifas de cada modelo están en la página de precios.

En un plan de tarifa plana, los tokens no se miden en absoluto: una sesión de DeepSeek V4.1 Flash no tiene medidor de tokens, y el límite práctico es la velocidad, unos 100 tokens por segundo. Los modelos de voz a texto cobran por minuto de audio, no por token.

Errores comunes

  • Estimar el costo a partir de la cantidad de palabras en textos que no están en inglés. Mida con usage sobre muestras reales.
  • Olvidar que los modelos de razonamiento también gastan tokens de salida en pensar. Consulte tokens de razonamiento.

Preguntas frecuentes

¿Cuántas palabras son 1,000 tokens?

En prosa en inglés, unas 775 palabras según la medición propia de BroadRouter con cinco tokenizadores (1,000 palabras en inglés dieron unos 1,290 tokens). La regla práctica de OpenAI, un token equivale a unas tres cuartas partes de una palabra, da 750. Otros idiomas, el código y los tokenizadores de otros modelos dan proporciones distintas, así que cuente con el tokenizador del propio modelo cuando importe.

¿Las imágenes y el audio cuentan como tokens?

Las imágenes enviadas a un modelo de visión se convierten en tokens de entrada, y las imágenes más grandes suelen usar más. Las APIs de voz a texto suelen cobrar por minuto de audio en lugar de por token.

¿Por qué el mismo texto usa una cantidad distinta de tokens en dos modelos?

Cada familia de modelos tiene su propio tokenizador y vocabulario, así que la misma oración puede dividirse en una cantidad distinta de piezas.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity