BroadRouter

Presupuesto de tokens de un agente: adónde van los tokens del bucle

Por el equipo de BroadNet Inference · 5 min de lectura · Publicado

El bucle de un agente reenvía todo su contexto en cada llamada: prompt de sistema, definiciones de herramientas, historial, contenido de archivos y salida de herramientas, más el nuevo paso. La entrada suele superar muchas veces a la salida. Registre prompt_tokens, cached_tokens y completion_tokens por llamada, encuentre el bloque repetido más grande y luego recorte herramientas, limite su salida y reinicie las sesiones largas.

Un chat cuesta lo que usted escribe más lo que escribe el modelo. Un agente cuesta mucho más, porque llama al modelo decenas de veces y reenvía casi todo cada vez. Si quiere reducir ese costo, o simplemente dejar de chocar con la ventana de contexto, necesita saber qué parte de cada solicitud es la grande. Este artículo divide el bucle de un agente en cinco bloques, muestra cómo medir cada uno con los datos de uso de la propia API y enumera qué recortar primero.

¿Por qué un agente lo reenvía todo?

Las APIs de chat completions no guardan estado. El modelo no recuerda nada entre llamadas, así que el agente envía el contexto completo en cada paso. Una tarea de 40 pasos en la que cada llamada lleva 30,000 tokens lee 1.2 millones de tokens de entrada para producir quizá 40,000 tokens de salida. Esa proporción de 30 a 1 es la razón por la que los tokens de entrada y su precio en caché dominan la factura de los agentes.

¿Adónde van los tokens?

Bloque Qué es ¿Se repite en cada llamada? Causa típica
Prompt de sistema Instrucciones del agente, archivos de reglas, notas del proyecto Sí Archivos de reglas largos
Esquemas de herramientas Nombre, descripción y JSON Schema de cada herramienta Sí Herramientas integradas más cada servidor MCP
Historial Mensajes anteriores, llamadas a herramientas y resultados Sí, y crece Sesiones largas
Lecturas de archivos y salida de herramientas Contenido de archivos, logs de pruebas, resultados de búsqueda Sí, hasta que se eliminan Leer archivos completos, comandos verbosos
Salida Respuesta visible, llamadas a herramientas y razonamiento No Esfuerzo de razonamiento, reescribir archivos completos

Los dos primeros son una carga fija. Cursor escribió en septiembre de 2026 que el prompt de sistema y las definiciones de herramientas “had become one of the largest sources of spend that we fully control” (Traducción: se habían convertido en una de las mayores fuentes de gasto que controlamos por completo), y llamó a las lecturas de archivos “another large source of token spend” (Traducción: otra gran fuente de gasto de tokens). Sus cambios, entre ellos recortar unos dos tercios del prompt de sistema y cargar solo cuando hacen falta las herramientas usadas en menos del 20 % de las conversaciones, redujeron un 7 % el costo de tokens de sus usuarios. El equipo de VS Code de GitHub señaló los mismos dos costos en Copilot: el prefijo de prompt repetido y la carga de las definiciones de herramientas.

¿Cómo se mide?

No necesita un producto de trazabilidad. El bloque usage de cada respuesta basta.

  1. Active el uso. Con streaming, añada stream_options: {"include_usage": true}; el uso llega en el último chunk. Vea streaming.
  2. Registre por llamada: número de paso, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens y, cuando se informe, completion_tokens_details.reasoning_tokens.
  3. Mida la carga fija una vez. Envíe una solicitud con solo el prompt de sistema, las herramientas y la palabra “hi”. Su prompt_tokens es su mínimo.
  4. Mida la salida de una herramienta. Cuente los caracteres de cada resultado de herramienta antes de añadirlo. Dividir entre cuatro da un recuento aproximado de tokens en inglés; pegue una muestra en el contador de tokens gratuito para obtener la cifra exacta con el tokenizador de su modelo.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

Grafique prompt_tokens por paso. Una pendiente constante significa que el historial crece. Un salto repentino significa que un archivo o log grande entró al contexto. Un mínimo alto significa demasiadas herramientas.

En Aider, /tokens informa de lo que hay en el contexto actual, y /drop elimina archivos de él.

¿Qué recortar primero?

Ordene por tamaño multiplicado por repeticiones, no por lo que resulte más fácil:

  1. Herramientas sin uso. Cada esquema de herramienta viaja en cada llamada. La guía de OpenAI dice que las definiciones de funciones “are billed as input tokens” (Traducción: se facturan como tokens de entrada) y sugiere, como regla flexible, menos de 20 funciones al inicio de un turno. Desactive los servidores MCP que no use en esta tarea; la documentación de opencode dice claramente que las herramientas MCP consumen contexto del modelo.
  2. Salida de herramientas. Limite la salida de los comandos (las últimas 200 líneas de un log de pruebas, no 20,000). Devuelva los resultados de búsqueda como rutas y números de línea, y luego lea solo lo necesario.
  3. Lecturas de archivos. Lea la función, no el archivo. El mapa del repositorio de Aider usa un presupuesto por defecto de 1k tokens (--map-tokens) en lugar de archivos completos.
  4. Historial. Empiece una tarea nueva por cada cambio. Cuando una sesión deba continuar, sustituya los turnos antiguos por un resumen breve.
  5. Prompt de sistema. Elimine las reglas que el modelo ya sigue. Mantenga estable el resto.
  6. Salida. Pida diffs, no archivos completos. Ponga reasoning_effort en low para los pasos rutinarios. Los tokens de razonamiento se facturan como salida.

¿Por qué mantener estable el prefijo?

Los proveedores almacenan en caché un prefijo repetido y lo facturan a una tarifa más baja. En BroadNet Inference, DeepSeek V4.1 Flash factura la entrada en caché a $0.0055 por 1M de tokens y la entrada nueva a $0.175. GLM 5.3 factura $0.173 frente a $0.78. Una marca de tiempo en el prompt de sistema, o herramientas listadas en otro orden en cada llamada, rompen la caché a partir de ese punto. Ponga primero las partes estables, en un orden fijo, y al final las que cambian. Más en los tokens de entrada en caché, explicados; la calculadora de prompt caching muestra lo que ahorra una tasa de aciertos dada.

La caché reduce el precio del prefijo, pero no su tamaño. Los tokens en caché siguen llenando la ventana de contexto y siguen tardando en procesarse.

¿Cómo se ve el presupuesto calculado de un agente?

Tome la tarea de 40 pasos de arriba, con el 80 % de la entrada en caché:

Parte Tokens Se factura a
Entrada nueva 240,000 Precio de entrada
Entrada en caché 960,000 Precio de entrada en caché
Salida, razonamiento incluido 40,000 Precio de salida

Quitar 5,000 tokens de esquemas de herramientas sin uso en cada llamada elimina 200,000 tokens de entrada de esta tarea, cerca de una sexta parte del total, sin cambiar en nada el comportamiento del agente. Para las palancas de costo más allá del recorte, como la elección de modelo, la caché y los planes de tarifa plana, vea 10 formas de reducir el costo de LLM de un agente de programación. En configuraciones multiagente, multiplique por el número de agentes; vea lo que cuestan los sistemas multiagente. Para modelar su propio bucle paso a paso, use el estimador del costo de ejecución de agentes.

Dónde encaja BroadNet Inference

BroadNet Inference devuelve los tokens de prompt y de completion en el bloque usage, además de los tokens en caché y de razonamiento cuando el modelo los informa, así que la medición anterior funciona tal como está escrita. Su precio bajo de entrada en caché en DeepSeek V4.1 Flash premia un prefijo estable. Si recortar no le compensa el tiempo, los planes ilimitados eliminan el medidor de tokens de DeepSeek V4.1 Flash por $60 al mes por sesión; la ventana de contexto sigue aplicándose, y un contexto ligero sigue siendo más rápido. Los planes están en inference.broadnet.ai/plans.

Preguntas frecuentes

¿Por qué mi agente de programación usa tantos tokens de entrada?

Porque la API no guarda estado. Cada llamada reenvía el prompt de sistema, cada definición de herramienta, la conversación hasta ese momento y todo el contenido de archivos que sigue en el contexto. Una sesión larga multiplica eso por el número de pasos.

¿Cómo veo cuántos tokens usa cada paso del agente?

Lea el bloque usage de cada respuesta. Con streaming, ponga include_usage de stream_options en true y lea el último chunk. Registre prompt_tokens, prompt_tokens_details.cached_tokens y completion_tokens junto con el número de paso.

¿Las definiciones de herramientas cuentan como tokens de entrada?

Sí. La lista de herramientas forma parte del prompt y se envía en cada llamada. Los servidores MCP añaden sus herramientas a esa lista, y por eso la documentación de opencode recomienda añadir solo los servidores que necesite.

¿El prompt caching resuelve el problema?

Reduce el precio del prefijo repetido, no su tamaño. La entrada en caché sigue llenando la ventana de contexto. En BroadNet, DeepSeek V4.1 Flash factura la entrada en caché a $0.0055 por 1M de tokens frente a $0.175 por la entrada nueva.

¿Los tokens de razonamiento forman parte del presupuesto?

Sí, del lado de la salida. Los modelos de razonamiento cuentan el pensamiento dentro de max_tokens y lo facturan como salida con pago por uso. Ponga reasoning_effort en low para los pasos rutinarios.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity