BroadRouter
Inizia

Budget di token di un agente: dove vanno i token di un ciclo

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato

Un ciclo da agente rinvia tutto il contesto a ogni chiamata: system prompt, definizioni dei tool, cronologia della conversazione, contenuto dei file e output dei tool, più il nuovo passo. Di solito l’input supera l’output di molte volte. Registra prompt_tokens, cached_tokens e completion_tokens per chiamata, trova il blocco ripetuto più grande, poi taglia i tool, limita l’output dei tool e riavvia le sessioni lunghe.

Una chat costa quello che scrivi più quello che scrive il modello. Un agente costa molto di più, perché chiama il modello decine di volte e ogni volta rinvia quasi tutto. Se vuoi ridurre quel costo, o semplicemente smettere di sbattere contro la finestra di contesto, devi sapere quale parte di ogni richiesta è grande. Questo articolo divide un ciclo da agente in cinque voci, mostra come misurarle con i dati di utilizzo dell’API stessa ed elenca cosa tagliare per primo.

Perché un agente rinvia tutto?

Le API di chat completions sono stateless. Il modello non ricorda nulla tra una chiamata e l’altra, quindi l’agente invia tutto il contesto a ogni passo. Un’attività da 40 passi in cui ogni chiamata porta 30.000 token legge 1,2 milioni di token di input per produrre forse 40.000 token di output. Quel rapporto di 30 a 1 è il motivo per cui i token di input e il loro prezzo in cache dominano le fatture degli agenti.

Dove vanno i token?

Voce Cos’è Si ripete a ogni chiamata? Causa tipica
System prompt Istruzioni dell’agente, file di regole, note di progetto Sì File di regole lunghi
Schemi dei tool Nome, descrizione e JSON Schema di ogni tool Sì Tool integrati più ogni server MCP
Cronologia Messaggi precedenti, chiamate ai tool e risultati Sì, e cresce Sessioni lunghe
Letture di file e output dei tool Contenuto dei file, log dei test, risultati di ricerca Sì, finché non vengono tolti Leggere file interi, comandi prolissi
Output Risposta visibile, chiamate ai tool e ragionamento No Sforzo di ragionamento, riscrivere file interi

Le prime due voci sono un costo fisso. A settembre 2026 Cursor ha scritto che system prompt e definizioni dei tool «had become one of the largest sources of spend that we fully control» (traduzione: erano diventati una delle maggiori fonti di spesa che controlliamo completamente), e ha definito le letture di file «another large source of token spend» (traduzione: un’altra grande fonte di spesa in token). Le sue modifiche, tra cui tagliare circa due terzi del system prompt e caricare solo quando servono i tool usati in meno del 20% delle conversazioni, hanno ridotto del 7% i costi in token degli utenti. Il team di VS Code di GitHub ha indicato gli stessi due costi per Copilot: il prefisso del prompt ripetuto e il peso delle definizioni dei tool.

Come lo misuri?

Non ti serve un prodotto di tracing. Basta il blocco usage di ogni risposta.

  1. Attiva l’usage. In streaming, aggiungi stream_options: {"include_usage": true}; l’usage arriva nell’ultimo chunk. Vedi streaming.
  2. Registra per chiamata: numero del passo, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens e, quando è riportato, completion_tokens_details.reasoning_tokens.
  3. Misura una volta il costo fisso. Invia una richiesta con solo system prompt e tool, e la parola «hi». Il suo prompt_tokens è il tuo pavimento.
  4. Misura l’output di un tool. Conta i caratteri di ogni risultato di un tool prima di accodarlo. Dividendo per quattro ottieni un conteggio approssimativo di token per l’inglese; incolla un campione nel contatore di token gratuito per la cifra esatta con il tokenizer del tuo modello.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

Traccia prompt_tokens per passo. Una pendenza costante significa che la cronologia cresce. Un salto improvviso significa che nel contesto è entrato un file o un log grande. Un pavimento alto significa troppi tool.

In Aider, /tokens riporta cosa c’è nel contesto attuale e /drop ne toglie i file.

Cosa conviene tagliare per primo?

Ordina per dimensione moltiplicata per ripetizioni, non per facilità:

  1. Tool inutilizzati. Ogni schema di tool viaggia con ogni chiamata. La guida di OpenAI dice che le definizioni delle funzioni «are billed as input tokens» (traduzione: sono fatturate come token di input) e suggerisce, come regola indicativa, meno di 20 funzioni all’inizio di un turno. Disattiva i server MCP che non usi in questa attività; la documentazione di opencode dice chiaramente che i tool MCP consumano contesto del modello.
  2. Output dei tool. Limita l’output dei comandi (le ultime 200 righe di un log di test, non 20.000). Restituisci i risultati di ricerca come percorsi e numeri di riga, poi leggi solo ciò che serve.
  3. Letture di file. Leggi la funzione, non il file. La mappa del repository di Aider usa un budget predefinito di 1k token (--map-tokens) invece di file interi.
  4. Cronologia. Apri una nuova attività per ogni modifica. Quando una sessione deve continuare, sostituisci i turni vecchi con un breve riassunto.
  5. System prompt. Togli le regole che il modello segue già. Mantieni stabile il resto.
  6. Output. Chiedi diff, non file interi. Imposta reasoning_effort su low per i passi di routine. I token di ragionamento si pagano come output.

Perché mantenere stabile il prefisso?

I provider mettono in cache un prefisso ripetuto e lo fatturano a una tariffa più bassa. Su BroadNet Inference, DeepSeek V4.1 Flash fattura l’input in cache a $0.0055 per 1M di token e l’input nuovo a $0.175. GLM 5.3 fattura $0.173 contro $0.78. Un timestamp nel system prompt, o tool elencati in un ordine diverso a ogni chiamata, rompono la cache da quel punto in poi. Metti prima le parti stabili, in un ordine fisso, e per ultime quelle che cambiano. Approfondisci in i token di input in cache spiegati; il calcolatore del prompt caching mostra quanto fa risparmiare una data percentuale di hit.

La cache abbassa il prezzo del prefisso, ma non la sua dimensione. I token in cache riempiono comunque la finestra di contesto e richiedono comunque tempo di elaborazione.

Com’è un budget d’esempio di un agente?

Prendi l’attività da 40 passi vista sopra, con l’80% dell’input in cache:

Parte Token Fatturati a
Input nuovo 240.000 Prezzo di input
Input in cache 960.000 Prezzo dell’input in cache
Output compreso il ragionamento 40.000 Prezzo di output

Togliere da ogni chiamata 5.000 token di schemi di tool inutilizzati elimina 200.000 token di input da questa attività, circa un sesto del totale, senza cambiare il comportamento dell’agente. Per le leve di costo oltre al taglio, come la scelta del modello, la cache e i piani flat, vedi 10 modi per ridurre i costi LLM degli agenti di coding. Per le configurazioni multi-agente, moltiplica per il numero di agenti; vedi quanto costano le configurazioni multi-agente. Per modellare il tuo ciclo passo per passo, usa lo stimatore del costo di un’esecuzione.

Dove si inserisce BroadNet Inference

BroadNet Inference restituisce i token di prompt e di completion nel blocco usage, più i token in cache e di ragionamento quando il modello li riporta, quindi la misurazione descritta sopra funziona così com’è. Il suo prezzo basso per l’input in cache su DeepSeek V4.1 Flash premia un prefisso stabile. Se tagliare non vale il tuo tempo, i piani illimitati tolgono il contatore di token per DeepSeek V4.1 Flash a $60 al mese per sessione; la finestra di contesto resta, e un contesto snello gira comunque più veloce. I piani sono su inference.broadnet.ai/plans.

Domande frequenti

Perché il mio agente di coding usa così tanti token di input?

Perché l’API è stateless. Ogni chiamata rinvia il system prompt, ogni definizione di tool, la conversazione fin lì e tutto il contenuto dei file ancora nel contesto. Una sessione lunga moltiplica tutto questo per il numero di passi.

Come vedo quanti token usa ogni passo dell’agente?

Leggi il blocco usage di ogni risposta. In streaming, imposta stream_options include_usage su true e leggi l’ultimo chunk. Registra prompt_tokens, prompt_tokens_details.cached_tokens e completion_tokens con il numero del passo.

Le definizioni dei tool contano come token di input?

Sì. L’elenco dei tool fa parte del prompt e viene inviato a ogni chiamata. I server MCP aggiungono i loro tool a quell’elenco, ed è per questo che la documentazione di opencode dice di aggiungere solo i server che ti servono.

Il prompt caching risolve il problema?

Riduce il prezzo del prefisso ripetuto, non la sua dimensione. L’input in cache riempie comunque la finestra di contesto. Su BroadNet, DeepSeek V4.1 Flash fattura l’input in cache a $0.0055 per 1M di token contro $0.175 per l’input nuovo.

I token di ragionamento fanno parte del budget?

Sì, sul lato dell’output. I modelli di ragionamento contano il ragionamento in max_tokens e a consumo lo fatturano come output. Imposta reasoning_effort su low per i passi di routine.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity