Una chat costa quello che scrivi più quello che scrive il modello. Un agente costa molto di più, perché chiama il modello decine di volte e ogni volta rinvia quasi tutto. Se vuoi ridurre quel costo, o semplicemente smettere di sbattere contro la finestra di contesto, devi sapere quale parte di ogni richiesta è grande. Questo articolo divide un ciclo da agente in cinque voci, mostra come misurarle con i dati di utilizzo dell’API stessa ed elenca cosa tagliare per primo.
Perché un agente rinvia tutto?
Le API di chat completions sono stateless. Il modello non ricorda nulla tra una chiamata e l’altra, quindi l’agente invia tutto il contesto a ogni passo. Un’attività da 40 passi in cui ogni chiamata porta 30.000 token legge 1,2 milioni di token di input per produrre forse 40.000 token di output. Quel rapporto di 30 a 1 è il motivo per cui i token di input e il loro prezzo in cache dominano le fatture degli agenti.
Dove vanno i token?
| Voce | Cos’è | Si ripete a ogni chiamata? | Causa tipica |
|---|---|---|---|
| System prompt | Istruzioni dell’agente, file di regole, note di progetto | Sì | File di regole lunghi |
| Schemi dei tool | Nome, descrizione e JSON Schema di ogni tool | Sì | Tool integrati più ogni server MCP |
| Cronologia | Messaggi precedenti, chiamate ai tool e risultati | Sì, e cresce | Sessioni lunghe |
| Letture di file e output dei tool | Contenuto dei file, log dei test, risultati di ricerca | Sì, finché non vengono tolti | Leggere file interi, comandi prolissi |
| Output | Risposta visibile, chiamate ai tool e ragionamento | No | Sforzo di ragionamento, riscrivere file interi |
Le prime due voci sono un costo fisso. A settembre 2026 Cursor ha scritto che system prompt e definizioni dei tool «had become one of the largest sources of spend that we fully control» (traduzione: erano diventati una delle maggiori fonti di spesa che controlliamo completamente), e ha definito le letture di file «another large source of token spend» (traduzione: un’altra grande fonte di spesa in token). Le sue modifiche, tra cui tagliare circa due terzi del system prompt e caricare solo quando servono i tool usati in meno del 20% delle conversazioni, hanno ridotto del 7% i costi in token degli utenti. Il team di VS Code di GitHub ha indicato gli stessi due costi per Copilot: il prefisso del prompt ripetuto e il peso delle definizioni dei tool.
Come lo misuri?
Non ti serve un prodotto di tracing. Basta il blocco usage di ogni risposta.
- Attiva l’usage. In streaming, aggiungi
stream_options: {"include_usage": true}; l’usage arriva nell’ultimo chunk. Vedi streaming. - Registra per chiamata: numero del passo,
prompt_tokens,prompt_tokens_details.cached_tokens,completion_tokense, quando è riportato,completion_tokens_details.reasoning_tokens. - Misura una volta il costo fisso. Invia una richiesta con solo system prompt e tool, e la parola «hi». Il suo
prompt_tokensè il tuo pavimento. - Misura l’output di un tool. Conta i caratteri di ogni risultato di un tool prima di accodarlo. Dividendo per quattro ottieni un conteggio approssimativo di token per l’inglese; incolla un campione nel contatore di token gratuito per la cifra esatta con il tokenizer del tuo modello.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
Traccia prompt_tokens per passo. Una pendenza costante significa che la cronologia cresce. Un salto improvviso significa che nel contesto è entrato un file o un log grande. Un pavimento alto significa troppi tool.
In Aider, /tokens riporta cosa c’è nel contesto attuale e /drop ne toglie i file.
Cosa conviene tagliare per primo?
Ordina per dimensione moltiplicata per ripetizioni, non per facilità:
- Tool inutilizzati. Ogni schema di tool viaggia con ogni chiamata. La guida di OpenAI dice che le definizioni delle funzioni «are billed as input tokens» (traduzione: sono fatturate come token di input) e suggerisce, come regola indicativa, meno di 20 funzioni all’inizio di un turno. Disattiva i server MCP che non usi in questa attività; la documentazione di opencode dice chiaramente che i tool MCP consumano contesto del modello.
- Output dei tool. Limita l’output dei comandi (le ultime 200 righe di un log di test, non 20.000). Restituisci i risultati di ricerca come percorsi e numeri di riga, poi leggi solo ciò che serve.
- Letture di file. Leggi la funzione, non il file. La mappa del repository di Aider usa un budget predefinito di 1k token (
--map-tokens) invece di file interi. - Cronologia. Apri una nuova attività per ogni modifica. Quando una sessione deve continuare, sostituisci i turni vecchi con un breve riassunto.
- System prompt. Togli le regole che il modello segue già. Mantieni stabile il resto.
- Output. Chiedi diff, non file interi. Imposta
reasoning_effortsulowper i passi di routine. I token di ragionamento si pagano come output.
Perché mantenere stabile il prefisso?
I provider mettono in cache un prefisso ripetuto e lo fatturano a una tariffa più bassa. Su BroadNet Inference, DeepSeek V4.1 Flash fattura l’input in cache a $0.0055 per 1M di token e l’input nuovo a $0.175. GLM 5.3 fattura $0.173 contro $0.78. Un timestamp nel system prompt, o tool elencati in un ordine diverso a ogni chiamata, rompono la cache da quel punto in poi. Metti prima le parti stabili, in un ordine fisso, e per ultime quelle che cambiano. Approfondisci in i token di input in cache spiegati; il calcolatore del prompt caching mostra quanto fa risparmiare una data percentuale di hit.
La cache abbassa il prezzo del prefisso, ma non la sua dimensione. I token in cache riempiono comunque la finestra di contesto e richiedono comunque tempo di elaborazione.
Com’è un budget d’esempio di un agente?
Prendi l’attività da 40 passi vista sopra, con l’80% dell’input in cache:
| Parte | Token | Fatturati a |
|---|---|---|
| Input nuovo | 240.000 | Prezzo di input |
| Input in cache | 960.000 | Prezzo dell’input in cache |
| Output compreso il ragionamento | 40.000 | Prezzo di output |
Togliere da ogni chiamata 5.000 token di schemi di tool inutilizzati elimina 200.000 token di input da questa attività, circa un sesto del totale, senza cambiare il comportamento dell’agente. Per le leve di costo oltre al taglio, come la scelta del modello, la cache e i piani flat, vedi 10 modi per ridurre i costi LLM degli agenti di coding. Per le configurazioni multi-agente, moltiplica per il numero di agenti; vedi quanto costano le configurazioni multi-agente. Per modellare il tuo ciclo passo per passo, usa lo stimatore del costo di un’esecuzione.
Dove si inserisce BroadNet Inference
BroadNet Inference restituisce i token di prompt e di completion nel blocco usage, più i token in cache e di ragionamento quando il modello li riporta, quindi la misurazione descritta sopra funziona così com’è. Il suo prezzo basso per l’input in cache su DeepSeek V4.1 Flash premia un prefisso stabile. Se tagliare non vale il tuo tempo, i piani illimitati tolgono il contatore di token per DeepSeek V4.1 Flash a $60 al mese per sessione; la finestra di contesto resta, e un contesto snello gira comunque più veloce. I piani sono su inference.broadnet.ai/plans.
