Un prompt lo scrivi una volta. Il contesto è tutto ciò che il modello vede a ogni turno, e in un agente cambia a ogni turno.
Come funziona
L’articolo di Anthropic Engineering descrive il context engineering come “the set of strategies for curating and maintaining the optimal set of tokens” (traduzione: l’insieme di strategie per selezionare e mantenere l’insieme ottimale di token) durante l’inferenza, comprese le informazioni che vanno oltre il prompt. L’obiettivo indicato è trovare lo “smallest possible set of high-signal tokens” (traduzione: il più piccolo insieme possibile di token ad alto segnale) che renda probabile il risultato voluto.
Il motivo è che l’attenzione è limitata. L’articolo dice che i modelli hanno un “attention budget” (traduzione: budget di attenzione) e che il richiamo cala quando il contesto cresce, fenomeno che chiama context rot. Conta anche la posizione: i fatti a metà di un prompt lungo sfuggono più facilmente (lost in the middle).
L’articolo elenca diverse tecniche per gli agenti che lavorano a lungo:
| Tecnica | Cosa fa |
|---|---|
| Compattazione | Riassume la cronologia vicino al limite e riparte dal riassunto |
| Pulizia dei risultati dei tool | Toglie dalla cronologia i vecchi output grezzi dei tool |
| Note strutturate | L’agente scrive note in un file fuori dal contesto e le rilegge più tardi |
| Subagenti | Svolgono un lavoro mirato in un contesto pulito e restituiscono un breve riassunto |
| Recupero just-in-time | Tiene i riferimenti (percorsi di file, query) e carica i dati solo quando servono |
Un esempio concreto del budget di un turno in un agente di coding:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
Perché è importante
- Qualità. Meno rumore nel contesto di solito significa risposte migliori e meno istruzioni ignorate.
- Costo. Con la fatturazione per token, ogni token nel contesto si paga a ogni turno. Il contenuto stabile messo all’inizio costa meno come input in cache; vedi come strutturare il prompt per la cache.
- Durata del lavoro. Una buona gestione del contesto permette a un agente di lavorare per ore senza esaurire la context window.
Su BroadNet Inference
Il context engineering avviene nel tuo codice: l’API Chat Completions di BroadNet riceve qualunque elenco di messaggi tu invii. DeepSeek V4.1 Flash e GLM 5.3 accettano 1.048.576 token, Qwen3.8 27B 262.144 e Gemma 4 VL 26B 32K, quindi un contesto snello conta soprattutto su Gemma.
Quando il modello li riporta, usage.prompt_tokens_details.cached_tokens mostra i token letti dalla cache, che con il pagamento a consumo si pagano al prezzo dell’input in cache. La gestione del contesto per agenti di lunga durata propone cinque regole pratiche, e l’articolo sul budget di token di un agente mostra dove finiscono i token.