BroadRouter
Inizia

Context engineering (ingegneria del contesto)

Aggiornato

Il context engineering è il lavoro di scegliere e mantenere l’insieme di token che un modello linguistico vede a ogni richiesta, tra system prompt, definizioni dei tool, cronologia, documenti recuperati e note, così che il modello riceva il minimo di informazioni ad alto segnale che gli servono per svolgere bene il compito.

Detto anche: ingegneria del contesto, gestione del contesto, gestione del contesto degli agenti, context engineering, context management, agent context engineering

Un prompt lo scrivi una volta. Il contesto è tutto ciò che il modello vede a ogni turno, e in un agente cambia a ogni turno.

Come funziona

L’articolo di Anthropic Engineering descrive il context engineering come “the set of strategies for curating and maintaining the optimal set of tokens” (traduzione: l’insieme di strategie per selezionare e mantenere l’insieme ottimale di token) durante l’inferenza, comprese le informazioni che vanno oltre il prompt. L’obiettivo indicato è trovare lo “smallest possible set of high-signal tokens” (traduzione: il più piccolo insieme possibile di token ad alto segnale) che renda probabile il risultato voluto.

Il motivo è che l’attenzione è limitata. L’articolo dice che i modelli hanno un “attention budget” (traduzione: budget di attenzione) e che il richiamo cala quando il contesto cresce, fenomeno che chiama context rot. Conta anche la posizione: i fatti a metà di un prompt lungo sfuggono più facilmente (lost in the middle).

L’articolo elenca diverse tecniche per gli agenti che lavorano a lungo:

Tecnica Cosa fa
Compattazione Riassume la cronologia vicino al limite e riparte dal riassunto
Pulizia dei risultati dei tool Toglie dalla cronologia i vecchi output grezzi dei tool
Note strutturate L’agente scrive note in un file fuori dal contesto e le rilegge più tardi
Subagenti Svolgono un lavoro mirato in un contesto pulito e restituiscono un breve riassunto
Recupero just-in-time Tiene i riferimenti (percorsi di file, query) e carica i dati solo quando servono

Un esempio concreto del budget di un turno in un agente di coding:

System prompt + rules          4,000 tokens
Tool definitions               6,000 tokens
Notes file                     1,500 tokens
History (compacted)           20,000 tokens
Latest tool output             8,000 tokens   <- largest single item

Perché è importante

  • Qualità. Meno rumore nel contesto di solito significa risposte migliori e meno istruzioni ignorate.
  • Costo. Con la fatturazione per token, ogni token nel contesto si paga a ogni turno. Il contenuto stabile messo all’inizio costa meno come input in cache; vedi come strutturare il prompt per la cache.
  • Durata del lavoro. Una buona gestione del contesto permette a un agente di lavorare per ore senza esaurire la context window.

Su BroadNet Inference

Il context engineering avviene nel tuo codice: l’API Chat Completions di BroadNet riceve qualunque elenco di messaggi tu invii. DeepSeek V4.1 Flash e GLM 5.3 accettano 1.048.576 token, Qwen3.8 27B 262.144 e Gemma 4 VL 26B 32K, quindi un contesto snello conta soprattutto su Gemma.

Quando il modello li riporta, usage.prompt_tokens_details.cached_tokens mostra i token letti dalla cache, che con il pagamento a consumo si pagano al prezzo dell’input in cache. La gestione del contesto per agenti di lunga durata propone cinque regole pratiche, e l’articolo sul budget di token di un agente mostra dove finiscono i token.

Domande frequenti

Che differenza c’è tra context engineering e prompt engineering?

Il prompt engineering riguarda lo scrivere buone istruzioni. Il context engineering copre tutto ciò che il modello vede in un turno, comprese definizioni dei tool, cronologia e dati recuperati, e come quell’insieme cambia durante una sessione lunga.

Perché non usare semplicemente una context window più grande?

Una finestra più grande rimanda il problema ma non lo elimina. Anthropic osserva che il richiamo peggiora man mano che il contesto cresce, e con la fatturazione per token ogni token in più si paga di nuovo a ogni turno.

Qual è la prima cosa da provare?

Misura cosa riempie il tuo contesto. Di solito le parti più grandi sono l’output dei tool e la cronologia vecchia, e accorciarli o riassumerli costa poco da provare.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity