---
title: "Contesto lungo o RAG: costo, latenza e recall | BroadRouter"
description: "Quando una finestra da 1M di token può sostituire un database vettoriale e quando vince ancora la RAG: costo per query, latenza, recall e manutenzione."
url: https://broadrouter.com/it/blog/long-context-vs-rag/
lang: it
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/blog/long-context-vs-rag/) (aggiornato il 2026-11-16).

# Contesto lungo o RAG: quando 1M di token sostituisce un DB vettoriale

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato 2026-11-14 · Aggiornato 2026-11-16

Il contesto lungo sostituisce la RAG quando il corpus sta nella finestra, cambia di rado e le domande richiedono molte sue parti insieme; la cache mantiene economiche le query ripetute. La RAG vince ancora quando il corpus supera la finestra, si aggiorna di continuo, richiede permessi per utente o deve rispondere in uno o due secondi. Molti sistemi recuperano con la RAG e ragionano con il contesto lungo.

## Punti chiave

-   La dimensione del corpus è il primo filtro: se non sta nella finestra lasciando spazio alla risposta, ti serve una qualche forma di retrieval.
-   Per ogni query, il contesto lungo invia l’intero corpus; la RAG invia qualche migliaio di token. La cache del prefisso riduce il divario di costo solo se il corpus è stabile.
-   I prompt lunghi aumentano il tempo al primo token. La RAG mantiene i prompt corti e veloci.
-   Il recall nel contesto lungo non è perfetto: i modelli trovano i fatti all’inizio e alla fine di un prompt in modo più affidabile che nel mezzo.
-   La RAG fallisce in modo diverso: se il retrieval manca il passaggio, il modello non lo vede mai. Misura entrambi sulle tue domande.

**In questa pagina**

1.  Quando il contesto lungo sostituisce la RAG?
2.  Come si confronta il costo per query?
3.  Come si confronta la latenza?
4.  Quale ha un recall migliore?
5.  E la manutenzione?
6.  L’approccio ibrido a cui arriva la maggior parte dei team
7.  Dove si inserisce BroadNet Inference

La [guida alla finestra di contesto da 1M di token](https://broadrouter.com/it/blog/million-token-context-window-guide/) spiega cosa sta in un milione di token e quanto costa una richiesta. Questo articolo risponde a una domanda più specifica che salta fuori in ogni revisione architetturale: **possiamo eliminare il [database vettoriale](https://broadrouter.com/it/glossary/vector-database/) e la pipeline [RAG](https://broadrouter.com/it/glossary/rag/) che lo circonda?** A volte sì. Ecco come decidere, su quattro assi: costo, latenza, recall e manutenzione.

## Quando il contesto lungo sostituisce la RAG?

Devono valere tutte e quattro queste condizioni:

1.  **Il corpus ci sta.** Prompt più risposta più ragionamento restano dentro la [finestra di contesto](https://broadrouter.com/it/glossary/context-window/) con un margine. Su [DeepSeek V4.1 Flash](https://broadrouter.com/it/models/deepseek-v4.1-flash/) e [GLM 5.3](https://broadrouter.com/it/models/glm-5.3/) la finestra è di 1.048.576 token ([i due a confronto](https://broadrouter.com/compare/deepseek-v4.1-flash-vs-glm-5.3/)). Il [calcolatore della finestra di contesto](https://broadrouter.com/tools/context-window-calculator/) verifica se i tuoi documenti ci stanno.
2.  **Cambia di rado.** Un manuale aggiornato ogni mese va bene. Una coda di ticket aggiornata ogni minuto no.
3.  **Tutti possono vederlo per intero.** Un solo corpus condiviso, nessun permesso per utente da filtrare.
4.  **Le domande attraversano il corpus.** “Quali contratti sono in conflitto con la nuova policy?” richiede tutto sotto gli occhi; “qual è il termine per il rimborso?” no.

Se una non vale, tieni il retrieval, oppure usa un approccio ibrido.

## Come si confronta il costo per query?

Prendi un insieme di documenti da 400.000 token e una domanda con una risposta da 500 token. La RAG recupera, diciamo, 8.000 token di chunk. Con una chiave a [pagamento a consumo](https://broadrouter.com/it/glossary/pay-as-you-go/) su DeepSeek V4.1 Flash:

| Approccio | Input per query | Costo di input per query |
| --- | --- | --- |
| Contesto lungo, prima query | 400.000 nuovi | 0,4 × $0.175 |
| Contesto lungo, query ripetuta, prefisso in cache | circa 400.000 in cache | circa 0,4 × $0.0055 |
| RAG | 8.000 nuovi | 0,008 × $0.175 |

L’output è uguale in ogni caso: 500 token × $0.52 per 1M. (Ogni moltiplicatore è il numero di milioni di token per il prezzo per 1M.)

Ne seguono tre cose. Senza cache, il contesto lungo costa in input 50 volte la RAG per query, perché invia 50 volte i token. Con il corpus in cache il divario si riduce molto, perché l’input in cache su questo modello costa pochi punti percentuali dell’input nuovo. Ma la cache regge solo finché il prefisso resta identico byte per byte, quindi il corpus deve venire per primo e restare stabile; vedi [struttura del prompt per la cache](https://broadrouter.com/it/blog/prompt-structure-for-caching/). La RAG ha costi propri che questa tabella non include: calcolare gli embedding del corpus, gestire il vector store e il tempo di ingegneria per mettere a punto il chunking. Il [calcolatore del costo degli embedding](https://broadrouter.com/tools/embedding-cost-calculator/) stima la parte degli embedding. Il [calcolatore di chunking RAG](https://broadrouter.com/tools/rag-chunking-calculator/) stima il lato delle query: chunk, token per query e fattura mensile dell’LLM.

Per vedere quanto vale il tuo tasso di cache, prova il [calcolatore del prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/). Con un piano flat la colonna dell’input sparisce: Full Moon costa $60 al mese per sessione senza contatore di token, quindi un prompt da 400.000 token costa quanto uno corto.

## Come si confronta la latenza?

Un modello legge l’intero prompt prima di scrivere il primo token. Il tempo al primo token cresce con la lunghezza del prompt, e un prompt da centinaia di migliaia di token impiega sensibilmente più tempo a partire di uno da 8.000. In molti sistemi di serving i prefissi in cache aiutano. La ricerca vettoriale di per sé di solito aggiunge poco; la chiamata di retrieval è piccola rispetto alla generazione.

Quindi per un assistente interattivo che deve rispondere in uno o due secondi, la RAG è la scelta predefinita più sicura. Per un analista che fa una domanda approfondita e aspetta la risposta, il contesto lungo va bene. [Misura il TTFT sui tuoi prompt](https://broadrouter.com/it/blog/llm-latency-ttft-throughput/) alla dimensione che prevedi di inviare.

## Quale ha un recall migliore?

Nessuno dei due è perfetto, e falliscono in modi diversi.

Il **contesto lungo** può perdere i fatti nel mezzo ([lost in the middle](https://broadrouter.com/it/glossary/lost-in-the-middle/)). Lo studio _Lost in the Middle_ ha rilevato che i modelli usavano meglio le informazioni quando stavano all’inizio o alla fine dell’input, e peggio nel mezzo. Il benchmark RULER ha rilevato che i modelli quasi perfetti nei semplici test needle-in-a-haystack peggioravano su compiti più difficili al crescere dell’input e che, tra i modelli che dichiarano 32K token o più, «only half of them» (traduzione: solo la metà) mantenevano prestazioni soddisfacenti a 32K. I modelli più recenti vanno meglio, ma la finestra pubblicizzata non coincide con la finestra in cui la qualità regge.

La **RAG** fallisce prima ancora che il modello parta: se il retriever manca il passaggio, il modello non lo vede mai. Le domande che richiedono molti passaggi, o che usano parole diverse dalla fonte, sono i mancati recuperi classici.

| Modalità di fallimento | Contesto lungo | RAG |
| --- | --- | --- |
| Fatto sepolto a metà prompt | Il rischio cresce con la lunghezza | Basso, il prompt è corto |
| La risposta richiede 20 passaggi sparsi | Forte | Debole, a meno di un top-k ampio |
| La domanda usa parole diverse dalla fonte | Forte | Dipende da embedding e reranking |
| Corpus più grande della finestra | Non possibile | Forte |

Due accorgimenti per il contesto lungo: metti la domanda alla fine, dopo i documenti, e chiedi al modello di citare le righe su cui si basa.

## E la manutenzione?

La RAG è un sistema: chunking, embedding, un indice, reindicizzazione a ogni modifica, filtri sui permessi, valutazione della qualità del retrieval. Il contesto lungo è un prompt: concateni i file con etichette chiare e invii. Per un piccolo team con un corpus che ci sta, eliminare la pipeline toglie lavoro vero. Per un corpus grande, in evoluzione e con permessi, la pipeline fa un lavoro che il contesto lungo non può fare.

## L’approccio ibrido a cui arriva la maggior parte dei team

1.  Recupera con generosità: non cinque chunk ma documenti interi, fino a qualche centinaio di migliaia di [token](https://broadrouter.com/it/glossary/token/).
2.  Ordinali in modo stabile (per ID del documento, non per punteggio), così il prefisso resta in cache tra domande correlate.
3.  Metti la domanda per ultima e inviala a un modello a contesto lungo.
4.  Chiedi citazioni delle etichette dei documenti e controllane qualcuna a campione.

Così mantieni la portata della RAG su un corpus enorme e la capacità del contesto lungo di ragionare su molte fonti. Inoltre tolleri un retriever meno preciso, perché un documento quasi giusto è comunque nel prompt.

## Dove si inserisce BroadNet Inference

BroadNet Inference offre due modelli da 1M di token, DeepSeek V4.1 Flash e GLM 5.3, e non taglia il tuo contesto, quindi una richiesta troppo grande fallisce invece di perdere documenti in silenzio. Con una chiave a token l’input in cache è fatturato alla tariffa ridotta per la cache, e i piani illimitati eliminano del tutto il contatore di token per DeepSeek V4.1 Flash. Il suo riferimento API elenca chat completions e trascrizione, non un endpoint di embedding né un vector store, quindi per la metà RAG porti i tuoi. Lascia spazio nella finestra ai [token di ragionamento](https://broadrouter.com/it/glossary/reasoning-tokens/); la [guida al ragionamento](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/) spiega perché. I prezzi sono nella [pagina dei prezzi](https://broadrouter.com/it/pricing/).

Strumenti gratuiti sul tema (in inglese)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Strumenti gratuiti (in inglese)](https://broadrouter.com/tools/)

## Termini in questo articolo

[Token](https://broadrouter.com/it/glossary/token/)

Un token è l’unità di testo che un modello linguistico legge e scrive: una parola, una parte di parola, un segno di punteggiatura o una sequenza di byte prodotta dal tokenizer del modello. Le API LLM contano, limitano e di solito fatturano l’uso in token.

[Embedding (embeddings)](https://broadrouter.com/it/glossary/embeddings/)

Gli embedding sono liste di numeri in virgola mobile (vettori) che un modello produce per rappresentare un testo, un’immagine o un altro input. Input con significato simile ottengono vettori vicini tra loro, quindi la distanza tra vettori serve a ordinare i risultati di ricerca, raggruppare documenti o trovare elementi correlati.

[Database vettoriale (vector database)](https://broadrouter.com/it/glossary/vector-database/)

Un database vettoriale è un archivio dati che conserva vettori di embedding, spesso con il testo di origine e i metadati, e risponde a query di nearest neighbour: dato un vettore di query, restituisce i vettori memorizzati più simili, di solito per distanza coseno, distanza euclidea o prodotto scalare.

[Lost in the middle (perso nel mezzo)](https://broadrouter.com/it/glossary/lost-in-the-middle/)

Lost in the middle è la tendenza osservata dei modelli linguistici a usare meglio le informazioni rilevanti quando compaiono vicino all’inizio o alla fine di un input lungo, e peggio quando stanno nel mezzo. Il nome viene da uno studio del 2023 di Liu et al.

[Pagamento a consumo (pay-as-you-go)](https://broadrouter.com/it/glossary/pay-as-you-go/)

Il pagamento a consumo è un modello di prezzo in cui paghi solo ciò che usi, misurato per unità come token, richieste o minuti di audio, senza abbonamento né impegno minimo. La maggior parte delle API LLM fattura così, da un saldo prepagato o con una fattura periodica.

[Tool calling (chiamata di strumenti)](https://broadrouter.com/it/glossary/tool-calling/)

Il tool calling, detto anche function calling, è una funzionalità delle API LLM in cui il modello restituisce una richiesta strutturata di eseguire una funzione definita dallo sviluppatore, con argomenti JSON. L’applicazione esegue la funzione e rimanda il risultato; il modello non esegue mai codice da solo.

[Finestra di contesto (context window)](https://broadrouter.com/it/glossary/context-window/)

La finestra di contesto è il numero massimo di token con cui un modello linguistico può lavorare in una singola richiesta. Comprende prompt, cronologia della conversazione, definizioni degli strumenti, immagini e output generato, token di ragionamento inclusi. Ciò che non ci sta va tagliato, riassunto o diviso su più richieste.

[Token di input in cache (cached input)](https://broadrouter.com/it/glossary/cached-input-tokens/)

I token di input in cache sono token del prompt che un provider LLM ha elaborato da poco e può riusare da una cache invece di ricalcolarli, di solito un prefisso ripetuto come un system prompt o un documento. I provider li fatturano a una tariffa più bassa dei token di input nuovi.

## Domande frequenti

### La RAG è morta ora che i modelli hanno finestre di contesto da 1M di token?

No. Il contesto lungo elimina il bisogno di retrieval quando l’intero corpus ci sta ed è stabile. Gran parte delle basi di conoscenza aziendali supera il milione di token, cambia ogni giorno e richiede permessi: lì la RAG resta la scelta giusta.

### Il contesto lungo è più accurato della RAG?

Dipende dalla domanda. Il contesto lungo va meglio quando la risposta richiede di combinare molti passaggi. La RAG può andare meglio nella ricerca di un singolo fatto in corpus enormi, perché un prompt corto tiene il modello concentrato. Prova entrambi su domande reali.

### Quante parole stanno in una finestra di contesto da 1 milione di token?

Circa 810,000 parole di prosa inglese semplice nella finestra da 1.048.576 token di DeepSeek V4.1 Flash, con i 1,290 token per 1.000 parole misurati su cinque tokenizer nel dataset di BroadRouter. L’inglese tecnico, il codice, le tabelle e l’arabo richiedono più token per parola, quindi ci sta meno testo. Lascia margine per risposta e ragionamento.

### Posso combinare RAG e contesto lungo?

Sì, ed è spesso l’opzione migliore. Recupera con generosità, per esempio da 100.000 a 200.000 token di documenti candidati, poi lascia che un modello a contesto lungo ragioni su tutti invece che sui primi cinque chunk.

## Continua a leggere

-   [Quando conviene una finestra di contesto da 1M di token (e quando no)](https://broadrouter.com/it/blog/million-token-context-window-guide/)
-   [Come strutturare i prompt perché il prefisso vada in cache](https://broadrouter.com/it/blog/prompt-structure-for-caching/)
-   [Token di input in cache: come ridurre la bolletta delle API LLM](https://broadrouter.com/it/blog/cached-input-tokens-explained/)
-   [Latenza degli LLM: TTFT, token al secondo e tempo end-to-end](https://broadrouter.com/it/blog/llm-latency-ttft-throughput/)
-   [Hardware GPU e serving di BroadNet, come li descrive BroadNet](https://broadrouter.com/it/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache delle risposte delle API LLM: una cache esatta in Python](https://broadrouter.com/it/blog/cache-llm-responses-cut-cost/)
-   [Guida: Perché un modello di ragionamento restituisce una risposta vuota](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-long-context-vs-rag&utm_content=page-cta) ·

**Fonti**

-   [Liu et al., Lost in the Middle - How Language Models Use Long Contexts (arXiv 2307.03172)](https://arxiv.org/abs/2307.03172)
-   [Hsieh et al., RULER - What’s the Real Context Size of Your Long-Context Language Models? (arXiv 2404.06654)](https://arxiv.org/abs/2404.06654)
-   [Prezzi e lunghezze di contesto di BroadNet Inference in formato leggibile dalle macchine (pricing.json) (in inglese)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-long-context-vs-rag&utm_content=sources)
-   [Riferimento API di BroadNet Inference (in inglese)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-long-context-vs-rag&utm_content=sources)
