BroadRouter
Inizia

Contesto lungo o RAG: quando 1M di token sostituisce un DB vettoriale

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato · Aggiornato

Il contesto lungo sostituisce la RAG quando il corpus sta nella finestra, cambia di rado e le domande richiedono molte sue parti insieme; la cache mantiene economiche le query ripetute. La RAG vince ancora quando il corpus supera la finestra, si aggiorna di continuo, richiede permessi per utente o deve rispondere in uno o due secondi. Molti sistemi recuperano con la RAG e ragionano con il contesto lungo.

La guida alla finestra di contesto da 1M di token spiega cosa sta in un milione di token e quanto costa una richiesta. Questo articolo risponde a una domanda più specifica che salta fuori in ogni revisione architetturale: possiamo eliminare il database vettoriale e la pipeline RAG che lo circonda? A volte sì. Ecco come decidere, su quattro assi: costo, latenza, recall e manutenzione.

Quando il contesto lungo sostituisce la RAG?

Devono valere tutte e quattro queste condizioni:

  1. Il corpus ci sta. Prompt più risposta più ragionamento restano dentro la finestra di contesto con un margine. Su DeepSeek V4.1 Flash e GLM 5.3 la finestra è di 1.048.576 token (i due a confronto). Il calcolatore della finestra di contesto verifica se i tuoi documenti ci stanno.
  2. Cambia di rado. Un manuale aggiornato ogni mese va bene. Una coda di ticket aggiornata ogni minuto no.
  3. Tutti possono vederlo per intero. Un solo corpus condiviso, nessun permesso per utente da filtrare.
  4. Le domande attraversano il corpus. “Quali contratti sono in conflitto con la nuova policy?” richiede tutto sotto gli occhi; “qual è il termine per il rimborso?” no.

Se una non vale, tieni il retrieval, oppure usa un approccio ibrido.

Come si confronta il costo per query?

Prendi un insieme di documenti da 400.000 token e una domanda con una risposta da 500 token. La RAG recupera, diciamo, 8.000 token di chunk. Con una chiave a pagamento a consumo su DeepSeek V4.1 Flash:

Approccio Input per query Costo di input per query
Contesto lungo, prima query 400.000 nuovi 0,4 × $0.175
Contesto lungo, query ripetuta, prefisso in cache circa 400.000 in cache circa 0,4 × $0.0055
RAG 8.000 nuovi 0,008 × $0.175

L’output è uguale in ogni caso: 500 token × $0.52 per 1M. (Ogni moltiplicatore è il numero di milioni di token per il prezzo per 1M.)

Ne seguono tre cose. Senza cache, il contesto lungo costa in input 50 volte la RAG per query, perché invia 50 volte i token. Con il corpus in cache il divario si riduce molto, perché l’input in cache su questo modello costa pochi punti percentuali dell’input nuovo. Ma la cache regge solo finché il prefisso resta identico byte per byte, quindi il corpus deve venire per primo e restare stabile; vedi struttura del prompt per la cache. La RAG ha costi propri che questa tabella non include: calcolare gli embedding del corpus, gestire il vector store e il tempo di ingegneria per mettere a punto il chunking. Il calcolatore del costo degli embedding stima la parte degli embedding. Il calcolatore di chunking RAG stima il lato delle query: chunk, token per query e fattura mensile dell’LLM.

Per vedere quanto vale il tuo tasso di cache, prova il calcolatore del prompt caching. Con un piano flat la colonna dell’input sparisce: Full Moon costa $60 al mese per sessione senza contatore di token, quindi un prompt da 400.000 token costa quanto uno corto.

Come si confronta la latenza?

Un modello legge l’intero prompt prima di scrivere il primo token. Il tempo al primo token cresce con la lunghezza del prompt, e un prompt da centinaia di migliaia di token impiega sensibilmente più tempo a partire di uno da 8.000. In molti sistemi di serving i prefissi in cache aiutano. La ricerca vettoriale di per sé di solito aggiunge poco; la chiamata di retrieval è piccola rispetto alla generazione.

Quindi per un assistente interattivo che deve rispondere in uno o due secondi, la RAG è la scelta predefinita più sicura. Per un analista che fa una domanda approfondita e aspetta la risposta, il contesto lungo va bene. Misura il TTFT sui tuoi prompt alla dimensione che prevedi di inviare.

Quale ha un recall migliore?

Nessuno dei due è perfetto, e falliscono in modi diversi.

Il contesto lungo può perdere i fatti nel mezzo (lost in the middle). Lo studio Lost in the Middle ha rilevato che i modelli usavano meglio le informazioni quando stavano all’inizio o alla fine dell’input, e peggio nel mezzo. Il benchmark RULER ha rilevato che i modelli quasi perfetti nei semplici test needle-in-a-haystack peggioravano su compiti più difficili al crescere dell’input e che, tra i modelli che dichiarano 32K token o più, «only half of them» (traduzione: solo la metà) mantenevano prestazioni soddisfacenti a 32K. I modelli più recenti vanno meglio, ma la finestra pubblicizzata non coincide con la finestra in cui la qualità regge.

La RAG fallisce prima ancora che il modello parta: se il retriever manca il passaggio, il modello non lo vede mai. Le domande che richiedono molti passaggi, o che usano parole diverse dalla fonte, sono i mancati recuperi classici.

Modalità di fallimento Contesto lungo RAG
Fatto sepolto a metà prompt Il rischio cresce con la lunghezza Basso, il prompt è corto
La risposta richiede 20 passaggi sparsi Forte Debole, a meno di un top-k ampio
La domanda usa parole diverse dalla fonte Forte Dipende da embedding e reranking
Corpus più grande della finestra Non possibile Forte

Due accorgimenti per il contesto lungo: metti la domanda alla fine, dopo i documenti, e chiedi al modello di citare le righe su cui si basa.

E la manutenzione?

La RAG è un sistema: chunking, embedding, un indice, reindicizzazione a ogni modifica, filtri sui permessi, valutazione della qualità del retrieval. Il contesto lungo è un prompt: concateni i file con etichette chiare e invii. Per un piccolo team con un corpus che ci sta, eliminare la pipeline toglie lavoro vero. Per un corpus grande, in evoluzione e con permessi, la pipeline fa un lavoro che il contesto lungo non può fare.

L’approccio ibrido a cui arriva la maggior parte dei team

  1. Recupera con generosità: non cinque chunk ma documenti interi, fino a qualche centinaio di migliaia di token.
  2. Ordinali in modo stabile (per ID del documento, non per punteggio), così il prefisso resta in cache tra domande correlate.
  3. Metti la domanda per ultima e inviala a un modello a contesto lungo.
  4. Chiedi citazioni delle etichette dei documenti e controllane qualcuna a campione.

Così mantieni la portata della RAG su un corpus enorme e la capacità del contesto lungo di ragionare su molte fonti. Inoltre tolleri un retriever meno preciso, perché un documento quasi giusto è comunque nel prompt.

Dove si inserisce BroadNet Inference

BroadNet Inference offre due modelli da 1M di token, DeepSeek V4.1 Flash e GLM 5.3, e non taglia il tuo contesto, quindi una richiesta troppo grande fallisce invece di perdere documenti in silenzio. Con una chiave a token l’input in cache è fatturato alla tariffa ridotta per la cache, e i piani illimitati eliminano del tutto il contatore di token per DeepSeek V4.1 Flash. Il suo riferimento API elenca chat completions e trascrizione, non un endpoint di embedding né un vector store, quindi per la metà RAG porti i tuoi. Lascia spazio nella finestra ai token di ragionamento; la guida al ragionamento spiega perché. I prezzi sono nella pagina dei prezzi.

Domande frequenti

La RAG è morta ora che i modelli hanno finestre di contesto da 1M di token?

No. Il contesto lungo elimina il bisogno di retrieval quando l’intero corpus ci sta ed è stabile. Gran parte delle basi di conoscenza aziendali supera il milione di token, cambia ogni giorno e richiede permessi: lì la RAG resta la scelta giusta.

Il contesto lungo è più accurato della RAG?

Dipende dalla domanda. Il contesto lungo va meglio quando la risposta richiede di combinare molti passaggi. La RAG può andare meglio nella ricerca di un singolo fatto in corpus enormi, perché un prompt corto tiene il modello concentrato. Prova entrambi su domande reali.

Quante parole stanno in una finestra di contesto da 1 milione di token?

Circa 810,000 parole di prosa inglese semplice nella finestra da 1.048.576 token di DeepSeek V4.1 Flash, con i 1,290 token per 1.000 parole misurati su cinque tokenizer nel dataset di BroadRouter. L’inglese tecnico, il codice, le tabelle e l’arabo richiedono più token per parola, quindi ci sta meno testo. Lascia margine per risposta e ragionamento.

Posso combinare RAG e contesto lungo?

Sì, ed è spesso l’opzione migliore. Recupera con generosità, per esempio da 100.000 a 200.000 token di documenti candidati, poi lascia che un modello a contesto lungo ragioni su tutti invece che sui primi cinque chunk.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity