BroadRouter
Inizia

Quando conviene una finestra di contesto da 1M di token (e quando no)

A cura del team di BroadNet Inference · 4 min di lettura · Pubblicato

Una finestra di contesto da 1M di token permette a una sola richiesta di contenere un’intera codebase, un insieme di contratti o ore di trascrizioni, così il modello vede tutto insieme invece di frammenti recuperati. Conviene per il ragionamento tra più file e le analisi una tantum; per ricerche ripetute su un corpus grande e in evoluzione, il retrieval costa meno. DeepSeek V4.1 Flash e GLM 5.3 accettano 1.048.576 token.

Light shining through towering cliffs made of stacked paper pages.

Le finestre di contesto sono passate da qualche migliaio di token a oltre un milione. DeepSeek V4.1 Flash e GLM 5.3 su BroadNet Inference accettano 1.048.576 token per richiesta, prompt e risposta insieme. Questo cambia il modo in cui puoi costruire, ma non rende migliore ogni prompt.

Cosa sta in un milione di token?

Come riferimento approssimativo: nel nostro dataset sull’efficienza dei tokenizer, 1.000 parole di prosa inglese hanno dato circa 1,290 token, in media su cinque tokenizer, quindi un milione di token sono circa 810,000 parole di prosa semplice:

Contenuto Più o meno
Una codebase di medie dimensioni (decine di migliaia di righe) Ci sta, con spazio in avanzo
Diversi contratti lunghi con allegati Ci stanno
Un giorno di trascrizioni di riunioni Ci sta
Un grande monorepo con le dipendenze Spesso no; seleziona le directory

Il numero di token dipende da lingua e contenuto. Il codice e il testo arabo spesso usano più token per carattere della prosa inglese. Misura con il blocco usage di una richiesta reale invece di stimare, oppure controlla un campione nel calcolatore della finestra di contesto.

Quali modelli BroadNet hanno una finestra di contesto da 1M di token?

Modello Finestra di contesto Input Output Immagini
DeepSeek V4.1 Flash 1.048.576 $0.175 $0.52 Sì
GLM 5.3 1.048.576 $0.78 $3.46 No
Qwen3.8 27B 262.144 $0.175 $2.17 Sì
BroadNet Gemma 4 VL 26B 32.768 $0.10 $0.22 Sì

I prezzi sono per 1M di token. GLM 5.3 aggiunge tool calling e output strutturato sulla stessa finestra da 1M.

Quando conviene una finestra da 1M di token?

  • Ragionamento tra più file. “Perché fallisce questo test?” spesso dipende da cinque file che nessuno penserebbe di recuperare insieme.
  • Revisione di documenti interi. Trovare conflitti tra la clausola 4 e l’allegato B richiede di vederli entrambi.
  • Analisi una tantum. Per una domanda che farai una volta sola, costruire un indice di retrieval costa più fatica di quanta ne risparmi.
  • Agenti. Un sub-agente che può leggere l’intero modulo tira a indovinare meno spesso. Vedi eseguire agenti in parallelo.

Quando il retrieval resta la scelta migliore?

Il retrieval vince per tante piccole ricerche in un archivio molto più grande di qualsiasi finestra, per contenuti che cambiano ogni minuto e per risposte interattive rapide, dove leggere prima un prompt enorme aggiunge ritardo. Molti sistemi in produzione fanno entrambe le cose: recuperano i 200.000 token più rilevanti, poi lasciano ragionare su tutti un modello a contesto lungo. La decisione completa, con costo per query, latenza e recall a confronto, è in contesto lungo o RAG.

Il modello usa davvero tutta la finestra?

Non in modo uniforme. La ricerca su questo è coerente:

  • Lo studio Lost in the Middle (Liu et al.) ha rilevato che le prestazioni «is often highest when relevant information occurs at the beginning or end of the input context» (traduzione: sono spesso più alte quando l’informazione rilevante si trova all’inizio o alla fine del contesto di input).
  • Il report Context Rot di Chroma ha testato 18 modelli e ha rilevato che «performance grows increasingly unreliable as input length grows» (traduzione: le prestazioni diventano sempre meno affidabili al crescere della lunghezza dell’input), anche su compiti semplici.

Questi studi non hanno testato i modelli su BroadNet, quindi prendili come un avvertimento, non come una misurazione. La regola pratica: una finestra che accetta un milione di token non significa che ogni token riceva la stessa attenzione. Metti il materiale più importante vicino all’inizio o alla fine, e verifica il recall sui tuoi documenti.

Quanto costa un prompt da un milione di token?

Con una chiave a pagamento a consumo, DeepSeek V4.1 Flash fattura $0.175 per 1M di token di input e $0.0055 per 1M di token di input in cache. Un prompt pieno da un milione di token costa circa $0.175 la prima volta, e molto meno nelle chiamate ripetute quando il prefisso è in cache. Come alzare il tuo tasso di cache.

Il calcolatore del prompt caching mostra quanto fa risparmiare un hit della cache con le dimensioni dei tuoi prompt. Un esempio concreto: dieci domande sullo stesso insieme di contratti da 800.000 token. Senza cache sono 8M di token a $0.175 per 1M. Se i documenti vengono per primi e restano identici, la prima chiamata legge 800.000 token nuovi e le nove successive possono leggerne la maggior parte dalla cache a $0.0055 per 1M. Cambiano solo la domanda e la risposta.

Con un piano illimitato la dimensione del prompt non cambia la fattura: Full Moon costa $60 al mese per sessione senza contatore di token. Per questo gli agenti a contesto lungo sono un motivo comune per scegliere un piano flat invece della fatturazione per token.

Quanto spazio lasciare per la risposta?

La finestra copre prompt e output, e sui modelli di ragionamento l’output include il thinking. Se invii 1.040.000 token di prompt, ne restano solo circa 8.000 per ragionamento e risposta. Tieni un margine, imposta esplicitamente max_tokens e leggi perché i modelli di ragionamento possono restituire una risposta vuota.

Come preparare una codebase per un prompt da 1M di token

  1. Escludi ciò che non serve al modello. Lock file, output di build, dipendenze vendorizzate, immagini e codice generato occupano token e aggiungono rumore.
  2. Conta prima di inviare. Invia un piccolo campione, leggi prompt_tokens da usage e scala.
  3. Ordina per stabilità. Prima i file che cambiano di rado, per ultimi quelli in modifica, la domanda proprio alla fine. Così il prefisso resta utilizzabile dalla cache.
  4. Etichetta ogni file. Racchiudi i file tra marcatori chiari come === path/to/file.py ===, così il modello può citarli.
  5. Chiedi citazioni. “Cita la riga su cui ti basi” riduce gli errori detti con sicurezza su input enormi.
  6. Misura. Registra per ogni richiesta token del prompt, token in cache e tempo al primo token. Lo streaming mostra il primo token appena arriva.

Dove si inserisce BroadNet Inference

Due dei suoi modelli di chat accettano 1.048.576 token per richiesta, e BroadNet non taglia il tuo contesto. Con una chiave a token, la cache mantiene sostenibili i prompt lunghi ripetuti; con una sessione di un piano, la dimensione del prompt non incide sulla fattura. Se il tuo corpus è molto più grande di un milione di token o cambia ogni minuto, ti serve comunque il retrieval, e nessuna dimensione di finestra cambia le cose.

Domande frequenti

BroadNet taglia i prompt lunghi?

No. BroadNet non taglia il tuo contesto. Se il prompt più max_tokens supera la finestra del modello, accorcia il prompt invece di contare su un troncamento silenzioso.

Quante parole sono 1 milione di token?

Dipende dalla lingua e dal contenuto. Nel dataset di tokenizer di BroadRouter la prosa inglese ha misurato circa 129 token ogni 100 parole (1.000 parole hanno dato circa 1,290 token, in media su cinque tokenizer), quindi 1.048.576 token contengono circa 810,000 parole, ben oltre mille pagine. Testi tecnici, codice e arabo richiedono più token, quindi conta il tuo contenuto reale.

Una richiesta da 1M di token è lenta?

Ci mette più tempo a partire di una richiesta corta, perché il modello deve prima leggere tutto il prompt. Nelle chiamate ripetute i prefissi in cache di solito aiutano. Misura il tempo al primo token sui tuoi prompt.

Gli LLM usano davvero tutta la finestra di contesto?

Non in modo uniforme. Lo studio Lost in the Middle ha rilevato che l’accuratezza è spesso più alta quando l’informazione rilevante sta all’inizio o alla fine dell’input, e il report Context Rot di Chroma ha rilevato che l’affidabilità cala al crescere dell’input. Metti il materiale chiave ai bordi e fai test sui tuoi dati.

Devo smettere di usare la RAG?

Non necessariamente. Usa il contesto lungo quando il modello deve vedere tutto insieme, e il retrieval quando gli servono pochi fatti da un archivio enorme. Molti sistemi combinano le due cose.

Cosa succede se il mio prompt è più grande della finestra di contesto?

BroadNet non lo taglia per te, quindi la richiesta non funzionerà come previsto. Togli dei file, riassumi i turni vecchi o recupera solo le parti rilevanti prima dell’invio.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity