BroadRouter

Ridurre i token del prompt: tagli misurati su sistema, tool e dati

A cura del team di BroadNet Inference · 7 min di lettura · Pubblicato · Aggiornato

Prima misura: registra prompt_tokens per chiamata, trova la parte più grande e confronta prima e dopo col tokenizer. Su cinque tokenizer, sfoltire un prompt di sistema prolisso ha fatto risparmiare dal 68 al 71% e il CSV ha usato dal 31 al 41% di token in meno del JSON minificato. Su tre modelli, un prompt sfoltito con 3 tool brevi al posto di 10 prolissi ha ridotto la richiesta renderizzata del 65-71% circa.

I prompt più corti costano meno, lasciano più spazio nella finestra di contesto per il lavoro vero e di solito restituiscono prima il primo token. Ma “accorcia il prompt” è un consiglio vago. Questo articolo misura i tagli più comuni su un prompt realistico di un bot di assistenza, con i tokenizer reali di quattro modelli aperti e con o200k_base di OpenAI, così puoi vedere quali modifiche valgono il tuo tempo.

Se usi un agente di coding, il budget di token di un agente copre quel ciclo. Questo articolo riguarda i prompt applicativi: chatbot, classificatori e job di estrazione.

Come abbiamo misurato?

Tutti i conteggi qui sotto sono nostri, fatti il 15 novembre 2026:

  • Tokenizer. I file tokenizer.json ufficiali di DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B e Gemma 4 26B A4B di Google, ciascuno a una revisione fissata di Hugging Face (vedi Fonti), caricati con tokenizers 0.23.3 di Hugging Face. In più o200k_base da tiktoken 0.14.0, per il confronto con i modelli GPT. I token speciali non sono stati aggiunti.
  • Prompt renderizzati. Per DeepSeek, GLM e Qwen abbiamo anche renderizzato richieste complete con il chat_template.jinja pubblicato di ciascun modello (sandbox Jinja2), con prompt di sistema, tool, cronologia e domanda, e contato il risultato. È vicino a ciò che tokenizza un server, ma un provider può usare un template diverso, quindi l’ultima parola spetta ai usage.prompt_tokens dell’API.
  • Testo. Un bot di assistenza sintetico per un operatore telefonico immaginario: un prompt di sistema di 261 parole, 10 tool, 8 esempi few-shot, 40 righe di ordini, una cronologia di 20 turni e un paragrafo in arabo di 31 parole. Un prompt è un singolo dato. I tuoi risparmi saranno diversi; il metodo resta valido.

Gemma 4 VL 26B di BroadNet si basa sul modello di Google, quindi il suo conteggio è una stima. Gli altri usano i file dei modelli stessi.

Quali tagli fanno risparmiare più token?

Testo grezzo, prima → dopo, con la quota risparmiata:

Modifica DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Prompt di sistema: 261 parole → 66 parole 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
Few-shot: 8 esempi → 3 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 righe: JSON indentato → JSON minificato 2.446 → 1.606 (34%) 2.460 → 1.581 (36%) 3.180 → 1.980 (38%) 3.210 → 2.010 (37%) 2.446 → 1.567 (36%)
40 righe: JSON minificato → CSV 1.606 → 948 (41%) 1.581 → 960 (39%) 1.980 → 1.359 (31%) 2.010 → 1.382 (31%) 1.567 → 946 (40%)
10 tool: descrizioni prolisse → brevi 1.224 → 806 (34%) 1.214 → 797 (34%) 1.225 → 806 (34%) 1.252 → 827 (34%) 1.202 → 796 (34%)
10 tool prolissi → 3 brevi 1.224 → 258 (79%) 1.214 → 257 (79%) 1.225 → 266 (78%) 1.252 → 276 (78%) 1.202 → 255 (79%)
Paragrafo arabo: completamente vocalizzato → semplice 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

Per la prosa inglese le percentuali sono simili tra i tokenizer, quindi un taglio che aiuta su un modello aiuta anche sugli altri. Due righe rompono lo schema. I dati degli ordini sono costati a Qwen e Gemma dal 23 al 46% di token in più rispetto a DeepSeek e GLM in ogni formato, perché i loro tokenizer spezzano i numeri in singole cifre: 100200 è 6 token su Qwen e 2 su DeepSeek. E i diacritici arabi colpiscono alcuni tokenizer molto più di altri.

Com’è una richiesta completa?

Il testo grezzo non include il chat template. Renderizzato con il template di ciascun modello, con la stessa domanda del cliente, il prompt completo misurato è:

Richiesta DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. Prompt di sistema prolisso + 10 tool prolissi 1.677 1.535 1.797
B. Prompt di sistema sfoltito + 10 tool brevi 1.052 913 1.176
C. Prompt di sistema sfoltito + 3 tool brevi 574 443 636
D. Prompt di sistema sfoltito, nessun tool 136 121 174
C + 20 turni precedenti completi 2.374 2.243 2.693
C + riassunto di 3 righe + ultimi 4 turni 979 849 1.103

Passare da A a C ha tolto circa dal 65 al 71% di ogni richiesta (64,6% su Qwen, 71,1% su GLM). Gran parte veniva dai tool. Renderizzati con il prompt di sistema prolisso, i 10 tool prolissi aggiungevano 1.334 token su DeepSeek, 1.209 su GLM e 1.421 su Qwen; i 3 tool brevi di C ne aggiungevano da 322 a 462 rispetto a D. Gli schemi per il tool calling viaggiano in ogni richiesta, che il modello li usi o no.

Sui grandi volumi la cosa si somma. Su Qwen3.8 27B, passare da A a C fa risparmiare 1.161 token a richiesta. Con 100.000 richieste al mese sono circa 116 milioni di token di input, cioè 116 × $0.175 al mese al prezzo standard dell’input.

Come sfoltire un prompt di sistema senza romperlo?

Il nostro prompt da 261 parole e quello da 66 contengono le stesse sette regole. I tagli erano tutti dello stesso tipo:

  1. Niente cortesie verso il modello. “It is very important that you always remain polite and courteous at all times” (È molto importante che tu resti sempre educato e cortese in ogni momento) è sparito: lo implica già la riga sul ruolo.
  2. Una regola per riga. Gli elenchi puntati sostituiscono le frasi del tipo “Please make sure that you always…” (Assicurati sempre di…).
  3. Unisci i doppioni. Tre frasi sulla lingua sono diventate “Reply in the customer’s language (Arabic or English), briefly.” (Rispondi nella lingua del cliente, arabo o inglese, in modo conciso.)
  4. Elimina i comportamenti predefiniti ripetuti. “Remember to always be helpful!” (Ricordati di essere sempre d’aiuto!) non cambia nulla.

Poi testa. Un prompt più corto che perde una regola costa più di quanto fa risparmiare. Esegui entrambe le versioni sugli stessi 50-100 input reali e confronta, come in valutare un LLM prima di cambiare.

Quanti esempi few-shot ti servono?

Meno di quanti ne contengano la maggior parte dei prompt. Ogni esempio few-shot si paga a ogni chiamata. Tieni quelli che correggono un errore che il modello fa senza di loro, come un esempio in dialetto per un classificatore arabo, ed elimina quelli che il modello già azzecca. Il nostro taglio da 8 a 3 ha fatto risparmiare dal 54 al 56% del blocco di esempi. Se 3 bastino per il tuo compito è una questione di accuratezza, non di token, quindi verificalo sul tuo set di test.

Conviene inviare tool, dati e cronologia in modo diverso?

Tool. Invia solo i tool che il passaggio corrente può usare. Una domanda sulla bolletta richiede get_account, get_bill e create_ticket, non order_esim. Accorcia le descrizioni a ciò che serve al modello per scegliere e compilare il tool. L’indentazione qui non conta: i template che abbiamo renderizzato riserializzano tutti l’array tools con tojson, quindi un array di tool formattato costa quanto uno minificato.

Dati nei messaggi. I dati che incolli in un messaggio vengono inviati così come sono. Come minimo, minifica il JSON. Per record piatti, CSV o TSV eliminano le chiavi ripetute: dal 31 al 41% di token in meno del JSON minificato nel nostro test. I dati annidati restano in JSON. Verifica che il modello legga ancora correttamente le colonne.

Cronologia. Ogni turno passato viene reinviato. Sostituire 16 turni vecchi con un riassunto di tre righe, tenendo gli ultimi quattro alla lettera, ha ridotto il prompt Qwen da 2.693 a 1.103 token. Un riassunto perde dettagli a cui l’utente potrebbe fare riferimento, e riscriverlo cambia il prefisso, il che rompe la cache. La gestione del contesto negli agenti di lunga durata spiega quando compattare.

Diacritici arabi. La maggior parte dell’arabo si scrive senza vocali brevi. Se il tuo input è completamente vocalizzato, da un dizionario, un libro di testo o una fonte religiosa, togliere i segni (da U+064B a U+0652) ha ridotto il nostro paragrafo dal 59 al 72%. Tienili quando il compito dipende da loro, come nella didattica o nella poesia. La normalizzazione del testo arabo copre gli altri caratteri da normalizzare, e token per parola in arabo il divario più ampio con l’inglese.

Dove entra la cache?

La cache non accorcia il prompt. Rende più economica la parte ripetuta. La guida di OpenAI al caching dice che deve coincidere «the entire rendered prefix» (traduzione: l’intero prefisso renderizzato) e consiglia di mettere prima le istruzioni stabili. La pagina dei prezzi di BroadNet descrive l’input in cache come «usually the repeated start of recent requests, such as a long system prompt» (traduzione: di solito l’inizio ripetuto delle richieste recenti, come un lungo prompt di sistema), senza nulla da configurare, e la sua documentazione riporta gli hit in usage.prompt_tokens_details.cached_tokens.

Quindi l’ordine è: prima accorcia, poi rendi stabile il prefisso accorciato. Prompt di sistema e tool per primi, identici byte per byte a ogni chiamata; poi la cronologia, solo in aggiunta; il nuovo messaggio per ultimo. Su Qwen3.8 27B l’input in cache costa $0.0435 per 1M contro $0.175. La struttura del prompt per la cache mostra lo schema e un test che dimostra che il prefisso viene riutilizzato. I token in cache contano comunque nella finestra di contesto.

Come misurare il tuo prompt?

Parti dalla fattura. Registra usage.prompt_tokens per ogni punto di chiamata per un giorno e trova il più grande. Poi confronta le versioni in locale con questo script, che stampa i conteggi prima e dopo per due file:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

Eseguito sui nostri due prompt di sistema, ha stampato:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

Aggiungi i repository degli altri modelli dall’elenco delle Fonti per confrontarli tutti e quattro. Per un controllo veloce nel browser, il confronto dei token del prompt mette due versioni fianco a fianco, e il contatore di token ne conta una. Dopo il deploy, conferma il risparmio in usage.prompt_tokens, che include il template.

Dove si colloca BroadNet Inference

BroadRouter è il sito di BroadNet. BroadNet Inference fattura i token del prompt al prezzo di input di ciascun modello e legge dalla cache i prefissi ripetuti al prezzo dell’input in cache dove il modello lo prevede, quindi sia i prompt più corti sia i prefissi stabili abbassano la fattura. Gemma 4 VL 26B ha un contesto di 32.768 token, dove sfoltire conta per farci stare il prompt oltre che per il costo. Sui piani DeepSeek V4.1 Flash non c’è contatore di token, ma il contesto da 1.048.576 token vale comunque, e un prompt più corto risponde comunque prima. I prompt non vengono conservati dopo ogni richiesta.

Domande frequenti

Come riduco il numero di token nel mio prompt?

Prima misura: registra usage.prompt_tokens e trova la parte più grande. Poi, nell’ordine di risparmio che abbiamo misurato: invia solo i tool che servono al passaggio, accorcia le descrizioni dei tool e il prompt di sistema, invia le tabelle in CSV e non in JSON, riduci gli esempi few-shot a quelli che cambiano i risultati e riassumi i vecchi turni della chat.

Il JSON formattato con indentazione usa più token?

Sì. Nel nostro test, minificare 40 righe di JSON indentato ha fatto risparmiare dal 34 al 38% dei token, a seconda del tokenizer, e inviarle in CSV dal 57 al 61%. In altre parole, il JSON indentato ha richiesto dal 52 al 61% di token in più del JSON minificato e dal 132 al 159% in più del CSV. Gli schemi dei tool sono un’eccezione: i chat template li riserializzano, quindi l’indentazione nel tuo array tools non arriva al modello.

Quanti token usano le definizioni dei tool?

Dipende dalla formulazione e dal template del modello. I nostri 10 tool con descrizioni prolisse aggiungevano circa da 1.200 a 1.400 token a un prompt renderizzato su DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B. Tre tool con descrizioni brevi ne aggiungevano circa da 320 a 460.

I diacritici arabi aumentano il numero di token?

Molto. Un paragrafo in arabo standard moderno di 31 parole ha richiesto da 62 a 78 token senza diacritici e da 151 a 267 token completamente vocalizzato, su cinque tokenizer. Gran parte dei testi arabi si scrive senza, quindi toglili dall’input a meno che il compito, come poesia o didattica, non li richieda.

Il prompt caching è meglio che accorciare il prompt?

Funzionano insieme. La cache rende più economico un prefisso ripetuto, ma conta comunque nella finestra di contesto e ha comunque un prezzo. Prima accorcia, poi tieni il prefisso accorciato identico byte per byte all’inizio di ogni richiesta, così può essere letto dalla cache.

Perché il mio conteggio di token è diverso dai prompt_tokens dell’API?

L’API conta il prompt renderizzato: i tuoi messaggi avvolti nel chat template, più gli schemi dei tool nel formato del template. Un tokenizer eseguito sul testo grezzo non lo vede. Usa il tokenizer per confrontare le versioni e usage.prompt_tokens per la fattura.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity