Ti serve un conteggio dei token prima di inviare una richiesta per tre motivi: restare dentro la finestra di contesto, scegliere un max_tokens sensato e stimare il costo. I conteggi esatti arrivano solo dal tokenizer del modello. Le buone stime arrivano dalla calibrazione. Questo articolo mostra entrambe le cose, con misurazioni reali.
Perché il numero di token cambia da un modello all’altro?
Un tokenizer spezza il testo in pezzi presi da un vocabolario fisso. Ogni famiglia di modelli addestra il proprio. Un vocabolario più grande, o addestrato su più testo in una certa lingua, produce meno token per quella lingua. Quindi la domanda “quanti token è questo prompt” ha una risposta diversa per ogni modello.
Abbiamo misurato lo stesso breve messaggio di assistenza clienti, tradotto in quattro lingue, più una piccola funzione Python e un oggetto JSON di fattura. I conteggi OpenAI vengono da tiktoken (cl100k_base, epoca GPT-4, e o200k_base, epoca GPT-4o). I conteggi dei modelli aperti vengono dai file del tokenizer che ogni famiglia pubblica su Hugging Face, contati senza chat template, il 14 novembre 2026.
| Testo (stesso significato) | Caratteri | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| Inglese, 31 parole | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Spagnolo | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Arabo | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Cinese | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Funzione Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| JSON di fattura | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
Un solo campione per riga: prendi i numeri come un esempio, non come un benchmark. Tre lezioni valgono comunque. La generazione del tokenizer conta: il testo arabo si è più che dimezzato passando da cl100k_base a o200k_base. Anche i modelli aperti differiscono tra loro: lo stesso testo arabo è andato da 48 a 58 token, e il JSON da 60 a 72. E il contenuto strutturato è denso di token ovunque: il JSON ha reso circa 2 caratteri per token su ogni tokenizer.
Puoi ripetere la prova sul tuo testo con il contatore di token gratuito, oppure con i contatori per famiglia di DeepSeek, Qwen e GPT. Per vedere quanto fa risparmiare una modifica al prompt, confronta le due versioni nel diff di token del prompt. Perché proprio l’arabo costi più token, misurato su testi più lunghi, lo spiega token per parola in arabo e in inglese.
Come si contano i token in modo esatto?
Se il tokenizer del modello è pubblico, caricalo e conta in locale. Per i modelli OpenAI:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
Per le famiglie open-weight il tokenizer di solito viene distribuito con il modello su Hugging Face e si carica con AutoTokenizer.from_pretrained(...). Due avvertenze: il chat template aggiunge token per ruoli e separatori, e la versione messa in produzione da un provider API può differire dai file pubblici. Il riferimento API di BroadNet non documenta un endpoint per contare i token né il tokenizer di ciascun modello, quindi il tokenizer pubblico dà una stima vicina e il numero esatto è usage.prompt_tokens dopo la chiamata.
Come si stimano i token se il tokenizer non è pubblico?
Calibra una volta per modello, poi stima in locale:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
Usa almeno 20 campioni reali per tipo di contenuto (i tuoi prompt veri, non lorem ipsum). La richiesta di base con una sola parola elimina l’overhead fisso del chat template, che estimate riaggiunge come overhead; impostalo sulla base che hai misurato. Calibra sul modello più economico di BroadNet solo se è quello che chiamerai: i rapporti di Gemma 4 VL 26B non valgono per DeepSeek V4.1 Flash. Anche le immagini sono fatturate come token di input, e quelle più grandi ne usano di più, quindi calibrale a parte per risoluzione.
Che margini usare per max_tokens e contesto?
La finestra copre prompt e output. Sui modelli di ragionamento l’output include il thinking nascosto, riportato come token di ragionamento. Fai il budget così:
- Stima del prompt = conteggio calibrato × 1,15 (un margine di sicurezza del 15 percento).
- Budget di risposta = la risposta più lunga che accetti.
- Budget di ragionamento = per i modelli thinking, almeno 1.000 token; la documentazione di BroadNet consiglia almeno 1.000 oppure
reasoning_effort: "low", perché un limite basso può restituire una risposta vuota. - max_tokens = budget di risposta + budget di ragionamento.
- Verifica: stima del prompt + max_tokens ≤ finestra di contesto. Se non ci sta, taglia il prompt, non la risposta.
Finestre di contesto su BroadNet Inference, dal file dei prezzi pubblicato:
| Modello | Finestra di contesto | Tetto pratico del prompt con 16K di output e margine del 15% |
|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | circa 897.000 |
| GLM 5.3 | 1.048.576 | circa 897.000 |
| Qwen3.8 27B | 262.144 | circa 213.000 |
| Gemma 4 VL 26B | 32.768 | circa 14.000 |
La colonna del tetto è (finestra − 16.384) ÷ 1,15, arrotondata per difetto. Sostituisci 16.384 con il tuo max_tokens.
Cosa va storto nelle stime dei token?
- Contare le parole invece dei token. La regola delle 0,75 parole per token vale per l’inglese. Il nostro campione arabo di 29 parole andava da 46 a 102 token a seconda del tokenizer.
- Dimenticare tool e prompt di sistema. Gli schemi dei tool sono JSON, che è denso di token. Contali come parte del prompt.
- Dare per scontato un troncamento silenzioso. Alcuni strumenti scartano i messaggi vecchi senza dirtelo. BroadNet dichiara di non tagliare il tuo contesto, quindi verifica la dimensione prima dell’invio invece di contare sul server per tagliarla. Il calcolatore della finestra di contesto fa la verifica per te.
- Ignorare la crescita della cronologia. In una chat o in un ciclo di agente il prompt cresce a ogni turno. Ricontrolla il budget a ogni chiamata, non una volta per sessione. Una cronologia stabile sfrutta anche meglio la cache; vedi struttura del prompt per la cache.
Se lavori in arabo, il tokenizer è un motivo in più per provare i modelli sul tuo testo; il resto è in scegliere un LLM per l’arabo. Per trasformare i conteggi di token in una fattura mensile, vedi come stimare il costo di un’API LLM prima del lancio.
Dove si inserisce BroadNet Inference
BroadNet Inference restituisce in ogni risposta prompt_tokens, completion_tokens e, quando il modello li riporta, i conteggi dei token in cache e di ragionamento: è tutto ciò che serve per calibrare. Non pubblica un endpoint di conteggio né i tokenizer per modello, quindi i conteggi prima dell’invio sono stime. Il lavoro a contesto lungo sui modelli da 1M di token è trattato nella guida alla finestra di contesto, e i prezzi per 1M di token sono nella pagina dei prezzi.
