I modelli non vedono lettere o parole. Vedono una sequenza di numeri interi, ciascuno dei quali rappresenta un pezzo di testo preso da un vocabolario fisso. Quei pezzi sono i token.
Come funziona
Un tokenizer divide il testo prima che il modello lo legga. La maggior parte dei modelli moderni usa metodi a sottoparole come il byte pair encoding (BPE). Le parole comuni restano intere; quelle rare vengono spezzate. L’esempio di Hugging Face: annoyingly può diventare annoying e ly.
Il BPE a livello di byte parte dai 256 valori possibili di un byte, quindi può codificare qualsiasi input, emoji e ogni sistema di scrittura compresi.
Per l’inglese, la regola pratica di OpenAI è di circa 4 caratteri o 0,75 parole per token, quindi 100 token sono più o meno 75 parole. La nostra misurazione della prosa inglese su cinque tokenizer attuali ha dato circa 129 token ogni 100 parole, ovvero 1,290 token ogni 1.000 parole, vicino alla regola pratica. Entrambi i rapporti sono solo stime:
- le altre lingue, arabo compreso, spesso si dividono in più token per parola sui tokenizer addestrati soprattutto sull’inglese;
- codice, numeri e spazi vengono tokenizzati in modo diverso dalla prosa;
- ogni famiglia di modelli ha il proprio vocabolario.
Per fare una stima prima dell’invio, incolla il testo nel contatore di token. L’API riporta il conteggio reale nel blocco usage di ogni risposta:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Perché è importante
I token sono l’unità dietro quasi tutti i numeri di un’API LLM:
- Prezzo. Le API a token fatturano per 1M di token di input e di output, spesso a tariffe diverse.
- Limiti. La finestra di contesto e
max_tokenssi misurano in token, e molti rate limit contano i token al minuto. - Velocità. La velocità di generazione si esprime in token al secondo.
Lo stesso testo può corrispondere a un numero diverso di token su modelli diversi, soprattutto in arabo. Il dataset sull’efficienza dei tokenizer misura i token ogni 100 parole per ciascun modello in inglese, in arabo e nel codice.
Su BroadNet Inference
I modelli di chat hanno un prezzo per 1M di token. Per DeepSeek V4.1 Flash, l’input nuovo costa $0.175, l’input in cache costa $0.0055 e l’output costa $0.52. BroadNet Gemma 4 VL 26B costa $0.10 in input e $0.22 in output. Le tariffe di ogni modello sono nella pagina dei prezzi.
Con un piano flat i token non vengono proprio conteggiati: una sessione di DeepSeek V4.1 Flash non ha un contatore di token, e il limite pratico è la velocità, circa 100 token al secondo. I modelli speech-to-text sono fatturati al minuto di audio, non per token.
Errori comuni
- Stimare il costo dal numero di parole per testi non in inglese. Misura con
usagesu campioni reali. - Dimenticare che i modelli di ragionamento spendono token di output anche per pensare. Vedi token di ragionamento.