BroadRouter
Inizia

Token

Aggiornato

Un token è l’unità di testo che un modello linguistico legge e scrive: una parola, una parte di parola, un segno di punteggiatura o una sequenza di byte prodotta dal tokenizer del modello. Le API LLM contano, limitano e di solito fatturano l’uso in token.

Detto anche: token, token LLM, tokenizzazione, LLM token, tokens, tokenization

I modelli non vedono lettere o parole. Vedono una sequenza di numeri interi, ciascuno dei quali rappresenta un pezzo di testo preso da un vocabolario fisso. Quei pezzi sono i token.

Come funziona

Un tokenizer divide il testo prima che il modello lo legga. La maggior parte dei modelli moderni usa metodi a sottoparole come il byte pair encoding (BPE). Le parole comuni restano intere; quelle rare vengono spezzate. L’esempio di Hugging Face: annoyingly può diventare annoying e ly.

Il BPE a livello di byte parte dai 256 valori possibili di un byte, quindi può codificare qualsiasi input, emoji e ogni sistema di scrittura compresi.

Per l’inglese, la regola pratica di OpenAI è di circa 4 caratteri o 0,75 parole per token, quindi 100 token sono più o meno 75 parole. La nostra misurazione della prosa inglese su cinque tokenizer attuali ha dato circa 129 token ogni 100 parole, ovvero 1,290 token ogni 1.000 parole, vicino alla regola pratica. Entrambi i rapporti sono solo stime:

  • le altre lingue, arabo compreso, spesso si dividono in più token per parola sui tokenizer addestrati soprattutto sull’inglese;
  • codice, numeri e spazi vengono tokenizzati in modo diverso dalla prosa;
  • ogni famiglia di modelli ha il proprio vocabolario.

Per fare una stima prima dell’invio, incolla il testo nel contatore di token. L’API riporta il conteggio reale nel blocco usage di ogni risposta:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Perché è importante

I token sono l’unità dietro quasi tutti i numeri di un’API LLM:

Lo stesso testo può corrispondere a un numero diverso di token su modelli diversi, soprattutto in arabo. Il dataset sull’efficienza dei tokenizer misura i token ogni 100 parole per ciascun modello in inglese, in arabo e nel codice.

Su BroadNet Inference

I modelli di chat hanno un prezzo per 1M di token. Per DeepSeek V4.1 Flash, l’input nuovo costa $0.175, l’input in cache costa $0.0055 e l’output costa $0.52. BroadNet Gemma 4 VL 26B costa $0.10 in input e $0.22 in output. Le tariffe di ogni modello sono nella pagina dei prezzi.

Con un piano flat i token non vengono proprio conteggiati: una sessione di DeepSeek V4.1 Flash non ha un contatore di token, e il limite pratico è la velocità, circa 100 token al secondo. I modelli speech-to-text sono fatturati al minuto di audio, non per token.

Errori comuni

  • Stimare il costo dal numero di parole per testi non in inglese. Misura con usage su campioni reali.
  • Dimenticare che i modelli di ragionamento spendono token di output anche per pensare. Vedi token di ragionamento.

Domande frequenti

Quante parole sono 1.000 token?

Per la prosa in inglese, circa 775 parole secondo la misurazione di BroadRouter su cinque tokenizer (1.000 parole inglesi corrispondevano a circa 1,290 token). La regola pratica di OpenAI, per cui un token vale circa tre quarti di parola, dà 750. Altre lingue, il codice e i tokenizer di altri modelli danno rapporti diversi, quindi quando conta davvero misura con il tokenizer del modello.

Immagini e audio contano come token?

Le immagini inviate a un modello vision vengono convertite in token di input, e quelle più grandi di solito ne usano di più. Le API speech-to-text invece hanno spesso un prezzo al minuto di audio anziché per token.

Perché lo stesso testo usa un numero diverso di token su due modelli?

Ogni famiglia di modelli ha il proprio tokenizer e il proprio vocabolario, quindi la stessa frase può essere divisa in un numero diverso di pezzi.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity