Un tokenizer decide in quanti token si trasforma il tuo testo, e quindi quanta parte della finestra di contesto e della fattura consuma.
Come funziona
Un tokenizer ha due parti: un vocabolario fisso che associa pezzi di testo a ID interi, e le regole per dividere il testo in quei pezzi. La documentazione di Hugging Face descrive gli algoritmi comuni come metodi subword: le parole frequenti restano intere e quelle rare si dividono in pezzi noti più piccoli, così “annoyingly” può diventare “annoying” + “ly”. La maggior parte degli LLM attuali usa il byte pair encoding o una sua variante.
La codifica avviene in tre passaggi:
- Pre-tokenizzazione. Divide su spazi, punteggiatura e cifre.
- Pezzi in ID. Applica le fusioni apprese e cerca ogni pezzo nel vocabolario.
- Token speciali. Il chat template avvolge i messaggi in marcatori di ruolo, che contano anch’essi.
La decodifica inverte il passaggio 2. Per i modelli open-weight, tutto questo si trova in un file tokenizer.json nel repository del modello.
Perché è importante
Tokenizer diversi danno conteggi diversi per lo stesso testo. Abbiamo codificato i testi del dataset con il tokenizer fissato di ciascun modello (inglese: prosa da Wikipedia e Project Gutenberg; arabo: 2,009 frasi di FLORES-200 più tre incipit di Wikipedia; misurato il 2026-11-15; token per 100 parole = token / parole x 100):
| Testo | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Prosa inglese, 1,183 parole | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arabo MSA, 39,037 parole | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
L’inglese è simile ovunque. L’arabo no: GLM 5.3 richiede 95,230 / 71,424 = 1.33 volte i token che servono a Qwen3.8 27B per lo stesso testo. Con un prezzo per token, quel divario è un divario di costo, e cambia anche quanto arabo entra nella finestra di contesto. La colonna Gemma usa il tokenizer del modello base Gemma 4 di Google; la build di BroadNet si basa su quel modello e presumiamo che ne mantenga il tokenizer. I numeri completi per modello, con download in CSV e JSON, sono nel dataset sull’efficienza dei tokenizer.
Su BroadNet Inference
BroadNet fattura la chat a pagamento a consumo in base ai token di input e di output e riporta i conteggi nell’oggetto usage di ogni risposta, quindi il numero che fa fede è quello restituito dall’API. Per una stima prima dell’invio, incolla il testo nel contatore di token o nel contatore di token per l’arabo, che caricano gli stessi file di tokenizer fissati. La misurazione completa è in token per parola in arabo e in inglese.
Errori comuni
- Contare con il tokenizer di un modello e fatturare su un altro. Usa il tokenizer del modello che chiami.
- Dimenticare il chat template. Marcatori di ruolo e system prompt aggiungono token che i conteggi sul testo semplice non vedono.