---
title: "Cos’è un tokenizer? Come un LLM divide il testo in token"
description: "Un tokenizer trasforma il testo negli ID di token che un LLM legge. Come funziona e perché lo stesso testo dà conteggi diversi per modello, con dati sull’arabo."
url: https://broadrouter.com/it/glossary/tokenizer/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/glossary/tokenizer/) (aggiornato il 2026-11-16).

# Tokenizer

Aggiornato 2026-11-16

Un tokenizer è il componente che converte il testo nella sequenza di ID interi di token che un modello linguistico legge, e riconverte in testo gli ID generati. Ogni modello ha il proprio tokenizer, quindi lo stesso testo può produrre un numero di token diverso su modelli diversi.

Detto anche: tokenizzatore, tokenizer LLM, tokenizzazione, tokenizer subword, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Un tokenizer decide in quanti [token](https://broadrouter.com/it/glossary/token/) si trasforma il tuo testo, e quindi quanta parte della finestra di contesto e della fattura consuma.

## Come funziona

Un tokenizer ha due parti: un vocabolario fisso che associa pezzi di testo a ID interi, e le regole per dividere il testo in quei pezzi. La documentazione di Hugging Face descrive gli algoritmi comuni come metodi subword: le parole frequenti restano intere e quelle rare si dividono in pezzi noti più piccoli, così “annoyingly” può diventare “annoying” + “ly”. La maggior parte degli LLM attuali usa il [byte pair encoding](https://broadrouter.com/it/glossary/bpe/) o una sua variante.

La codifica avviene in tre passaggi:

1.  **Pre-tokenizzazione.** Divide su spazi, punteggiatura e cifre.
2.  **Pezzi in ID.** Applica le fusioni apprese e cerca ogni pezzo nel vocabolario.
3.  **Token speciali.** Il chat template avvolge i messaggi in marcatori di ruolo, che contano anch’essi.

La decodifica inverte il passaggio 2. Per i modelli open-weight, tutto questo si trova in un file `tokenizer.json` nel repository del modello.

## Perché è importante

Tokenizer diversi danno conteggi diversi per lo stesso testo. Abbiamo codificato i testi del dataset con il tokenizer fissato di ciascun modello (inglese: prosa da Wikipedia e Project Gutenberg; arabo: 2,009 frasi di FLORES-200 più tre incipit di Wikipedia; misurato il 2026-11-15; token per 100 parole = token / parole x 100):

| Testo | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| Prosa inglese, 1,183 parole | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arabo MSA, 39,037 parole | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

L’inglese è simile ovunque. L’arabo no: GLM 5.3 richiede 95,230 / 71,424 = 1.33 volte i token che servono a Qwen3.8 27B per lo stesso testo. Con un prezzo per token, quel divario è un divario di costo, e cambia anche quanto arabo entra nella [finestra di contesto](https://broadrouter.com/it/glossary/context-window/). La colonna Gemma usa il tokenizer del modello base Gemma 4 di Google; la build di BroadNet si basa su quel modello e presumiamo che ne mantenga il tokenizer. I numeri completi per modello, con download in CSV e JSON, sono nel [dataset sull’efficienza dei tokenizer](https://broadrouter.com/data/tokenizer-efficiency/).

## Su BroadNet Inference

BroadNet fattura la chat a pagamento a consumo in base ai [token di input e di output](https://broadrouter.com/it/glossary/input-and-output-tokens/) e riporta i conteggi nell’oggetto `usage` di ogni risposta, quindi il numero che fa fede è quello restituito dall’API. Per una stima prima dell’invio, incolla il testo nel [contatore di token](https://broadrouter.com/tools/token-counter/) o nel [contatore di token per l’arabo](https://broadrouter.com/tools/arabic-token-counter/), che caricano gli stessi file di tokenizer fissati. La misurazione completa è in [token per parola in arabo e in inglese](https://broadrouter.com/it/blog/tokens-per-word-arabic-english/).

## Errori comuni

-   Contare con il tokenizer di un modello e fatturare su un altro. Usa il tokenizer del modello che chiami.
-   Dimenticare il chat template. Marcatori di ruolo e system prompt aggiungono token che i conteggi sul testo semplice non vedono.

## Domande frequenti

### Tutti gli LLM usano lo stesso tokenizer?

No. Ogni famiglia di modelli addestra il proprio, con il proprio vocabolario. Nel nostro dataset sui tokenizer le stesse 39,037 parole di arabo erano 71,424 token su Qwen3.8 27B e 95,230 su GLM 5.3.

### Dove trovo il tokenizer di un modello?

Per i modelli open-weight è il file tokenizer.json nel repository del modello su Hugging Face. Caricalo con la libreria tokenizers di Hugging Face per contare i token con esattezza.

### Tokenizer e tokenizzazione sono la stessa cosa?

La tokenizzazione è il processo di suddivisione del testo in token. Il tokenizer è il file e il codice che la esegue per uno specifico modello.

## Vedi anche

-   [Token](https://broadrouter.com/it/glossary/token/) (termine)
-   [Byte pair encoding (BPE)](https://broadrouter.com/it/glossary/bpe/) (termine)
-   [Dimensione del vocabolario (vocabulary size)](https://broadrouter.com/it/glossary/vocabulary-size/) (termine)
-   [Token di input e di output](https://broadrouter.com/it/glossary/input-and-output-tokens/) (termine)
-   [Finestra di contesto (context window)](https://broadrouter.com/it/glossary/context-window/) (termine)
-   [Chat template](https://broadrouter.com/it/glossary/chat-template/) (termine)
-   [Normalizzazione Unicode (Unicode normalization)](https://broadrouter.com/it/glossary/unicode-normalization/) (termine)
-   [Usare l’SDK Python di OpenAI con BroadNet Inference](https://broadrouter.com/it/guides/openai-python-sdk/) (guida)
-   [Token per parola in arabo e in inglese: perché l’arabo costa di più](https://broadrouter.com/it/blog/tokens-per-word-arabic-english/) (articolo)
-   [Come contare i token prima di inviare una richiesta a un LLM](https://broadrouter.com/it/blog/count-tokens-before-sending/) (articolo)
-   [Prompt engineering in arabo: registro, RTL, cifre e testo misto](https://broadrouter.com/it/blog/arabic-prompt-engineering/) (articolo)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-tokenizer&utm_content=page-cta) ·

**Fonti**

-   [Hugging Face Transformers, algoritmi di tokenizzazione (verificato il 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Repository del modello su Hugging Face, Qwen/Qwen3.8-27B (verificato il 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Repository del modello su Hugging Face, deepseek-ai/DeepSeek-V4.1-Flash (verificato il 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Repository del modello su Hugging Face, google/gemma-4-26B-A4B-it (verificato il 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
