---
title: "Cos’è il byte pair encoding (BPE) nei tokenizer degli LLM?"
description: "Il byte pair encoding crea il vocabolario di un tokenizer unendo le coppie di simboli più frequenti. Come funzionano BPE e BPE a byte, e perché l’arabo dà più token."
url: https://broadrouter.com/it/glossary/bpe/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/glossary/bpe/) (aggiornato il 2026-11-16).

# Byte pair encoding (BPE)

Aggiornato 2026-11-16

Il byte pair encoding (BPE) è un algoritmo di tokenizzazione in sottoparole che parte da singoli caratteri o byte e unisce ripetutamente la coppia adiacente più frequente in una nuova voce del vocabolario, fino a raggiungere la dimensione di vocabolario prevista. La maggior parte dei tokenizer LLM attuali usa BPE o una sua variante a livello di byte.

Detto anche: codifica BPE, tokenizzazione BPE, BPE a livello di byte, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

Il byte pair encoding è la ricetta dietro la maggior parte dei [tokenizer](https://broadrouter.com/it/glossary/tokenizer/) degli LLM: impara quali pezzi di testo compaiono spesso insieme e dai a ogni pezzo frequente un proprio token.

## Come funziona

Sennrich, Haddow e Birch (2015) hanno applicato alla traduzione il BPE, in origine un metodo di compressione. La loro idea era che nomi, parole composte e parole rare si possono costruire con unità più piccole, così un modello non ha bisogno di una voce di dizionario per ogni parola.

Addestrare un vocabolario BPE segue un ciclo semplice, mostrato passo per passo nella documentazione di Hugging Face:

1.  Conta le frequenze delle parole in un corpus di addestramento, per esempio `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  Parti dai singoli caratteri: `b g h n p s u`.
3.  Trova la coppia adiacente più frequente. `u` + `g` compare 20 volte, quindi aggiungi `ug`.
4.  Ripeti. `u` + `n` (16 volte) diventa `un`.
5.  Fermati alla [dimensione del vocabolario](https://broadrouter.com/it/glossary/vocabulary-size/) prevista, che è pari ai simboli di base più il numero di unioni.

Per codificare testo nuovo, il tokenizer applica le unioni imparate nello stesso ordine. La codifica è deterministica: lo stesso testo dà sempre gli stessi token.

**Il BPE a livello di byte** parte dai 256 valori di un byte invece che dai caratteri. Così ogni stringa possibile è codificabile. Il vocabolario di GPT-2 era di 256 byte + 50.000 unioni + 1 token di fine testo = 50.257.

## Perché è importante

Il BPE spiega diverse cose che vedi nella fattura di un’API:

-   **Le parole inglesi comuni sono un solo token**, perché le loro coppie sono state unite presto.
-   **Parole rare, refusi e scritture non latine si spezzano in più token.** In UTF-8 una lettera araba occupa 2 byte, quindi un tokenizer a livello di byte che ha imparato poche unioni arabe spende più token per parola.
-   **I conteggi cambiano da modello a modello.** Ogni modello impara le proprie unioni dai propri dati.

La nostra misura del 2026-11-14 mostra l’effetto. La stessa chat in dialetto del Golfo di 117 parole valeva 276 token su GLM 5.3 e 229 su Qwen3.8 27B. Sono 276 / 117 x 100 = 235,9 contro 229 / 117 x 100 = 195,7 token ogni 100 parole. La traduzione inglese di quella chat costava 202 e 208 token, quasi uguale.

## Su BroadNet Inference

Su BroadNet non scegli il tokenizer; ogni modello usa il suo. Confronta i conteggi sul tuo testo reale nel [contatore di token per l’arabo](https://broadrouter.com/tools/arabic-token-counter/) prima di scegliere un modello per il traffico in arabo, e leggi [token per parola in arabo e in inglese](https://broadrouter.com/it/blog/tokens-per-word-arabic-english/) per la tabella completa. Ricorda che il prezzo lo fa il numero di [token](https://broadrouter.com/it/glossary/token/), non il numero di parole.

## Domande frequenti

### Chi ha inventato il BPE per i modelli linguistici?

Il BPE è nato come algoritmo di compressione dei dati. Sennrich, Haddow e Birch lo hanno adattato nel 2015 per dividere le parole rare in sottoparole nella traduzione automatica neurale, e i tokenizer degli LLM derivano da quel lavoro.

### Cos’è il BPE a livello di byte?

Un tokenizer BPE il cui vocabolario di base sono i 256 valori possibili di un byte invece dei caratteri, così qualsiasi testo, in qualsiasi scrittura, si può codificare senza un token sconosciuto. GPT-2 lo usava con 50.257 voci.

### Perché il BPE produce più token per l’arabo che per l’inglese?

Le unioni si imparano dai dati di addestramento. Se un tokenizer ha visto meno arabo, sono state unite meno coppie arabe, e le parole arabe si spezzano in più pezzi.

## Vedi anche

-   [Tokenizer](https://broadrouter.com/it/glossary/tokenizer/) (termine)
-   [Dimensione del vocabolario (vocabulary size)](https://broadrouter.com/it/glossary/vocabulary-size/) (termine)
-   [Token](https://broadrouter.com/it/glossary/token/) (termine)
-   [Finestra di contesto (context window)](https://broadrouter.com/it/glossary/context-window/) (termine)
-   [Token per parola in arabo e in inglese: perché l’arabo costa di più](https://broadrouter.com/it/blog/tokens-per-word-arabic-english/) (articolo)
-   [Come contare i token prima di inviare una richiesta a un LLM](https://broadrouter.com/it/blog/count-tokens-before-sending/) (articolo)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-bpe&utm_content=page-cta) ·

**Fonti**

-   [Sennrich, Haddow e Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (verificato il 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, algoritmi di tokenizzazione (BPE e BPE a livello di byte) (verificato il 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
