Il byte pair encoding è la ricetta dietro la maggior parte dei tokenizer degli LLM: impara quali pezzi di testo compaiono spesso insieme e dai a ogni pezzo frequente un proprio token.
Come funziona
Sennrich, Haddow e Birch (2015) hanno applicato alla traduzione il BPE, in origine un metodo di compressione. La loro idea era che nomi, parole composte e parole rare si possono costruire con unità più piccole, così un modello non ha bisogno di una voce di dizionario per ogni parola.
Addestrare un vocabolario BPE segue un ciclo semplice, mostrato passo per passo nella documentazione di Hugging Face:
- Conta le frequenze delle parole in un corpus di addestramento, per esempio
hug10,pug5,pun12,bun4,hugs5. - Parti dai singoli caratteri:
b g h n p s u. - Trova la coppia adiacente più frequente.
u+gcompare 20 volte, quindi aggiungiug. - Ripeti.
u+n(16 volte) diventaun. - Fermati alla dimensione del vocabolario prevista, che è pari ai simboli di base più il numero di unioni.
Per codificare testo nuovo, il tokenizer applica le unioni imparate nello stesso ordine. La codifica è deterministica: lo stesso testo dà sempre gli stessi token.
Il BPE a livello di byte parte dai 256 valori di un byte invece che dai caratteri. Così ogni stringa possibile è codificabile. Il vocabolario di GPT-2 era di 256 byte + 50.000 unioni + 1 token di fine testo = 50.257.
Perché è importante
Il BPE spiega diverse cose che vedi nella fattura di un’API:
- Le parole inglesi comuni sono un solo token, perché le loro coppie sono state unite presto.
- Parole rare, refusi e scritture non latine si spezzano in più token. In UTF-8 una lettera araba occupa 2 byte, quindi un tokenizer a livello di byte che ha imparato poche unioni arabe spende più token per parola.
- I conteggi cambiano da modello a modello. Ogni modello impara le proprie unioni dai propri dati.
La nostra misura del 2026-11-14 mostra l’effetto. La stessa chat in dialetto del Golfo di 117 parole valeva 276 token su GLM 5.3 e 229 su Qwen3.8 27B. Sono 276 / 117 x 100 = 235,9 contro 229 / 117 x 100 = 195,7 token ogni 100 parole. La traduzione inglese di quella chat costava 202 e 208 token, quasi uguale.
Su BroadNet Inference
Su BroadNet non scegli il tokenizer; ogni modello usa il suo. Confronta i conteggi sul tuo testo reale nel contatore di token per l’arabo prima di scegliere un modello per il traffico in arabo, e leggi token per parola in arabo e in inglese per la tabella completa. Ricorda che il prezzo lo fa il numero di token, non il numero di parole.