BroadRouter
Inizia

Byte pair encoding (BPE)

Aggiornato

Il byte pair encoding (BPE) è un algoritmo di tokenizzazione in sottoparole che parte da singoli caratteri o byte e unisce ripetutamente la coppia adiacente più frequente in una nuova voce del vocabolario, fino a raggiungere la dimensione di vocabolario prevista. La maggior parte dei tokenizer LLM attuali usa BPE o una sua variante a livello di byte.

Detto anche: codifica BPE, tokenizzazione BPE, BPE a livello di byte, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

Il byte pair encoding è la ricetta dietro la maggior parte dei tokenizer degli LLM: impara quali pezzi di testo compaiono spesso insieme e dai a ogni pezzo frequente un proprio token.

Come funziona

Sennrich, Haddow e Birch (2015) hanno applicato alla traduzione il BPE, in origine un metodo di compressione. La loro idea era che nomi, parole composte e parole rare si possono costruire con unità più piccole, così un modello non ha bisogno di una voce di dizionario per ogni parola.

Addestrare un vocabolario BPE segue un ciclo semplice, mostrato passo per passo nella documentazione di Hugging Face:

  1. Conta le frequenze delle parole in un corpus di addestramento, per esempio hug 10, pug 5, pun 12, bun 4, hugs 5.
  2. Parti dai singoli caratteri: b g h n p s u.
  3. Trova la coppia adiacente più frequente. u + g compare 20 volte, quindi aggiungi ug.
  4. Ripeti. u + n (16 volte) diventa un.
  5. Fermati alla dimensione del vocabolario prevista, che è pari ai simboli di base più il numero di unioni.

Per codificare testo nuovo, il tokenizer applica le unioni imparate nello stesso ordine. La codifica è deterministica: lo stesso testo dà sempre gli stessi token.

Il BPE a livello di byte parte dai 256 valori di un byte invece che dai caratteri. Così ogni stringa possibile è codificabile. Il vocabolario di GPT-2 era di 256 byte + 50.000 unioni + 1 token di fine testo = 50.257.

Perché è importante

Il BPE spiega diverse cose che vedi nella fattura di un’API:

  • Le parole inglesi comuni sono un solo token, perché le loro coppie sono state unite presto.
  • Parole rare, refusi e scritture non latine si spezzano in più token. In UTF-8 una lettera araba occupa 2 byte, quindi un tokenizer a livello di byte che ha imparato poche unioni arabe spende più token per parola.
  • I conteggi cambiano da modello a modello. Ogni modello impara le proprie unioni dai propri dati.

La nostra misura del 2026-11-14 mostra l’effetto. La stessa chat in dialetto del Golfo di 117 parole valeva 276 token su GLM 5.3 e 229 su Qwen3.8 27B. Sono 276 / 117 x 100 = 235,9 contro 229 / 117 x 100 = 195,7 token ogni 100 parole. La traduzione inglese di quella chat costava 202 e 208 token, quasi uguale.

Su BroadNet Inference

Su BroadNet non scegli il tokenizer; ogni modello usa il suo. Confronta i conteggi sul tuo testo reale nel contatore di token per l’arabo prima di scegliere un modello per il traffico in arabo, e leggi token per parola in arabo e in inglese per la tabella completa. Ricorda che il prezzo lo fa il numero di token, non il numero di parole.

Domande frequenti

Chi ha inventato il BPE per i modelli linguistici?

Il BPE è nato come algoritmo di compressione dei dati. Sennrich, Haddow e Birch lo hanno adattato nel 2015 per dividere le parole rare in sottoparole nella traduzione automatica neurale, e i tokenizer degli LLM derivano da quel lavoro.

Cos’è il BPE a livello di byte?

Un tokenizer BPE il cui vocabolario di base sono i 256 valori possibili di un byte invece dei caratteri, così qualsiasi testo, in qualsiasi scrittura, si può codificare senza un token sconosciuto. GPT-2 lo usava con 50.257 voci.

Perché il BPE produce più token per l’arabo che per l’inglese?

Le unioni si imparano dai dati di addestramento. Se un tokenizer ha visto meno arabo, sono state unite meno coppie arabe, e le parole arabe si spezzano in più pezzi.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity