Byte pair encoding, çoğu LLM tokenizer’ının arkasındaki tariftir: metnin hangi parçalarının sık sık birlikte geçtiğini öğren ve her sık parçaya kendi token’ını ver.
Nasıl çalışır
Sennrich, Haddow ve Birch (2015), aslen bir sıkıştırma yöntemi olan BPE’yi çeviriye uyguladı. Fikirleri şuydu: adlar, bileşik kelimeler ve nadir kelimeler daha küçük birimlerden kurulabilir; böylece modelin her kelime için bir sözlük girdisine ihtiyacı kalmaz.
Bir BPE sözlüğünü eğitmek, Hugging Face belgelerinde adım adım gösterilen basit bir döngüdür:
- Bir eğitim derlemindeki kelime sıklıklarını sayın; örneğin
hug10,pug5,pun12,bun4,hugs5. - Tek karakterlerle başlayın:
b g h n p s u. - En sık bitişik çifti bulun.
u+g20 kez geçiyor, bu yüzdenugekleyin. - Tekrarlayın.
u+n(16 kez)unolur. - Temel semboller artı birleştirme sayısına eşit olan hedef sözlük boyutunda durun.
Yeni metni kodlamak için tokenizer öğrenilmiş birleştirmeleri aynı sırayla uygular. Kodlama deterministiktir: aynı metin her zaman aynı token’ları verir.
Byte düzeyi BPE, karakterler yerine 256 byte değerinden başlar. Böylece olası her dize kodlanabilir. GPT-2’nin sözlüğü 256 byte + 50.000 birleştirme + 1 metin sonu token’ı = 50.257 idi.
Neden önemli
BPE, API faturasında gördüğünüz birkaç şeyi açıklar:
- Yaygın İngilizce kelimeler tek token’dır, çünkü çiftleri erkenden birleştirilmiştir.
- Nadir kelimeler, yazım hataları ve Latin olmayan alfabeler daha çok token’a bölünür. UTF-8’de bir Arapça harf 2 byte tutar; bu yüzden az Arapça birleştirme öğrenmiş byte düzeyi bir tokenizer kelime başına daha çok token harcar.
- Sayılar modele göre değişir. Her model kendi verisinden kendi birleştirmelerini öğrenir.
2026-11-14 tarihli ölçümümüz etkiyi gösteriyor. 117 kelimelik aynı Körfez lehçesi sohbeti GLM 5.3’te 276, Qwen3.8 27B’de 229 token tuttu. Bu, 100 kelime başına 276 / 117 x 100 = 235,9 ve 229 / 117 x 100 = 195,7 token demektir. Aynı sohbetin İngilizce çevirisi 202 ve 208 token tuttu; neredeyse aynı.
BroadNet Inference’ta
BroadNet’te tokenizer seçmezsiniz; her model kendisininkini kullanır. Arapça trafik için model seçmeden önce gerçek metninizin sayılarını Arapça token sayacında karşılaştırın; tablonun tamamı için Arapça ve İngilizcede kelime başına token yazısını okuyun. Fiyatı kelime sayısının değil, token sayısının belirlediğini unutmayın.