---
title: "LLM tokenizer'larında byte pair encoding (BPE) nedir?"
description: "Byte pair encoding, en sık sembol çiftlerini birleştirerek tokenizer sözlüğü kurar. BPE ve byte düzeyi BPE nasıl çalışır, Arapça neden daha çok token'a bölünür?"
url: https://broadrouter.com/tr/glossary/bpe/
lang: tr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/bpe/) (güncelleme: 2026-11-16).

# Byte pair encoding (BPE)

Güncellendi 2026-11-16

Byte pair encoding (BPE), tek tek karakterlerden veya byte'lardan başlayıp en sık görülen bitişik çifti hedef sözlük boyutuna ulaşana kadar tekrar tekrar yeni bir sözlük girdisine birleştiren bir alt kelime tokenizasyon algoritmasıdır. Günümüz LLM tokenizer'larının çoğu BPE'yi veya byte düzeyi bir türevini kullanır.

Diğer adları: BPE, BPE tokenizasyonu, bayt çifti kodlaması, byte düzeyi BPE, alt kelime tokenizasyonu, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

Byte pair encoding, çoğu LLM [tokenizer’ının](https://broadrouter.com/tr/glossary/tokenizer/) arkasındaki tariftir: metnin hangi parçalarının sık sık birlikte geçtiğini öğren ve her sık parçaya kendi token’ını ver.

## Nasıl çalışır

Sennrich, Haddow ve Birch (2015), aslen bir sıkıştırma yöntemi olan BPE’yi çeviriye uyguladı. Fikirleri şuydu: adlar, bileşik kelimeler ve nadir kelimeler daha küçük birimlerden kurulabilir; böylece modelin her kelime için bir sözlük girdisine ihtiyacı kalmaz.

Bir BPE sözlüğünü eğitmek, Hugging Face belgelerinde adım adım gösterilen basit bir döngüdür:

1.  Bir eğitim derlemindeki kelime sıklıklarını sayın; örneğin `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5.
2.  Tek karakterlerle başlayın: `b g h n p s u`.
3.  En sık bitişik çifti bulun. `u` + `g` 20 kez geçiyor, bu yüzden `ug` ekleyin.
4.  Tekrarlayın. `u` + `n` (16 kez) `un` olur.
5.  Temel semboller artı birleştirme sayısına eşit olan hedef [sözlük boyutunda](https://broadrouter.com/tr/glossary/vocabulary-size/) durun.

Yeni metni kodlamak için tokenizer öğrenilmiş birleştirmeleri aynı sırayla uygular. Kodlama deterministiktir: aynı metin her zaman aynı token’ları verir.

**Byte düzeyi BPE**, karakterler yerine 256 byte değerinden başlar. Böylece olası her dize kodlanabilir. GPT-2’nin sözlüğü 256 byte + 50.000 birleştirme + 1 metin sonu token’ı = 50.257 idi.

## Neden önemli

BPE, API faturasında gördüğünüz birkaç şeyi açıklar:

-   **Yaygın İngilizce kelimeler tek token’dır**, çünkü çiftleri erkenden birleştirilmiştir.
-   **Nadir kelimeler, yazım hataları ve Latin olmayan alfabeler daha çok token’a bölünür.** UTF-8’de bir Arapça harf 2 byte tutar; bu yüzden az Arapça birleştirme öğrenmiş byte düzeyi bir tokenizer kelime başına daha çok token harcar.
-   **Sayılar modele göre değişir.** Her model kendi verisinden kendi birleştirmelerini öğrenir.

2026-11-14 tarihli ölçümümüz etkiyi gösteriyor. 117 kelimelik aynı Körfez lehçesi sohbeti GLM 5.3’te 276, Qwen3.8 27B’de 229 token tuttu. Bu, 100 kelime başına 276 / 117 x 100 = 235,9 ve 229 / 117 x 100 = 195,7 token demektir. Aynı sohbetin İngilizce çevirisi 202 ve 208 token tuttu; neredeyse aynı.

## BroadNet Inference’ta

BroadNet’te tokenizer seçmezsiniz; her model kendisininkini kullanır. Arapça trafik için model seçmeden önce gerçek metninizin sayılarını [Arapça token sayacında](https://broadrouter.com/tools/arabic-token-counter/) karşılaştırın; tablonun tamamı için [Arapça ve İngilizcede kelime başına token](https://broadrouter.com/tr/blog/tokens-per-word-arabic-english/) yazısını okuyun. Fiyatı kelime sayısının değil, [token](https://broadrouter.com/tr/glossary/token/) sayısının belirlediğini unutmayın.

## Sık sorulan sorular

### Dil modelleri için BPE'yi kim icat etti?

BPE bir veri sıkıştırma algoritması olarak başladı. Sennrich, Haddow ve Birch 2015'te onu nöral makine çevirisinde nadir kelimeleri alt kelime birimlerine bölmek için uyarladı; LLM tokenizer'ları bu çalışmadan doğdu.

### Byte düzeyi BPE nedir?

Temel sözlüğü karakterler yerine 256 olası byte değeri olan bir BPE tokenizer'ıdır; böylece her alfabedeki her metin bilinmeyen token olmadan kodlanabilir. GPT-2 bunu 50.257 girdiyle kullandı.

### BPE neden Arapça için İngilizceden daha çok token üretir?

Birleştirmeler eğitim verisinden öğrenilir. Bir tokenizer daha az Arapça gördüyse daha az Arapça çift birleştirilmiştir ve Arapça kelimeler daha çok parçaya bölünür.

## Ayrıca bakın

-   [Tokenizer](https://broadrouter.com/tr/glossary/tokenizer/) (terim)
-   [Sözlük boyutu (vocabulary size)](https://broadrouter.com/tr/glossary/vocabulary-size/) (terim)
-   [Token](https://broadrouter.com/tr/glossary/token/) (terim)
-   [Bağlam penceresi (context window)](https://broadrouter.com/tr/glossary/context-window/) (terim)
-   [Arapça ve İngilizcede kelime başına token: Arapça neden pahalı?](https://broadrouter.com/tr/blog/tokens-per-word-arabic-english/) (yazı)
-   [LLM isteği göndermeden önce token sayısı nasıl hesaplanır?](https://broadrouter.com/tr/blog/count-tokens-before-sending/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-bpe&utm_content=page-cta) ·

**Kaynaklar**

-   [Sennrich, Haddow ve Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (kontrol tarihi 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, tokenizasyon algoritmaları (BPE ve byte düzeyi BPE) (kontrol tarihi 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
