---
title: "Tokenizer nedir? LLM'ler metni token'lara nasıl böler?"
description: "Tokenizer, metni bir LLM'in okuduğu token kimliklerine çevirir. Nasıl çalışır, aynı metin neden her modelde farklı token sayısı verir? Ölçülmüş Arapça verilerle."
url: https://broadrouter.com/tr/glossary/tokenizer/
lang: tr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/tokenizer/) (güncelleme: 2026-11-16).

# Tokenizer

Güncellendi 2026-11-16

Tokenizer, metni bir dil modelinin okuduğu tam sayı token kimlikleri dizisine dönüştüren ve üretilen kimlikleri tekrar metne çeviren bileşendir. Her model kendi tokenizer'ıyla gelir; bu yüzden aynı metin farklı modellerde farklı sayıda token üretebilir.

Diğer adları: tokenizer, tokenleştirici, belirteçleyici, tokenizasyon, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Tokenizer, metninizin kaç [token](https://broadrouter.com/tr/glossary/token/) olacağına, dolayısıyla bağlam penceresinin ve faturanın ne kadarını kullanacağına karar verir.

## Nasıl çalışır

Bir tokenizer’ın iki parçası vardır: metin parçalarını tam sayı kimliklere eşleyen sabit bir sözlük (vocabulary) ve metni bu parçalara bölme kuralları. Hugging Face’in belgeleri yaygın algoritmaları alt kelime (subword) yöntemleri olarak tanımlar: sık kullanılan kelimeler bütün kalır, nadir kelimeler daha küçük bilinen parçalara bölünür; örneğin “annoyingly”, “annoying” + “ly” olabilir. Güncel LLM’lerin çoğu [byte pair encoding](https://broadrouter.com/tr/glossary/bpe/) veya bir türevini kullanır.

Kodlama üç adımda yürür:

1.  **Ön tokenizasyon.** Boşluklardan, noktalama işaretlerinden ve rakamlardan bölünür.
2.  **Parçaları kimliklere eşleme.** Öğrenilmiş birleştirmeler uygulanır ve her parça sözlükte aranır.
3.  **Özel token’ları ekleme.** Sohbet şablonu (chat template) mesajları rol işaretleriyle sarar; bunlar da sayılır.

Kod çözme 2. adımı tersine çevirir. Açık ağırlıklı modellerde bunların hepsi model deposundaki bir `tokenizer.json` dosyasında bulunur.

## Neden önemli

Farklı tokenizer’lar aynı metin için farklı sayılar verir. Veri setindeki metinleri her modelin sabitlenmiş tokenizer’ıyla kodladık (İngilizce: Wikipedia ve Project Gutenberg düzyazısı; Arapça: 2,009 FLORES-200 cümlesi ve üç Wikipedia giriş paragrafı; ölçüm tarihi 2026-11-15; 100 kelime başına token = token / kelime x 100):

| Metin | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| İngilizce düzyazı, 1,183 kelime | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arapça MSA, 39,037 kelime | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

İngilizce her yerde birbirine yakın. Arapça değil: GLM 5.3, aynı metin için Qwen3.8 27B’nin ihtiyaç duyduğu token’ın 95,230 / 71,424 = 1.33 katına ihtiyaç duyar. Token başına fiyatlandırmada bu fark bir maliyet farkıdır ve [bağlam penceresine](https://broadrouter.com/tr/glossary/context-window/) ne kadar Arapça sığacağını da değiştirir. Gemma sütunu Google’ın temel Gemma 4 tokenizer’ını kullanır; BroadNet’in derlemesi bu modele dayanır ve tokenizer’ı koruduğunu varsayıyoruz. CSV ve JSON indirmeleriyle birlikte model başına tüm sayılar [tokenizer verimliliği veri setinde](https://broadrouter.com/data/tokenizer-efficiency/).

## BroadNet Inference’ta

BroadNet, kullandıkça öde sohbeti [girdi ve çıktı token’larına](https://broadrouter.com/tr/glossary/input-and-output-tokens/) göre faturalar ve sayıları her yanıtın `usage` nesnesinde bildirir; yani geçerli sayı API’nin döndürdüğü sayıdır. Göndermeden önce tahmin etmek için metni, aynı sabitlenmiş tokenizer dosyalarını yükleyen [token sayacına](https://broadrouter.com/tools/token-counter/) veya [Arapça token sayacına](https://broadrouter.com/tools/arabic-token-counter/) yapıştırın. Ölçümün tamamı [Arapça ve İngilizcede kelime başına token](https://broadrouter.com/tr/blog/tokens-per-word-arabic-english/) yazısında.

## Sık yapılan hatalar

-   Bir modelin tokenizer’ıyla sayıp başka bir modelden faturalanmak. Çağırdığınız modelin tokenizer’ını kullanın.
-   Sohbet şablonunu unutmak. Rol işaretleri ve sistem istemleri, düz metin sayımlarının kaçırdığı token’lar ekler.

## Sık sorulan sorular

### Tüm LLM'ler aynı tokenizer'ı mı kullanır?

Hayır. Her model ailesi kendi tokenizer'ını kendi sözlüğüyle eğitir. Tokenizer veri setimizde aynı 39,037 kelimelik Arapça metin Qwen3.8 27B'de 71,424 token, GLM 5.3'te 95,230 token tuttu.

### Bir modelin tokenizer'ını nerede bulurum?

Açık ağırlıklı modellerde, modelin Hugging Face deposundaki tokenizer.json dosyasıdır. Token'ları tam olarak saymak için Hugging Face tokenizers kütüphanesiyle yükleyin.

### Tokenizer ile tokenizasyon aynı şey mi?

Tokenizasyon, metni token'lara bölme işlemidir. Tokenizer ise bunu belirli bir model için yapan dosya ve koddur.

## Ayrıca bakın

-   [Token](https://broadrouter.com/tr/glossary/token/) (terim)
-   [Byte pair encoding (BPE)](https://broadrouter.com/tr/glossary/bpe/) (terim)
-   [Sözlük boyutu (vocabulary size)](https://broadrouter.com/tr/glossary/vocabulary-size/) (terim)
-   [Girdi ve çıktı token'ları](https://broadrouter.com/tr/glossary/input-and-output-tokens/) (terim)
-   [Bağlam penceresi (context window)](https://broadrouter.com/tr/glossary/context-window/) (terim)
-   [Sohbet şablonu (chat template)](https://broadrouter.com/tr/glossary/chat-template/) (terim)
-   [Unicode normalizasyonu (Unicode normalization)](https://broadrouter.com/tr/glossary/unicode-normalization/) (terim)
-   [OpenAI Python SDK'yı BroadNet Inference ile kullanın](https://broadrouter.com/tr/guides/openai-python-sdk/) (rehber)
-   [Arapça ve İngilizcede kelime başına token: Arapça neden pahalı?](https://broadrouter.com/tr/blog/tokens-per-word-arabic-english/) (yazı)
-   [LLM isteği göndermeden önce token sayısı nasıl hesaplanır?](https://broadrouter.com/tr/blog/count-tokens-before-sending/) (yazı)
-   [Arapça istem mühendisliği: dil düzeyi, RTL, rakamlar, karışık metin](https://broadrouter.com/tr/blog/arabic-prompt-engineering/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-tokenizer&utm_content=page-cta) ·

**Kaynaklar**

-   [Hugging Face Transformers, tokenizasyon algoritmaları (kontrol tarihi 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face model deposu, Qwen/Qwen3.8-27B (kontrol tarihi 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face model deposu, deepseek-ai/DeepSeek-V4.1-Flash (kontrol tarihi 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Hugging Face model deposu, google/gemma-4-26B-A4B-it (kontrol tarihi 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
