Tokenizer, metninizin kaç token olacağına, dolayısıyla bağlam penceresinin ve faturanın ne kadarını kullanacağına karar verir.
Nasıl çalışır
Bir tokenizer’ın iki parçası vardır: metin parçalarını tam sayı kimliklere eşleyen sabit bir sözlük (vocabulary) ve metni bu parçalara bölme kuralları. Hugging Face’in belgeleri yaygın algoritmaları alt kelime (subword) yöntemleri olarak tanımlar: sık kullanılan kelimeler bütün kalır, nadir kelimeler daha küçük bilinen parçalara bölünür; örneğin “annoyingly”, “annoying” + “ly” olabilir. Güncel LLM’lerin çoğu byte pair encoding veya bir türevini kullanır.
Kodlama üç adımda yürür:
- Ön tokenizasyon. Boşluklardan, noktalama işaretlerinden ve rakamlardan bölünür.
- Parçaları kimliklere eşleme. Öğrenilmiş birleştirmeler uygulanır ve her parça sözlükte aranır.
- Özel token’ları ekleme. Sohbet şablonu (chat template) mesajları rol işaretleriyle sarar; bunlar da sayılır.
Kod çözme 2. adımı tersine çevirir. Açık ağırlıklı modellerde bunların hepsi model deposundaki bir tokenizer.json dosyasında bulunur.
Neden önemli
Farklı tokenizer’lar aynı metin için farklı sayılar verir. Veri setindeki metinleri her modelin sabitlenmiş tokenizer’ıyla kodladık (İngilizce: Wikipedia ve Project Gutenberg düzyazısı; Arapça: 2,009 FLORES-200 cümlesi ve üç Wikipedia giriş paragrafı; ölçüm tarihi 2026-11-15; 100 kelime başına token = token / kelime x 100):
| Metin | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| İngilizce düzyazı, 1,183 kelime | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arapça MSA, 39,037 kelime | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
İngilizce her yerde birbirine yakın. Arapça değil: GLM 5.3, aynı metin için Qwen3.8 27B’nin ihtiyaç duyduğu token’ın 95,230 / 71,424 = 1.33 katına ihtiyaç duyar. Token başına fiyatlandırmada bu fark bir maliyet farkıdır ve bağlam penceresine ne kadar Arapça sığacağını da değiştirir. Gemma sütunu Google’ın temel Gemma 4 tokenizer’ını kullanır; BroadNet’in derlemesi bu modele dayanır ve tokenizer’ı koruduğunu varsayıyoruz. CSV ve JSON indirmeleriyle birlikte model başına tüm sayılar tokenizer verimliliği veri setinde.
BroadNet Inference’ta
BroadNet, kullandıkça öde sohbeti girdi ve çıktı token’larına göre faturalar ve sayıları her yanıtın usage nesnesinde bildirir; yani geçerli sayı API’nin döndürdüğü sayıdır. Göndermeden önce tahmin etmek için metni, aynı sabitlenmiş tokenizer dosyalarını yükleyen token sayacına veya Arapça token sayacına yapıştırın. Ölçümün tamamı Arapça ve İngilizcede kelime başına token yazısında.
Sık yapılan hatalar
- Bir modelin tokenizer’ıyla sayıp başka bir modelden faturalanmak. Çağırdığınız modelin tokenizer’ını kullanın.
- Sohbet şablonunu unutmak. Rol işaretleri ve sistem istemleri, düz metin sayımlarının kaçırdığı token’lar ekler.