Modeller harfleri veya kelimeleri görmez. Her biri sabit bir sözcük dağarcığındaki bir metin parçasını temsil eden tam sayılardan oluşan bir dizi görür. Bu parçalar token’dır.
Nasıl çalışır
Bir tokenizer, model okumadan önce metni böler. Modern modellerin çoğu bayt çifti kodlaması (BPE) gibi alt kelime yöntemleri kullanır. Yaygın kelimeler bütün kalır, nadir kelimeler parçalara ayrılır. Hugging Face’in örneği: annoyingly, annoying ve ly olarak bölünebilir.
Bayt düzeyinde BPE 256 bayt değerinden başlar; bu sayede emoji ve her yazı sistemi dahil her girdi kodlanabilir.
OpenAI’nin İngilizce için pratik kuralı, token başına yaklaşık 4 karakter veya 0,75 kelimedir; yani 100 token kabaca 75 kelimedir. Beş güncel tokenizer üzerinde İngilizce düz metinle yaptığımız kendi ölçümümüz 100 kelime başına yaklaşık 129 token, yani 1.000 kelime başına 1,290 token verdi; pratik kurala yakın. Her iki oran da yalnızca bir tahmindir:
- Arapça dahil başka diller, çoğunlukla İngilizceyle eğitilmiş tokenizer’larda kelime başına genellikle daha fazla token’a bölünür;
- kod, sayılar ve boşluklar düz metinden farklı şekilde token’lara ayrılır;
- her model ailesinin kendi sözcük dağarcığı vardır.
Göndermeden önce tahmin etmek için metni token sayacına yapıştırın. API gerçek sayıyı her yanıtın usage bloğunda bildirir:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Neden önemli
Token, bir LLM API’sindeki neredeyse her rakamın arkasındaki birimdir:
- Fiyat. Token başına ücretlendiren API’ler 1M girdi ve çıktı token’ı başına, çoğu zaman farklı ücretlerle faturalandırır.
- Sınırlar. Bağlam penceresi ve
max_tokenstoken cinsinden ölçülür; birçok hız sınırı da dakika başına token sayar. - Hız. Üretim hızı saniye başına token olarak verilir.
Aynı metin, özellikle Arapçada, farklı modellerde farklı sayıda token olabilir. Tokenizer verimliliği veri seti, her model için İngilizce, Arapça ve kodda 100 kelime başına token sayısını ölçer.
BroadNet Inference’ta
Sohbet modelleri 1M token başına fiyatlandırılır. DeepSeek V4.1 Flash için yeni girdi $0.175, önbellekli girdi $0.0055, çıktı ise $0.52 tutarındadır. BroadNet Gemma 4 VL 26B girdi için $0.10, çıktı için $0.22 tutarındadır. Tüm modellerin ücretleri fiyatlar sayfasında.
Sabit fiyatlı bir planda token hiç ölçülmez: bir DeepSeek V4.1 Flash oturumunun token sayacı yoktur ve pratik sınır hızdır: saniyede yaklaşık 100 token. Konuşmadan metne modelleri token başına değil, ses dakikası başına faturalandırılır.
Sık yapılan hatalar
- İngilizce olmayan metinlerde maliyeti kelime sayısından tahmin etmek. Gerçek örneklerde
usageile ölçün. - Akıl yürütme modellerinin düşünmek için de çıktı token’ı harcadığını unutmak. Bkz. akıl yürütme token’ları.