BroadRouter
Başlayın

Token

Güncellendi

Token, bir dil modelinin okuduğu ve yazdığı metin birimidir: modelin tokenizer'ının ürettiği bir kelime, kelime parçası, noktalama işareti veya bayt dizisi. LLM API'leri kullanımı token cinsinden sayar, sınırlar ve genellikle faturalandırır.

Diğer adları: token nedir, LLM token, yapay zeka token, token'lar, tokenizasyon, belirteç, tokens, tokenization

Modeller harfleri veya kelimeleri görmez. Her biri sabit bir sözcük dağarcığındaki bir metin parçasını temsil eden tam sayılardan oluşan bir dizi görür. Bu parçalar token’dır.

Nasıl çalışır

Bir tokenizer, model okumadan önce metni böler. Modern modellerin çoğu bayt çifti kodlaması (BPE) gibi alt kelime yöntemleri kullanır. Yaygın kelimeler bütün kalır, nadir kelimeler parçalara ayrılır. Hugging Face’in örneği: annoyingly, annoying ve ly olarak bölünebilir.

Bayt düzeyinde BPE 256 bayt değerinden başlar; bu sayede emoji ve her yazı sistemi dahil her girdi kodlanabilir.

OpenAI’nin İngilizce için pratik kuralı, token başına yaklaşık 4 karakter veya 0,75 kelimedir; yani 100 token kabaca 75 kelimedir. Beş güncel tokenizer üzerinde İngilizce düz metinle yaptığımız kendi ölçümümüz 100 kelime başına yaklaşık 129 token, yani 1.000 kelime başına 1,290 token verdi; pratik kurala yakın. Her iki oran da yalnızca bir tahmindir:

  • Arapça dahil başka diller, çoğunlukla İngilizceyle eğitilmiş tokenizer’larda kelime başına genellikle daha fazla token’a bölünür;
  • kod, sayılar ve boşluklar düz metinden farklı şekilde token’lara ayrılır;
  • her model ailesinin kendi sözcük dağarcığı vardır.

Göndermeden önce tahmin etmek için metni token sayacına yapıştırın. API gerçek sayıyı her yanıtın usage bloğunda bildirir:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Neden önemli

Token, bir LLM API’sindeki neredeyse her rakamın arkasındaki birimdir:

Aynı metin, özellikle Arapçada, farklı modellerde farklı sayıda token olabilir. Tokenizer verimliliği veri seti, her model için İngilizce, Arapça ve kodda 100 kelime başına token sayısını ölçer.

BroadNet Inference’ta

Sohbet modelleri 1M token başına fiyatlandırılır. DeepSeek V4.1 Flash için yeni girdi $0.175, önbellekli girdi $0.0055, çıktı ise $0.52 tutarındadır. BroadNet Gemma 4 VL 26B girdi için $0.10, çıktı için $0.22 tutarındadır. Tüm modellerin ücretleri fiyatlar sayfasında.

Sabit fiyatlı bir planda token hiç ölçülmez: bir DeepSeek V4.1 Flash oturumunun token sayacı yoktur ve pratik sınır hızdır: saniyede yaklaşık 100 token. Konuşmadan metne modelleri token başına değil, ses dakikası başına faturalandırılır.

Sık yapılan hatalar

  • İngilizce olmayan metinlerde maliyeti kelime sayısından tahmin etmek. Gerçek örneklerde usage ile ölçün.
  • Akıl yürütme modellerinin düşünmek için de çıktı token’ı harcadığını unutmak. Bkz. akıl yürütme token’ları.

Sık sorulan sorular

1.000 token kaç kelime eder?

İngilizce düz metin için, BroadRouter'ın beş tokenizer üzerinde yaptığı kendi ölçümüne göre yaklaşık 775 kelime (1.000 İngilizce kelime yaklaşık 1,290 token tuttu). OpenAI'nin pratik kuralı, yani bir token'ın kelimenin yaklaşık dörtte üçü olması, 750 sonucunu verir. Başka diller, kod ve başka modellerin tokenizer'ları farklı oranlar verir; önemli olduğunda modelin kendi tokenizer'ıyla sayın.

Görseller ve ses de token sayılır mı?

Bir görsel modeline gönderilen görseller girdi token'ına dönüştürülür ve büyük görseller genellikle daha fazla token kullanır. Konuşmadan metne API'leri ise çoğu zaman token yerine ses dakikası başına fiyatlandırılır.

Aynı metin neden iki modelde farklı sayıda token kullanıyor?

Her model ailesinin kendi tokenizer'ı ve sözcük dağarcığı vardır; bu yüzden aynı cümle farklı sayıda parçaya bölünebilir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor