BroadRouter

LLM isteği göndermeden önce token sayısı nasıl hesaplanır?

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

Çağırdığınız modelin tokenizer'ı herkese açıksa token'ları onunla sayın; değilse gerçek isteklerin usage alanından dile ve içerik türüne göre karakter/token oranı çıkarın. %10 ile %20 pay ekleyin, ardından istem token'ları ile max_tokens toplamının bağlam penceresine sığdığını kontrol edin; düşünen modellerde akıl yürütme token'larına yer bırakın.

Bir isteği göndermeden önce token sayısını bilmeniz üç nedenle gerekir: bağlam penceresinin içinde kalmak, makul bir max_tokens değeri seçmek ve maliyeti tahmin etmek. Kesin sayıyı yalnızca modelin kendi tokenizer’ı verir. İyi tahminler ise kalibrasyondan gelir. Bu yazı ikisini de gerçek ölçümlerle gösteriyor.

Token sayıları modelden modele neden farklı?

Tokenizer, metni sabit bir sözlükten alınan parçalara böler. Her model ailesi kendi tokenizer’ını eğitir. Daha büyük bir sözlük ya da belirli bir dilde daha fazla veriyle eğitilmiş bir sözlük, o dil için daha az token üretir. Dolayısıyla “bu istem kaç token” sorusunun yanıtı her modelde farklıdır.

Dört dile çevrilmiş aynı kısa müşteri hizmetleri mesajını, küçük bir Python fonksiyonunu ve bir fatura JSON nesnesini ölçtük. OpenAI sayımları tiktoken ile yapıldı (GPT-4 dönemine ait cl100k_base ve GPT-4o dönemine ait o200k_base). Açık model sayımları, her ailenin Hugging Face’te yayımladığı tokenizer dosyalarıyla, sohbet şablonu olmadan, 14 Kasım 2026’da yapıldı.

Metin (aynı anlam) Karakter cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
İngilizce, 31 kelime 173 37 37 37 38 39 39
İspanyolca 160 47 40 50 45 43 42
Arapça 142 102 46 55 58 48 49
Çince 54 51 37 34 35 36 38
Python fonksiyonu 94 33 33 35 33 35 38
Fatura JSON’u 140 59 60 63 60 72 72

Her satır tek bir örnek; bu yüzden sayıları bir kıyaslama (benchmark) değil, bir örnek olarak görün. Yine de üç ders geçerli. Tokenizer kuşağı önemlidir: Arapça metin cl100k_base’den o200k_base’e geçince yarıdan fazla küçüldü. Açık modeller de birbirinden farklıdır: aynı Arapça metin 48 ile 58 token, JSON ise 60 ile 72 token arasında değişti. Yapılandırılmış içerik de her yerde token yoğundur: JSON her tokenizer’da token başına yaklaşık 2 karakterdi.

Bunu kendi metninizle ücretsiz token sayacında ya da DeepSeek, Qwen ve GPT için aileye özel sayaçlarda tekrarlayabilirsiniz. Bir istemde yaptığınız düzenlemenin ne kazandırdığını görmek için iki sürümü istem token farkı aracında karşılaştırın. Özellikle Arapçanın neden daha fazla token tuttuğu, daha uzun metinlerle ölçülerek Arapça ve İngilizcede kelime başına token yazısında ele alınıyor.

Token’lar tam olarak nasıl sayılır?

Modelin tokenizer’ı herkese açıksa yükleyin ve yerelde sayın. OpenAI modelleri için:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

Açık ağırlıklı ailelerde tokenizer genellikle Hugging Face’te modelle birlikte gelir ve AutoTokenizer.from_pretrained(...) ile yüklenir. İki uyarı var: sohbet şablonu roller ve ayırıcılar için token ekler, ayrıca bir API sağlayıcısının kullandığı sürüm herkese açık dosyalardan farklı olabilir. BroadNet’in API referansı bir token sayma uç noktası veya her modelin tokenizer’ını belgelemiyor; bu yüzden herkese açık tokenizer yakın bir tahmin verir, kesin sayı ise çağrıdan sonra usage.prompt_tokens değeridir.

Tokenizer herkese açık değilse token’lar nasıl tahmin edilir?

Her model için bir kez kalibre edin, sonra yerelde tahmin edin:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

İçerik türü başına 20 veya daha fazla gerçek örnek kullanın (lorem ipsum değil, gerçek istemleriniz). Tek kelimelik temel istek, sohbet şablonunun sabit ek yükünü ayıklar; estimate bunu overhead olarak geri ekler, bu değeri ölçtüğünüz temel değere ayarlayın. BroadNet’in en ucuz modeliyle kalibre etmeyi yalnızca çağıracağınız model oysa yapın: Gemma 4 VL 26B oranları DeepSeek V4.1 Flash modeline aktarılmaz. Görseller de girdi token’ı olarak faturalandırılır ve büyük görseller daha fazla token kullanır; bu yüzden onları çözünürlüğe göre ayrıca kalibre edin.

max_tokens ve bağlam için hangi payları kullanmalısınız?

Pencere istemi ve çıktıyı kapsar. Akıl yürüten modellerde çıktı, akıl yürütme token’ları olarak raporlanan gizli düşünmeyi de içerir. Bütçeyi şöyle kurun:

  1. İstem tahmini = kalibre edilmiş sayı × 1,15 (%15 güvenlik payı).
  2. Yanıt bütçesi = kabul ettiğiniz en uzun yanıt.
  3. Akıl yürütme bütçesi = düşünen modeller için en az 1.000 token; BroadNet’in belgeleri en az 1.000 veya reasoning_effort: "low" öneriyor, çünkü küçük bir sınır boş yanıt döndürebilir.
  4. max_tokens = yanıt bütçesi + akıl yürütme bütçesi.
  5. Kontrol: istem tahmini + max_tokens ≤ bağlam penceresi. Sığmıyorsa yanıtı değil, istemi kısaltın.

Yayımlanan fiyat dosyasına göre BroadNet Inference’taki bağlam pencereleri:

Model Bağlam penceresi 16K çıktı ve %15 payla pratik istem tavanı
DeepSeek V4.1 Flash 1.048.576 yaklaşık 897.000
GLM 5.3 1.048.576 yaklaşık 897.000
Qwen3.8 27B 262.144 yaklaşık 213.000
Gemma 4 VL 26B 32.768 yaklaşık 14.000

Tavan sütunu (pencere − 16.384) ÷ 1,15 formülüyle hesaplanıp aşağı yuvarlandı. 16.384 yerine kendi max_tokens değerinizi koyun.

Token tahminlerinde neler ters gider?

  • Token yerine kelime saymak. Token başına 0,75 kelime kuralı İngilizce içindir. 29 kelimelik Arapça örneğimiz tokenizer’a göre 46 ile 102 token arasında tuttu.
  • Araçları ve sistem istemini unutmak. Araç şemaları JSON’dur ve JSON token yoğundur. Onları istemin parçası olarak sayın.
  • Sessiz kırpma olacağını varsaymak. Bazı araçlar eski mesajları size haber vermeden atar. BroadNet bağlamınızı kırpmadığını söylüyor; bu yüzden sunucunun kesmesine güvenmek yerine göndermeden önce boyutu kontrol edin. Bağlam penceresi hesaplayıcısı bu kontrolü sizin için yapar.
  • Geçmişin büyümesini göz ardı etmek. Bir sohbet veya ajan döngüsünde istem her turda büyür. Bütçeyi oturum başına bir kez değil, her çağrıda yeniden kontrol edin. Sabit bir geçmiş önbelleğe de daha iyi alınır; bkz. önbellekleme için istem yapısı.

Arapça çalışıyorsanız tokenizer, modelleri kendi metninizle test etmeniz için bir neden daha; gerisini Arapça için LLM seçimi yazısı ele alıyor. Token sayılarını aylık faturaya çevirmek için lansmandan önce LLM API maliyetini tahmin etme yazısına bakın.

BroadNet Inference’ın yeri

BroadNet Inference her yanıtta prompt_tokens, completion_tokens ve model raporladığında önbellekli ve akıl yürütme token sayılarını döndürür; kalibrasyon için ihtiyacınız olan her şey bu. Bir sayma uç noktası veya modele özel tokenizer’lar yayımlamıyor; bu yüzden gönderim öncesi sayımlar tahmindir. 1M token’lık modellerde uzun bağlamla çalışma bağlam penceresi rehberinde, 1M token başına fiyatlar ise fiyatlandırma sayfasında yer alıyor.

Sık sorulan sorular

Bir kelime kaç token eder?

BroadRouter'ın beş tokenizer'ı (dört BroadNet sohbet modelininkiler ve OpenAI'ın o200k_base'i; yazıdaki örnek tablo cl100k_base'i de ekliyor) bir araya getiren tokenizer veri setinde 1.000 İngilizce kelime yaklaşık 1,290 token, yani kelime başına yaklaşık 1.29 token ediyor. Yaygın pratik kural olan token başına 0,75 kelime, İngilizce düz metin için buna yakındır. Arapça, diğer Latin dışı yazılar ve kod kelime başına daha fazla token kullanır. Kendi metninizi çağırdığınız modelle ölçün.

DeepSeek, Qwen veya Gemma için token saymada tiktoken kullanabilir miyim?

Yalnızca kaba bir tahmin için. tiktoken, OpenAI kodlamalarını uygular. Diğer model aileleri kendi tokenizer'larını yayımlar (çoğu zaman Hugging Face'te) ve sayımlar farklıdır. usage alanına göre kalibre edin.

DeepSeek, Qwen, GLM veya Gemma için ücretsiz bir token sayma aracı var mı?

Evet. BroadRouter'ın ücretsiz token sayacı, bu model ailelerinin yayımlanmış tokenizer'larını tarayıcınızda çalıştırır; metin bilgisayarınızdan çıkmaz. Sohbet şablonları birkaç token eklediği için sonucu API'nin raporlayacağı sayının bir tahmini olarak görün.

İstemim bağlam penceresinden uzunsa ne olur?

Çoğu API hata döndürür. Bazı araçlar eski mesajları sessizce kırpar. BroadNet bağlamınızı kırpmaz; bu yüzden göndermeden önce istem ile max_tokens toplamını pencereye göre kontrol edin.

max_tokens için ne kadar pay bırakmalıyım?

Beklediğiniz en uzun yanıtı tahmin edin, düşünen modeller için akıl yürütme bütçesini ekleyin ve tahmin hatalarına karşı pencerenin %10 ile %20'sini boş tutun.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor