BroadRouter

İstem token sayısını azaltma: istem, araç ve veride ölçülen kazanç

BroadNet Inference ekibi · 7 dk okuma · Yayımlandı · Güncellendi

Önce ölçün: her çağrıda prompt_tokens değerini kaydedin, en büyük kısmı bulun ve öncesi ile sonrasını modelin tokenizer'ıyla karşılaştırın. Beş tokenizer'da uzun bir sistem istemini kırpmak %68–71 tasarruf sağladı ve CSV sıkıştırılmış JSON'dan %31–41 daha az token kullandı. Üç modelde, 10 uzun araç yerine 3 kısa araçla birlikte kırpılmış bir sistem istemi, işlenmiş isteğin tamamını yaklaşık %65–71 küçülttü.

Daha kısa istemler daha az tutar, bağlam penceresinde işe daha fazla yer bırakır ve genellikle ilk token’ı daha erken döndürür. Ama “istemi kısaltın” belirsiz bir tavsiyedir. Bu yazı, gerçekçi bir destek botu istemi üzerinde yaygın kırpmaları dört açık modelin gerçek tokenizer’ları ve OpenAI’nin o200k_base kodlamasıyla ölçüyor; böylece hangi düzenlemelerin zamanınıza değdiğini görebilirsiniz.

Bir kodlama ajanı çalıştırıyorsanız, o döngüyü ajan token bütçesi yazısı ele alıyor. Bu yazı uygulama istemleriyle ilgili: sohbet botları, sınıflandırıcılar ve çıkarım işleri.

Nasıl ölçtük?

Aşağıdaki tüm sayımlar bize ait, 15 Kasım 2026’da yapıldı:

  • Tokenizer’lar. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B ve Google’ın Gemma 4 26B A4B modelinin resmî tokenizer.json dosyaları; her biri sabitlenmiş bir Hugging Face revizyonunda (bkz. Kaynaklar), Hugging Face tokenizers 0.23.3 ile yüklendi. GPT modelleriyle karşılaştırmak için tiktoken 0.14.0’dan o200k_base de eklendi. Özel token’lar eklenmedi.
  • İşlenmiş istemler. DeepSeek, GLM ve Qwen için tam istekleri de her modelin yayımlanmış chat_template.jinja şablonundan (Jinja2 sandbox) geçirdik; sistem istemi, araçlar, geçmiş ve soruyla birlikte sonucu saydık. Bu, bir sunucunun token’a çevirdiğine yakındır; ama bir sağlayıcı farklı bir şablon kullanabilir, bu yüzden son sözü API’nin usage.prompt_tokens değerine bırakın.
  • Metin. Kurgusal bir telekom şirketi için sentetik bir destek botu: 261 kelimelik bir sistem istemi, 10 araç, 8 few-shot örnek, 40 sipariş satırı, 20 turluk bir geçmiş ve 31 kelimelik bir Arapça paragraf. Tek bir istem, tek bir veri noktasıdır. Sizin tasarrufunuz farklı olacaktır; yöntem ise aynen uygulanabilir.

BroadNet’in Gemma 4 VL 26B modeli Google’ın modeline dayanır; bu yüzden onun sayımı bir tahmindir. Diğerleri modellerin kendi dosyalarını kullanır.

Hangi kırpmalar en çok token kazandırır?

Ham metin, önce → sonra, tasarruf payıyla:

Değişiklik DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Sistem istemi: 261 kelime → 66 kelime 295 → 88 (%70) 294 → 89 (%70) 297 → 95 (%68) 297 → 96 (%68) 293 → 86 (%71)
Few-shot: 8 örnek → 3 157 → 69 (%56) 157 → 69 (%56) 156 → 71 (%54) 156 → 71 (%54) 152 → 69 (%55)
40 satır: girintili JSON → sıkıştırılmış JSON 2.446 → 1.606 (%34) 2.460 → 1.581 (%36) 3.180 → 1.980 (%38) 3.210 → 2.010 (%37) 2.446 → 1.567 (%36)
40 satır: sıkıştırılmış JSON → CSV 1.606 → 948 (%41) 1.581 → 960 (%39) 1.980 → 1.359 (%31) 2.010 → 1.382 (%31) 1.567 → 946 (%40)
10 araç: uzun → kısa açıklamalar 1.224 → 806 (%34) 1.214 → 797 (%34) 1.225 → 806 (%34) 1.252 → 827 (%34) 1.202 → 796 (%34)
10 uzun araç → 3 kısa araç 1.224 → 258 (%79) 1.214 → 257 (%79) 1.225 → 266 (%78) 1.252 → 276 (%78) 1.202 → 255 (%79)
Arapça paragraf: tamamen harekeli → harekesiz 193 → 74 (%62) 267 → 78 (%71) 151 → 62 (%59) 180 → 64 (%64) 218 → 62 (%72)

İngilizce düz metinde yüzdeler tokenizer’lar arasında benzerdir; yani bir modelde işe yarayan kırpma diğerlerinde de işe yarar. İki satır bu kalıbı bozar. Sipariş verisi, her formatta Qwen ve Gemma’da DeepSeek ve GLM’ye göre %23–46 daha fazla token tuttu; çünkü bu tokenizer’lar sayıları tek tek rakamlara böler: 100200, Qwen’de 6, DeepSeek’te 2 token’dır. Arapça harekeler de bazı tokenizer’ları diğerlerinden çok daha sert etkiler.

Tam bir istek nasıl görünür?

Ham metin sohbet şablonunu kaçırır. Her modelin kendi şablonuyla, aynı müşteri sorusuyla işlenmiş tam istemin ölçümü:

İstek DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. Uzun sistem istemi + 10 uzun araç 1.677 1.535 1.797
B. Kırpılmış sistem istemi + 10 kısa araç 1.052 913 1.176
C. Kırpılmış sistem istemi + 3 kısa araç 574 443 636
D. Kırpılmış sistem istemi, araç yok 136 121 174
C + önceki 20 turun tamamı 2.374 2.243 2.693
C + 3 satırlık özet + son 4 tur 979 849 1.103

A’dan C’ye geçmek her isteği yaklaşık %65–71 küçülttü (Qwen’de %64,6, GLM’de %71,1). Bunun çoğu araçlardan geldi. Uzun sistem istemiyle işlendiğinde 10 uzun araç DeepSeek’te 1.334, GLM’de 1.209 ve Qwen’de 1.421 token ekledi; C’deki 3 kısa araç ise D’nin üzerine 322–462 token ekledi. Araç çağırma şemaları, model kullansın ya da kullanmasın, her istekle birlikte gider.

Hacim arttıkça bu birikir. Qwen3.8 27B üzerinde A’dan C’ye geçiş istek başına 1.161 token kazandırır. Ayda 100.000 istekte bu yaklaşık 116 milyon girdi token’ı eder; standart girdi fiyatıyla ayda 116 × $0.175.

Bir sistem istemini bozmadan nasıl kırparsınız?

261 kelimelik ve 66 kelimelik istemlerimiz aynı yedi kuralı taşıyor. Kırpmaların hepsi aynı türdendi:

  1. Modele nezaket göstermeyi bırakın. “It is very important that you always remain polite and courteous at all times” (her zaman kibar ve nazik kalmanız çok önemlidir) cümlesi tamamen kalktı: rol satırı bunu zaten ima ediyor.
  2. Satır başına bir kural. “Please make sure that you always…” (lütfen her zaman şunu yaptığınızdan emin olun…) cümlelerinin yerini madde işaretleri alıyor.
  3. Tekrarları birleştirin. Dil hakkındaki üç cümle “Reply in the customer’s language (Arabic or English), briefly.” (müşterinin dilinde, Arapça veya İngilizce, kısaca yanıt ver) haline geldi.
  4. Varsayılanı yineleyen cümleleri silin. “Remember to always be helpful!” (her zaman yardımcı olmayı unutma!) hiçbir şeyi değiştirmez.

Sonra test edin. Bir kuralı kaybeden kısa bir istem, kazandırdığından fazlasına mal olur. İki sürümü aynı 50–100 gerçek girdi üzerinde çalıştırıp model değiştirmeden önce LLM değerlendirme yazısındaki gibi karşılaştırın.

Kaç few-shot örneğe ihtiyacınız var?

Çoğu istemin taşıdığından daha azına. Her few-shot örneğin bedeli her çağrıda ödenir. Model onlar olmadan hata yaptığında bu hatayı düzelten örnekleri tutun (örneğin Arapça bir sınıflandırıcı için bir lehçe örneği), modelin zaten doğru yaptıklarını çıkarın. 8 → 3 kırpmamız örnek bloğunun %54–56’sını kurtardı. Görev için 3’ün yeterli olup olmadığı bir token sorusu değil, doğruluk sorusudur; bunu kendi test setinizde kontrol edin.

Araçları, veriyi ve geçmişi farklı mı göndermelisiniz?

Araçlar. Yalnızca mevcut adımın kullanabileceği araçları gönderin. Bir fatura sorusu order_esim değil, get_account, get_bill ve create_ticket gerektirir. Açıklamaları, modelin aracı seçmesi ve doldurması için gereken kadar kısaltın. Burada girinti önemli değildir: işlediğimiz şablonların hepsi tools dizisini tojson ile yeniden serileştirir; bu yüzden girintili bir araç dizisi sıkıştırılmış olanla aynı tutar.

Mesajlardaki veri. Bir mesaja yapıştırdığınız veri yazıldığı gibi gönderilir. En azından JSON’u sıkıştırın. Düz kayıtlarda CSV veya TSV tekrarlanan anahtarları atar: testimizde sıkıştırılmış JSON’a göre %31–41 daha az token. İç içe veri JSON olarak kalsın. Modelin sütunları hâlâ doğru okuduğunu kontrol edin.

Geçmiş. Geçmişteki her tur yeniden gönderilir. 16 eski turu üç satırlık bir özetle değiştirmek ve son dört turu aynen tutmak, Qwen istemini 2.693’ten 1.103 token’a indirdi. Özet, kullanıcının daha sonra atıfta bulunabileceği ayrıntıları atar; özeti yeniden yazmak da öneki değiştirir ve önbelleği bozar. Ne zaman sıkıştırılacağını uzun süre çalışan ajanlarda bağlam yönetimi yazısı anlatıyor.

Arapça harekeler. Arapçanın çoğu kısa ünlüler olmadan yazılır. Girdiniz bir sözlükten, ders kitabından veya dinî bir kaynaktan geldiği için tamamen harekeliyse, işaretleri (U+064B ile U+0652 arası) çıkarmak paragrafımızı %59–72 kısalttı. Eğitim veya şiir gibi görevin onlara dayandığı durumlarda harekeleri koruyun. Normalleştirmeye değer diğer karakterleri Arapça metin normalleştirme, İngilizceyle aradaki genel farkı ise Arapçada kelime başına token yazısı ele alıyor.

Önbellekleme nereye oturuyor?

Önbellekleme istemi küçültmez; tekrarlanan kısmı ucuzlatır. OpenAI’nin önbellekleme rehberi “the entire rendered prefix” (işlenmiş önekin tamamı) eşleşmesi gerektiğini söyler ve sabit talimatları başa koymayı önerir. BroadNet’in fiyat sayfası önbellekli girdiyi “usually the repeated start of recent requests, such as a long system prompt” (BroadRouter çevirisi: genellikle son isteklerin tekrarlanan başlangıcı, örneğin uzun bir sistem istemi) olarak tanımlar ve kurulum gerektirmez; belgeleri de isabetleri usage.prompt_tokens_details.cached_tokens içinde raporlar.

Yani sıra şudur: önce kısaltın, sonra kısaltılmış öneki sabit tutun. Sistem istemi ve araçlar en başta, her çağrıda bayt bayt aynı; ardından geçmiş, yalnızca sona ekleyerek; yeni mesaj en sonda. Qwen3.8 27B’de önbellekli girdi 1M başına $0.0435, yeni girdi ise $0.175 tutar. Önbellekleme için istem yapısı yazısında yerleşim düzeni ve önekin yeniden kullanıldığını kanıtlayan bir test var. Önbellekli token’lar da bağlam penceresinden sayılır.

Kendi isteminizi nasıl ölçersiniz?

Faturadan başlayın. Bir gün boyunca her çağrı noktası için usage.prompt_tokens değerini kaydedin ve en büyüğünü bulun. Ardından sürümleri yerel olarak, iki dosya için önce ve sonra sayılarını yazdıran şu betikle karşılaştırın:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

İki sistem istemimiz üzerinde çalıştırıldığında çıktı şuydu:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

Dördünü de karşılaştırmak için Kaynaklar listesindeki diğer modellerin depolarını ekleyin. Tarayıcıda hızlı bir kontrol için istem token farkı aracı iki sürümü yan yana karşılaştırır, token sayacı ise tek bir metni sayar. Dağıtımdan sonra, şablonu da içeren usage.prompt_tokens değerinde tasarrufu doğrulayın.

BroadNet Inference nereye oturuyor

BroadRouter, BroadNet’in sitesidir. BroadNet Inference istem token’larını her modelin girdi fiyatıyla faturalandırır ve modelin önbellekli fiyatı varsa tekrarlanan önekleri önbellekten o fiyatla okur; böylece hem kısa istemler hem de sabit önekler faturayı düşürür. Gemma 4 VL 26B 32.768 token’lık bir bağlama sahiptir; orada kırpmak maliyet kadar sığdırmak için de önemlidir. DeepSeek V4.1 Flash planlarında token sayacı yoktur, ama 1.048.576 token’lık bağlam yine geçerlidir ve kısa bir istem yine daha erken yanıt döndürür. İstemler her istekten sonra saklanmaz.

Sık sorulan sorular

İstemimdeki token sayısını nasıl azaltırım?

Önce ölçün: usage.prompt_tokens değerini kaydedin ve en büyük kısmı bulun. Ardından, ölçümlerimizde en çok tasarruf sağlayandan başlayarak: yalnızca adımın ihtiyaç duyduğu araçları gönderin, araç ve sistem istemi ifadelerini kısaltın, tabloları JSON yerine CSV olarak gönderin, few-shot örnekleri sonucu değiştirenlerle sınırlayın ve eski sohbet turlarını özetleyin.

Girintili (pretty-print) JSON daha fazla token mı kullanır?

Evet. Testimizde 40 satırlık girintili JSON'u sıkıştırmak, tokenizer'a bağlı olarak token'ların %34–38'ini kurtardı; CSV olarak göndermek ise %57–61 tasarruf sağladı. Tersinden bakarsak, girintili JSON sıkıştırılmış JSON'dan %52–61, CSV'den %132–159 daha fazla token aldı. Araç şemaları istisnadır: sohbet şablonları onları yeniden serileştirir, bu yüzden tools dizinizdeki girintiler modele ulaşmaz.

Araç tanımları kaç token kullanır?

İfadelere ve modelin şablonuna bağlıdır. Uzun açıklamalı 10 aracımız, DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B'de işlenmiş isteme yaklaşık 1.200–1.400 token ekledi. Kısa açıklamalı üç araç ise yaklaşık 320–460 token ekledi.

Arapça harekeler token sayısını artırır mı?

Çok artırır. 31 kelimelik bir Modern Standart Arapça paragraf, beş tokenizer'da harekesiz 62–78 token, tamamen harekeli 151–267 token aldı. Arapça metinlerin çoğu harekesiz yazılır; bu yüzden şiir veya eğitim gibi görev gerektirmedikçe girdiden çıkarın.

İstem önbellekleme, istemi kısaltmaktan daha mı iyi?

İkisi birlikte çalışır. Önbellekleme tekrarlanan öneki ucuzlatır, ama bu önek yine de bağlam penceresinden sayılır ve yine bir fiyatı vardır. Önce kısaltın, sonra kısaltılmış öneki her isteğin başında bayt bayt aynı tutun ki önbellekten okunabilsin.

Token sayım neden API'nin prompt_tokens değerinden farklı?

API işlenmiş istemi sayar: sohbet şablonuna sarılmış mesajlarınız ve şablonun kendi formatındaki araç şemaları. Ham metniniz üzerinde çalışan bir tokenizer bunu kaçırır. Sürümleri karşılaştırmak için tokenizer'ı, fatura için usage.prompt_tokens değerini kullanın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor