BroadRouter

Arapça ve İngilizcede kelime başına token: Arapça neden pahalı?

BroadNet Inference ekibi · 6 dk okuma · Yayımlandı · Güncellendi

Tek bir rakam yok: her modelin tokenizer'ına bağlı. BroadRouter'ın ölçülmüş veri setinde aynı Modern Standart Arapça metin, İngilizce çevirisinin 1.31× (Qwen3.8 27B) ile 1.77× (GLM 5.3) katı token gerektiriyor; 1.000 kelimelik İngilizce düzyazı ise ortalama yaklaşık 1,290 token ediyor. Kendi oranınızı usage.prompt_tokens ile ölçün.

Bir LLM API üzerine Arapça bir ürün kuruyorsanız faturanız kelimeyle değil, token’la sayılır. Ve aynı mesaj Arapça yazıldığında çoğu zaman İngilizce çevirisinden daha fazla token’a dönüşür. Bu maliyeti, bağlam sınırlarını ve gecikmeyi etkiler. Bu yazı bunun neden olduğunu, “kelime başına token”ın neden yanıltıcı bir sayı olduğunu ve kendi içeriğiniz için gerçek oranı kullandığınız modelde nasıl ölçeceğinizi anlatıyor.

Arapça kaç kat daha fazla token gerektirir? Ölçülmüş sayılar

Bunu her modelin gerçek tokenizer’ıyla, paralel metinler (İngilizce ve Arapçada aynı anlam) üzerinde ölçtük. Tablonun tamamı, %95 aralıkları ve yöntem ücretsiz tokenizer verimliliği veri setinde (CSV ve JSON, CC BY 4.0, sürüm 4, ölçüm tarihi 2026-11-15):

Tokenizer Arapça ÷ İngilizce, Modern Standart (2,009 FLORES-200 cümlesi) Arapça ÷ İngilizce, Körfez lehçesi (49 Tatoeba cümlesi)
Qwen3.8 27B 1.31× 1.21×
GPT (o200k) 1.38× 1.32×
Gemma 4 VL 26B 1.47× 1.22×
DeepSeek V4.1 Flash 1.62× 1.44×
GLM 5.3 1.77× 1.57×

İngilizce düzyazı (Wikipedia ve Project Gutenberg) beş tokenizer genelinde 100 kelime başına yaklaşık 127 ile 132 token arası tuttu. Modern Standart Arapça oranları, iki dilde de aynı 2,009 FLORES-200 cümlesinden geliyor (İngilizce Wikimedia makalelerinden alınmış, profesyonelce çevrilmiş resmî haber, seyahat ve ansiklopedi metni). FLORES-200’de Körfez Arapçası yok; bu yüzden Körfez sütunu 49 kısa Tatoeba cümle çifti kullanıyor ve çok daha az kesin; veri seti sayfası her değer için bir aralık veriyor. Bunların hiçbiri sizin trafiğiniz değil; oranları planlama için kullanın ve bütçelemeden önce kendi içeriğinizi ölçün. Arapça token sayacı yapıştırılan bir metni her tokenizer’da sayar, token’dan kelimeye aracı da iki yönde çevirir.

Bu oranları paraya çevirmek için dile göre gerçek maliyet veri setimiz, her dilin 1M karakterini ölçülmüş bir tokenizer’la eşleştirebildiğimiz her modelde, sağlayıcılar arasında fiyatlandırıyor. Token başına daha ucuz fiyat her zaman daha ucuz bir Arapça faturası anlamına gelmez.

Tokenizer ne yapar?

Bir model metni görmeden önce, bir tokenizer metni sabit bir sözlükten alınan token’lara böler. Modern tokenizer’ların çoğu, Hugging Face’in tokenizer özeti sayfasında anlatılan bayt çifti kodlaması (BPE), WordPiece ya da SentencePiece gibi alt kelime yöntemleri kullanır. Eğitim verisinde sık geçen dizeler tek bir token olur; nadir dizeler daha küçük parçalara, gerekirse tek tek baytlara kadar bölünür.

Sözlük bir eğitim derleminden öğrenilir. O derlemde hangi diller baskınsa, en verimli kodlamayı onlar alır. Her model ailesinin kendi tokenizer’ı vardır; bu yüzden DeepSeek, Qwen, GLM ve Gemma modelleri aynı Arapça cümleyi oldukça farklı sayıda token’a bölebilir.

Arapça neden çoğu zaman daha fazla token kullanır?

1. Eğitim verisi dengesizliği

Birçok tokenizer, İngilizcenin aşırı temsil edildiği metinlerle eğitildi. Yaygın İngilizce kelimeler birer token olur; birçok yaygın Arapça kelime ise birkaç parçaya bölünür. Petrov vd. (2023) bunu birçok tokenizer ve dilde ölçtü ve aynı içeriğin ne kadar token gerektirdiği konusunda büyük farklar buldu; İngilizce genellikle en ucuzlar arasındaydı. Ahia vd. (2023) ticari API’ler için benzer bir sonuca ulaştı ve bunun farklı dilleri konuşanların ödediği ücrete doğrudan etkisine dikkat çekti.

2. Arapça biçimbilimi

Arapça bağlaçları, edatları, harfi tarifi ve zamirleri doğrudan kelimelere ekler. Yazılı tek bir kelime, İngilizcenin birkaç kelimeye yaydığı şeyi taşıyabilir:

Arapça Kabaca İngilizce
وسيكتبونها and they will write it
بالمدرسة in the school
فقلنا so we said

Belirli bir kombinasyonu yeterince sık görmemiş bir tokenizer onu parçalara böler. Bu, anlam başına token makul olsa bile kelime başına token’ı artırır.

3. Yazı sistemi ayrıntıları

Harekeler (teşkil), tatvil (uzatma karakteri), elif ve hemzenin farklı biçimleri ve Arap-Hint rakamları, tokenizer’ın kodlaması gereken ek karakterler ya da varyantlardır. Karışık Arapça ve Latin metin ve Arabizi (rakamlarla birlikte Latin harfleriyle yazılan Arapça) da beklenmedik biçimlerde bölünebilir. Bkz. LLM’ler Arabizi’yi nasıl işler.

Kelime başına token neden yanlış metrik?

Bir Arapça kelime çoğu zaman birkaç İngilizce kelimeye denk geldiği için, “Arapça kelime başına N token kullanır” ile “İngilizce kelime başına M token kullanır” karşılaştırılamaz. Daha adil soru şudur: aynı içerik her dilde kaç token gerektirir? Paralel metin, yani iki dilde yazılmış aynı mesajı kullanın ve toplam token’ları karşılaştırın. Faturanızı değiştiren oran budur.

OpenAI’nin sık alıntılanan pratik kuralı, yani token başına yaklaşık dört karakter ya da kelimenin dörtte üçü, OpenAI’nin kendi tokenizer’larında İngilizce için verilmiştir. Arapçaya ya da başka model ailelerine taşınmaz; bu yüzden Arapça bütçeler için kullanmayın.

Kendi oranınızı nasıl ölçersiniz?

Usage alanı esas doğrudur: faturalandığınız şey odur. Bu betik paralel metinleri bir modele gönderir ve usage.prompt_tokens değerini okur. Sabit sohbet şablonu ek yükü kısa metinleri çarpıtmasın diye bir taban değeri çıkarır. Ücretsiz başlangıç kredisiyle çalışan ve akıl yürütmeyen Gemma 4 VL 26B modelini kullanır; gerçekte kullanacağınız modeli yerine koyun.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")

Güvenebileceğiniz bir sayı elde etmek için:

  1. Kendi alanınızdan 50–200 gerçek çift kullanın: destek mesajları, ürün açıklamaları, faturalar. Kısa demo cümleleri gürültülüdür.
  2. Kullanıcılarınızın yazdığı lehçeyi kullanın. Körfez, Mısır ve Levant metinleri Modern Standart Arapçadan farklı token’lara bölünebilir.
  3. Model başına çalıştırın. Bir modelde ölçülen oran bir başkası hakkında pek az şey söyler. Modeller arasında seçim yapıyorsanız aynı çiftleri her birinde çalıştırın; token sayısı kadar önemli olan kaliteyi Arapça için LLM seçimi yazısı ele alıyor.
  4. Çıktıyı da ölçün. Her modelden Arapça ve İngilizce yanıt vermesini isteyin ve completion_tokens değerlerini karşılaştırın. Her modelde çıktı token başına girdiden pahalıdır; bu yüzden çıktı oranı daha önemli olabilir.

Modelin tokenizer’ı yayımlanmışsa (örneğin Hugging Face’te), token’ları o tokenizer’la çevrimdışı da sayabilirsiniz. Yine de son söz API’nin usage alanındadır, çünkü sunucunun uyguladığı sohbet şablonunu içerir.

Sonuçları okumak

Her model için bir oranınız olduğunda üç yaygın desen görülür:

  • 1’e yakın. Tokenizer Arapçanızı iyi işliyor. Aynı içerik için Arapça ve İngilizce trafik yaklaşık aynı maliyettedir.
  • Belirgin biçimde 1’in üzerinde. Arapça mesaj başına daha pahalıdır. Bunu tahminlerinizde ve bağlam sınırlarında hesaba katın; benzer kalitede Arapçanızı daha verimli işleyen başka bir model olup olmadığını değerlendirin.
  • Örnekleriniz arasında çok farklı. Genellikle karışık içeriğin işaretidir: harekeli metin, Arabizi, sayılar, URL’ler ya da Arapça mesajların içinde kod. Örneklerinizi türe göre ayırın ve her birini ayrı ölçün.

Betiği saklayın ve model değiştirdiğinizde ya da bir sağlayıcı model sürümünü güncellediğinde yeniden çalıştırın, çünkü yeni bir tokenizer her sayıyı değiştirir.

Maliyet ve bağlam için ne anlama gelir?

Maliyet token’la ölçeklenir; yani daha yüksek bir Arapça oranı, trafiğinizin Arapça kısmı için faturayı aynı katsayıyla artırır. BroadNet’in fiyatlarıyla Qwen3.8 27B üzerinde Arapça girdi 1M token başına $0.175, çıktı $2.17 tutuyor; Gemma 4 VL 26B’de $0.10 ve $0.22. Token başına fiyat her dilde aynı; yalnızca token sayısı değişir. Ölçtüğünüz oranı aylık maliyet yöntemine girin.

Bağlam sınırları da aynı şekilde daralır. Gemma 4 VL 26B istek başına 32.768 token kabul eder; uzun bir Arapça belge bu sınırı İngilizce çevirisinden daha önce doldurur. DeepSeek V4.1 Flash ve GLM 5.3 1.048.576 token kabul eder.

Arapça token sayıları nasıl azaltılır?

  • Tutarlı biçimde normalleştirin. Tatvili kaldırın, göreviniz ihtiyaç duymuyorsa harekeleri silin. Önbellekleme çalışmaya devam etsin diye her isteğe aynı normalleştirmeyi uygulayın.
  • Talimatları kısa tutun. Uzun bir sistem istemi her turda yeniden gönderilir; sıkı ifadeler iki dilde de token kazandırır.
  • Sabit öneki önbelleğe alın. Önbellekli fiyatı olan modellerde tekrarlanan sistem istemleri ve belgeler çok daha ucuza gelir. Önbellekleme nasıl çalışır.
  • Kısa yanıtlar isteyin. “İki cümleyle yanıtla” demek, herhangi bir tokenizer hilesinden daha fazla tasarruf sağlar.

Metin değil de Arapça konuşma söz konusuysa, transkripsiyon token başına değil ses dakikası başına fiyatlandırılır; yani tokenizasyon faturanın o kısmını etkilemez; bkz. Arapça konuşmadan metne sayfası.

Sık sorulan sorular

Bir Arapça kelime kaç token eder?

Modele bağlı. BroadRouter'ın tokenizer veri setinde Modern Standart Arapça, beş tokenizer genelinde 100 kelime başına 183.0 (Qwen3.8 27B) ile 243.9 (GLM 5.3) arası token tuttu. Tek tek kelimeler yerine paralel metinleri karşılaştırın ve kullandığınız modelde ölçün.

1.000 İngilizce kelime kaç token eder?

BroadRouter'ın ölçülmüş veri setindeki beş tokenizer genelinde düz İngilizce düzyazı için yaklaşık 1,269 ile 1,320 token arası (ortalama 1,290). Teknik metin, kod ve başka diller daha fazlasını gerektirir; kendi metninizi sayın.

Harekeleri kaldırmak token sayısını azaltır mı?

Genellikle evet, çünkü harekeler tokenizer'ın kodlaması gereken ek karakterlerdir. Yalnızca göreviniz onlara ihtiyaç duymuyorsa kaldırın; Kur'an, şiir ya da telaffuz için anlam taşırlar.

Token başına 4 karakter kuralı Arapça için geçerli mi?

Hayır. OpenAI bu pratik kuralı kendi tokenizer'larında İngilizce metin için veriyor. Arapçaya ya da başka modellerin tokenizer'larına aktarılamaz.

Arapça token'lar token başına daha mı pahalı?

Hayır. Bir token hangi dili kodlarsa kodlasın aynı fiyattır. Arapça yalnızca aynı içerik daha fazla token'a bölündüğünde daha pahalıya gelir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor