BroadRouter

عربی بمقابلہ انگریزی میں فی لفظ ٹوکن: عربی مہنگی کیوں پڑتی ہے

BroadNet Inference ٹیم · 6 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

کوئی ایک عدد نہیں: یہ ہر ماڈل کے tokenizer پر منحصر ہے۔ BroadRouter کے ناپے گئے ڈیٹاسیٹ میں، ایک ہی جدید معیاری عربی متن کو اپنے انگریزی ترجمے کے 1.31× (Qwen3.8 27B) سے 1.77× (GLM 5.3) ٹوکن چاہییں، اور انگریزی نثر کے 1,000 الفاظ اوسطاً تقریباً 1,290 ٹوکن بنتے ہیں۔ اپنا تناسب usage.prompt_tokens سے ناپیں۔

اگر آپ LLM API پر عربی پروڈکٹ بناتے ہیں تو آپ کا بل ٹوکنز میں گنا جاتا ہے، الفاظ میں نہیں۔ اور عربی میں لکھا وہی پیغام اکثر اپنے انگریزی ترجمے سے زیادہ ٹوکن بن جاتا ہے۔ اس کا اثر لاگت، کانٹیکسٹ کی حدوں اور latency پر پڑتا ہے۔ یہ پوسٹ بتاتی ہے کہ ایسا کیوں ہوتا ہے، “فی لفظ ٹوکن” گمراہ کن عدد کیوں ہے، اور جس ماڈل کو آپ استعمال کرتے ہیں اس پر اپنے مواد کا اصل تناسب کیسے ناپیں۔

عربی کو کتنے زیادہ ٹوکن چاہییں؟ ناپے گئے اعداد

ہم نے یہ ہر ماڈل کے اصل tokenizer سے متوازی متن (انگریزی اور عربی میں ایک ہی مطلب) پر ناپا۔ پورا ٹیبل، 95% intervals اور طریقہ مفت tokenizer کارکردگی ڈیٹاسیٹ میں ہے (CSV اور JSON، CC BY 4.0، ورژن 4، 2026-11-15 کو ناپا گیا):

Tokenizer عربی ÷ انگریزی، جدید معیاری (2,009 FLORES-200 جملے) عربی ÷ انگریزی، خلیجی لہجہ (49 Tatoeba جملے)
Qwen3.8 27B 1.31× 1.21×
GPT (o200k) 1.38× 1.32×
Gemma 4 VL 26B 1.47× 1.22×
DeepSeek V4.1 Flash 1.62× 1.44×
GLM 5.3 1.77× 1.57×

انگریزی نثر (Wikipedia اور Project Gutenberg) پانچوں پر فی 100 الفاظ تقریباً 127 سے 132 ٹوکن آئی۔ جدید معیاری عربی کے تناسب دونوں زبانوں میں انہی 2,009 FLORES-200 جملوں سے ہیں (انگریزی Wikimedia مضامین سے لیا گیا رسمی خبروں، سفر اور انسائیکلوپیڈیا کا متن، پیشہ ورانہ ترجمہ شدہ)۔ FLORES-200 میں خلیجی عربی نہیں، اس لیے خلیجی کالم 49 مختصر Tatoeba جملوں کے جوڑے استعمال کرتا ہے اور کہیں کم درست ہے؛ ڈیٹاسیٹ کا صفحہ ہر عدد کا interval دیتا ہے۔ ان میں سے کچھ بھی آپ کی ٹریفک نہیں، اس لیے تناسب کو منصوبہ بندی کے لیے استعمال کریں اور بجٹ بنانے سے پہلے اپنا مواد ناپیں۔ عربی ٹوکن کاؤنٹر پیسٹ کیے گئے متن کو ہر tokenizer پر گنتا ہے، اور ٹوکن سے الفاظ دونوں سمتوں میں بدلتا ہے۔

ان تناسب کو پیسوں میں بدلنے کے لیے ہمارا زبان کے حساب سے اصل لاگت کا ڈیٹاسیٹ ہر اس ماڈل پر، جسے ہم کسی ناپے گئے tokenizer سے ملا سکے، مختلف فراہم کنندگان میں ہر زبان کے دس لاکھ (1M) حروف کی قیمت نکالتا ہے۔ فی ٹوکن سستی قیمت کا مطلب ہمیشہ سستا عربی بل نہیں ہوتا۔

tokenizer کیا کرتا ہے؟

ماڈل کے متن دیکھنے سے پہلے، tokenizer اسے ایک مقررہ vocabulary سے لیے گئے ٹوکنز میں بانٹتا ہے۔ زیادہ تر جدید tokenizers byte-pair encoding (BPE)، WordPiece یا SentencePiece جیسے subword طریقے استعمال کرتے ہیں، جن کا بیان Hugging Face کے tokenizers کے خلاصے میں ہے۔ تربیتی ڈیٹا کی عام strings ایک ٹوکن بن جاتی ہیں؛ نایاب strings چھوٹے ٹکڑوں میں، ضرورت پڑنے پر اکیلے bytes تک، توڑی جاتی ہیں۔

vocabulary ایک تربیتی corpus سے سیکھی جاتی ہے۔ اس corpus میں جو زبانیں غالب ہوتی ہیں، انہیں سب سے مؤثر encoding ملتی ہے۔ ہر ماڈل خاندان کا اپنا tokenizer ہے، اس لیے DeepSeek، Qwen، GLM اور Gemma ماڈلز ایک ہی عربی جملے کو کافی مختلف تعداد کے ٹوکنز میں بانٹ سکتے ہیں۔

عربی میں اکثر زیادہ ٹوکن کیوں لگتے ہیں؟

1. تربیتی ڈیٹا کا عدم توازن

کئی tokenizers ایسے متن پر تربیت یافتہ ہیں جس میں انگریزی کا حصہ بہت زیادہ ہے۔ عام انگریزی الفاظ ایک ایک ٹوکن بن جاتے ہیں؛ کئی عام عربی الفاظ کئی ٹکڑوں میں بٹتے ہیں۔ Petrov et al. (2023) نے اسے کئی tokenizers اور زبانوں میں ناپا اور پایا کہ ایک ہی مواد کے لیے درکار ٹوکنز میں بڑے فرق ہیں، اور انگریزی عموماً سب سے سستی میں سے ہے۔ Ahia et al. (2023) تجارتی APIs کے لیے ایسے ہی نتیجے پر پہنچے اور نوٹ کیا کہ اس کا براہِ راست اثر مختلف زبانیں بولنے والوں کی ادائیگی پر پڑتا ہے۔

2. عربی morphology

عربی حروفِ عطف، حروفِ جار، حرفِ تعریف اور ضمائر براہِ راست الفاظ سے جوڑتی ہے۔ ایک لکھا ہوا لفظ وہ سب سمیٹ سکتا ہے جو انگریزی کئی الفاظ میں پھیلاتی ہے:

عربی تقریبی انگریزی
وسيكتبونها and they will write it
بالمدرسة in the school
فقلنا so we said

جس tokenizer نے کوئی خاص جوڑ کافی بار نہیں دیکھا، وہ اسے اکثر ٹکڑوں میں بانٹتا ہے۔ اس سے فی لفظ ٹوکن بڑھتے ہیں، چاہے فی مطلب ٹوکن مناسب ہوں۔

3. رسم الخط کی تفصیلات

اعراب (تشکیل)، تطویل (کھنچاؤ والا حرف)، الف اور ہمزہ کی مختلف شکلیں، اور عربی ہندی ہندسے، سب اضافی حروف یا شکلیں ہیں جنہیں tokenizer کو encode کرنا پڑتا ہے۔ ملا جلا عربی اور لاطینی متن، اور Arabizi (ہندسوں کے ساتھ لاطینی حروف میں لکھی عربی)، بھی غیر متوقع طریقوں سے ٹوٹ سکتے ہیں۔ دیکھیں LLMs، Arabizi کو کیسے سنبھالتے ہیں۔

فی لفظ ٹوکن غلط میٹرک کیوں ہے؟

کیونکہ ایک عربی لفظ اکثر کئی انگریزی الفاظ کے برابر ہوتا ہے، “عربی فی لفظ N ٹوکن لیتی ہے” اور “انگریزی فی لفظ M ٹوکن لیتی ہے” کا موازنہ نہیں ہو سکتا۔ زیادہ منصفانہ سوال ہے: ایک ہی مواد کو ہر زبان میں کتنے ٹوکن چاہییں؟ متوازی متن استعمال کریں، یعنی دونوں زبانوں میں لکھا ایک ہی پیغام، اور کل ٹوکنز کا موازنہ کریں۔ یہی تناسب آپ کا بل بدلتا ہے۔

OpenAI کا اکثر حوالہ دیا جانے والا موٹا اصول، فی ٹوکن تقریباً چار حروف یا لفظ کا تین چوتھائی، OpenAI کے اپنے tokenizers پر انگریزی کے لیے دیا گیا ہے۔ یہ عربی یا دوسرے ماڈل خاندانوں پر لاگو نہیں ہوتا، اس لیے اسے عربی بجٹ کے لیے استعمال نہ کریں۔

اپنا تناسب کیسے ناپیں؟

usage فیلڈ ہی اصل سچ ہے: اسی پر آپ کا بل بنتا ہے۔ یہ اسکرپٹ متوازی متن ایک ماڈل کو بھیجتی ہے اور usage.prompt_tokens پڑھتی ہے۔ یہ ایک baseline منہا کرتی ہے تاکہ مقررہ chat-template overhead مختصر متون کو نہ بگاڑے۔ یہ Gemma 4 VL 26B استعمال کرتی ہے، جو مفت ابتدائی کریڈٹ پر چلتا ہے اور ریزننگ نہیں کرتا؛ اس کی جگہ وہ ماڈل رکھیں جو آپ واقعی استعمال کریں گے۔

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")

قابلِ بھروسہ عدد حاصل کرنے کے لیے:

  1. اپنے شعبے سے 50–200 اصل جوڑے استعمال کریں: سپورٹ پیغامات، پروڈکٹ کی تفصیل، انوائسز۔ مختصر ڈیمو جملے شور بھرے ہوتے ہیں۔
  2. وہی لہجہ استعمال کریں جو آپ کے صارفین لکھتے ہیں۔ خلیجی، مصری اور شامی متن جدید معیاری عربی سے مختلف طریقے سے tokenize ہو سکتا ہے۔
  3. ہر ماڈل پر الگ چلائیں۔ ایک ماڈل پر ناپا گیا تناسب دوسرے کے بارے میں کم بتاتا ہے۔ اگر آپ ماڈلز کے درمیان چن رہے ہیں تو وہی جوڑے ہر ایک پر چلائیں؛ عربی کے لیے LLM چننا معیار بیان کرتی ہے، جو ٹوکن گنتی جتنا ہی اہم ہے۔
  4. آؤٹ پٹ بھی ناپیں۔ ہر ماڈل سے عربی اور انگریزی میں جواب مانگیں اور completion_tokens کا موازنہ کریں۔ ہر ماڈل پر آؤٹ پٹ فی ٹوکن ان پٹ سے مہنگا ہے، اس لیے آؤٹ پٹ کا تناسب زیادہ اہم ہو سکتا ہے۔

اگر ماڈل کا tokenizer شائع شدہ ہے (مثلاً Hugging Face پر) تو آپ اس tokenizer سے offline بھی ٹوکن گن سکتے ہیں۔ پھر بھی آخری بات API کا usage فیلڈ ہے، کیونکہ اس میں سرور کا لگایا chat template شامل ہوتا ہے۔

نتائج کیسے پڑھیں

جب آپ کے پاس ہر ماڈل کا تناسب ہو تو تین پیٹرن عام ہیں:

  • 1 کے قریب۔ tokenizer آپ کی عربی اچھی طرح سنبھالتا ہے۔ ایک ہی مواد کے لیے عربی اور انگریزی ٹریفک کی لاگت تقریباً برابر ہے۔
  • واضح طور پر 1 سے اوپر۔ عربی فی پیغام مہنگی ہے۔ پیش گوئیوں اور کانٹیکسٹ کی حدوں میں اس کا حساب رکھیں، اور سوچیں کہ کیا کوئی دوسرا ماڈل ملتے جلتے معیار پر آپ کی عربی زیادہ مؤثر طریقے سے سنبھالتا ہے۔
  • آپ کے نمونوں میں بہت مختلف۔ عموماً ملے جلے مواد کی علامت: اعراب والا متن، Arabizi، نمبر، URLs یا عربی پیغامات کے اندر کوڈ۔ نمونوں کو قسم کے حساب سے بانٹیں اور ہر ایک الگ ناپیں۔

اسکرپٹ رکھیں اور ماڈل بدلنے پر یا فراہم کنندہ کے ماڈل ورژن اپڈیٹ کرنے پر اسے دوبارہ چلائیں، کیونکہ نیا tokenizer ہر گنتی بدل دیتا ہے۔

لاگت اور کانٹیکسٹ کے لیے اس کا کیا مطلب ہے؟

لاگت ٹوکنز کے ساتھ بڑھتی ہے، اس لیے زیادہ عربی تناسب آپ کی ٹریفک کے عربی حصے کا بل اسی ضرب سے بڑھاتا ہے۔ BroadNet کی قیمتوں سے، Qwen3.8 27B پر عربی ان پٹ $0.175 فی 1M ٹوکن اور آؤٹ پٹ $2.17 ہے؛ Gemma 4 VL 26B پر $0.10 اور $0.22۔ فی ٹوکن قیمت ہر زبان میں ایک ہی ہے؛ صرف ٹوکن گنتی بدلتی ہے۔ اپنا ناپا ہوا تناسب ماہانہ لاگت کے طریقے میں ڈالیں۔

کانٹیکسٹ کی حدیں بھی اسی طرح سکڑتی ہیں۔ Gemma 4 VL 26B فی درخواست 32,768 ٹوکن قبول کرتا ہے؛ ایک لمبی عربی دستاویز اسے اپنے انگریزی ترجمے سے جلد بھر دیتی ہے۔ DeepSeek V4.1 Flash اور GLM 5.3 1,048,576 قبول کرتے ہیں۔

عربی ٹوکن گنتی کیسے کم کریں؟

  • یکساں normalise کریں۔ تطویل ہٹائیں، اور اگر کام کو ضرورت نہ ہو تو اعراب ہٹائیں۔ ہر درخواست پر وہی normalisation لگائیں تاکہ caching چلتی رہے۔
  • ہدایات مختصر رکھیں۔ لمبا سسٹم پرامپٹ ہر turn پر دوبارہ بھیجا جاتا ہے؛ کسی ہوئی عبارت دونوں زبانوں میں ٹوکن بچاتی ہے۔
  • مستحکم prefix کو کیش کریں۔ کیش شدہ ریٹ والے ماڈلز پر دہرائے گئے سسٹم پرامپٹس اور دستاویزات کہیں کم پڑتے ہیں۔ caching کیسے کام کرتی ہے۔
  • مختصر جوابات مانگیں۔ “دو جملوں میں جواب دیں” کسی بھی tokenizer ترکیب سے زیادہ بچاتا ہے۔

متن کی بجائے عربی گفتگو کے لیے، ٹرانسکرپشن کی قیمت فی آڈیو منٹ ہے، فی ٹوکن نہیں، اس لیے بل کے اس حصے پر tokenization کا اثر نہیں پڑتا؛ عربی speech-to-text صفحہ دیکھیں۔

عام سوالات

ایک عربی لفظ کتنے ٹوکن کا ہوتا ہے؟

یہ ماڈل پر منحصر ہے۔ BroadRouter کے tokenizer ڈیٹاسیٹ میں، پانچ tokenizers پر جدید معیاری عربی نے فی 100 الفاظ 183.0 (Qwen3.8 27B) سے 243.9 (GLM 5.3) ٹوکن لیے۔ اکیلے الفاظ کی بجائے متوازی متون کا موازنہ کریں، اور اسی ماڈل پر ناپیں جو آپ استعمال کرتے ہیں۔

1,000 انگریزی الفاظ کتنے ٹوکن ہوتے ہیں؟

BroadRouter کے ناپے گئے ڈیٹاسیٹ کے پانچ tokenizers پر سادہ انگریزی نثر کے تقریباً 1,269 سے 1,320 ٹوکن (اوسطاً 1,290)۔ تکنیکی متن، کوڈ اور دوسری زبانوں کو زیادہ چاہییں، اس لیے اپنا متن گنیں۔

کیا اعراب ہٹانے سے ٹوکن کم ہوتے ہیں؟

عموماً ہاں، کیونکہ اعراب اضافی حروف ہیں جنہیں tokenizer کو encode کرنا پڑتا ہے۔ انہیں تبھی ہٹائیں جب آپ کے کام کو ان کی ضرورت نہ ہو؛ قرآن، شاعری یا تلفظ کے لیے یہ مطلب رکھتے ہیں۔

کیا فی ٹوکن 4 حروف والا اصول عربی پر لاگو ہوتا ہے؟

نہیں۔ OpenAI یہ موٹا اصول اپنے tokenizers پر انگریزی متن کے لیے دیتا ہے۔ یہ عربی یا دوسرے ماڈلز کے tokenizers پر لاگو نہیں ہوتا۔

کیا عربی ٹوکن فی ٹوکن مہنگے ہوتے ہیں؟

نہیں۔ ٹوکن کی قیمت ایک ہی ہے، چاہے وہ کوئی بھی زبان encode کرے۔ عربی تبھی مہنگی پڑتی ہے جب وہی مواد زیادہ ٹوکنز میں ٹوٹتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں