اگر آپ LLM API پر عربی پروڈکٹ بناتے ہیں تو آپ کا بل ٹوکنز میں گنا جاتا ہے، الفاظ میں نہیں۔ اور عربی میں لکھا وہی پیغام اکثر اپنے انگریزی ترجمے سے زیادہ ٹوکن بن جاتا ہے۔ اس کا اثر لاگت، کانٹیکسٹ کی حدوں اور latency پر پڑتا ہے۔ یہ پوسٹ بتاتی ہے کہ ایسا کیوں ہوتا ہے، “فی لفظ ٹوکن” گمراہ کن عدد کیوں ہے، اور جس ماڈل کو آپ استعمال کرتے ہیں اس پر اپنے مواد کا اصل تناسب کیسے ناپیں۔
عربی کو کتنے زیادہ ٹوکن چاہییں؟ ناپے گئے اعداد
ہم نے یہ ہر ماڈل کے اصل tokenizer سے متوازی متن (انگریزی اور عربی میں ایک ہی مطلب) پر ناپا۔ پورا ٹیبل، 95% intervals اور طریقہ مفت tokenizer کارکردگی ڈیٹاسیٹ میں ہے (CSV اور JSON، CC BY 4.0، ورژن 4، 2026-11-15 کو ناپا گیا):
| Tokenizer | عربی ÷ انگریزی، جدید معیاری (2,009 FLORES-200 جملے) | عربی ÷ انگریزی، خلیجی لہجہ (49 Tatoeba جملے) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
انگریزی نثر (Wikipedia اور Project Gutenberg) پانچوں پر فی 100 الفاظ تقریباً 127 سے 132 ٹوکن آئی۔ جدید معیاری عربی کے تناسب دونوں زبانوں میں انہی 2,009 FLORES-200 جملوں سے ہیں (انگریزی Wikimedia مضامین سے لیا گیا رسمی خبروں، سفر اور انسائیکلوپیڈیا کا متن، پیشہ ورانہ ترجمہ شدہ)۔ FLORES-200 میں خلیجی عربی نہیں، اس لیے خلیجی کالم 49 مختصر Tatoeba جملوں کے جوڑے استعمال کرتا ہے اور کہیں کم درست ہے؛ ڈیٹاسیٹ کا صفحہ ہر عدد کا interval دیتا ہے۔ ان میں سے کچھ بھی آپ کی ٹریفک نہیں، اس لیے تناسب کو منصوبہ بندی کے لیے استعمال کریں اور بجٹ بنانے سے پہلے اپنا مواد ناپیں۔ عربی ٹوکن کاؤنٹر پیسٹ کیے گئے متن کو ہر tokenizer پر گنتا ہے، اور ٹوکن سے الفاظ دونوں سمتوں میں بدلتا ہے۔
ان تناسب کو پیسوں میں بدلنے کے لیے ہمارا زبان کے حساب سے اصل لاگت کا ڈیٹاسیٹ ہر اس ماڈل پر، جسے ہم کسی ناپے گئے tokenizer سے ملا سکے، مختلف فراہم کنندگان میں ہر زبان کے دس لاکھ (1M) حروف کی قیمت نکالتا ہے۔ فی ٹوکن سستی قیمت کا مطلب ہمیشہ سستا عربی بل نہیں ہوتا۔
tokenizer کیا کرتا ہے؟
ماڈل کے متن دیکھنے سے پہلے، tokenizer اسے ایک مقررہ vocabulary سے لیے گئے ٹوکنز میں بانٹتا ہے۔ زیادہ تر جدید tokenizers byte-pair encoding (BPE)، WordPiece یا SentencePiece جیسے subword طریقے استعمال کرتے ہیں، جن کا بیان Hugging Face کے tokenizers کے خلاصے میں ہے۔ تربیتی ڈیٹا کی عام strings ایک ٹوکن بن جاتی ہیں؛ نایاب strings چھوٹے ٹکڑوں میں، ضرورت پڑنے پر اکیلے bytes تک، توڑی جاتی ہیں۔
vocabulary ایک تربیتی corpus سے سیکھی جاتی ہے۔ اس corpus میں جو زبانیں غالب ہوتی ہیں، انہیں سب سے مؤثر encoding ملتی ہے۔ ہر ماڈل خاندان کا اپنا tokenizer ہے، اس لیے DeepSeek، Qwen، GLM اور Gemma ماڈلز ایک ہی عربی جملے کو کافی مختلف تعداد کے ٹوکنز میں بانٹ سکتے ہیں۔
عربی میں اکثر زیادہ ٹوکن کیوں لگتے ہیں؟
1. تربیتی ڈیٹا کا عدم توازن
کئی tokenizers ایسے متن پر تربیت یافتہ ہیں جس میں انگریزی کا حصہ بہت زیادہ ہے۔ عام انگریزی الفاظ ایک ایک ٹوکن بن جاتے ہیں؛ کئی عام عربی الفاظ کئی ٹکڑوں میں بٹتے ہیں۔ Petrov et al. (2023) نے اسے کئی tokenizers اور زبانوں میں ناپا اور پایا کہ ایک ہی مواد کے لیے درکار ٹوکنز میں بڑے فرق ہیں، اور انگریزی عموماً سب سے سستی میں سے ہے۔ Ahia et al. (2023) تجارتی APIs کے لیے ایسے ہی نتیجے پر پہنچے اور نوٹ کیا کہ اس کا براہِ راست اثر مختلف زبانیں بولنے والوں کی ادائیگی پر پڑتا ہے۔
2. عربی morphology
عربی حروفِ عطف، حروفِ جار، حرفِ تعریف اور ضمائر براہِ راست الفاظ سے جوڑتی ہے۔ ایک لکھا ہوا لفظ وہ سب سمیٹ سکتا ہے جو انگریزی کئی الفاظ میں پھیلاتی ہے:
| عربی | تقریبی انگریزی |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
جس tokenizer نے کوئی خاص جوڑ کافی بار نہیں دیکھا، وہ اسے اکثر ٹکڑوں میں بانٹتا ہے۔ اس سے فی لفظ ٹوکن بڑھتے ہیں، چاہے فی مطلب ٹوکن مناسب ہوں۔
3. رسم الخط کی تفصیلات
اعراب (تشکیل)، تطویل (کھنچاؤ والا حرف)، الف اور ہمزہ کی مختلف شکلیں، اور عربی ہندی ہندسے، سب اضافی حروف یا شکلیں ہیں جنہیں tokenizer کو encode کرنا پڑتا ہے۔ ملا جلا عربی اور لاطینی متن، اور Arabizi (ہندسوں کے ساتھ لاطینی حروف میں لکھی عربی)، بھی غیر متوقع طریقوں سے ٹوٹ سکتے ہیں۔ دیکھیں LLMs، Arabizi کو کیسے سنبھالتے ہیں۔
فی لفظ ٹوکن غلط میٹرک کیوں ہے؟
کیونکہ ایک عربی لفظ اکثر کئی انگریزی الفاظ کے برابر ہوتا ہے، “عربی فی لفظ N ٹوکن لیتی ہے” اور “انگریزی فی لفظ M ٹوکن لیتی ہے” کا موازنہ نہیں ہو سکتا۔ زیادہ منصفانہ سوال ہے: ایک ہی مواد کو ہر زبان میں کتنے ٹوکن چاہییں؟ متوازی متن استعمال کریں، یعنی دونوں زبانوں میں لکھا ایک ہی پیغام، اور کل ٹوکنز کا موازنہ کریں۔ یہی تناسب آپ کا بل بدلتا ہے۔
OpenAI کا اکثر حوالہ دیا جانے والا موٹا اصول، فی ٹوکن تقریباً چار حروف یا لفظ کا تین چوتھائی، OpenAI کے اپنے tokenizers پر انگریزی کے لیے دیا گیا ہے۔ یہ عربی یا دوسرے ماڈل خاندانوں پر لاگو نہیں ہوتا، اس لیے اسے عربی بجٹ کے لیے استعمال نہ کریں۔
اپنا تناسب کیسے ناپیں؟
usage فیلڈ ہی اصل سچ ہے: اسی پر آپ کا بل بنتا ہے۔ یہ اسکرپٹ متوازی متن ایک ماڈل کو بھیجتی ہے اور usage.prompt_tokens پڑھتی ہے۔ یہ ایک baseline منہا کرتی ہے تاکہ مقررہ chat-template overhead مختصر متون کو نہ بگاڑے۔ یہ Gemma 4 VL 26B استعمال کرتی ہے، جو مفت ابتدائی کریڈٹ پر چلتا ہے اور ریزننگ نہیں کرتا؛ اس کی جگہ وہ ماڈل رکھیں جو آپ واقعی استعمال کریں گے۔
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
قابلِ بھروسہ عدد حاصل کرنے کے لیے:
- اپنے شعبے سے 50–200 اصل جوڑے استعمال کریں: سپورٹ پیغامات، پروڈکٹ کی تفصیل، انوائسز۔ مختصر ڈیمو جملے شور بھرے ہوتے ہیں۔
- وہی لہجہ استعمال کریں جو آپ کے صارفین لکھتے ہیں۔ خلیجی، مصری اور شامی متن جدید معیاری عربی سے مختلف طریقے سے tokenize ہو سکتا ہے۔
- ہر ماڈل پر الگ چلائیں۔ ایک ماڈل پر ناپا گیا تناسب دوسرے کے بارے میں کم بتاتا ہے۔ اگر آپ ماڈلز کے درمیان چن رہے ہیں تو وہی جوڑے ہر ایک پر چلائیں؛ عربی کے لیے LLM چننا معیار بیان کرتی ہے، جو ٹوکن گنتی جتنا ہی اہم ہے۔
- آؤٹ پٹ بھی ناپیں۔ ہر ماڈل سے عربی اور انگریزی میں جواب مانگیں اور
completion_tokensکا موازنہ کریں۔ ہر ماڈل پر آؤٹ پٹ فی ٹوکن ان پٹ سے مہنگا ہے، اس لیے آؤٹ پٹ کا تناسب زیادہ اہم ہو سکتا ہے۔
اگر ماڈل کا tokenizer شائع شدہ ہے (مثلاً Hugging Face پر) تو آپ اس tokenizer سے offline بھی ٹوکن گن سکتے ہیں۔ پھر بھی آخری بات API کا usage فیلڈ ہے، کیونکہ اس میں سرور کا لگایا chat template شامل ہوتا ہے۔
نتائج کیسے پڑھیں
جب آپ کے پاس ہر ماڈل کا تناسب ہو تو تین پیٹرن عام ہیں:
- 1 کے قریب۔ tokenizer آپ کی عربی اچھی طرح سنبھالتا ہے۔ ایک ہی مواد کے لیے عربی اور انگریزی ٹریفک کی لاگت تقریباً برابر ہے۔
- واضح طور پر 1 سے اوپر۔ عربی فی پیغام مہنگی ہے۔ پیش گوئیوں اور کانٹیکسٹ کی حدوں میں اس کا حساب رکھیں، اور سوچیں کہ کیا کوئی دوسرا ماڈل ملتے جلتے معیار پر آپ کی عربی زیادہ مؤثر طریقے سے سنبھالتا ہے۔
- آپ کے نمونوں میں بہت مختلف۔ عموماً ملے جلے مواد کی علامت: اعراب والا متن، Arabizi، نمبر، URLs یا عربی پیغامات کے اندر کوڈ۔ نمونوں کو قسم کے حساب سے بانٹیں اور ہر ایک الگ ناپیں۔
اسکرپٹ رکھیں اور ماڈل بدلنے پر یا فراہم کنندہ کے ماڈل ورژن اپڈیٹ کرنے پر اسے دوبارہ چلائیں، کیونکہ نیا tokenizer ہر گنتی بدل دیتا ہے۔
لاگت اور کانٹیکسٹ کے لیے اس کا کیا مطلب ہے؟
لاگت ٹوکنز کے ساتھ بڑھتی ہے، اس لیے زیادہ عربی تناسب آپ کی ٹریفک کے عربی حصے کا بل اسی ضرب سے بڑھاتا ہے۔ BroadNet کی قیمتوں سے، Qwen3.8 27B پر عربی ان پٹ $0.175 فی 1M ٹوکن اور آؤٹ پٹ $2.17 ہے؛ Gemma 4 VL 26B پر $0.10 اور $0.22۔ فی ٹوکن قیمت ہر زبان میں ایک ہی ہے؛ صرف ٹوکن گنتی بدلتی ہے۔ اپنا ناپا ہوا تناسب ماہانہ لاگت کے طریقے میں ڈالیں۔
کانٹیکسٹ کی حدیں بھی اسی طرح سکڑتی ہیں۔ Gemma 4 VL 26B فی درخواست 32,768 ٹوکن قبول کرتا ہے؛ ایک لمبی عربی دستاویز اسے اپنے انگریزی ترجمے سے جلد بھر دیتی ہے۔ DeepSeek V4.1 Flash اور GLM 5.3 1,048,576 قبول کرتے ہیں۔
عربی ٹوکن گنتی کیسے کم کریں؟
- یکساں normalise کریں۔ تطویل ہٹائیں، اور اگر کام کو ضرورت نہ ہو تو اعراب ہٹائیں۔ ہر درخواست پر وہی normalisation لگائیں تاکہ caching چلتی رہے۔
- ہدایات مختصر رکھیں۔ لمبا سسٹم پرامپٹ ہر turn پر دوبارہ بھیجا جاتا ہے؛ کسی ہوئی عبارت دونوں زبانوں میں ٹوکن بچاتی ہے۔
- مستحکم prefix کو کیش کریں۔ کیش شدہ ریٹ والے ماڈلز پر دہرائے گئے سسٹم پرامپٹس اور دستاویزات کہیں کم پڑتے ہیں۔ caching کیسے کام کرتی ہے۔
- مختصر جوابات مانگیں۔ “دو جملوں میں جواب دیں” کسی بھی tokenizer ترکیب سے زیادہ بچاتا ہے۔
متن کی بجائے عربی گفتگو کے لیے، ٹرانسکرپشن کی قیمت فی آڈیو منٹ ہے، فی ٹوکن نہیں، اس لیے بل کے اس حصے پر tokenization کا اثر نہیں پڑتا؛ عربی speech-to-text صفحہ دیکھیں۔
