إذا بنيت منتجًا عربيًا على LLM API، فإن فاتورتك تُحسب بالرموز (التوكنات)، لا بالكلمات. والرسالة نفسها، إذا كُتبت بالعربية، كثيرًا ما تتحول إلى رموز أكثر من ترجمتها الإنجليزية. وهذا يؤثر في التكلفة وحدود السياق وزمن الاستجابة. يشرح هذا المقال لماذا يحدث ذلك، ولماذا يُعدّ «عدد الرموز لكل كلمة» رقمًا مضلِّلًا، وكيف تقيس النسبة الحقيقية لمحتواك على النموذج الذي تستخدمه.
كم رمزًا إضافيًا تحتاج العربية؟ أرقام مقيسة
قسنا ذلك بالمُرمِّز الفعلي لكل نموذج على نصوص متوازية (المعنى نفسه بالإنجليزية والعربية). والجدول الكامل وفترات الثقة 95% والمنهجية موجودة في مجموعة بيانات كفاءة المُرمِّزات المجانية (بصيغتي CSV وJSON، بترخيص CC BY 4.0، الإصدار 4، قيست في 2026-11-15):
| المُرمِّز | العربية ÷ الإنجليزية، الفصحى المعاصرة (2,009 جملة من FLORES-200) | العربية ÷ الإنجليزية، اللهجة الخليجية (49 جملة من Tatoeba) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
بلغ النثر الإنجليزي (من ويكيبيديا ومشروع غوتنبرغ) نحو 127 إلى 132 رمزًا لكل 100 كلمة عبر المُرمِّزات الخمسة. وتأتي نسب الفصحى المعاصرة من الجمل نفسها، وعددها 2,009، من FLORES-200 باللغتين (نصوص رسمية إخبارية وسياحية وموسوعية من مقالات Wikimedia الإنجليزية، مترجمة ترجمة احترافية). ولا يتضمن FLORES-200 لهجة خليجية، لذا يستخدم عمود الخليجية 49 زوجًا من الجمل القصيرة من Tatoeba، وهو أقل دقة بكثير؛ وتعرض صفحة مجموعة البيانات فترة ثقة لكل رقم. ولا شيء من ذلك يمثّل حركة طلباتك، فاستخدم النسب للتخطيط وقِس محتواك قبل أن تضع الميزانية. يعدّ عدّاد الرموز العربية رموز نص تلصقه على كل مُرمِّز، وتحوّل أداة الرموز إلى كلمات في الاتجاهين.
ولتحويل هذه النسب إلى مال، تحسب مجموعة بيانات التكلفة الفعلية حسب اللغة سعر مليون حرف من كل لغة على كل نموذج استطعنا مطابقته مع مُرمِّز مقيس، عبر المزوّدين. فالسعر الأرخص لكل رمز لا يعني دائمًا فاتورة عربية أرخص.
ماذا يفعل المُرمِّز؟
قبل أن يرى النموذج النص، يقسمه المُرمِّز إلى رموز مأخوذة من مفردات ثابتة. تستخدم معظم المُرمِّزات الحديثة طرقًا تعتمد على أجزاء الكلمات، مثل ترميز أزواج البايتات (BPE) وWordPiece وSentencePiece، الموصوفة في ملخص المُرمِّزات لدى Hugging Face. فالسلاسل المتكررة في بيانات التدريب تصبح رموزًا مفردة، والسلاسل النادرة تُقسَّم إلى أجزاء أصغر، حتى البايتات المفردة عند الحاجة.
وتُتعلَّم المفردات من مجموعة نصوص التدريب. وأي لغات تهيمن على تلك المجموعة تحصل على الترميز الأكفأ. ولكل عائلة نماذج مُرمِّزها الخاص، لذا قد تقسم نماذج DeepSeek وQwen وGLM وGemma الجملة العربية نفسها إلى أعداد مختلفة تمامًا من الرموز.
لماذا تستهلك العربية غالبًا رموزًا أكثر؟
1. اختلال التوازن في بيانات التدريب
دُرّبت مُرمِّزات كثيرة على نصوص تحظى فيها الإنجليزية بتمثيل مفرط. فتصبح الكلمات الإنجليزية الشائعة رمزًا واحدًا لكل منها، بينما تُقسَّم كلمات عربية شائعة كثيرة إلى عدة أجزاء. قاس Petrov وزملاؤه (2023) ذلك عبر مُرمِّزات ولغات كثيرة، ووجدوا فروقًا كبيرة في عدد الرموز التي يحتاجها المحتوى نفسه، مع كون الإنجليزية عادةً من الأرخص. وتوصّل Ahia وزملاؤه (2023) إلى نتيجة مماثلة في واجهات API التجارية، وأشاروا إلى الأثر المباشر على ما يدفعه متحدثو اللغات المختلفة.
2. الصرف العربي
تُلحق العربية حروف العطف وحروف الجر وأداة التعريف والضمائر بالكلمات مباشرةً. فالكلمة المكتوبة الواحدة قد تحمل ما توزّعه الإنجليزية على عدة كلمات:
| العربية | المقابل الإنجليزي التقريبي |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
والمُرمِّز الذي لم يرَ تركيبة معيّنة بما يكفي كثيرًا ما يقسمها إلى أجزاء. وهذا يرفع عدد الرموز لكل كلمة، حتى حين يكون عدد الرموز لكل معنى معقولًا.
3. تفاصيل الكتابة
التشكيل، والتطويل (حرف المدّ «ـ»)، وأشكال الألف والهمزة المختلفة، والأرقام العربية الهندية، كلها حروف إضافية أو أشكال بديلة يجب على المُرمِّز ترميزها. والنص الذي يخلط العربية واللاتينية، والعربيزي (العربية المكتوبة بحروف لاتينية وأرقام)، قد ينقسمان أيضًا بطرق غير متوقعة. راجع كيف تتعامل نماذج اللغة مع العربيزي.
لماذا يُعدّ عدد الرموز لكل كلمة مقياسًا خاطئًا؟
لأن الكلمة العربية الواحدة كثيرًا ما تساوي عدة كلمات إنجليزية، فعبارتا «العربية تستهلك N رمزًا لكل كلمة» و«الإنجليزية تستهلك M رمزًا لكل كلمة» غير قابلتين للمقارنة. والسؤال الأعدل: كم رمزًا يحتاج المحتوى نفسه في كل لغة؟ استخدم نصوصًا متوازية، أي الرسالة نفسها مكتوبة باللغتين، وقارن مجموع الرموز. فهذه النسبة هي ما يغيّر فاتورتك.
والقاعدة التقريبية الشائعة لدى OpenAI، أي نحو أربعة حروف أو ثلاثة أرباع الكلمة لكل رمز، مقدَّمة للإنجليزية على مُرمِّزات OpenAI نفسها. ولا تنطبق على العربية ولا على عائلات النماذج الأخرى، فلا تستخدمها لميزانيات العربية.
كيف تقيس نسبتك أنت؟
حقل الاستخدام هو المرجع الحقيقي: فهو ما تُحاسَب عليه. ترسل هذه الشيفرة نصوصًا متوازية إلى نموذج وتقرأ usage.prompt_tokens. وتطرح خط أساس حتى لا يشوّه العبء الثابت لقالب المحادثة النصوص القصيرة. وتستخدم Gemma 4 VL 26B، الذي يعمل على الرصيد المبدئي المجاني ولا يستدلّ منطقيًا؛ ضع مكانه النموذج الذي ستستخدمه فعلًا.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
لتحصل على رقم يمكنك الوثوق به:
- استخدم من 50 إلى 200 زوج حقيقي من مجالك: رسائل الدعم، وأوصاف المنتجات، والفواتير. فجمل العرض القصيرة كثيرة التشويش.
- استخدم اللهجة التي يكتب بها مستخدموك. قد يُرمَّز النص الخليجي والمصري والشامي بشكل مختلف عن الفصحى المعاصرة.
- شغّلها لكل نموذج. النسبة المقيسة على نموذج لا تقول الكثير عن نموذج آخر. فإن كنت تختار بين نماذج، فشغّل الأزواج نفسها على كل منها؛ ويغطي مقال اختيار نموذج لغة للعربية الجودة، وهي لا تقل أهمية عن عدد الرموز.
- قِس الإخراج أيضًا. اطلب من كل نموذج أن يجيب بالعربية وبالإنجليزية وقارن
completion_tokens. فالإخراج أغلى لكل رمز من الإدخال في كل النماذج، لذا قد تكون نسبة الإخراج أهم.
وإذا كان مُرمِّز النموذج منشورًا (على Hugging Face مثلًا)، فيمكنك أيضًا عدّ الرموز دون اتصال بذلك المُرمِّز. لكن حقل الاستخدام في الواجهة يظل الحَكَم النهائي، لأنه يشمل قالب المحادثة الذي يطبّقه الخادم.
قراءة النتائج
حين تحصل على نسبة لكل نموذج، تظهر عادةً ثلاثة أنماط:
- قريبة من 1. المُرمِّز يتعامل مع عربيتك جيدًا. وتكلّف الحركة العربية والإنجليزية المبلغ نفسه تقريبًا للمحتوى نفسه.
- أعلى من 1 بوضوح. العربية تكلّف أكثر لكل رسالة. احسب حسابها في التوقعات وفي حدود السياق، وفكّر هل يتعامل نموذج آخر مع عربيتك بكفاءة أكبر وبجودة مماثلة.
- متفاوتة كثيرًا بين عيّناتك. عادةً علامة على محتوى مختلط: نص مشكول، أو عربيزي، أو أرقام، أو روابط، أو شيفرة داخل رسائل عربية. افصل عيّناتك حسب النوع وقِس كل نوع على حدة.
احتفظ بالشيفرة وأعد تشغيلها حين تغيّر النماذج أو حين يحدّث مزوّد إصدار نموذج، لأن المُرمِّز الجديد يغيّر كل الأعداد.
ماذا يعني ذلك للتكلفة والسياق؟
التكلفة تتناسب مع الرموز، لذا فإن ارتفاع النسبة العربية يرفع الفاتورة بالمعامل نفسه للجزء العربي من حركة طلباتك. وبأسعار BroadNet، يكلّف الإدخال العربي على Qwen3.8 27B $0.175 لكل مليون رمز، والإخراج $2.17؛ وعلى Gemma 4 VL 26B، $0.10 و$0.22. السعر لكل رمز واحد في أي لغة؛ وما يتغيّر هو عدد الرموز فقط. أدخل نسبتك المقيسة في طريقة حساب التكلفة الشهرية.
وتضيق حدود السياق بالطريقة نفسها. يقبل Gemma 4 VL 26B 32,768 رمزًا لكل طلب؛ والمستند العربي الطويل يملؤها أسرع من ترجمته الإنجليزية. ويقبل DeepSeek V4.1 Flash وGLM 5.3 1,048,576 رمزًا.
كيف تقلّل عدد الرموز في العربية؟
- طبّع النص باتساق. أزل التطويل، واحذف التشكيل إن كانت مهمتك لا تحتاج إليه. وطبّق التطبيع نفسه على كل طلب حتى يظل التخزين المؤقت فعّالًا.
- اجعل التعليمات قصيرة. أمر النظام الطويل يُعاد إرساله في كل دور؛ والصياغة المحكمة توفّر الرموز في اللغتين.
- خزّن البادئة الثابتة مؤقتًا. في النماذج التي لها سعر للإدخال المخزّن مؤقتًا، تكلّف أوامر النظام والمستندات المتكررة أقل بكثير. راجع كيف يعمل التخزين المؤقت.
- اطلب إجابات موجزة. «أجب في جملتين» توفّر أكثر من أي حيلة في المُرمِّز.
أما للكلام العربي لا النص، فالتفريغ الصوتي مسعّر لكل دقيقة صوت لا لكل رمز، لذا لا يؤثر الترميز في ذلك الجزء من الفاتورة؛ راجع صفحة تحويل الكلام العربي إلى نص.
