BroadRouter

كيف تحسب عدد الرموز قبل إرسال طلب إلى LLM API؟

بقلم فريق BroadNet Inference · قراءة في 5 دقائق · تاريخ النشر · آخر تحديث

احسب الرموز بمُرمِّز (tokenizer) النموذج الذي تستدعيه إن كان منشورًا؛ وإلا فاستخرج نسبة الأحرف لكل رمز من حقل usage في طلبات حقيقية، لكل لغة ونوع محتوى. أضف هامشًا من 10 إلى 20 بالمئة، ثم تحقّق أن رموز الأمر مع max_tokens تتسع لها نافذة السياق، مع ترك مساحة لرموز الاستدلال المنطقي في نماذج التفكير.

تحتاج إلى عدد الرموز (توكن) قبل إرسال الطلب لثلاثة أسباب: لتبقى داخل نافذة السياق، ولتختار قيمة معقولة لـ max_tokens، ولتقدّر التكلفة. العدد الدقيق لا يأتي إلا من مُرمِّز النموذج نفسه، والتقدير الجيد يأتي من المعايرة. يعرض هذا المقال الطريقتين بقياسات حقيقية.

لماذا يختلف عدد الرموز بين النماذج؟

المُرمِّز (tokenizer) يقسّم النص إلى قطع من مفردات ثابتة، وكل عائلة نماذج تدرّب مُرمِّزها الخاص. والمفردات الأكبر، أو المدرّبة على قدر أكبر من لغة ما، تُنتج رموزًا أقل لتلك اللغة. لذلك يختلف جواب سؤال «كم رمزًا في هذا الأمر؟» من نموذج إلى آخر.

قسنا رسالة قصيرة واحدة من خدمة العملاء مترجمة إلى أربع لغات، إضافة إلى دالة Python صغيرة وكائن JSON لفاتورة. أعداد OpenAI مأخوذة من tiktoken (cl100k_base من جيل GPT-4، وo200k_base من جيل GPT-4o). وأعداد النماذج المفتوحة مأخوذة من ملفات المُرمِّز التي تنشرها كل عائلة على Hugging Face، محسوبة دون قالب المحادثة، في 14 نوفمبر 2026.

النص (المعنى نفسه) الأحرف cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
الإنجليزية، 31 كلمة 173 37 37 37 38 39 39
الإسبانية 160 47 40 50 45 43 42
العربية 142 102 46 55 58 48 49
الصينية 54 51 37 34 35 36 38
دالة Python 94 33 33 35 33 35 38
فاتورة JSON 140 59 60 63 60 72 72

في كل صف عيّنة واحدة، فاعتبر الأرقام توضيحًا لا مقياسًا مرجعيًا. ومع ذلك تصمد ثلاثة دروس. جيل المُرمِّز مهم: فقد انخفض النص العربي إلى أقل من النصف بين cl100k_base وo200k_base. والنماذج المفتوحة تختلف فيما بينها أيضًا: فالنص العربي نفسه تراوح بين 48 و58 رمزًا، وJSON بين 60 و72. والمحتوى المهيكل كثيف الرموز في كل مكان: فقد سجّل JSON نحو حرفين لكل رمز على كل المُرمِّزات.

يمكنك تكرار ذلك على نصك أنت باستخدام عدّاد الرموز المجاني، أو العدّادات الخاصة بكل عائلة لـ DeepSeek وQwen وGPT. ولترى ما يوفّره تعديل في الأمر، قارن النسختين في أداة مقارنة رموز الأوامر. أما لماذا تكلّف العربية تحديدًا رموزًا أكثر، مقيسةً على نصوص أطول، فيشرحه مقال عدد الرموز لكل كلمة في العربية والإنجليزية.

كيف تحسب الرموز بدقة؟

إذا كان مُرمِّز النموذج منشورًا، فحمّله واحسب محليًا. لنماذج OpenAI:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

أما عائلات النماذج مفتوحة الأوزان، فيأتي المُرمِّز عادةً مع النموذج على Hugging Face ويُحمَّل بـ AutoTokenizer.from_pretrained(...). وهنا تنبيهان: قالب المحادثة يضيف رموزًا للأدوار والفواصل، والنسخة التي ينشرها مزوّد الواجهة قد تختلف عن الملفات العامة. والمرجع التقني لواجهة BroadNet لا يوثّق نقطة نهاية لحساب الرموز ولا مُرمِّز كل نموذج، لذا يعطيك المُرمِّز العام تقديرًا قريبًا، والعدد الدقيق هو usage.prompt_tokens بعد الاستدعاء.

كيف تقدّر الرموز إذا لم يكن المُرمِّز منشورًا؟

عايِر مرة واحدة لكل نموذج، ثم قدّر محليًا:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

استخدم 20 عيّنة حقيقية أو أكثر لكل نوع محتوى (أوامرك الفعلية، لا نصوص lorem ipsum). فالطلب الأساسي بكلمة واحدة يطرح العبء الثابت لقالب المحادثة، وتعيد الدالة estimate إضافته بوصفه overhead؛ فاضبطه على خط الأساس الذي قسته. ولا تعايِر على أرخص نماذج BroadNet إلا إذا كان هو النموذج الذي ستستدعيه: فنسب Gemma 4 VL 26B لا تنطبق على DeepSeek V4.1 Flash. والصور تُحتسب رموز إدخال أيضًا، والصور الأكبر تستهلك أكثر، فعايِرها على حدة حسب الدقة.

ما الهوامش المناسبة لقيمة max_tokens والسياق؟

النافذة تشمل الأمر والإخراج. وفي نماذج الاستدلال المنطقي يتضمن الإخراج تفكيرًا مخفيًا يُبلَّغ عنه بوصفه رموز الاستدلال المنطقي. احسب الميزانية هكذا:

  1. تقدير الأمر = العدد المعايَر × 1.15 (هامش أمان 15 بالمئة).
  2. ميزانية الإجابة = أطول إجابة تقبلها.
  3. ميزانية الاستدلال المنطقي = لنماذج التفكير، 1,000 رمز على الأقل؛ إذ توصي وثائق BroadNet بألّا تقل عن 1,000 أو باستخدام reasoning_effort: "low"، لأن الحد الصغير قد يعيد إجابة فارغة.
  4. max_tokens = ميزانية الإجابة + ميزانية الاستدلال المنطقي.
  5. التحقّق: تقدير الأمر + max_tokens ≤ نافذة السياق. وإن لم يتحقق ذلك، فاختصر الأمر لا الإجابة.

نوافذ السياق على BroadNet Inference، من ملف الأسعار المنشور:

النموذج نافذة السياق السقف العملي للأمر مع إخراج 16K وهامش 15%
DeepSeek V4.1 Flash 1,048,576 نحو 897,000
GLM 5.3 1,048,576 نحو 897,000
Qwen3.8 27B 262,144 نحو 213,000
Gemma 4 VL 26B 32,768 نحو 14,000

عمود السقف = (النافذة − 16,384) ÷ 1.15، مقرّبًا إلى الأدنى. ضع قيمة max_tokens الخاصة بك مكان 16,384.

ما الأخطاء الشائعة في تقدير الرموز؟

  • عدّ الكلمات بدل الرموز. قاعدة 0.75 كلمة لكل رمز خاصة بالإنجليزية. فعيّنتنا العربية المكوّنة من 29 كلمة بلغت من 46 إلى 102 رمز حسب المُرمِّز.
  • نسيان الأدوات وأمر النظام. مخططات الأدوات مكتوبة بـ JSON، وهي كثيفة الرموز. فاحسبها جزءًا من الأمر.
  • افتراض القصّ الصامت. بعض الأدوات تحذف الرسائل القديمة دون إخبارك. وتقول BroadNet إنها لا تقصّ سياقك، لذا تحقّق من الحجم قبل الإرسال بدل الاعتماد على الخادم ليقصّه. وحاسبة نافذة السياق تجري هذا التحقق نيابةً عنك.
  • تجاهل نموّ السجل. في المحادثة أو حلقة الوكيل يكبر الأمر مع كل دور. فأعد التحقق من الميزانية في كل استدعاء، لا مرة واحدة في الجلسة. والسجل الثابت يُخزَّن مؤقتًا بشكل أفضل أيضًا؛ راجع بنية الأوامر للتخزين المؤقت.

إذا كنت تعمل بالعربية، فالمُرمِّز سبب إضافي لاختبار النماذج على نصك أنت؛ ويغطي مقال اختيار نموذج لغوي للعربية بقية الجوانب. ولتحويل أعداد الرموز إلى فاتورة شهرية، راجع كيف تقدّر تكلفة LLM API قبل الإطلاق.

أين تقع BroadNet Inference من هذا؟

تُعيد BroadNet Inference في كل استجابة prompt_tokens وcompletion_tokens، ومعهما أعداد الرموز المخزّنة مؤقتًا ورموز الاستدلال المنطقي حين يُبلغ النموذج عنها، وهذا كل ما تحتاجه للمعايرة. ولا تنشر نقطة نهاية للعدّ ولا مُرمِّزات لكل نموذج، لذا تبقى الأعداد قبل الإرسال تقديرات. ويغطي دليل نافذة السياق العمل بالسياق الطويل على نماذج المليون رمز، والأسعار لكل مليون رمز موجودة في صفحة الأسعار.

أسئلة شائعة

كم رمزًا تساوي الكلمة الواحدة؟

في مجموعة بيانات المُرمِّزات لدى BroadRouter، التي تجمع خمسة مُرمِّزات (مُرمِّزات نماذج المحادثة الأربعة لدى BroadNet وo200k_base من OpenAI؛ ويضيف جدول الأمثلة في المقال cl100k_base)، تساوي 1,000 كلمة إنجليزية نحو 1,290 رمز، أي نحو 1.29 رمز لكل كلمة. والقاعدة الشائعة، 0.75 كلمة لكل رمز، قريبة من الواقع في النثر الإنجليزي. أما العربية والخطوط غير اللاتينية الأخرى والشيفرة فتستهلك رموزًا أكثر لكل كلمة. قِس نصك أنت على النموذج الذي تستدعيه.

هل أستطيع استخدام tiktoken لحساب رموز DeepSeek أو Qwen أو Gemma؟

للتقدير التقريبي فقط. فمكتبة tiktoken تطبّق ترميزات OpenAI، بينما تأتي عائلات النماذج الأخرى بمُرمِّزاتها الخاصة، وغالبًا على Hugging Face، وتختلف الأعداد. عايِر النتيجة مقابل حقل usage.

هل توجد أداة مجانية لحساب رموز DeepSeek أو Qwen أو GLM أو Gemma؟

نعم. عدّاد الرموز المجاني من BroadRouter يشغّل المُرمِّزات المنشورة لهذه العائلات داخل متصفحك، فلا يغادر النص جهازك. واعتبر العدد تقديرًا لما ستُبلغ عنه الواجهة، لأن قوالب المحادثة تضيف بضعة رموز.

ماذا يحدث إذا كان الأمر أطول من نافذة السياق؟

تُعيد معظم الواجهات خطأ. وبعض الأدوات تقصّ الرسائل القديمة بصمت. أما BroadNet فلا تقصّ سياقك، لذا تحقّق من الأمر مع max_tokens مقابل النافذة قبل الإرسال.

كم هامشًا أترك لقيمة max_tokens؟

قدّر أطول إجابة تتوقعها، وأضف ميزانية الاستدلال المنطقي لنماذج التفكير، واترك 10 إلى 20 بالمئة من النافذة فارغة لخطأ التقدير.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity