BroadRouter
ابدأ الآن

الرمز (التوكن، Token)

آخر تحديث

الرمز (التوكن) هو وحدة النص التي يقرؤها نموذج اللغة ويكتبها: كلمة، أو جزء من كلمة، أو علامة ترقيم، أو تسلسل بايتات ينتجه مجزّئ النموذج (tokenizer). وتَعُدّ واجهات LLM API الاستهلاك بالرموز، وتضع حدودها بها، وتحتسب تكلفتها بها عادةً.

يُسمّى أيضًا: توكن، توكنات، رموز، رمز، تجزئة النص، token، LLM token، tokens، tokenization

لا ترى النماذج حروفًا ولا كلمات. إنها ترى سلسلة من الأعداد الصحيحة، يمثّل كلٌّ منها قطعة من النص من مفردات ثابتة. هذه القطع هي الرموز (التوكنات).

كيف يعمل

يقسّم المجزّئ (tokenizer) النص قبل أن يقرأه النموذج. تستخدم معظم النماذج الحديثة أساليب تقسيم إلى أجزاء كلمات، مثل ترميز أزواج البايتات (BPE). تبقى الكلمات الشائعة كاملة، وتنقسم الكلمات النادرة إلى أجزاء. ومثال Hugging Face على ذلك: قد تصبح annoyingly جزأين هما annoying وly.

يبدأ BPE على مستوى البايت من 256 قيمة بايت، لذا يمكن ترميز أي مدخل، بما في ذلك الرموز التعبيرية وكل أنظمة الكتابة.

في الإنجليزية، القاعدة التقريبية لدى OpenAI هي نحو 4 أحرف أو 0.75 كلمة لكل رمز، أي أن 100 رمز تعادل نحو 75 كلمة. وأعطى قياسنا للنثر الإنجليزي على خمسة مجزّئات حالية نحو 129 رمزًا لكل 100 كلمة، أو 1,290 رمزًا لكل 1,000 كلمة، وهو قريب من القاعدة التقريبية. وكلتا النسبتين تقدير فقط:

  • اللغات الأخرى، ومنها العربية، تنقسم غالبًا إلى رموز أكثر لكل كلمة في المجزّئات المدرَّبة أساسًا على الإنجليزية؛
  • تُجزّأ الشيفرة والأرقام والمسافات بطريقة تختلف عن النثر؛
  • لكل عائلة نماذج مفرداتها الخاصة.

لتقدير العدد قبل الإرسال، الصق النص في عدّاد الرموز. وتُبلغ الواجهة عن العدد الفعلي في كتلة usage في كل استجابة:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

لماذا يهم

الرموز هي الوحدة التي يقوم عليها كل رقم تقريبًا في LLM API:

قد يكون النص نفسه عددًا مختلفًا من الرموز في نماذج مختلفة، خصوصًا بالعربية. وتقيس مجموعة بيانات كفاءة المجزّئات عدد الرموز لكل 100 كلمة لكل نموذج بالإنجليزية والعربية والشيفرة.

في BroadNet Inference

تُسعَّر نماذج المحادثة لكل مليون رمز. ففي DeepSeek V4.1 Flash يكلّف الإدخال الجديد $0.175، والإدخال المخزّن مؤقتًا $0.0055، والإخراج $0.52. ويكلّف BroadNet Gemma 4 VL 26B $0.10 للإدخال و$0.22 للإخراج. وتجد أسعار كل النماذج في صفحة الأسعار.

أما في الخطة ثابتة السعر فلا تُعَدّ الرموز إطلاقًا: لا يوجد عدّاد للرموز في جلسة DeepSeek V4.1 Flash، والحد العملي هو السرعة، نحو 100 رمز في الثانية. وتُحتسب نماذج تحويل الكلام إلى نص لكل دقيقة صوت، لا لكل رمز.

أخطاء شائعة

  • تقدير التكلفة من عدد الكلمات لنص غير إنجليزي. قِس باستخدام usage على عيّنات حقيقية.
  • نسيان أن نماذج الاستدلال المنطقي تنفق أيضًا رموز إخراج على التفكير. راجع رموز الاستدلال المنطقي.

أسئلة شائعة

كم كلمة تعادل 1,000 رمز (توكن)؟

في النثر الإنجليزي، نحو 775 كلمة بحسب قياس BroadRouter نفسه على خمسة مجزّئات (أعطت 1,000 كلمة إنجليزية نحو 1,290 رمزًا). أما القاعدة التقريبية لدى OpenAI، أي أن الرمز يعادل نحو ثلاثة أرباع الكلمة، فتعطي 750. وتعطي اللغات الأخرى والشيفرة ومجزّئات النماذج الأخرى نسبًا مختلفة، فاحسب بمجزّئ النموذج نفسه حين يهمّك الرقم.

هل تُحتسب الصور والملفات الصوتية رموزًا؟

تُحوَّل الصور المرسلة إلى نموذج رؤية إلى رموز إدخال، والصور الأكبر تستهلك عادةً رموزًا أكثر. أما واجهات تحويل الكلام إلى نص فكثيرًا ما تُسعَّر لكل دقيقة صوت بدلًا من كل رمز.

لماذا يستهلك النص نفسه عددًا مختلفًا من الرموز في نموذجين؟

لكل عائلة نماذج مجزّئ ومفردات خاصة بها، لذا قد تنقسم الجملة نفسها إلى عدد مختلف من القطع.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity